Spät, aber noch vor Heilig Abend kommt er, der Artikel über Felisa Wolfe-Simon und ihr Arsen-Paper in Science. Die Veröffentlichung selbst ist schon überall auseinander genommen worden, hier daher Hintergründe dazu, wie und wieso dieses Paper so geschrieben und veröffentlicht werden konnte, und die Frage, was es für Autoren wissenschaftlicher Veröffentlichungen überhaupt bringt, wenn ein Paper öffentlich diskutiert wird.

Ich möchte nicht, dass mir etwas ähnliches wie Felisa Wolfe-Simon passiert. Zur Erinnerung: Wolfe-Simon ist Erstautorin eines Science-Papers über ein ungewöhnliches Bakterium. Die präsentierten Ergebnisse legten für die Autoren den Schluss nahe, dass diese Bakterien Arsen an Stelle von Phosphor verwendet – zum Beispiel in der DNA.

Nach einer euophorischen Pressekonferenz, organisiert von der NASA (der Geldgeber von Wolfe-Simon) mit Referenz zu außerirdischem Leben, wurde ziemlich schnell klar, dass die Schlussfolgerungen aus den präsentierten Ergebnissen im Science Paper auf wackeligen Beinen stehen. Nicht alle notwendigen Kontrollexperimente waren durchgeführt worden um die in der Veröffentlichung aufgestellten Behauptungen zu belegen.

Wer die ganze Geschichte noch einmal nachlesen möchte: Hier ist der original Science Artikel, hier ist eine erste Einschätzung vom Fischblog nach der Publikation, hier ist der Blogpost von Rosie Redflied, einer Mikrobiologin, der vielen als der Auslöser der harschen Kritik am Paper gilt. Hier mehr fachkundige Kritk. Hier die Antwort von Wolfe-Simon (.pdf) auf die manigfach geäuserten Einwände, hier die Einschätzung der Antwort und weitere Kritk von Redfield. Hier eine entschuldigende Email von Redfield: Im Ton vergriffen in der Sache Recht. Hier ein aktuelles Interview in Science mit Wolfe-Simon, in dem die Autorin Stellung zur Kritik und Medienhype der letzen Wochen nimmt.

Klar ist: Es ist kein gewöhnliches Paper um das es geht und es ist keine gewöhnliche Reaktion der Medien, eingeschlossen Blogs, auf diese Veröffentlichung.Hier ein Versuch die Prozesse der letzten Wochen nachzuvollziehen und zu erklären.

Die Autoren

Kein Paper ist vollkommen und es gibt immer weitere Experimente, die gemacht werden können um Ergebnisse zu belegen und zu bestätigen. In so fern führen Anmerkungen von Kritikern, dass keine Versuche gemacht wurden, um beispielsweise den Mechanismus des vermeintlichen Arsen-Einbaus aufzuklären auch ins leere. Die angemahnten Experimente werden zurecht von Wolfe-Simon mit dem Verweis auf mögliche Folgeprojekte gekonntert.

Die relevante Kritik an ihrer Arbeit zielt auf fehlende Kontrollexperimente, essentiell um die Kernaussage des Papers zu belegen. Diese Kontrollen sind nur unzureichend durchgeführt worden – obwohl die Autoren sich der technischen Möglichkeiten durchaus bewusst waren, wie Wolfe-Simon im Interview zugibt:

We’re aware of all these other techniques you mentioned. In fact, I have done a cesium chloride gradient experiment, and it showed what my gel showed: something unusual that we couldn’t quite explain.

Es ist ein klares Versäumnis der Autoren, zweideutige Ergebnisse nicht weiter zu untersuchen. Weiter ist es nicht aufrichtig ihre unklaren Ergebnisse aus diesen Versuchen nicht in der Veröffentlichung zu zeigen. Besonders mutige Autoren oder Autoren unter starkem Zeitdruck reichen manchmal unvollständige Manuskripte ein, um Kritikpunkte der Reviewer antizipieren zu können und schon während das Manuskript begutachtet wird an diesen bewusst belassenen Schwachstellen weiter zu arbeiten. Hier ist man hingegen geneigt zu vermuten, dass der Wunsch nach außergewöhnlichen Resultaten Vater der unzureichenden Analyse war und die notwendigen Untersuchungen unterlassen wurden, um nicht selbst enttäuscht zu werden. So funktioniert Wissenschaft nicht und diese Vorgehensweise wird zurecht kritisiert.

Die Reviewer

Die Rolle der Gutachter und des zuständigen Redakteurs kam beim bisherigen Echo zum Arsen-Artikel zu kurz. Der peer-review Prozess hat hier versagt. Die in kritischen Blogs aufgezeigten technischen Mängel und die fehlenden Kontrollexperimente hätten den Gutachtern auffallen müssen und normalerweise werden solche Versäumnisse auch entdeckt. Wieso also in diesem Fall nicht? Der zuständige Redakteur trägt die Verantwortung für die Auswahl geeigneter Reviewer. Wahrscheinlich war in diesem Fall die Übereinstimmung zwischen dem wissenschaftlichen Schwerpunkt des Manuskripts und den Fachgebieten der Gutachtern nicht ausreichend gegeben. Möglicherweise hatte ein passender Gutachter einfach einen schlechten Tag, hat den Text nur unaufmerksam gelesen und unter Zeitdruck die Kommentare eingereicht. Wir werden es nie wissen, Science publiziert weder die Namen von Gutachtern und Editoren noch die eingereichten Beurteilungen.

Die Öffentlichkeitsarbeit

Um mit einem Manuskript bei Science oder Nature überhaupt eine Chance zu haben, muss es über das eigene Fachgebiet hinaus Relevanz haben. Das steht so auch direkt in den Richtlinien für Autoren. Häufig ist die breite Relevanz einer Studie jedoch nicht offensichtlich und direkt durch die Rohdaten gegeben. Es ist ein kreativer Prozess und ein wichtiger Teil der Anfertigung des Manuskripts, die eigenen Daten so zu interpretieren und in den richtigen Kontext zu rücken, dass sie für eine breite Leserschaft relevant sein könnten. Wer selbst wissenschaftlich publiziert weiss das auch und versteht die Interpretation der Autoren cum grano salis zu nehmen.

Wolfe-Simon et al. haben – da wichtige Kontrollexperimente fehlen – ihre Ergebnisse klar überinterpretiert. Sie schreiben in der Zusamenfassung ihres Papers

Our data show evidence for arsenate in macromolecules that normally contain phosphate, most notably nucleic acids and proteins. Exchange of one of the major bio-elements may have profound evolutionary and geochemical significance.

Aber erst in der Ankündigung der Pressekonferenz der NASA wurde daraus:

…to discuss an astrobiology finding that will impact the search for evidence of extraterrestrial life.

Wolfe-Simon selbst sagt im aktuellen Interview mit Science, dass Ihr Paper gehyped wurde. Sie vergisst aber, dass sie selbst zu diesem Hype betrug. Zum einen durch die überzogenen Interpretationen im Paper, weiter durch überzogene Formulierungen in der Öffentlichkeit, beispielsweise in der NASA Pressemitteilung folgender Satz:

If something here on Earth can do something so unexpected, what else can life do that we haven’t seen yet?

und drittens in der Art und Weise, wie sie jetzt mit der weitreichenden Kritik umgeht.

Erwartet wird eine adäquate Antwort im Netz auf die vielen Blogartikel und Kommentare, sowie das selbskritische Eingeständnis der eigenen Fehler und Versäumnisse. Stattdessen diskreditiert Iron Lisa Blogs als valides Medium der Diskussion wissenschaftlicher Veröffentlichungen, indem sie darauf beharrt nur formal an Science gerichtete Kommentare zu beantworten. Sie reagiert auf keine der öffentlich an sie gerichteten Fragen – sei es von Bloggern oder Journalisten renommierter Zeitungen und Magazine. Außerdem kontert sie im Exklusivinterview mit Science die Kritik an der Vollständigkeit ihrer Analyse mit der zwar richtigen aber unpassenden Feststellung, dass ihre Arbeit Auslöser und Anregung für weitere Forschung sein sollte.

Die fachlich fundierte Kritik an ihrer Interpretation der Ergebnisse – unabhängig vom gewählten Medium – scheint Wolfe-Simon nicht anerkennen zu wollen und das führt dazu, dass unter dem Strich der Eindruck bleibt, sie sei keine gute Wissenschaftlerin. Ihr fehle es an Bescheidenheit, wissenschaftlicher Aufrichtigkeit, und der Fähigkeit mit Kritik adäquat umzugehen.

Ein Paper in Science kann einen Wendepunkt in der eigenen wissenschaftlichen Karriere bedeuten und es ist nachvollziehbar, dass Wolfe-Simon ihre Publikation mit Zähnen und Klauen verteidigt. Möglicherweise schadet aber der Verteidigunsstil und Tatsache, dass diese Diskussion in breiter Öffentlichkeit geführt wird der Reputation der Autorin mehr, als ihr das Science Paper nützt?

Weitere Fragen, die nicht zu klären aber doch zu diskutieren ist: Wäre die mit offensichtlichen Mängeln behaftete Arbeit ohne die reißerische Presseerklärung der NASA überhaupt in der Öffentlichkeit wahrgenommen worden? Was hat ein Autor überhaupt davon, wenn das eigene Paper öffentlich diskutiert wird?

Erst im Frühjahr werden die bei Science eingereichten Kommentare der Kritiker zur Publikation von Wolfe-Simon begutachtet sein. Dann wird entschieden, ob die Autoren ein Erratum publizieren, ihre Schlussfolgerungen durch weitere experimentelle Ergebnisse untermauern können, oder das Paper gar zurück ziehen müssen. Vergessen wird die Geschichte aber mit Sicherheit nicht – auch Dank der außergewöhnlichen Berichterstattung in Blogs und klassischen Medien.

Fröhliche Weihnachten!

Foto modifiziert nach satanoid auf flickr – CC: 2.0 BY