Ans Ende diese Überschrift sollte ich eigentlich ein Fragezeichen setzen, denn ich bin mir nicht sicher, ob es dieses Dilemma überhaupt gibt. Aber so, wie Mina Bissell vom Lawrence-Berkeley-Laboratorium in der aktuellen Ausgabe von nature das Problem schildert, hat es zumindest den Anschein, als ob es die Wissenschaft in einen Zwiespalt bringen könnte. Reproducibility: The risks of the replication drive schreibt sie dort, und das Problem, um das es dabei geht, ist an sich schnell erklärt: Mit zunehmender Spezialisierung der Forschung (und der Forschungsapparate) werde es immer schwerer, die Resultate publizierter Forschungsarbeiten zu reproduzieren.
“… it is sometimes much easier not to replicate than to replicate studies, because the techniques and reagents are sophisticated, time-consuming and difficult to master.”
Und das hat eine gewisse Plausibilität, wie beispielsweise die Suche nach dem Higgs-Boson zeigen kann: Um die Ergebnisse zu erzielen, brauchte man einen viele Milliarden Dollar teuren Teilchenbeschleuniger und die Arbeit tausender Forscher über mehrere Jahre hinweg – diesen Apparat und Aufwand kann man nicht so einfach nachbauen und wiederholen. Aber Mina Bisell geht es auch um kleinere, scheinbar eher nachvollziehbare Forschung, an Krebszellen, beispielsweise. Doch diese Zellen seien, so schreibt sie, derart delikat, dass schon kleinste Unachtsamkeiten oder eine gewisse Unerfahrenheit bei scheinbar identischem Versuchsaufbau zu anderen Resultaten führen können:
When researchers at Amgen, a pharmaceutical company in Thousand Oaks, California, failed to replicate many important studies in preclinical cancer research, they tried to contact the authors and exchange materials. They could confirm only 11% of the papers…
Elf Prozent nur … das gibt wirklich zu denken. Denn es geht hier nicht um die Behauptungen von Voodoo-Wissenschaftlern und Heimlabor-Kernfusionierern, sondern um publizierte und peer-reviewte Forschungsergebnisse.
Und Reproduzierbarkeit von Ergebnissen ist einer der wichtigsten, wenn nicht sogar die wichtigste Voraussetzung für die Gültigkeit wissenschaftlicher Ergebnisse. Was nicht reproduzierbar ist, bleibt anekdotisch – selbst wenn es noch so sensationell wäre. Ein Heilmittel gegen Krebs, das nicht herstellbar ist, ist kein Heilmittel, beispielsweise, und Resultate, die nur eine einzige Forscherin, ein einziger Forscher erzielen kann, sind von all jenen “Sensationen”, die sich dann als Irrtum (gelegentlich auch mal als Schwindel) entpuppt haben, auf Anhieb – und vielleicht sogar auf Dauer – erst mal nicht zu unterscheiden. Sicher, echte ForscherInnen können Labortagebücher und Datenblätter vorzeigen, haben plausible Theorien anzubieten etc. Aber wenn sie an der Reproduzierbarkeit scheitern – ist es dann noch Wissenschaft in dem Sinn, dass es das Wissen der Gesellschaft vermehrt? Doch wenn andererseits nur ein gutes Zehntel der Ergebnisse (ich hoffe zwar, dass diese Zahl aus obigem Zitat nicht mal ansatzweise repräsentativ ist, greife sie aber zu Argumentationszwecken hier auf) legtitimer und seriöser wissenschaftlicher Forschung noch reproduzierbar ist, müssten wir dann nicht die Maßstäbe lockern und Reproduzierbarkeit aus dem Anforderungskatalog streichen, wenn wir uns nicht des Wertes dieser Forschung berauben lassen wollen?
Und da sehe ich nun tatsächlich ein Dilemma: Auf diese Bedingung zu verzichten, würde all den Voodoo-Zauberern ein argumentatorisches Scheunentor öffnen. Resultate, die niemand nahvollziehen kann, als Resultate gelten zu lassen, käme einer Kapitulation der Wissenschaft gleich. Aber was tun, wenn nur noch ein kleiner Bruchteil der Resultate aktueller Forschung tatsaächlich reproduziert werden kann? Wissenschaft zum Breitensport erklären, ohne die Spitzenleistungen der klügsten Köpfe? Arthur C. CLarke hat den berühmten Spruch geprägt, dass eine hinreichend fortschrittliche Technologie von Zauberei nicht mehr zu unterscheiden sei – eine entsprechend fortentwickelte Wissenschaft aber offenbar auch nicht…
Nachtrag: Aus dem kurzen Dialog mit Kommentator Stefan W. habe ich folgende Präzisierung der Frage herausgearbeitet (die Antwort ist weiterhin eine, die aus der Diskussion entspringen sollte):
Ist die Wiederholbarkeit des Experiments oder der Ergebnisse die Voraussetzung fuer Wissenschaftlichkeit? Bisher, so der Tenor von Mina Bissels Artikel in nature, waren beide Kriterien im Großen und Ganzen synonym; wenn Zweiteres bei Ersterem nicht gegeben war, durfte man von Schlamperei – sagen wir’s freundlicher: unterentwickelter Sorgfalt – seitens der Forscherinnen und Forscher ausgehen, d.h. diese Ergebnisse erfüllten eindeuting nicht die Maßstäbe des wissenschaftlichen Arbeitens. Was aber, wenn sich tatsächlich die Spezialisierungsniveaus in den Forschungsdisziplinen teilweise so stark entwickelt haetten, dass die Reviewer nicht mehr mithalten können? Das ist nicht ganz das Selbe wie schlampige Arbeit der ForscherInnen – aber wie löst man dieses Problem?
Kommentare (21)