Wenn wir davon ausgehen, dass die Wiederholbarkeit wissenschaftlicher Resultate durch andere WissenschaftlerInnen der Goldstandard der wissenschaftlichen Erkenntnis ist, dann wäre wohl (wieder mal) ein dramatischer Kurseinbruch zu vermelden: Laut einem Paper in der aktuellen Ausgabe von Science konnten in einer Stichproble vom 100 publizierten psychologischen Studien nur in etwa 40 Prozent der Arbeiten die gefundenen Ergebnisse bestätigt werden konnten: Estimating the reproducibility of psychological science. Wer nun denkt, naja, Psychologie, das ist ja eh’ keine “richtige” Wissenschaft, sei daran erinnert, dass dieses Problem der Nicht-Reproduzierbarkeit von Ergebnissen in anderen Disziplinen, zum Beispiel in der Krebsforschung, noch dramatischer ausfällt, wie ich hier schon geschrieben hatte: Laut einem Beitrag in nature liegt die Fehlerquote in manchen onkologischen Studien sogar fast bei 90 Prozent…
Doch ehe wir nun die Alarmglocken über die Unzuverlässigkeit der Wissenschaft läuten (wer die hören bzw. lesen will, klicke zum Beispiel hier oder hier), lesen wir noch ganz schnell einen Satz aus dem Abstract des Science-Papers, der die Sache schon ein bisschen relativiert:
… if no bias in original results is assumed, combining original and replication results left 68% with statistically significant effects.
Also: Wenn man die (brauchbaren) Daten/Resultate aus den Original-Studien und ihren Reproduktionsversuchen kombiniert, dann lassen sich die jeweiligen beobachteten Effekte in 68 Prozent der Fälle mit statistischer Signifikanz bestätigen. Das ist schon mal weitaus weniger dramatisch und auch nicht weiter verwunderlich: Die Studienwiederholungen sind ja nichts anderes als zusätzliche Daten, und mehr Daten erlauben, nach dem common sense der Wissenschaft, auch zuverlässigere Resultate. Mit anderen Worten: Die Feststellung alleine, dass die Ergebnisse einer wissenschaftlichen Studie von einem anderen Team nicht reproduziert werden konnten, sagt erst mal nichts darüber, wer da nun daneben lag – die Originalstudie oder die Kontrollstudie.
Aber das Problem ist doch gar nicht, dass wissenschaftliche Resultate nicht reproduziert werden konnten (i.e. dass die ursprünglichen Ergebnisse also “falsch” gewesen sein könnten) – das Problem ist, dass dies offenbar gar nicht häufig genug untersucht wird. Nach ihrem Selbstverständnis beruht Wissenschaft ja auf der Falsifikation – Erkenntnisse werden immer wieder, durch neue Studien und Experimente, auf ihre Haltbarkeit getestet. Doch in der Realität ist dies längst nicht der Fall.
Und das ist eher ein institutionelles Problem der Forschungsfinanzierung und der Forschungspublikation. Wenn Forschungsgelder beantragt und Paper zur Publikation eingereicht werden, dann ist “Originalität” immer eines der obersten Kriterien: Wozu Geld für etwas ausgeben, das schon erforscht wurde, wozu teure Journalseiten für Erkenntnisse verschwenden, die bereits publiziert wurden? Sicher, wenn es um grundlegende, umwälzende – und vielleicht sogar erst mal kontroverse – Erkenntnisse geht, wie Einsteins Relativitätstheorie oder Wegeners Kontinentaldrift (um mal auf zwei historische Beispiele zurückzugreifen), dann gibt es genug Skeptiker, die diese neuen Theorien anzweifeln und widerlegen wollen. Und die dann auch damit rechnen können, dass ihre Widerlegung mindestens ebenso viel Aufmerksamkeit erringen wird wie das “Original”.
Doch welche Sensation wäre es, zu verkünden, dass man die Ergebnisse einer Studie darüber, ob und wie der Konsum süßer Getränke die Wohnortwahl von CollegestudentInnen beeinflusst, nicht zuverlässig reproduzieren konnte? Welcher Stifterverband würde dafür Geld bereitstellen, welches Journal wollte diese Nacharbeit drucken?
Doch genau das müsste eigentlich der Goldstandard sein: Jede wissenschaftliche Behauptung, jede Erkenntnis sollte auf den Prüfstand geschickt werden. Peer review sollte dies eigentlich gewährleisten, doch wahrscheinlich wird selbst im Idealfall dabei nur geprüft, ob die Methoden und Prozesse adäquat konzipiert und dokumentiert und die Resultate daher, nach wissenschaftlichen Kriterien, plausibel sind. Vielleicht sollte mit jedem bewilligten Forschungsprojekt die Forderung – gepaart mit der entsprechenden Kostendeckung – kombiniert sein, mindestens ein bereits publiziertes Projekt nachzustellen?
Kommentare (12)