Das ist, um die Antwort vorwegzunehmen, eine rhetorische Frage, denn selbstverständlich ist es ein Ergebnis, wenn ein bestimmter Test, ein bestimmtes Experiment zu keinem (was in aller Regel heißt: keinem signifikanten) Resultat führt. Es ist eines der häufigsten Probleme, dem ich bei meinen Studentinnen und Studenten begegne: Sie sind frustriert, weil das Laborexperiment, an dem sie ein Semester (das heißt, ein paar Wochen) lang gearbeitet haben, nicht das Ergebnis liefert, auf das sie gehofft haben. Oder schlimmer noch: kein signifikanter Effekt mit ihrer Versuchsanordnung messbar war. Und dann versuche ich ihnen zu erklären, dass auch das Nicht-Ergebnis ein wertvoller Beitrag zur Forschung sein kann – zum Beispiel, weil sie bei guter Dokumentation dazu beitragen können, dass andere Forscher ihre Zeit nicht mit der gleichen Versuchsidee verschwenden. Oder den Fehler in der Anordnung entdecken können und den Versuch entsprechend verbessern. Oder weil es tatsächlich keinen messbaren Effekt gibt. In jedem Fall wissen wir alle nach diesem Experiment mehr als vorher. Vorausgesetzt, sie schreiben den Bericht …
Und daran scheint es tatsächlich zu mangeln: Ein Team von Stanford-WissenschaftlerInnen prüfte mal nach, wie häufig so genannte “Null-Ergebnisse” publiziert werden. Sie analysierten 221 Studien, die im Rahmen des NSF-Programms TESS (Time-sharing Experiments in the Social Sciences) erstellt worden waren – und fanden heraus, dass mehr als zwei Drittel drei Viertel, genauer gesagt 79 Prozent, solcher Null-Studien in der Schublade verschwinden. Im Gegensatz dazu werden mehr als 61 Prozent der Studien mit starken Resultaten publiziert. (Den Artikel dazu gibt es hier im Magazin Science, ein – soweit ich es beurteilen kann – frei verfügbarer Artikel über diese Studie ist hier zu lesen)
Das überrascht zwar nicht – wer will schon lesen, dass Wissenschaftler etwas nicht herausgefunden haben? Und dem wissenschaftlichen Ruhm ist das sicher auch nicht zuträglich, oder? Nicht unbedingt: Wenn Arno Penzias und sein Kollege Robert Wilson ihre vergeblichen Versuche, ein Störgeräusch in ihrem (damals) neuen Radioteleskop zu beseitigen, für sich behalten hätten, wäre die Entdeckung der kosmischen Hintergrundstrahlung, die wiederum als einer der Nachweise des Urknalls gilt, erst mal ausgeblieben. Doch so schrieben sie drüber, und die beiden erhielten dafür 1978 den Nobelpreis in Physik.
Nachtrag:
In ihrem letzten Absatz machen die AutorInnen auch Vorschläge, wie dieses Problem der “unterschlagenen” Null-Studien zumindest verringert werden könnte – durch mehr OpenAccess-Seiten, beispielsweise, oder durch eine Datenbank, in denen zumindest die wesentlichen methodischen Merkmale und Resultate eingetragen sind:
Few null findings ever make it to the review process. Hence, proposed solutions such as two-stage review (the first stage for the design and the second for the results), pre-analysis plans (41), and requirements to pre-register studies (16) should be complemented by incentives to not bury insignificant results in file drawers. Creating high-status publication outlets for these studies could provide such incentives. The movement toward open-access journals may provide space for such articles. Further, the pre-analysis plans and registries themselves will increase researcher access to null results. Alternatively, funding agencies could impose costs on investigators who do not write up the results of funded studies. Finally, resources should be deployed for replications of published studies if they are unrepresentative of conducted studies and more likely to report large effects.
Kommentare (15)