Das ist, um die Antwort vorwegzunehmen, eine rhetorische Frage, denn selbstverständlich ist es ein Ergebnis, wenn ein bestimmter Test, ein bestimmtes Experiment zu keinem (was in aller Regel heißt: keinem signifikanten) Resultat führt. Es ist eines der häufigsten Probleme, dem ich bei meinen Studentinnen und Studenten begegne: Sie sind frustriert, weil das Laborexperiment, an dem sie ein Semester (das heißt, ein paar Wochen) lang gearbeitet haben, nicht das Ergebnis liefert, auf das sie gehofft haben. Oder schlimmer noch: kein signifikanter Effekt mit ihrer Versuchsanordnung messbar war. Und dann versuche ich ihnen zu erklären, dass auch das Nicht-Ergebnis ein wertvoller Beitrag zur Forschung sein kann – zum Beispiel, weil sie bei guter Dokumentation dazu beitragen können, dass andere Forscher ihre Zeit nicht mit der gleichen Versuchsidee verschwenden. Oder den Fehler in der Anordnung entdecken können und den Versuch entsprechend verbessern. Oder weil es tatsächlich keinen messbaren Effekt gibt. In jedem Fall wissen wir alle nach diesem Experiment mehr als vorher. Vorausgesetzt, sie schreiben den Bericht …

Und daran scheint es tatsächlich zu mangeln: Ein Team von Stanford-WissenschaftlerInnen prüfte mal nach, wie häufig so genannte “Null-Ergebnisse” publiziert werden. Sie analysierten 221 Studien, die im Rahmen des NSF-Programms TESS (Time-sharing Experiments in the Social Sciences) erstellt worden waren – und fanden heraus, dass mehr als zwei Drittel drei Viertel, genauer gesagt 79 Prozent, solcher Null-Studien  in der Schublade verschwinden. Im Gegensatz dazu werden mehr als 61 Prozent der Studien mit starken Resultaten publiziert. (Den Artikel dazu gibt es hier im Magazin Science, ein – soweit ich es beurteilen kann – frei verfügbarer Artikel über diese Studie ist hier zu lesen)

Das überrascht zwar nicht – wer will schon lesen, dass Wissenschaftler etwas nicht herausgefunden haben? Und dem wissenschaftlichen Ruhm ist das sicher auch nicht zuträglich, oder? Nicht unbedingt: Wenn Arno Penzias und sein Kollege Robert Wilson ihre vergeblichen Versuche, ein Störgeräusch in ihrem (damals) neuen Radioteleskop zu beseitigen, für sich behalten hätten, wäre die Entdeckung der kosmischen Hintergrundstrahlung, die wiederum als einer der Nachweise des Urknalls gilt, erst mal ausgeblieben. Doch so schrieben sie drüber, und die beiden erhielten dafür 1978 den Nobelpreis in Physik.

Nachtrag:
In ihrem letzten Absatz machen die AutorInnen auch Vorschläge, wie dieses Problem der “unterschlagenen” Null-Studien zumindest verringert werden könnte – durch mehr OpenAccess-Seiten, beispielsweise, oder durch eine Datenbank, in denen zumindest die wesentlichen methodischen Merkmale und Resultate eingetragen sind:

Few null findings ever make it to the review process. Hence, proposed solutions such as two-stage review (the first stage for the design and the second for the results), pre-analysis plans (41), and requirements to pre-register studies (16) should be complemented by incentives to not bury insignificant results in file drawers. Creating high-status publication outlets for these studies could provide such incentives. The movement toward open-access journals may provide space for such articles. Further, the pre-analysis plans and registries themselves will increase researcher access to null results. Alternatively, funding agencies could impose costs on investigators who do not write up the results of funded studies. Finally, resources should be deployed for replications of published studies if they are unrepresentative of conducted studies and more likely to report large effects.

flattr this!

Kommentare (15)

  1. #1 rolak
    29. August 2014

    mehr als zwei Drittel, genauer gesagt 79 Prozent

    ööhm – mehr als ¾? Fast 4/5?

    Ansonsten eine wesentliche (indirekte) Forderung. Selbst wenn es ‘nur’ dazu dient, zu verbreiten, was schon wie untersucht wurde, wo evtl noch interessante Möglichkeiten stecken.

  2. #2 Jürgen Schönstein
    29. August 2014

    @rolak
    öööh – ein “senior moment” meinerseits. Sieht’s jetzt besser aus? (siehe oben)

  3. #3 rolak
    29. August 2014

    senior moment

    Nett, wieder einen neuen Ausdruck (bewußt) kennengelernt, war mir bisher eher in der Langform geläufig.

    besser?

    Ach es war doch vorher auch schon gut – jetzt könntest Du zusätzlich sagen, daß Deine Texte nur extrem lokal steigerungsfähig seien 😉

  4. #4 A_Steroid
    29. August 2014

    ich finde es ja toll, motiviert zu werden wenn ich “nichts” finde.. aber ich bin beruflich im DV-Support tätig und muss Fehler finden… Oft genug ist das nur per “Debugging” möglich (Software Zeile für Zeile analysieren). Wenn du dann zum x-ten Mal zwar den Fehler reproduzieren kannst, aber die blöde Stelle im Coding nicht findest…. Also ich kann die Leute extrem gut verstehen (bzw. deren Frust)… und das kannst du mit Geld auch nicht kompensieren *lol*

  5. #5 jochen
    29. August 2014

    Ich kann zwar Nachvollziehen, warum es wenige Studien mit nicht signifikanten Ergebnissen publiziert werden, aber ich kann es nicht verstehen.

    Als ich noch Student war, hat sich mein Betreuer beklagt, dass es bei im am Arbeitsplatz nur um die Menge und nicht um die Qualität der Veröffentlichungen geht. Ja aber wenn das so ist, warum nicht einfach alles raushauen, was man hat. Also auch nicht signifikante Ergebnisse?

    Wenn also Quantität zählt, warum wird dann nicht alles veröffentlicht?

  6. #6 Frank Wappler
    http://gar.kein.Stich--ist.auch.Schneider
    29. August 2014

    Jürgen Schönstein schrieb (August 29, 2014):
    > […] dass auch das Nicht-Ergebnis ein wertvoller Beitrag zur Forschung sein kann – zum Beispiel, weil sie bei guter Dokumentation dazu beitragen können, dass andere Forscher […]

    (1.)
    > den Fehler in der Anordnung entdecken können und den Versuch entsprechend verbessern.

    Ein triftiger Grund.

    (2.)
    > Oder weil es tatsächlich keinen messbaren Effekt gibt.

    Auch das wäre entweder von vornherein aus den Definition der Versuchsanordnung und des fraglichen Effektes zu schließen;
    oder ansonsten Versuch für Versuch als echter, eigentlicher Befund aus entsprechenden gültigen Versuchen zu erhalten (so wenig spektakulär dieser Ergebniswert jeweils auch erscheinen mag).

    (3.)
    > Oder […] ihre Zeit nicht mit der gleichen Versuchsidee verschwenden.

    Es sei denn, natürlich, man verschwendet seine Zeit auf die gleiche Versuchsidee dahingehend, sich mit der Beantwortung von (1.) bzw. (2.) zu beschäftigen; d.h. sofern diese beiden Möglichkeiten noch nicht (im Rahmen der “guten Dokumentation“) hinreichend ausgeschlossen wären.

    p.s.
    > Wenn Arno Penzias und sein Kollege Robert Wilson ihre vergeblichen Versuche, ein Störgeräusch in ihrem (damals) neuen Radioteleskop zu beseitigen, für sich behalten hätten, wäre die Entdeckung der kosmischen Hintergrundstrahlung, die wiederum als einer der Nachweise des Urknalls gilt, erst mal ausgeblieben. Doch so schrieben sie drüber [ http://articles.adsabs.harvard.edu/cgi-bin/nph-iarticle_query?1965ApJ…142..419P&data_type=PDF_HIGH&whole_paper=YES&type=PRINTER&filetype=.pdf ], und die beiden erhielten dafür 1978 den Nobelpreis in Physik.

    Es war aber nicht damit getan, dass Penzias und Wilson ihren Befund (der Vergeblichkeit ihrer Bemühungen) hinreichend sorgfältig aufschrieben. Es musste sich (damals!) (aber heute nicht mehr?) außerdem jemand finden, der das entsprechende Schreiben auf Papier druckte/vervielfältigte und verteilte.

  7. #7 CM
    29. August 2014

    Grundsätzlich stimme ich (natürlich?) den Aussagen des Artikels zu, doch ist

    In jedem Fall wissen wir alle nach diesem Experiment mehr als vorher.

    das eine Prämisse, die so einfach nicht stimmt. Es hängt ein wenig von der Diziplin ab, doch da schon Laborexperimente angesprochen werden: Oft genug ist es einfach so, dass Dinge “nicht funktionieren”. Ähnlich wie im Beispiel aus der Softwareentwicklung (#4) kann aber nicht immer (eigentlich eher selten) eine Ursache dingfest gemacht werden.

    Zu einer wissenschaftlichen Aussage, einem richtigen negativen Resultat gehört eben mehr als nur etwas “Nichtsignifkanz”. Wenn eine schwache Studie ein (hoch-)signifikantes Ergebnis anzeigt und man mit einer Kontrollstudie, das nicht reproduzieren kann, ist es womöglich ein Erkentnisgewinn. Aber wenn jemand nicht die Pipette schwingen kann (wegen schlechter Orga, mangelndem Hintergrundwissen, etc.) keine Ergebnisse erhählt, sind das nicht unbedingt Moleküle/Materialien/Menschen, die sich nicht an die ihnen unterstellten (Natur-)Gesetzmässigkeiten halten (was eine Publikation mehr als rechtfertigt), sondern hat eben schlicht eine triviale Ursache.

    In Anbetracht der oft miesen “Studien”, die Schlagzeilen machen, frage ich mich auch, ob es nicht manches Mal ein Segen ist, wenn andere Studien das Licht der Welt nicht erblicken – andererseits stimmt es natürlich, dass zweifelhaften publizierten Ergebnissen, durch besser erhaltene Null-Ergebnisse Kontra geboten werden solte.

    Unterm Strich gilt: Der Einzelfall sollte gewichtet werden – und rechtfertigt die Zahl nicht publizierter Arbeiten Unterdrückung neg. (aber valider) *Ergebnisse* anzunehmen?

  8. #8 schlappohr
    1. September 2014

    Die Frage ist natürlich auch, wie groß die Chance ist , eine Veröffentlichung über ein gescheitertes Experiment landen zu können. Wenn ich eine Hypothese entwickelt habe, die experimentelle Bestätigung aber fehlschlägt, und in der Conclusion des Papers dann steht “es hat nicht geklappt”, werden die meisten Reviewer wohl etwas die Augenbrauen hochziehen. Es muss dann eigentlich eine Analyse über die Gründe des Scheiterns folgen: Ist die Hypothese falsch? (Paradebeispiel Michelson-Morley) Ist der Setup ungeeignet? Gab es Einflussfaktoren, die nicht berücksichtigt wurden und den erwarteten Effekt einfach platt gemacht haben?

  9. #9 Frank Wappler
    http://dick.schädel
    1. September 2014

    schlappohr schrieb (#8, 1. September 2014):
    > […] Gründe des Scheiterns […]

    Falls ich eine bestimmte (wissenschaftliche, also nachvollziehbare und im Prinzip experimentell

    prüfbare) Hypothese entwickelt hätte, und falls (mir) ein bestimmter Versuch ihrer Überprüfung

    fehlschlüge, falls aus diesem bestimmten Versuch also weder den Ergebniswert “Meine Hypothese

    betreffs dieses Versuchs war richtig.” noch den Ergebniswert “Meine Hypothese betreffs dieses

    Versuchs war falsch.” zu ermitteln war,
    dann würde ich meinen Peers die betreffende Hypothese trotzdem mitteilen (wollen), und (ggf. auf

    Nachfrage) zugeben, dass (mir, bisher) kein gültiger Versuch der Überprüfung geglückt sei.

    D.h.: Gründe des (letztendlichen) Erfolgs zu geben; nämlich des Gelingens der Prüfung einer

    weiteren bestimmten nachvollziehbaren Hypothese.

    > […] Ist die Hypothese falsch? (Paradebeispiel Michelson-Morley)

    Welche konkrete, nachvollziehbare, prüfbare Hypothese soll sich denn dabei als falsch herausgestellt haben ??
    (Dass Bohrlöcher in einem bestimmten Quartzblock, in einem bestimmten Versuch, nicht auch dann einigermaßen zueinander chrono-geometrisch starr blieben, falls sie sich dabei “umeinander” drehten ? …)

  10. #10 schlappohr
    1. September 2014

    @Frank Wappler

    “[……………] dann würde ich meinen Peers die betreffende Hypothese trotzdem mitteilen”

    Das solltest Du in jedem Fall tun, denn ohne die Beschreibung der zu überprüfenden Hypothese wird dem Leser eines evtl. veröffentlichten Papers der Sinn Deines Experiments schwerlich klarzumachen sein.

    “(Dass Bohrlöcher in einem bestimmten Quartzblock, in einem bestimmten Versuch, nicht auch dann einigermaßen zueinander chrono-geometrisch starr blieben, falls sie sich dabei “umeinander” drehten ? …)”

    Nein. Dass die Bewegung der Erde durch den Äther einen Einfluss auf die Lichtgeschwindigkeit hat.

  11. #11 Frank Wappler
    http://Der.Begriff.existiert.für.den.Physiker.erst.dann--wenn.die.Möglichkeit.gegeben.ist--im.konkreten.Falle.herauszufinden--ob.der.Begriff.zutrifft.oder.nicht.
    2. September 2014

    schlappohr schrieb (#10, 1. September 2014):
    > [… die betreffende Hypothese trotzdem mitteilen] in jedem Fall tun

    Eben. Das würde den eventuellen Reviewern/Kommentatoren erlauben, ggf. die rhetorischen Augenbrauen schon bei Inspektion der betreffenden Hypothese an sich hochzuziehen; und nicht erst (vgl. #8) bei der Erwähnung eventueller anschließender experimenteller Fehlschläge.

    > […] Einfluss auf die Lichtgeschwindigkeit hat.

    <insert-rhetoric-frown-here> —
    Definiere “Geschwindigkeit” als Messgröße!,
    Definiere “Lichtgeschwindigkeit” als Messgröße!.

  12. #12 Ketzer
    7. September 2014

    Wissenschaftliche Veröffentlichungen sind ein Kommunikationsmittel, kein Wahrheitsprotokoll. Damit sie als Kommunikationsmittel funktionieren, müssen sie das Signal (=die interssanten Nachrichten) übermitteln, das Rauschen (=Störungen) hingegen möglichst gut unterdrücken.

    Übungsaufgabe: Wie würde sich die Kommunikation hier in den Kommentaren verändern, wenn wir jede Diskussion um alle möglichen nicht signifikanten Kommentare bereichern, um ein vollständiges Bild der Kommentarlage zu geben?

  13. #13 Frank Wappler
    http://getroffne.Hunde--üben
    8. September 2014

    Ketzer schrieb (7. September 2014):
    > Kommunikationsmittel […] müssen […] das Signal (=die interssanten Nachrichten) übermitteln, das Rauschen (=Störungen) hingegen möglichst gut unterdrücken.

    Was gilt als robuster: das Interesse, oder das jeweils vorgefundene Mittel der Übermittlung?

    > Übungsaufgabe: Wie würde sich die Kommunikation hier in den Kommentaren verändern, wenn wir jede Diskussion um alle möglichen nicht signifikanten Kommentare bereichern, um ein vollständiges Bild der Kommentarlage zu geben?

    Eventuelle “(vermeintlich) nicht signifikante” Kommentare erhielten dann offenbar Signifikanz zumindest als Bestandteile der “Kommentarlage“.
    (Vgl. “Ist Insignifikanz signifikant?”.)

    Übungsaufgabe: Wie würde sich die Kommunikation hier in den SciLogs verändern, wenn wir allen möglichen Kommentatoren wahlweise einen eigenen SciLogs-Blog zur wissenschaftlichen Veröffentlichung bzw. Wahrheits-Protokollierung gäben?

  14. #14 Frank Wappler
    http://p.s.
    8. September 2014

    Frank Wappler schrieb (#13, 8. September 2014):
    > […] hier in den Sci[…]

    ScienceBlogs!
    (Bitte erneut um Entschuldigung, und ggf. um Korrektur; etc. pp.)

  15. #15 Bullet
    16. September 2014

    Wappler hat den Ketzer nicht verstanden.