Die Gastautorinnen Lydia Müller und Maria Staudte haben sich, im Rahmen von CLARIN-D, unter anderem mit der Transparenz wissenschaftlichen Arbeitens und inbesondere mit der Kommunikation und Reproduktion von Ergebnissen beschäftigt. Es wurde schnell festgestellt, dass aussagekräftige Studien und deren Ergebnisse einen guten Platz in wissenschaftlichen Journalen finden, jedoch Nullresultate, nicht so spektakuläre Ergebnisse oder gar fehlgeschlagene Experimente oft nicht kommuniziert werden. Das macht wissenschaftliche Arbeit intransparent. In diesem Gastbeitrag stellen sie die Idee vor, eine Plattform zu entwickeln und öffentlich anzubieten, um solche Ergebnisse schnell und einfach anderen Wissenschaftlern zur Verfügung zu stellen.

Publikationsdruck und Publication Bias

Der hohe Publikationsdruck im heutigen Wissenschaftsbetrieb führt zum Einen dazu, dass der wissenschaftliche Austausch NUR noch über Publikationen stattfindet, da sie die Währung darstellen, mit der man sich etablieren, positionieren, oder sein Standing festigen kann. Zum Anderen führt der Publikationsdruck zu einer Flut von Papieren, so dass (zu recht) Rufe nach mehr Qualität als Quantität laut werden. Das Peer-review-System stößt an seine Grenzen, denn es kommt kaum hinterher, die große Menge an häufig höchstens durchschnittlichen Papieren seiner Qualitätskontrolle zu unterziehen.

Die teilweise fatalen Auswirkungen der Überforderung des Peer-review-Systems werden immer wieder sichtbar. Sie werden öffentlich und medial diskutiert und schädigen so den Ruf der Wissenschaft. Ein aktuelles Beispiel sind Studien zur Eignung von Malariamedikamenten bei Behandlung von COVID-19. Ergebnis der Studie war, dass es sich nicht eignet und eventuell zu höheren Todesraten und Herzrhythmustörungen führt. Die Publikationen durchliefen das Peer-review und wurden publiziert. Erst nach der Veröffentlichung stellte sich heraus, dass die Daten fehlerhaft oder sogar gefälscht sind. Die Publikation wurde zurückgezogen. Mit anderen Worten, das Peer-Review-System hat versagt. Und dies ist nur der neueste Fall. Dieses Problem ist nicht nur auf Artikel aus der Domaine Medizin, Biologie oder Psychologie beschränkt, sondern ist in jeder Disziplin zu finden, so auch in den Geistes- und Sozialwissenschaften – überhaupt überall, wo Daten erhoben und gesammelt und genutzt werden. Der Fall des Mart Bax zeigt, dass z.B. auch in der Anthropologie bzw. in den Geschichtswissenschaften gefälschte Ergebnisse veröffentlicht werden können. [1]

Eine Lösung könnte darin liegen, nicht jedes Ergebnis publizieren zu müssen — stattdessen nur die wirklich interessanten, überraschenden oder neuartigen Studienreihen als Papier zu veröffentlichen — und die kleineren, manchmal auch nicht so klar zu deutenden Ergebnisse auf anderen Wegen mit den Kollegen zu teilen. Dass man sie teilen sollte, liegt auf der Hand: Auch aus nicht publikationsfähigen Studien kann meist etwas über den Untersuchungsgegenstand oder über die angewandte Methode gelernt werden, was aber vornehmlich für jene relevant ist, die sich konkret mit sehr ähnlichen Themen auseinandersetzen.

Wie also könnte man Ergebnisse, die nicht unbedingt in einer Publikation untergebracht werden müssen/können, mit seinen Kollegen teilen? Aber bitte möglichst einfach, denn Zeit ist ohnehin nie genug vorhanden, und möglichst breit?! Eine mögliche Lösung bietet die Plattform „Null-Results“.[2]

Die Plattform

„Null-Results“ bietet genau die gewünschte Funktionalität. Studien, die keine revolutionären Ergebnisse, aber dennoch nützliche Erfahrungswerte liefern, die können dort über eine Eingabemaske beschrieben und online gestellt werden. Umgedreht kann man natürlich auch über eine Kategorien- oder Stichwortsuche nach Studien zum eigenen Thema oder zur eigenen Methode suchen, während man ein Projekt plant.

Die Plattform ist damit anders als alle bisherigen wissenschaftlichen Medien. Sie soll dem informellen, einfachen Austausch von Informationen dienen und bei Interesse unter Kollegen weitere Nachfragen ermutigen. Das bedeutet, dass der qualitätssichernde, aber aufwendige Peer-Review-Prozess, ja sogar das Manuskriptschreiben, entfällt. Dafür kann man mit einem Beitrag aber auch NICHT die eigene Publikations- oder Zitationsliste verlängern. Die gelisteten Studien wären nicht ohne Weiteres zitierfähig und dienten lediglich dem informellen Austausch.

Um diesen informellen Austausch zu ermöglichen, bietet die Plattform die Möglichkeit, Einträge zu kommentieren und so zu diskutieren. Wenn man so will, kann dies auch als Umkehrung des bis-herigen Vorgehens betrachtet werden: anstatt erst ein Peer-review durchzuführen und im Anschluss zu veröffentlichen, wird erst veröffentlicht und dann ein Peer-review durchgeführt. Anders als beim traditionellen Peer-review können an diesem Prozess vor allem genau die teilnehmen, die ein konkretes Interesse an der Studie haben und sich mit dem Thema bereits beschäftigt haben. Keiner muss, aber jeder kann. Als Konsequenz der Umkehrung von Publikation und Peer-review, sollen und können Einträge aktualisiert, erweitert oder gelöscht werden. Eine angeregte Diskussi-on und viele Änderungen sind in gewisser Weise dann sogar ein Indikator für Relevanz und Qualität eines Eintrags. Es obliegt also wiederum dem Nutzer, auch Einträge kritisch zu betrachten und die Qualität zu bewerten, anstatt blind auf das Peer-Review-System und den guten Ruf des Journals zu vertrauen, in dem der Artikel veröffentlicht wurde.

Vergleiche mit anderen Ansätzen

Die Idee Nullresultate zu veröffentlichen ist nicht neu. Es gibt zum Beispiel Zeitschriften wie Negative Results oder JASNH, die explizit nur Nullresultate veröffentlichen. [3,4] Auch „normale“ Zeitschriften veröffentlichen Nullresultate. Jedoch wird erwartet, dass man einen kompletten Artikel schreibt und dieser muss, wie jeder andere Artikel in solchen Zeitschriften, durch den Peer-Review-Prozess. Das kostet Zeit und ist aufwendig, bei geringen Erfolgsaussichten. Oft entscheiden Forscher dann, dass sich der Aufwand vermutlich nicht lohnt, so dass diese Ergebnisse in der Schublade landen.

Nullresultate können auch auf Preprint Servern wie preprints.org veröffentlicht werden. Auch hier muss wieder ein Artikel geschrieben werden und es ist erwünscht, dass Rückmeldungen in Form von Kommentaren oder eingeladenen Reviews auch in eine neue Version des Artikels einfließen. Hier stellt sich also ebenfalls die Frage, ob der Aufwand gerechtfertigt sein wird.

Dagegen ist es unerwünscht, Artikel wieder zu löschen. Aber vielleicht möchte man sein Resultat auch zurückziehen können, beispielsweise nach neuen relevanten Ergebnissen oder gerechtfertigter Kritik. Zudem ist die Intention solcher Preprint Server, dass die Artikel zusätzlich in anderen Zeitschriften veröffentlicht werden. Wenn dies jedoch gar nicht geplant ist, missbraucht man sozusagen diesen Service.

Auch F1000 bietet die Möglichkeit wissenschaftliche Ergebnisse aller Art zu teilen.[5] Artikel durchlaufen einen Peer-Review-Prozess nach der Veröffentlichung und haben eine feste vorgegebene Struktur. Zudem muss eine Publikationsgebühr gezahlt werden, die sich nach der Länge des Artikels richtet. Nicht für alle Ergebnisse lohnen sich Aufwand und Kosten. Neben Artikeln können aber auch Dokumente veröffentlicht werden. Es gibt keinen Peer-Review-Prozess und auch keine Anforderungen an die Struktur und Art dieser Dokumente.

Warum also noch eine andere Plattform? Viele Ergebnisse bleiben unveröffentlicht, weil es sich eben nicht lohnt, einen ganzen Artikel zu schreiben. Dennoch sind sie wertvoll und sollten geteilt werden, allerdings nicht komplett unstrukturiert. Das Null-Results-Portal bietet die Möglichkeit Nullresultate oder schwer interpretierbare Ergebnisse zu veröffentlichen und mit zusätzlichen Dokumenten zu versehen. Ähnlich zu einem Abstrakt müssen für jedes Resultat die zugrunde liegende Hypothese, eine kurze Beschreibung und die wichtigsten Ergebnisse formuliert werden. Dies bietet zwei Vorteile: zum einen ermöglicht dies eine deutlich effizientere Suche, da gezielt zum Beispiel Hypothesen gesucht werden können; zum anderen ist man gezwungen die Essenz der Studie herauszustellen. Dies erleichtert es anderen Wissenschaftlern, zu verstehen, was das Ergebnis reflektiert und inwiefern es für das eigene Vorgehen relevant ist.

Ob das Konzept der Plattform funktionieren kann ist offen. Der Publikationsdruck ist hoch, die Zeit immer knapp, und die Neigung unter Forschern, sich keine Blöße geben zu wollen, leider auch. Noch gibt es keine zitierfähigen Marker wie den DOI. Kuratiert wird die Plattform derzeit durch die Universität Leipzig und weitere Änderungen und Verbesserungen sind denkbar. Vor allem aber braucht es nun eine Menge interessanter und guter Einträge, bevor ein direkter Nutzen für andere zu erkennen wäre. Mit anderen Worten, es braucht SIE und ihre nicht so spektakulären oder schwer zu interpretierbaren Ergebnisse, damit es funktionieren kann. Wenn Sie beitragen möchten, können Sie dies sehr gern hier tun: null-result.uni-leipzig.de.

Lydia Müller ist promovierte Informatikerin und arbeitet als PostDoc in der Automatischen Sprachverarbeitung der Universität Leipzig. Sie hat Freude an der Zusammenarbeit mit Wissenschaftlern anderer Disziplinen und an der Umsetzung von Softwarelösungen für wissenschaftliche Probleme. Transparenz in der Wissenschaft und gute wissenschaftliche Praxis sind ihr sehr wichtig.

Maria Staudte ist Psycholinguistin und leitet eine Nachwuchsgruppe an der Universität des Saarlandes. Sie erforscht das Zusammenspiel von visuellen und sprachlichen Informationen beim Menschen, aber auch in der Mensch-Maschine-Interaktion. Dabei engagiert sie sich auch für den Schutz von Probandendaten, Reproduzierbarkeit und Transparenz.

Quellen:

[1] https://www.fr.de/kultur/toten-nicht-11589844.html

[2] www.null-result.uni-leipzig.de

[3] https://www.negative-results.org/

[4] https://www.jasnh.com/

[5] https://f1000research.com/

flattr this!

Kommentare (11)

  1. #1 Kinseher Richard
    7. Juli 2020

    Das Null Result Portal ist gut gemeint – aber in der Praxis gibt es zur Weitergabe wissenschaftlich relevanter Informationen ein größeres Problem:
    Einen Mangel an Menschen mit wissenschaftlicher Qualität bzw. Qualitätsbewusstsein!

    Meine konkreten Erfahrung:
    Ich habe seit über einem Jahrzehnt ein komplettes Erklärungsmodell für das Phänomen ´Nahtod-Erfahrung´(NTE) entwickelt und veröffentlicht: Bei einer NTE kann man bewusst erleben, wie das Gehirn einen einzelnen Reiz systematisch und strukturiert verarbeitet. Dabei werden z.B. Erlebnisse ab dem 5. Schwangerschaftsmonat LEBENSLANG UNVERÄNDERT beim Erinnern der bewussten Wahrnehmung zugänglich (in der erkennbar gleichen Reihenfolge wie sich die Sinne entwickeln: Korrelation = 1).

    Ich habe schon über 2000 ´Wissenschaftler´ (Profs. Drs.) darauf hingewiesen – bisher ohne eine einzige vernünftige Reaktion: z.B. Rückfrage, Diskussion von Details. Kurz gesagt – ich habe keine einzige Person finden können, welche ernsthaft zu wissenschaftlichem Denken fähig/bereit wäre.

    Dabei wäre das NTE-Erklärungsmodell von wissenschaftlich von sehr großer Bedeutung – ein paar Beispiele
    – erstmal liegt ein komplettes Erklärungsmodell für NTEs vor (bisher gab es keines) – DENKEN lässt sich als Ergebnis einer einfachen Mustervergleichsaktivität mit 3 Regeln beschreiben
    – Es lässt sich zeigen, dass Erlebnisse ab dem 5. Schwangerschaftsmonat LEBENSLANG UNVERÄNDERT dem bewussten Erinnern zugänglich sind. Dies bedeutet, dass die für diese Gedächtnisinhalte notwendigen Strukturen LEBENSLANG UNVERÄNDERT sein müssen (damit wäre z.B. eine Fragestellung des PIVOTAL-Projekts von Prof. Dr Shing /Frankfurt beantwortbar / Cordis Europa Project ID 758898)
    – Weil Erlebnisse ab dem 5. Schwangerschaftsmonat dem bewussten Erinnern zugänglich sind – bedeutet dies auch, dass die gesamte Literatur zu den Themen ´infantile Amnesie, episodisches Gedächtnis´ umgeschrieben werden muss (bisher geht man davon aus, dass Erlebnisse vor dem 2.-4. Lebensjahr dem bewussten Erinnern nicht zugänglich sind) – weil die Lehrmeinung ´infantile Amnesie´ fragwürdig/falsch sein MUSS

    Per Google-suche [Kinseher NDERF denken_nte] finden Sie eine frei lesbare PDF in einfacher Sprache. Mein e-/Buch ´Kinseher Richard: Pfusch, Betrug, Nahtod-Erfahrung´ ist im Handel erhältlich.

  2. #2 Kinseher Richard
    7. Juli 2020

    @ Dr Lydia Müller

    eines Ihrer Arbeitsgebiete ´Bioinformatics´ beschäftigt sich mit Daten-Analsyen-Methoden.
    Darum mein Hinweis:
    Im Buch von Dr. Moody ´Life after Life / Leben nach dem Tod´ wird seit 1975 beschrieben, dass die sogenannte ´Nahtod-Erfahrung´ (NTE) verschiedener Menschen gemeinsame Inhalte, Muster, Strukturen aufweist.
    Dieses Buch ist zwar eindeutig der Esoterik-Literatur zuzuordnen – aber die darin gut beschriebenen Muster/Strukturen von NTEs sind ein sehr geignetes Rohmaterial für wissenschaftliche Struktur-Analysen.
    Bisher gabe es keine Wissenschaftler (m,w,d) welche sich die Mühe gemacht hätten, diese Strukturen per Datenanalyse zu untersuchen/erklären – ein Totalversagen der Wissenschaft seit 45 Jahren!

    Ich bin der weltweit erste/einzige Mensch, welcher sich diese Mühe gemacht hat – und siehe da: NTEs lassen sich relativ einfach komplett erklären.
    Es gibt mittlerweile Datenbanken mit Tausenden von NTEs – deren Inhalte/Strukturen einer systematischen Analyse zugänglich wären.
    Das Problem ist nur, dass es offensichtlich keine geeigneten Wissenschaftler gibt – seit 45 Jahren – welche zu einer sytematischen Datenanalyse fähig wären.

  3. #3 Christian Meesters
    7. Juli 2020

    Sehr interessant.

    Allerdings ein paar Anmerkungen / Fragen:

    – die korrekte URL ist: https://null-result.uni-leipzig.de/ (nicht null-results…. – wie mir meine Suchmaschine verrät)
    – warum ist nur von “Studien” die Rede? Was ist mit Befunden anderer Art? Beispielsweise biochemischen Methoden, die nicht funktionieren (was ich als aktiver Forscher vielleicht andere wissen lassen möchte)?
    – Leider kann man ohne Registrierung keine Beispiele für die möglichen Eingaben sehen. Ich habe gerade in anderem Kontext gelernt, dass eine Beschreibung der Anforderungen sehr sinnvoll ist. Die gibt es top-level – allerdings ist nicht klar, was ein verpflichtendes Feld ist und welches nicht. Insb. “Hypothesis” ist ein Feld, dass nicht für jede Art von Forschung überhaupt existiert.
    – Hypothesen sind außerdem sehr schwer als Suchterm zu beschreiben. Wie funktioniert die Suche? Volltext Matches?
    – Wie ist es um die Angebotsdauer für diese Plattform bestellt? Wenn es eine Zusage der Dauerfinanzierung gibt (für eine DB auf einer größerwerdenden VM möglicherweise leicht zu erhalten), wäre es u. U. ein großer Anreiz für Forschende die Plattform zu nutzen. Oder anders herum: Warum soll sich jemand die Mühe machen und Ergebnisse einstellen, wenn das Ding in drei Jahren nicht mehr existiert?
    – gibt es Bestrebungen DOIs vergeben zu können? Die Formulierung im Text legt dies nahe.

    Besten Gruß,
    Christian Meesters

  4. #4 Lercherl
    7. Juli 2020

    @Kinseher Richard

    Das Problem ist nur, dass es offensichtlich keine geeigneten Wissenschaftler gibt – seit 45 Jahren – welche zu einer sytematischen Datenanalyse fähig wären.

    Aber manchmal gibt es schon recht brauchbare Analysen, zum Beispiel von David Dunning und Justin Kruger.

  5. #5 Omnivor
    Am 'Nordpol' von NRW
    7. Juli 2020

    Ich habe mich mental schon während der Promotion beim Wissenschaftsbetrieb gekündigt, deshalb bin ich ein unbeteiligter Zuschauer mit einer vielleicht naiven Idee.
    Ich frage mich bei den ganzen Diskussionen über das Veröffentlichungssystem, sind die großen Verlage und Journale nicht wie Dampflok, Atomenergie und.., und.. ein Fall für das Museum?
    Wäre es nicht Sache der EU eine Infrastruktur zu schaffen, auf der Wissenschaftler veröffentlichen können/müssen. Das System muss natürlich geschlossen sein. (Schreibenden) Zugang haben nur von Universitäten etc. angemeldete Teilnehmer.
    Die Teilnehmer bewerten die hochgeladenen Beiträge. Für ihr eigenes Gebiet können sie mehr Punkte vergeben, als für ein fremdes. (Ein evolutionsbiologischer Artikel z.B kann von einem Wirtschaftswissenschaftler nicht abgewertet werden.)
    Je mehr Punkte Veröffentlichungen haben, desto mehr Punkte/Gewicht haben die Bewertungen seines Autors.
    Für den Fall, dass ein Bewerter später als Betrüger entlarvt wird, werden seine Bewertungen deaktiviert.
    In allen Veröffentlichungen, die zurückgezogene Artikel zitieren, ist ein Hinweis zu sehen.
    …..
    Die Politik finanziert das öffentliche System, die “Wissenschaft” verwaltet es.

    Für mich wären Steuergelder in so einem System besser angelegt, als in Plänen zur Besiedlung des Mondes oder des Mars.

  6. #6 Jürgen Schönstein
    7. Juli 2020

    @Christian Meesters

    – die korrekte URL ist: https://null-result.uni-leipzig.de/ (nicht null-results…. – wie mir meine Suchmaschine verrät)

    Danke! Habe die Links im Text entsprechend korrigiert.

  7. #7 Kinseher Richard
    8. Juli 2020

    @Lercherl
    Es gibt den Qualitätsstandard ´Gute wissenschaftliche Praxis´. Danach müssen Wissenschaftler aktiv werden, wenn man von wissenschaftlichem Fehlverhalten erfährt.

    Wenn z.B. die Lehrmeinung ´infantile Amnesie´ besagt, dass wir uns nicht an unsere frühesten Erlebnisse erinnern können – und bei NTEs aber Erfahrungen ab dem 5. Schwangerschaftsmonat erinnert werden: dann muss diese Lehrmeinung fragwürdig/falsch sein.

  8. #8 user unknown
    https://demystifikation.wordpress.com/
    8. Juli 2020

    In diesem Zusammenhang vielleicht interessant: The Problem With Peer Review – Eric Weinstein , ein 6:17 langer Ausschnitt aus einer längeren, spannenden Wissenschaftsepisode, die unter dem Video verlinkt ist.

  9. #9 Maria Staudte
    8. Juli 2020

    @ChristianMeesters:

    Vielen Dank für die konstruktiven Anregungen und Fragen! Zur Suche kann Frau Müller vielleicht noch etwas schreiben. Was die Beständigkeit und die DOIs angeht, haben Sie völlig recht. Idealerweise wird die Plattform als Teil einer neuen Nationalen Forschungsdateninfrastruktur (NFDI) dauerhaft gepflegt werden können. Die Vergabe von DOIs ist angedacht, wird aber auch davon abhängen, ob die NFDI gefördert wird und/oder wie groß das Interesse an der Plattform ist.

  10. #10 Frank Wappler
    https://free.wikipedia.now
    8. Juli 2020

    Christian Meesters schrieb (#3, 7. Juli 2020):
    > […] https://null-result.uni-leipzig.de […]
    > warum ist nur von “Studien” die Rede? Was ist mit Befunden anderer Art? Beispielsweise biochemischen Methoden, die nicht funktionieren (was ich als aktiver Forscher vielleicht andere wissen lassen möchte

    Zur öffentlichen Mitteilung und Review von Forschungsprojekten, auch wenn sie noch nicht die Reife abgeschlossener Studien erreicht hätten, gab’s ja mal Wikipedia.
    Und bestimmt auch bald wieder.

  11. #11 Christian Meesters
    8. Juli 2020

    @Maria Staudte
    Im Sinne einer DB, die Negative- oder NULL-Resultate erfasst, ist auch die Erfassung von DOIs denkbar. Motto: “Jetzt habe ich schon ‘normal’ publiziert und erhöhe meine Sichtbarkeit durch Einspeisung in eine öffentliche DB” – nur eine Idee.

    Aber ja, Etablierung von DOIs in Abhängigkeit der Förderung, die abhängt vom Zuspruch führt direkt zu einem Henne-Ei-Problem. Ich drücke die Daumen!