Startseiterupture de caténaire

Zutaten zur Reproduzierbarkeitskrise (3) – Fehlende Daten?!!!

Von / 11. September 2020 / 12 Kommentare
Mehr

Vor einer Weile hat ein Editor einer wissenschaftlichen Zeitschrift beschrieben was ihn umtreibt[Miyakawa, 2020]. Er hat eine besorgniserregende Beobachtung getätigt und – ganz guter Wissenschaftler – die Probe aufs Exempel gemacht, also Daten erhoben und beschrieben:

Bei 41 zur Veröffentlichung eingereichten Artikeln war sein Editor-Impuls “This is too beautiful to be true.”. Folgerichtig hat er die Autoren um Nachreichung ihrer Daten gebeten. Das Resultat hat mich offengestanden überrascht, obwohl ich bereits immer wieder über fehlende Daten gestolpert bin (Beispiel):

Von den 41 zur Veröffentlichung eingereichten Artikeln, die Herr Miyakawa, Editor von BMC Molecular Brain, wegen fehlender Daten bemängelt hat, wurden 20 mit einigen Rohdaten neu eingereicht. Insgesamt konnte nur eine dieser 41 Einreichungen akzeptiert und veröffentlicht werden. Bemerkenswert ist, dass von den 40 im ersten Anlauf unveröffentlichten Arbeiten 14 bei anderen Zeitschriften untergebracht werden konnten – immerhin 12 dieser Artikel sind in Zeitschriften untergekommen, die verlangen, dass Rohdaten geteilt werden wenn Leser nachfragen. Miyakawa hat als Leser nachgefragt und dann haben 10 Autorengruppen gar nicht geantwortet, einmal wurde das Teilen der Daten schlicht verweigert und nur ein einziges Mal wurde ein Teil der Daten geteilt.

Vielleicht hätte mich der Artikel nicht überraschen sollen, denn Forschungsdatenmanagement oder nur die – wie auch immer realisierte – Bereitstellung von Rohdaten war nie eine Forderung auf eine meiner eigenen Einreichungen (oder Anträge). (Kann natürlich daran liegen, dass die Zeit nicht reif war, als ich experimentell tätig war.) Und so habe ich keine Vorstellung davon, wie verbreitet das Problem wirklich ist. Andererseits fehlt mir wohl wieder mal die Phantasie. Diesmal dafür, dass nur ein Feld betroffen ist …

Und insgesamt?

Der “Wissenschaftsnarr” Ulrich Dirnagl ist in seiner Kolumne im Laborjournal (zur Frage “Wird das Virus die Wissenschaft verändern?” – sehr lesenswert) zu einem uns hier betreffenden Schluss gelangt (hinterlegter Link durch mich):

… Und auch bei Open Data (OD) wird nicht alles Gold sein, was glänzt. Wie können wir sicherstellen, dass hier nicht Daten-Massengräber entstehen – nur des Labels „OD“ wegen? Die FAIRe (Findable-Usable-Interoperable-Reusable) Hinterlegung von Daten ist alles andere als ein Kinderspiel – und überfordert schon jetzt viele Forscher.

Da wage ich nicht zu widersprechen …

Schlussfolgerung:

Wie für diese Reihe vorgenommen, soll der Rant versöhnlich ausklingen – womöglich mit einem Mehrwert. Wer also als ForscherIn heutzutage einen Antrag schreibt um Mittel zum Forschen bewilligt zu bekommen, muss heute schon manches Mal einen Datenmanagementplan vorweisen können. Das ist ein Riesenfortschritt und zeigt, dass das Bewusstsein zum Problem fehlender Daten in den wissenschaftlichen Communities angekommen ist. Das reicht nicht, irgendjemand muss die Arbeit auch machen: Das Elixir-Konsortium bietet regelmäßig Kurse rund um diese Fragestellung an, in Coronazeiten auch online. Die mitlesenden BiowissenschaftlerInnen können ja mal auf das Angebot schauen. Wir in Mainz werden auch bald Kurse rund um Datenmanagement anbieten (mitlesende Leute aus RLP können hier schauen, was sich tut). Alle Anderen werden sicher bei der lokalen Universität fündig: Mittlerweile ist so gut wie keine Universität ohne ein Angebot zu gutem Datenmanagement aufgestellt, mitunter zwar “nur” über Partnerschaften, aber immerhin.

Hoffentlich fehlt nicht der Wille …

flattr this!

Stichworte: , ,
Mehr

Kommentare (12)

  1. #1 Joseph Kuhn
    12. September 2020

    Ulrich Dirnagl ist immer lesenswert. Ich hoffe, er behält noch eine Weile die Lust am „Wissenschaftsnarren“.

  2. #2 echt?
    12. September 2020

    Ich muss da immer über Veröffentlichungen aus einer anderen Fachrichtung schmunzeln. Alle durchgeführten Versuche führten zu auswertbaren Daten. Wenn ich dagegen Versuche durchführte, gingen die ersten meist in die Hose.

    • #3 Christian Meesters
      12. September 2020

      so was kann auch ein Hinweis sein, dass in einer Veröffentlichung ein kleines, aber doch entscheidendes, Detail fehlt.

  3. #4 Echt?
    12. September 2020

    Besonders bedenklich ist es, wenn dann in einer Übersichtsarbeit sicherheitsrelevante Schlüsse gezogen werden.

  4. #5 Jan Wender
    12. September 2020

    Wie wäre es mit nfdi.de? Soweit ich das verstanden habe, sollen dort die Daten zur Verfügung gestellt werden.

    • #6 Christian Meesters
      12. September 2020

      Danke für den Hinweis! Ich bleibe zunächst abwartend, denn die Webseite sagt:

      Aktuell befindet sich die NFDI im Aufbau. Bis Ende 2020 soll eine eigenständige Organisation gegründet werden, vorgesehen ist die Gründung eines Vereins.

      Unabhängig davon aber gibt es bereits heute Möglichkeiten. Der NFDI-Verein wird in meinem Verständnis als Dachorganisation “Meta-Infrastruktur” zur Verfügung stellen: Schnittstellen, Webseite, hoffentlich DOI-Vergabe, etc. – nicht aber die physische Infrastruktur. Aber ich lasse mich gerne eines Besseren belehren.

      Vieles ist heute schon möglich und sollte(!) im Sinne reproduzierbarer Forschung, aber auch ganz banal weil mehr und mehr Geldgeber dies fordern, angewendet werden, zum Archivieren oder / und Veröffentlichen. Die meisten Forschungseinrichtungen bieten auf die eine oder andere Weise bereits Möglichkeiten.

  5. #7 Beobachter
    13. September 2020

    Nachtrag:

    Aus dem Beitrag:

    ” … “Wissenschaftsnarr” Ulrich Dirnagl ist in seiner Kolumne im Laborjournal (zur Frage “Wird das Virus die Wissenschaft verändern?” … ”

    …”insgesamt” noch zu weiteren Schlüssen gelangt:

    https://www.laborjournal.de/rubric/narr/narr/n_20_05.php

    ” … Die Politik, die unter immensem Zeitdruck, mit marginaler Expertise sowie auf Basis noch recht schwacher und sich ständig wandelnder Evidenz Entscheidungen treffen muss, hat dies erkannt – und ist so wissenschaftshörig wie noch nie. Häufig betonen Wissenschaftler derzeit‚ doch „nur Wissenschaftler zu sein“ und die Politik „nur zu beraten“. De facto ist das aber nur die halbe Wahrheit, da die Politiker den Rat einzelner Wissenschaftler mehr oder weniger ad hoc und eins zu eins in Maßnahmen umsetzen, die entweder immenses Leid und Schaden verhindern – oder auch beides erzeugen könnten. Die Wissenschaft ist aus dem Elfenbeinturm herabgestiegen, und schon lastet eine schwere Verantwortung auf ihr und ein paar wenigen ihrer Vertreter.

    Wie unter einem Brennglas optisch vergrößert und durch eine Zeitmaschine komprimiert, exponiert das Virus dabei zugleich gnadenlos die Schwächen und Stärken des gegenwärtigen Wissenschaftssystems.
    … ”

    Auch in der Wissenschaft ist nicht alles Gold, was glänzt –
    und “Hörigkeit”, und schon gar eine “Wissenschaftshörigkeit”, ist in jeder Hinsicht und Beziehung fatal – besonders in den Auswirkungen.

    Man kann nur hoffen, dass es weiterhin Leute gibt, die genauer und kritisch hinsehen, Probleme benennen, Fragen stellen –
    und sie nicht die “Lust” daran verlieren …

    • #8 Christian Meesters
      13. September 2020

      Man kann nur hoffen, dass es weiterhin Leute gibt, die genauer und kritisch hinsehen, Probleme benennen, Fragen stellen –
      und sie nicht die “Lust” daran verlieren …

      Dieser Beitrag ist der Versuch genau einen Missstand im Betrieb zu benennen. Bitte beim Thema bleiben.

  6. #9 Kai
    13. September 2020

    “de facto ist das aber nur die halbe Wahrheit, da die Politiker den Rat einzelner Wissenschaftler mehr oder weniger ad hoc und eins zu eins in Maßnahmen umsetzen”

    Diese Behauptung halte ich für grob falsch. Ich hätte gerne mal einen konkreten Beleg, der zeigt, wo Politiker die Ratschläge einzelner Wissenschaftler eins zu eins umsetzen. Ohne Beleg klingt das für mich eher nach Polemik in Bild-Zeitungs-Niveau.

    Ich kann nur von meinem eigenen Forschungsfeld reden, aber da sind eigentlich alle Wissenschaftler ständig im Austausch miteinander. Es würde mich sehr wundern, wenn das in anderen Feldern wie in der Medizin anders wäre. Poltiker lassen sich in der Regel auch von Expertengremien beraten, die ebenfalls im Austausch mit der Community (ihres Forschungsfeldes) sind.

    Nur weil viele Medien dazu neigen, einen einzelnen Wissenschaftler hervorzuheben, heißt das nicht, dass andere Experten nicht ebenfalls um ihre Meinung gebeten werden. Ich glaube das hat Prinzip: Man versucht den Eindruck zu erwecken die Politik würde “wissenschaftshörig” nur auf eine einzelne Person hören, die man dann gezielt über Schmutzkampagnen in Verruf bringen kann.

    “[…] “Wissenschaftshörigkeit”, ist in jeder Hinsicht und Beziehung fatal – […] Man kann nur hoffen, dass es weiterhin Leute gibt, die genauer und kritisch hinsehen, Probleme benennen, Fragen stellen”

    Was für ein Nonsense. Was bitte ist Wissenschaftshörigkeit? Wenn man nicht der Wissenschaft folgt, wem folgt man dann? Seinem Bauchgefühl?
    Richtig ist, dass man nicht jedem Menschen mit Doktortitel gleich alles glauben soll. Das man die Aussagen anderer Menschen auch immer kritisch hinterfragen sollte. Dieses kritische Hinterfragen bedeutet in wissenschaftlichen Themen aber enweder, dass man sich selbst in die Literatur einliest, oder aber verschiedene Quellen befragt. Es bedeutet NICHT das man als Journalist versucht irgendeine Art von Ausgeglichenheit zu erzielen (“wir müssen jetzt noch einen Klimaskeptiker befragen, damit wir alle Meinungen gehört haben”), denn es geht in der Wissenschaft eben nicht um Meinungen sondern um Fakten.

  7. #10 Beobachter
    13. September 2020

    @ Kai, # 9:

    Sie zitieren mich falsch bzw. aus dem Kontext gerissen, unvollständig und somit sinnentstellend:

    “[…] “Wissenschaftshörigkeit”, ist in jeder Hinsicht und Beziehung fatal – […] Man kann nur hoffen, dass es weiterhin Leute gibt, die genauer und kritisch hinsehen, Probleme benennen, Fragen stellen”

    Geschrieben habe ich:

    “Auch in der Wissenschaft ist nicht alles Gold, was glänzt –
    und “Hörigkeit”, und schon gar eine “Wissenschaftshörigkeit”, ist in jeder Hinsicht und Beziehung fatal – besonders in den Auswirkungen.

    Man kann nur hoffen, dass es weiterhin Leute gibt, die genauer und kritisch hinsehen, Probleme benennen, Fragen stellen –
    und sie nicht die “Lust” daran verlieren … ”

    Sie befleißigen sich hier eines allseits beliebten Vorgehens, und man nennt es Cherry-Picking.

    Hörigkeit ist in jedem Falle fatal – denn sie schaltet das eigene Denkvermögen, den eigenen Verstand aus.
    Und DEM sollte man zuerst mal “folgen”.
    Und dann sollte man Fragen stellen und sich bestmöglichst informieren.

    Wenn man nur “der Wissenschaft folgt” oder dem, was sich so nennt, kann auch das fatal sein.

    Und wenn Sie tatsächlich glauben, Wissenschaft fände sozusagen völlig losgelöst und im luftleeren Raum statt –
    und im Wissenschaftsbetrieb gäbe es keine strukturellen Missstände, so sei Ihnen das unbenommen.

    • #11 Christian Meesters
      13. September 2020

      Die nächsten Beiträge bitte zum Thema, “ewige” OT-Threads gibt es nebenan.

      Und wenn Sie tatsächlich glauben, Wissenschaft fände sozusagen völlig losgelöst und im luftleeren Raum statt –
      und im Wissenschaftsbetrieb gäbe es keine strukturellen Missstände, so sei Ihnen das unbenommen.

      Auch das hat hier niemand behauptet. Geht es mal ‘ne Nummer kleiner?

  8. #12 matbeg
    14. September 2020

    Der NFDI-Verein wird in meinem Verständnis als Dachorganisation “Meta-Infrastruktur” zur Verfügung stellen: Schnittstellen, Webseite, hoffentlich DOI-Vergabe, etc. – nicht aber die physische Infrastruktur. Aber ich lasse mich gerne eines Besseren belehren.

    Vielleicht noch eine kurze Ergänzung zur NFDI: Es geht hierbei in der Tat nicht um „Blech“, sondern vorrangig um Vernetzung, Erschließung und Nachnutzung der im wissenschaftlichen Prozess entstehenden Datenbestände und das hierfür erforderliche Forschungsdatenmanagement (Metadaten, persistente Identifier, Standards,…) in den durch die NFDI-Konsortien repräsentierten Wissenschaftscommunities.

    Für alle Interessierten hier mal Links zur Übersicht der bereits bewilligten NFDI-Konsortien (https://www.nfdi.de/konsortien-2) und zu den Kandidaten für die kommenden beiden Antragsrunden (https://www.dfg.de/foerderung/programme/nfdi/absichtserklaerungen_2020/index.html).