Elisabeth Bik, Arturo Casadevall und Ferric Fang haben vor vier Jahren schon ein virtuelles Screening vieler Veröffentlichungen im Bereich biomedizinischer Forschung unternommen[Bik et al., 2016]. Über 20.000 Veröffentlichungen wurden in Augenschein genommen und daraufhin untersucht ob es in den Artikeln duplizierte Abbildungen oder Teile von Abbildungen gab. Gesucht wurde nur nach dem Begriff “Western blot”, aber wenn mikroskopische Fotografien in Artikeln enthalten waren, wurden diese ebenfalls analysiert.
Hierbei ist den Autoren bewusst gewesen, dass die Gründe für fehlerhafte Veröffentlichungen sehr vielfältig sein können[Casadevall et al., 2014]. Doch Duplikationen von Abbildungen innerhalb wissenschaftlicher Veröffentlichungen sind selten unschuldigen Fehler: Es können Fehler sein, wie wir sie alle machen. Nicht unwahrscheinlich ist allerdings Absicht: Absicht zu fälschen oder die Absicht “aufzuhübschen” (und resultierender unabsichtlicher Irreführung) ist nicht immer eindeutig zu bestimmen und beides ist nicht akzeptabel – oft aber kommt nicht umhin eine Absicht zur Verfälschung (in den Augen der AutorInnen vielleicht “Verbesserung” der Evidenz?) zu sehen. [update:] Denn es handelt sich häufig um die Duplikation von Positivbefunden oder das Verstärken von Kontrollen – und damit ist zweifelhaft, ob die Schlussfolgerung der jeweiligen Veröffentlichung valide ist.[/update] Bei Zweifeln sei der Blick in die Veröffentlichung von Bik et al. empfohlen oder der Blick auf den Bikschen Twitteraccount (s.u.). In jedem Fall erlaubt uns die Arbeit eine Abschätzung der Häufigkeit solchen Verhaltens – oder wenn wir mangelnde Reproduzierbarkeit als “Krankheit der Wissenschaft” betrachten, können wir natürlich auch von Prävalenz sprechen.
Prozentualer Anteil der Veröffentlichungen mit unangebrachten Abbildungsduplikationen nach Jahr der Veröffentlichung. Es wurden keine Duplikationen im Jahr 1995 gefunden. Der dunkle Balken zeigt die Daten für alle 40 untersuchten Journale. Der helle Balken zeigt eine Untergruppe von 16 Journalen.
Nun kann man aus dieser ersten Abbildung nur bedingt ablesen, dass es sich um ein zunehmendes Problem handelt: Die Zahl der gescreenten Veröffentlichungen war am Anfang der gezeigten Jahre gering und nahm zum Ende hin zu. Andererseits sind hier die Anteile gezeigt, also ist durchaus eine Zunahme zu verzeichnen, was in der Veröffentlichung auch so vermerkt ist. Um die Frage nach Zu- und Abnahmen im Verlauf der Zeit zu erfassen wären retrospektive Erfassungen schön und Wiederholung dieser Studie mit neueren Daten.
Wichtig ist auch zu wissen was als “unangemessen” betrachtet wird. Beispielsweise nicht, dass für einen Blot eine gestückelte Darstellung verwendet wird und die Referenz zweimal gezeigt wird – ob so etwas sinnvoll oder gar ästhetisch ist, ist eine andere Frage.
Aber immerhin haben wir jetzt eine grobe Einschätzung für die Häufigkeit des Verhaltens insgesamt. Kommen wir zu der Frage nach den Journalen und ihrer “Anfälligkeit”:
Korrelation zwischen Journal Impact Faktoren und Anteilen von Veröffentlichungen mit problematischer Abbildungsduplikation. Nur Veröffentlichungen von 2005 bis 2014 (n = 17,816) wurden berücksichtigt. Jeder Datenpunkt repräsentiert ein Journal dieser Studie (n = 40), wobei die Datenpunkte nach Verlag/Organisation eingefärbt sind. Die x-Achse is logarithmisch, weil der Anteil von Journals mit hohem Impact Faktor klein ist. Die blaue Linie soll eine lineare Regression zeigen, der graue Hintergrund das 95% Konfidenzintervall.
Na ja, ob hier irgendeine Regression überhaupt angezeigt ist, finde ich zweitrangig. Jedenfalls scheinen alle Journale ein wenig betroffen und einige Journale mit niedrigem Impact Faktor zeigen sich besonders anfällig gegenüber duplizierten Abbildungen. Ein Verlag schien Betrüger geradezu anzuziehen.
Interessant ist auch woher die meisten derartigen Manipulationen stammen:
Anteil der Veröffentlichungen mit Abbildungsduplikation mit Ursprungsland der AutorInnen. Die Landeszuweisungen zu bestimmten Ländern ist ausschließlich für PLoS One während einer 16-monatigen Phase zwischen 2013 und 2014 (n = 8,138) gezeigt gegen den Anteil derselben PLoS One Artikel mit unangemesser Abbildungsduplikation aus der Gesamtmenge dieser Artikel. Jeder Datenpunkt repräsentiert ein Land mit mindestens 100 erfassen Veröffentlichungen. Einige Veröffentlichungen konnten mehr als einem Land zugewiesen werden. Die blaue Linie zeigt wo die Datenpunkte verteilt wären, wenn die problematischen Paper gemäß ihrem Anteil im Journal verteilt wären. Länder oberhalb der blauen Linie weisen einen erhöhten Anteil problematischer Veröffentlichungen auf.
Um es klar zu benennen: Wenn hierzulande nur 2-3% derartig manipuliert erscheinen ist das zweifach kein Grund zur Zufriedenheit:
- geht es hier um PLOS ONE, wo – s. o. – gar nicht so viele problematische Veröffentlichungen erscheinen und
- wäre es wünschenswert die Zahl wäre 0.
Und überhaupt ist dies ein deutschsprachiger Blog und da darf ich schreiben, dass der monetäre chinesische Anreiz (und anderswo) von irgendwie zu publizierenden Arbeiten lächerlich war und viel Schaden angerichtet hat. Es hat zu lange gedauert, bis dieser Irrweg überwunden wurde – oder vielleicht auch nicht. Zurück zur Sache:
Ich kannte die Arbeit von Frau Bik schon länger und habe sie zwischenzeitlich vergessen. Aufmerksam wurde ich in den letzten Tagen durch diesen eher traurigen twitter-Thread:
Several people asked me what the worst journals are to respond to image duplication or other concerns and/or to retract.
Here are a couple from my list:
(thread)— Elisabeth 'Epistemic Activist' Bik (@MicrobiomDigest) January 3, 2021
Sie beschreibt dort wie bestimmte Journale mit einschlägigen Beschwerden umgehen. (Die vorherrschende Reaktion? Ignoranz!) Zumindest die hochrangigen Journale reagieren, seeehr langsam zwar, aber sie reagieren. Ich finde solchen grass-root-Aktivismus gegen die schwelenden Probleme der Reproduzierbarkeitskrise gegen auch nur einen ihrer Auswüchse super.
Das Problem bekämpfen könnte man in der Tat am besten über die Journals: Wenn diese rote Fahnen an die entsprechenden Veröffentlichungen heften (“Wir schauen uns dieses Paper an, weil möglicherweise Fehlverhalten vorliegt.”) und dann zeitnah reagieren würden (Zurückziehen der Veröffentlichung oder Zwang zur Korrektur), wäre das abschreckend gegenüber den WissenschaftlerInnen, die derart manipulierte Artikel einreichen.
Journals, die solch ein Verhalten der publizierenden WissenschaftlerInnen tolerieren gehören an den Pranger – das könnte Wirkung zeigen, gibt es doch auch automatische Checker, die derartige (Teil-)Duplikationen erkennen und für Reviewer auszeichenen können. Und Journals, die weniger aufmerksam sind, würden zum Gespött der Community. Könnte ein Selbstläufer werden. Wie so oft, braucht es dafür Impulse. Wenn ihr diesen Beitrag lest und selber biomedizinisch forscht könnt ihr ja mal darauf achten bei Einreichung.
Sonst bleibt nur Biks traurige Bilanz:
Of the 1095 papers I reported >5y ago, only 138 have been retracted, 16 have an Expression of Concern, and 295 have been corrected. No action for 682 papers = (62%).
Ihre Arbeit führt sie fort (Achtung bei den Zahlen geht es um andere Paper und Zeiträume als im oben zitierten Artikel):
Since I started working on science integrity in 2013, the 4,500 or so problematic papers I’ve found have led to 347 retractions. More than half — exactly 200 — of these happened this year. This shows how patient you need to be in this work, and demonstrates that journals have been slow to respond.
Ein Lichtblick zum Schluss: Einige Journals haben reagiert durch ein Screening der Abbildungen vor Publikation (Journal of Cell Biology, EBMO Journal und andere). Betrüger haben es nicht mehr ganz so leicht – umso mehr würde ich eine Wiederholung der Studie wünschen, um die Entwicklung über die Zeit verfolgt zu wissen: Wir würden den Effekt solcher Maßnahmen kennen und könnten die schwarzen Schafe unter den Verlagen besser ausgrenzen aus Publikationslisten.
++++++++++
Der Orginalartikel aus dem die Abbildungen stammen wurde unter der Creative Commons International Lizenz 4.0 (CC BY 4.0) veröffentlicht.
Kommentare (3)