So, nun haben “The Lancet” und “New England Journal of Medicine” (NJEM) die zwei Studien zurückgezogen, die sich auf die Surgisphere beziehen und sich mit Hydroxychloroquin bzw. Chloroquin befassten.

Was ist eigentlich passiert?

[Nur kurz, da der Skandal durch die Medien geht und dies hier kein Blog mit journalistischem Anspruch ist.]

Hydroxychloroquin, eigentlich ein Anti-Malaria-Medikament, wurde in einigen Ländern als Medikament zugelassen, nachdem eine Studie positive Effekte bei der COVID-19 gefunden haben wollte[Gautret et al., 2020]. Obwohl es methodische Kritik an der Studie gab, war das Grund genug genauer hin zu schauen und weitere Studien anzustrengen.

Bei der Firma Surgisphere handelt es sich um ein kleines Unternehmen, dass nach eigenen Angaben die Daten sehr vieler COVID-19-Patienten für zwei Studien zur Verfügung gestellt hat, die in “The Lancet” und dem NJEM erschienen sind. Diese Studien haben einigen Furor gemacht und die WHO bewogen ihrerseits Studien anzuhalten. Das ist an sich bereits eine seltsame Entscheidung oder, um es mit dem Ärzteblatt zu sagen:

Ein wesentliches Problem bei „Big-Data“-Studien ist dabei, dass es sich um retrospektive Auswertung von Krankenakten handelt, die extrem anfällig für Verzerrungen sind. Ihre Evidenz wird deshalb als gering eingestuft und ihre Ergebnisse sollten kein Grund sein, randomisierte Therapiestudien abzubrechen.

Für mitlesende Laien: Dort wo wie in den Lancet- und NJEM-Studien offenbar auf Daten zurückgegriffen wurde, die uneinheitlich erhoben und nicht standardisiert protokolliert wurden, sollte es von vornherein an Vertrauen gegenüber diesen Daten fehlen – und eine Analyse solcher Daten mit entsprechender Vorsicht geschehen. Letztendlich war entscheidend, dass Zweifel gegenüber der Zahl der Patientendaten gemeldet wurden und das Surgisphere die Daten wohl auf Anfrage nicht herausrücken wollte.

Preprint oder nicht-Preprint?

Nun, dass Ärzteblatt-Zitat bringt die Sache auf den Punkt, doch hinterher die Dinge besser zu wissen ist wohlfeil. Das Problem zur Zeit ist, dass sich die wissenschaftlichen Zeitungen dem Druck ausgesetzt sehen den Pre-Print-Plattformen ausüben. Hierbei nutzen WissenschaftlerInnen Plattformen, um ihre Ergebnisse möglichst schnell zu publizieren (womit die Information frei zugänglich in der Welt ist), was angesichts der Pandemie und des Konkurrenzdrucks aus ihrer Perspektive nur sinnvoll und geboten ist – schließlich gilt es schnellstmöglich Lösungen oder zumindest Entlastung zu finden. Die Zeitungen und Verlage reagieren, in dem sie Veröffentlichungen insb. zu COVID-19 fördern und in großen Teilen frei zugänglich machen, wo zu anderen Zeiten Artikel hinter Paywalls verschwanden. Schaut nur mal auf die Seiten von NJEM (wo es nach geradezu ins Auge sticht) oder “The Lancet“.

Bei all dem kann man nur hoffen, dass trotzdem Sorgfalt und ehrliches Streben nach neuer Erkenntnis dominieren. Ich selber habe gerade eine Arbeit gelobt, in der ich einige Schwächen in der methodischen Beschreibung sehe. Das ist noch relativ harmlos: Da wo man nicht nachprogrammieren kann, was die Kollegen beschrieben haben, ist per se keine analytische Schwäche anzukreiden. Fehler gibt es in nahezu aller Arbeit, Wissenschaft ist nicht frei davon — soweit so trivial. Eingehend ist auch, dass wo es schnell gehen muss mehr Fehler geschehen. Das können kleine Schwächen in der Beschreibung oder auch mal ein analytischer Fehler sein. Umso wichtiger, dass die Arbeiten bei abschließender Veröffentlichung an gewissenhafte Editoren gelangen, die darauf bestehen ebenso gewissenhafte Reviewer ans Werk zu setzten. Der Blick auf die Wichtigkeit sollte jetzt doch eigentlich geschärft sein …

Was bedeutet das für “die Wissenschaft”?

Vorweg: Diese Frage kann ich natürlich nicht beantworten. Ich bin Wissenschaftler, kein Prophet.

Jetzt wo die Studien vollkommen zurückgezogen wurde, aus der wissenschaftlichen Literatur vollkommen gelöscht (auch wenn das Netz sie nicht vergessen wird), weil drei der Autoren (des Lancet-Papers) nicht für die Verlässlichkeit der Primärdaten einstehen können, kann man zumindest eines sicher sagen: Angesicht der Wichtigkeit der Thematik und der Konsequenzen der Veröffentlichung, gehören diese Rückzüge zu den bedeutensten der Wissenschaftsgeschichte.

Es ist naheliegend zu fragen, wie es soweit kommen konnte. Wenn die Autoren jetzt ihren Daten nicht trauen, wie konnten diese Studien überhaupt veröffentlicht werden?

Ebenso naheliegend ist die Antwort: Peer-Review, der formale Prozess zum Sichten wissenschaftlicher Arbeit vor der Veröffentlichung, ist überhaupt nicht dazu gedacht Primärdaten zu sichten. Hierbei spielt es keine Rolle, ob diese Daten ungenau, falsch analysiert oder gefälscht sind. Zwar können die Reviewer über Ungereimtheiten stolpern und diese Ankreiden, aber ohne Kommissar Zufall haben sie wenige Chancen. Wir denken mit Peer-Review erhält eine Veröffentlichung eine Art “TüV-Siegel”, aber die Wirklichkeit ist etwas komplizierter: Im Idealfall ist der Review sorgfältig, oft langsam, und von geeigneten ExpertInnen durchgeführt, die durch Ihre Anmerkungen die Qualität einer Veröffentlichung verbessern. Im schlimmsten Fall liefert der Review-Prozess ein Feigenblatt der Autorität für die Autoren und übersieht sowohl analytische Probleme der Veröffentlichung als auch Fälschungen.

Der Normalfall liegt irgendwo dazwischen, aber das ist eigentlich egal, denn dieser Fall rückt das Verfahren ins Rampenlicht – zumindest wissenschaftsintern. Peer-Review hat einige Schwächen (ein Beispiel gibt es nebenan oder eine Kette von Beispielen gibt es hier). Das Hauptproblem, dass die Reviewer nichts erhalten, schon gar kein Geld, und nur Zeit in den Review und das Review-System stecken, die von eigenen Veröffentlichungen abgeht ist nach wie vor ungelöst. Und so gibt es nicht wenige WissenschaftlerInnen, die es ablehnen die Arbeiten der Kollegen zu kontrollieren – denn schließlich geht das von der eigenen Forschungszeit ab.

Aber darum geht es hier eigentlich nicht. Schließlich könnten genügend Freiwillige dieses Problem lösen und doch scheitern die problematischen Artikel aufzuhalten. Die Mehrheit der wissenschaftlichen Veröffentlichungen wird überhaupt nicht auf analytische Inkonsistenz kontrolliert – was auch gar nicht geht, da Zeitschriften nicht verlangen die Daten beizufügen oder einen CodeReview (bei Softwareartikeln, die ich so gerne lese) durchzuführen. So habe ich gerade eine Anfrage diesbezüglich bei BMC-Bioinformatics laufen (kurz: “Sagt mal, was tut ihr eigentlich gegen die lausige Qualität eurer Paper?”), die seit Monaten unbeantwortet ist (schließlich liegt mir die Qualität von wissenschaftlicher Software am Herzen, weil ich denke, dass sie die Qualität mancher Veröffentlichung mitbestimmt, die mit wissenschaftlicher Software arbeiten). Und wenn wer als Reviewer doch mal den Finger in die Wunde fehlender Daten oder mauen Codes legt ist die Antwort nicht selten Schweigen.

Alles im Allen wird sich das Review-Unwesen nicht schnell ändern. Wir WissenschaftlerInnen wurschteln uns also weiter durch und das ist weit unter dem Niveau, dass wir vorgeben zu haben. Und dann wird das gesellschaftliche Vertrauen auch noch unterminiert. Insbesondere gesellschaftliche Krisen rufen wissenschaftliche Arbeitsgruppen auf den Plan abseits ihrer Expertise schnell zu veröffentlichen (ich erinnere mich an einige Fälle). Oder “Experten” die von Studien reden, die man nicht finden kann. Zeitungen legen sowieso selten Quellen offen, schon gar nicht außerhalb des Wissenschaftsteils. In Zeiten wie diesen wird das Problem offenkundig: Medien wollen Statements und belastbare Aussagen. Wissenschaft wohnt das Vage inne. Das kann man durchaus so kommunizieren, dass es akzeptiert wird. Doch Anfeindungen von Wissenschaft durch Medien gibt es nicht nur in populistisch regierten Ländern. Wenn dann noch Fälschung oder grobe Fehler ins Spiel kommen, leidet das Vertrauen in die Wissenschaft insgesamt. In den angelsächsischen Ländern scheint mir der Skandal und das Gewese um Hydroxychloroquin ein weit stärkeres Gerausche im Blätterwald zu verursachen. Kein Wunder, da wo Populisten wissenschaftliche Ergebnisse interpretieren ist Wissenschaft schnell in der Defensive. Wie geht es hierzulande weiter? Grund zur Sorge gibt es allemal (oder noch viel besser hier unterstrichen). Ich hoffe sehr der Knall dieses Skandals verhallt nicht ungehört, schließlich haben die allermeisten KollegInnen in der Wissenschaft absolut lautere Absicht.

 

flattr this!

Kommentare (12)

  1. #1 roel
    7. Juni 2020

    @Christian Meesters Vielen Dank für diesen Überblick.

  2. #2 rolak
    7. Juni 2020

    Als Ergänzung: Orac sieht weniger einen Skandal, eher ein Debakel, sowohl insgesamt als bzgl seiner eigenen bisherigen Einurteilung der gewesenen Studien.

    • #3 Christian Meesters
      7. Juni 2020

      Ja, das Wort ist besser. Vielleicht wäre “Der Surgisphere-Skandal – Debakel für die Wissenschaft” sogar noch besser gewesen. Ich bin nicht darauf gekommen.

  3. #4 Beobachter
    7. Juni 2020

    Es wäre wünschenswert bzw. notwendig, wenn man in den Reihen der verantwortungsbewussten, “lauteren” und redlichen Wissenschaftler für eine öffentliche, transparente “Fehlerkultur” bzw. Auseinandersetzung mit (Fach-)Kollegen auf unseriösen, unredlichen Abwegen sorgen würde.

    Bsp.:

    Dr. rer. nat. Stefan Lanka ist Biologe und darf immer noch seinen gefährlichen Unsinn verbreiten (es gebe keine Bakterien und Viren; gewonnener “Masernprozess” !, als erklärter Impfgegner, … usw.).

    Es gibt viele Mediziner, “Dr. med.s”, die (oft) in (Privat-) Praxen mit “alternativen Heilmethoden” wie z. B. “Geistheilung” tätig sein dürfen oder gefährliche “Wundermittel” wie MMS bewerben und anwenden –
    und das unter den Augen der Ärztekammern und ohne dass ihnen ihre Approbation entzogen wird.

    – Leider gibt es immer noch eine Menge Leute/Patienten, für die ein akademischer Grad ein Garant für fachliche Kompetenz, Redlichkeit und Glaubwürdigkeit ist.
    Es ist schade, dass man nicht (mehr ?) davon ausgehen kann.

    https://www.tagesspiegel.de/wissen/alternativmedizin-bei-krebs-die-unheiler-das-geschaeft-mit-der-angst/12984544.html

    Eine bessere Wissenschaftskommunikation und mehr Transparenz im Wissenschaftsbetrieb wäre bitter nötig – gerade heutzutage und in Krisenzeiten.

    • #5 Christian Meesters
      7. Juni 2020

      Moment mal, Leute wie Lanka mögen zwar promoviert sein (ob man das seiner Alma Mater ankreiden sollte, weiß ich nicht), aber er und die erwähnten Scharlatane veröffentlichen nicht in seriösen wissenschaftlichen Zeitschriften. Insofern ist das Problem, dass er wissenschaftliche Autorität annehmen darf, nicht das Problem des Review-(Un)-Wesens oder guter oder schlechter Wissenschaft. Was er treibt hat mit Geschäftemacherei mehr zu tun als mit Wissenschaft.

      Fazit: Das Thema ist hier ein anderes – es geht nicht um Scharlatane und Geschäftemacher, sondern um Wissenschaft und einen Teil ihrer Probleme und die damit verbundene gesellschaftliche Rezeption.

  4. #6 Beobachter
    7. Juni 2020

    Nachtrag:

    Es muss schon sehr viel im Argen liegen beim Wissenschaftsbetrieb, wenn selbst sowas passieren kann – kein Witz! :

    https://www.spiegel.de/wissenschaft/mensch/quatsch-studie-forscher-narrt-fachmagazin-mit-klo-studie-a-1216792.html

    Oder dass sowas erst einem TAZ-Redakteur auffällt –
    zur Erinnerung: Köhler, Scheuer und die Stickoxid-Grenzwerte … :

    https://www.tagesspiegel.de/politik/feinstaub-belastung-lungenarzt-koehler-gesteht-rechenfehler-bei-grenzwerten-ein/23985016.html

    Ich denke, dass das auch keine einzelnen “Ausreißer” oder “Skandal-Storys” sind, sondern eher strukturelle Probleme im Wissenschaftsbetrieb beschreiben.
    Es scheint mit den dortigen “Selbstreinigungskräften” nicht so gut bestellt zu sein – woran liegt es?

    Das Schlimme daran ist m. E., dass das Wasser auf die Mühlen aller Wissenschaftsfeindlichen ist – wie z. B. auch der Klimawandelleugner.

    • #7 Christian Meesters
      7. Juni 2020

      Das eine hatten wir schon mal, das andere geht wieder um Leute, die mit ihre “wissenschaftliche Autorität” gebrauchen, um ihr eigenes Süppchen zu kochen. Bitte bleib beim Thema.

  5. #8 nouse
    7. Juni 2020

    Danke für den Artikel.

    Dazu fallen mir noch ein paar Dinge ein, die ich hier mal loswerden müsste.
    1) Zum Peer Review:
    Wenn ich eines in ~ 10 Jahren Science, zwei Postdocs und 20 Veröffentlichungen gelernt habe: Peer Review ist Glücksspiel. Exemplarisch möchte ich ein Manuskript heranführen, daß mir erst bei der dritten Einreichung angenommen wurde. Sieben verschiedene Reviewer haben das Manuskript zwischenzeitlich gesehen, und alle hatten sie an unterschiedlichen Sachen zu meckern. Mittlerweile ist das Manuskript das vermutlich beste und idiotensicherste, das ich je mitverfasst habe, aber man wird dann schon nachdenklich.
    Aber wir sehen diese Lotterie ja schon daran, daß sich oft nicht mal die Reviewer EINER Einreichung einig sind (weshalb man mehrere hat). Viele Augen sehen mehr als zwei, und gemessen an meinen Erfahrungen sollten es schon mindestens sechs Augen sein, um einigermassen sicher zu sein, daß wenige Fehler übersehen wurden. Nur, wer soll das alles noch reviewen?
    Iimmer mehr Leute sollen und wollen kumulativ promovieren sollen, was bedeutet, daß die meisten Promovierenden drei Manuskripte mindestens einreichen (sollten). Wir alle kennen das, daß dann oft Restdaten mit im Nachhinein postulierten Hypothesen zusammengemixt werden und dann bei PLOS ONE oder Peer J landen. Viele dieser Veröffentlichungen haben überhaupt keinen Mehrwert, kosten aber (meist mehrere Runden) Zeit für den Peer Review, und mittlerweile sage ich: Ein gutes Manuskript pro Doktorarbeit sollte reichen, um abschliessen zu können.
    Dann: Wer viel einreicht, sollte vllt. ein bisschen mehr Elan beim Review zeigen (oder dann nicht meckern, wenn Reviews lange dauern).
    Aber schlussendlich sollte man den Peer Review professionalisieren. Sprich Geld fliessen lassen, analog zu Patentprüfern/Anwälten. So schafft man auch Arbeitsplätze, wenn Verlage eigene Reviewer bezahlen würden (parallel zu Reviewern aus der Community). Und jede Studie mit statistischem Anteil sollte zwangsläufig durch einen professionellen, ausgebildeten Statistiker geprüft werden, damit gewisse Dinge nicht mehr vorkommen (siehe unten).

    Preprints:
    Ich sehe ein, daß wir in einer Pandemie schnelle Daten brauchen. Nicht aber sehe ich ein, daß man Preprints auf dem Markt wirft, in der Hoffnung daß die Peers einem die Arbeit abnehmen.
    Exemplarisch möchte ich die erste Version der Schulstudie der Berliner Charite nennen. In der ersten Vorabversion war die Statistik nun mal wirklich schlecht, da gibt es nichts zu diskutieren. Da muss man sich nicht wundern, wenn Kollegen auf twitter öffentlichkeitswirksam die Methodik “sehr schlecht” nennen. Was wiederum dann von der Bild aufgegriffen wurde.
    Wenn man jetzt versucht, die Vorgänge um diese Studie als normalen wissenschaftlichen Diskurs zu verkaufen: Nein. Finde ich nicht.
    Preprints sollten im wesentlichen Manuskripte sein, die man auch genauso einreichen würde. Im bestmöglichen Zustand. “War ja nur’n Preprint” sollte nicht das neue “Was interessiert mich mein Geschwätz von gestern?” werden.

    Womit wir wieder bei professionellen Reviewern wären. Express Review mit einem garantierten Turnover von 1 Woche wäre so vielleicht sogar machbar. Denn was nutzen schnelle Daten, wenn sie den peer review nicht überstehen würden? Da wäre dann ein Status wie “Provisionally accepted” als eine Art wirklicher Pre-Print deutlich hilfreicher.

  6. #9 rolak
    7. Juni 2020

    nicht darauf gekommen

    Nee, in die Richtung war es nicht gemeint. Solch Geschehnisse haben viele Aspekte, die kaum unter einem Namen adäquat zusammengefasst werden können. Es wurden ja auch bereits ‘Affaire’, ‘Debatte’ und ‘Kontroverse’ beim Aufdecken grundlegender Schwächen bemüht.

    • #10 Christian Meesters
      7. Juni 2020

      Jau, deswegen kann dennoch der eine oder andere Begriff pointierter sein. Ich finde es zur Einordnung wichtig darüber nachzudenken, werde aber deshalb nicht den Titel (und die URL) ändern.

  7. #11 Horst
    Lübeck
    7. Juni 2020

    Ich muss jetzt doch mal den Deutschlehrer raushängen lassen:

    “Standard” mit “t” zu schreiben ist schon ein sehr peinlicher Fehler.
    Aber “standartisiert” tut wirklich in den Augen weh!. 😭

    • #12 Christian Meesters
      7. Juni 2020

      Merci. Ich hab’ nichts gegen Germanisten.