John Ioannidis ist ein Star der epidemiologischen Medizinkritik. Sein Artikel „Why Most Published Research Findings Are False“ 2005 ist weltberühmt und gehört zu den meistzitierten Artikeln der Epidemiologie. Oder sollte man sagen, er war ein Star? Während der Coronakrise hat sein Ruf ziemlichen Schaden erlitten, weil er sich zu Corona immer wieder mit voreiligen und nicht gut begründeten Beiträgen zu Wort gemeldet hatte, die zur Frage berechtigen, are most published research findings by John Ioannidis false?

Gut, ein billiger Witz auf Kosten eines berühmten Mannes. Das Thema seiner Publikation 2005 hat er seitdem wiederholt aufgegriffen. Aktuell ist er an einem Review beteiligt, das untersucht, wie in Cochrane-Reviews die Evidenzbasierung medizinischer Behandlungen bewertet wird. Es zeig sich einmal mehr, dass es damit in vielen Fällen nicht wirklich gut aussieht. Das ist ein ernstes Problem und motiviert das ganze Anliegen der evidenzbasierten Medizin. Erfreulicherweise gibt seit Jahren dazu auch gute populärwissenschaftliche Veröffentlichungen, es sei nur an Ben Goldacres „Die Pharma-Lüge“ erinnert, an die medizinkritischen Bücher von Peter Gøtzsche oder Werner Bartens, oder die wunderbaren Kolumnen von Ulrich Dirnagl im Laborjournal.

Aufmerken lässt allerdings, mit welchen Autor/innen Ioannidis jetzt bei diesem Thema unterwegs ist: unter anderem mit Harald Walach. Auch er ist ein Star der Medizinkritik, allerdings der obskurantistischen Spielart. Er versorgt nicht nur meinen Blog seit Jahren zuverlässig mit Material. Das ist auch hier wieder der Fall.

Schon in der Überschrift seiner Kommentierung des Reviews gibt Walach dem Review eine Konnotierung, die den Tenor der Untersuchung völlig verdreht. Er titelt: „Meta-Review: Das Rückgrat der Evidence Based Medicine ist schwach“. Schwach ist aber nicht, wie diese Überschrift nahelegt, die evidenzbasierte Medizin. Im Gegenteil: Es mangelt vielfach an evidenzbasierter Medizin, sei es, weil Studien zu bestimmten Behandlungen ganz fehlen, sei es, weil sie von schlechter Qualität sind. Und auch Walachs reißerisches Fazit, nicht einmal bei 6 % aller medizinischen Interventionen hätten sie einen hohen Grad an klinischer und wissenschaftlicher Sicherheit gefunden, dass die Intervention wirksam und klinisch brauchbar ist, ist durch das Review nicht gedeckt, denn sie haben gar nicht die Gesamtheit aller Interventionen untersucht, sondern nur, was in den Cochrane Reviews war.

Dass es viel Anlass zur Kritik an der Studienlage in der Medizin gibt, dazu hat Harald Walach selbst immer wieder tatkräftig beigetragen, erst kürzlich wieder durch eine halbseidene Metaanalyse zur homöopathischen Behandlung von ADHS, die er nebenbei in seinem Kommentar einflicht, als gehöre sie qualitativ in die Kategorie eines Cochrane-Reviews. Aber darüber hat er vermutlich mit John Ioannidis nicht gesprochen.

Kommentare (19)

  1. #1 ajki
    19. Juni 2022

    GutOK, ich könnte natürlich auch einfach nachschauen… aber ich frage einfach mal, weil es irgendwie naheliegt:

    Können die Autoren (darunter Ioannidis) etwas dafür, dass Leute wie Herr Walach Kommentare einreichen? Können sie es verhindern (sollten sie es verhinderen und wenn ja, mit welchen Gründen)? Ist es ein “Open Review Process” für Kommentare oder ein “Invitation Review Process”?

    • #2 Joseph Kuhn
      19. Juni 2022

      @ ajki:

      “Können die Autoren (darunter Ioannidis) etwas dafür, dass Leute wie Herr Walach Kommentare einreichen?”

      Bitte nochmal genau lesen, was oben im Blog steht:
      1. Walach ist Coautor des Reviews, zusammen mit Ioannidis und anderen.
      2. Auf seiner Internetseite stellt Walach das Review dem geneigten Publikum vor, der Volltext des Reviews selbst ist hinter der Paywall.

  2. #3 RPGNo1
    19. Juni 2022

    Als weiterer Co-Autor für die Studie “Most healthcare interventions tested in Cochrane Reviews are not effective according to high quality evidence: a systematic review and meta-analysis” wird ein Dr. Martin Loef genannt. Dieser ist ein Mitarbeiter des CHS-Instituts von Harald Walach, bei dem er auch promoviert hat.

    Jeremy Howick wird in Wikipedia als Philosoph und Epidemiologe beschrieben, der Medizintheorie mit medizinischer Forschung verbindet.

    Über die übrigen Co-Autoren der Studie habe ich nach einer kurzen Recherche jetzt nichts Ungewöhnliches gefunden, dass auf eine pseudomedizinische oder obskurantische Verbindung hindeutet.

    Das “faule Ei” in dieser Studie scheint in der Tat das Team Harald Walach zu sein.

    • #4 Joseph Kuhn
      19. Juni 2022

      @ RPGNo1:

      Da riecht noch mehr. Stefan Schmidt war z.B. Juniorprofessor bei Walach in Frankfurt/Oder, Jos Kleijnen ist ein an sich seriöser Auftragsforscher, aber mit Sympathie für die Homöopathie, er hat auch in der Vergangenheit schon mit Walach publiziert usw. – empfehle, die Autorenliste mal mit dem Zusatz “homoepathy” oder “Walach” zu googeln, das ist ganz interessant.

  3. #5 BPR
    19. Juni 2022

    Erstautor Howik ist Direktor des neu gegründeten “Center of Empathic Health Care” an der Universität Leicester. Dessen Zweck und (nach eigener Einschätzung) Alleinstellungsmerkmal ist, Empathie im gesamten Gesundheitswesen zu befördern. Unterstützt wird die Universität durch eine gemeinnützige Stiftung (Stonygate Trust), die eine reiche Kaufmannsfamilie 2007 gegründet hat, um medizinische Forschung und die Bildung benachteiligter Kinder zu fördern.
    Koautor Jos Kleijnen ist Urgestein systematischer Reviews.

  4. #6 RPGNo1
    19. Juni 2022

    @Joseph Kuhn

    Danke für die Hinweise. Auf der Publikationsseite von Schmidt finde ich einige Artikel, die er mit Walach zu Themen veröffentlicht hat, deren Wirksamkeit wenig bewiesen ist (z.B. Taping, Feldenkrais, Osteopathie).

    Das hat schon ein Geschmäckle.

  5. #7 rolak
    19. Juni 2022

    Zur Einordnung Ioannidis´ evtl hilfreich: die Abarbeitungen Oracs

  6. #8 Udo Endruscheit
    Essen
    20. Juni 2022

    Ein leicht verzerrter Blick auf die Problematik von den Herren Ioannidis und Walach, will mir scheinen. Zuvörderst lassen sie außer Acht, dass die EbM nach ihrem eigenen Anspruch ein kontinuierlicher Prozess ist, der eine “ständige Neubewertung bisher etablierter medizinischer Verfahren” fordert. Genau dieser Aspekt zeigt die von Joseph kritisierte “Fehlallokation” der Kritik von I. und W. in deutlichem Licht. Es ist eine Binsenweisheit, dass es noch zu viel nicht Evidenzbasiertes in der Medizin gibt. Das Netzwerk EbM wird nicht müde, den GB-A immer wieder darauf hinzuweisen, dass man sich mehr um eine Bereinigung des GKV-Leistungsspektrums um Interventionen von zweifelhafter Evidenz bemühen möge.
    Dass diese Interventionen von zweifelhafter Evidenz existieren, ist ja nicht der EbM als Methode anzulasten, eher Leuten wie Walach, die sich seit Jahrzehnten für den Erhalt solcher Dinge einsetzen. Dass er nun die EbM als solche kritisiert, ist immerhin durchsichtig. Fragt sich nur, warum er dann immer wieder Anläufe nimmt, die von ihm favorisierten Themen mit den Mitteln der EbM zu belegen versucht.
    Das Ganze kommt mir vor wie die Kritik an der Tragetasche, wenn sich die Eier darin als verdorben herausstellen.
    Walach hat nur ein Ziel: die wissenschaftliche Methode und ihre Konkretisierungen wie die EbM so zu infiltrieren, dass Beliebigkeit zum wissenschaftlichen Kriterium wird. Leider bekommt er immer wieder Kredit für seine entsprechenden Versuche in der wissenschaftlichen Sphäre – q.e.d.

  7. #9 RPGNo1
    20. Juni 2022

    @Udo Endruscheit

    Walach hat nur ein Ziel: die wissenschaftliche Methode und ihre Konkretisierungen wie die EbM so zu infiltrieren, dass Beliebigkeit zum wissenschaftlichen Kriterium wird.

    Ein hartes Urteil. Aber wenn man Walachs jahrelange Aktivitäten diesbezüglich (wie Kozyrev-Spiegel, Homöopathie, schwache Quantentheorie, Corona) Revue passieren lässt, ist da etwas dran.

  8. #10 Staphylococcus rex
    20. Juni 2022

    Vielleicht wächst hier doch zusammen, was zusammen gehört. Ioannidis und Walach sind beides Koautoren, und wenn ich mich richtig erinnere, bekommt man als Koautor spätestens dann, wenn das Paper eingereicht und registriert ist, eine entsprechende Mail des Journals. Walach hat lange genug an seinem Image als intellektuelles Schmuddelkind gearbeitet und wenn beide in einer Autorenliste stehen, bedeutet dies, Ioannidis hat kein Problem damit, mit ihm in einem Atemzug genannt zu werden.

    Vielleicht gehen wir auch einfach das Phänomen Ioannidis völlig falsch an. Um sein berühmtes Paper zu schreiben, musste Ioannidis einen neuen Blickwinkel für ein bestehendes Problem finden und gegen den Strom schwimmen. Diesen neuen Blickwinkel kann man z.B. durch laterales Denken finden (i.S. der klassischen Verwendung des Begriffs „Querdenken“, und um Missverständnisse zu vermeiden würde ich es hier einfach als Querdenken vom Typ1 bezeichnen).
    https://de.wikipedia.org/wiki/Laterales_Denken

    Dieser abweichende Blickwinkel kann aber auch aufgrund persönlicher Vorlieben und Prägungen eingenommen werden und damit ein zufälliges nichtrationales Element enthalten. Das mag einmal gut funktionieren, kann aber bei einem ähnlichen Problem ohne echte intellektuelle Kontrollmechanismen auf den Holzweg führen. Auch diese Person wird gegen den Strom schwimmen. Als Beispiel fällt mir auf Anhieb Wolfgang Wodarg ein, bei der Schweinegrippe lag er mit seiner intuitiven Einschätzung richtig, während er bei Covid-19 ins intellektuelle Abseits abgeglitten ist. Auch er schwimmt gegen den Strom, auch er ist ein Querdenker, zur besseren Unterscheidung würde ich ihn als Querdenker vom Typ 2 bezeichnen.

    Die große Frage ist nun, ist Ioannidis ein Querdenker vom Typ 1 oder vom Typ 2? Sein Paper von 2005 ist genial und er ist sicher auch ein herausragender Statistiker. Ist er aber auch in der Lage, nachträglich (wenn die eigenen Präferenzen bereits feststehen) den Blickwinkel zu ändern, also die eigene Position als advocatus diavoli zu hinterfragen? Und hier habe ich große Zweifel. Mittlerweile gibt es von ihm mehrere Paper zur Mortalität bei Covid und ich tue mich schwer zu sagen, welches davon bei den Leerdenkern besonders populär war:
    https://www.ncbi.nlm.nih.gov/pmc/articles/PMC7947934/
    https://www.ncbi.nlm.nih.gov/pmc/articles/PMC7327471/
    Mein persönlicher Eindruck beim Lesen seiner Paper ist der, dass er es bei all seinen Zahlenspielen unterläßt, seine Rohdaten fachlich und methodisch zu hinterfragen, z.B. war die Mortalität von Covid-19 jahreszeitlichen Schwankungen unterworfen und die Rohdaten des Sommers 2020 sind nicht repräsentativ für das ganze Jahr. Ein echtes Hinterfragen der eigenen Arbeit sieht anders aus. Und damit steht Ioannidis doch wieder nahe bei Walach.

    • #11 Joseph Kuhn
      21. Juni 2022

      @ Staphylococcus rex:

      “wenn ich mich richtig erinnere, bekommt man als Koautor spätestens dann, wenn das Paper eingereicht und registriert ist, eine entsprechende Mail des Journals”

      Was meinen Sie damit? Welche “Mail” soll man bekommen? Falls Sie damit zum Ausdruck bringen wollen, Ioannidis wusste womöglich gar nicht, dass er mit Walach zusammen auf der Autorenliste steht: So funktionieren Publikationen bei solchen Journals nicht, siehe auch https://www.jclinepi.com/content/authorinfo.

      Nachtrag: Um keine Missverständnisse zu provozieren, sei noch einmal darauf hingewiesen, dass ich das Review von Howick et al., bei dem Ioannidis und Walach Coautoren sind, nicht kritisiert habe, sondern nur Walachs Wiedergabe dieses Reviews auf seiner Internetseite. Und wer sich für die am Ende kurz angesprochene Metaanalyse zu Homöopathie und ADHS interessiert: Dazu gibt es inzwischen einen Blogbeitrag von Edzard Ernst: https://edzardernst.com/2022/06/walachs-new-meta-analysis-of-homeopathy-revisited/

      Pharma- und Medizinkritik ist eine Brücke, die unterschiedliche Geister verbindet. Es gab auch schon gemeinsame Auftritte von Peter Gøtzsche und Harald Walach. Allerdings dürfte Gøtzsches unmissverständliche Ablehnung der Homöopathie allzuviel gemeinsamer Zukunft im Wege stehen.

  9. #12 Staphylococcus rex
    21. Juni 2022

    @JK, die Zeiten, wo ich selbst Paper eingereicht habe, sind schon eine Weile her und ich erinnere mich nicht mehr an jedes Detail des Ablaufs. Ich halte es aber für absolut ausgeschlossen, dass ein Koautor gegen seinen Willen auf ein Paper kommt, weil alle Koautoren im Rahmen des peer Reviews vom entsprechenden Journal per e-Mail informiert werden.

    Gerade bei Personen mit sehr vielen Publikationen bin ich mir nicht sicher, ob sie bei allen Publikationen einen signifikanten Anteil an der Arbeit haben oder ob sie gelegentlich auch aus Gefälligkeit als Koautor mit aufgenommen werden. Ich wollte damit nur ausdrücken, dass Ioannidis bereits während des peer reviews wissen musste, wer die anderen Koautoren sind.

    • #13 Joseph Kuhn
      21. Juni 2022

      @ Staphylococcus rex:

      “die Zeiten, wo ich selbst Paper eingereicht habe, sind schon eine Weile her”

      Scheint so. 😉

      “Ich halte es aber für absolut ausgeschlossen, dass ein Koautor gegen seinen Willen auf ein Paper kommt …”

      Dann sind wir uns da einig, es klang in Ihrem ersten Kommentar anders.

      “… weil alle Koautoren im Rahmen des peer Reviews vom entsprechenden Journal per e-Mail informiert werden.”

      Das ist erstens nicht der Fall, die Kommunikation zwischen Journal und Autoren läuft in der Regel über den korrespondierenden Autor, und zweitens wäre es wissenschaftliches Fehlverhalten, wenn Autor/innen erst nach der Einreichung davon erfahren, dass sie auf einem Artikel stehen (ihn somit nicht verantworten können), und sehr merkwürdig, wenn erst dann erfahren, wer außer ihnen noch alles auf der Autorenliste steht. Ausnahmen gibt es manchmal, wenn größere Arbeitsgruppen neben den namentlich genannten Autor/innen pauschal gelistet werden.

  10. […] Ioannidis und Harald Walach: Wenn zusammenwächst, was nicht zusammengehört, Gesundheits-Check am 19. Juni […]

  11. #15 Staphylococcus rex
    21. Juni 2022

    @JK, gerade weil Ioannidis nicht irgendein Leichtgewicht ist, verdient er eine eingehendere Prüfung, ehe er in einer Schublade mit Walach, Wodarg oder Bhakdi landet. Die Nähe zu Walach in einer Autorenliste dient ja als Begründung dafür, dass beide zumindest punktuell gemeinsame Ansichten und Werte teilen. Der korrespondierende Autor hat den vollen Überblick, wer welchen Anteil an einer Arbeit hat. Nur einmal angenommen, Ioannidis wäre für lediglich für die formelle Richtigkeit einiger statistischer Teilaussagen verantwortlich und ohne Kenntnis der übrigen Koautoren, wie würde es weiter gehen? Das letzte Mal war ich selbst als Koautor im Frühjahr 2018 auf einem Paper dabei. In dieser Zeit lief die entscheidende Kommunikation über den korrespondierenden Autor, aber selbst als „einfacher Koautor“ habe ich in dieser Zeit sechs (Serien-)Mails von der Redaktion des Journals bekommen, darunter bei den entscheidenden Meilensteinen wie Submission, endgültiger Annahme und Druck, und jedesmal war ein Link dabei, wo ich einen eingehenden Blick auf das aktuelle Stadium des Papers werfen konnte. Ich weiß nicht ob es alle Verlage so handhaben, aber gerade ein transparenter peer review Prozess ist eine gute Versicherung vor späteren bösen Überraschungen. Also völlig egal, was vor der Submission geschehen ist, spätestens während des peer reviews muss sich auch ein Koautor nicht nur nicht nur mit seinem speziellen Anteil, sondern mit dem Paper als Ganzes auseinandersetzen.

    Die Zusammenarbeit von Ioannidis und Walach ist ein interessantes Detail, schöner wäre es natürlich die ganze hier besprochene Arbeit zu lesen, um zu sehen ob Ioannidis und Walach bei ihren „Bemühungen“ um die evidenzbasierte Medizin wirklich eine wissenschaftliche Arbeitsweise pflegen. Leider ist der Artikel hinter einer Paywall. Die Zusammenfassung ist sehr kurz, und wenn dort steht, dass nur 5,6% der untersuchten Publikationen eine hohe Evidenz auf das primäre Ergebnis aufweisen, dann wäre es spannend zu wissen, was in den anderen 94,4% der untersuchten Publikationen passiert ist. Liegt es daran, dass man sehr unterschiedliche Therapien (Bestrahlung und Chemo) schlecht verblinden kann, liegt es daran, dass man aus ethischen Gründen auf eine Placebogruppe verzichten muss, liegt es daran, dass es bei seltenen Krankheiten schwierig ist, auf ausreichend große Zahlen zu kommen, liegt es daran, dass bei bestimmten Krankheiten eine wirksame Therapie noch nicht gefunden wurde und man nur die Symptome behandelt? Also wieviel Evidenz ist unter realen Bedingungen umsetzbar? Dafür braucht man mehr als nur Statistikwissen, dafür muss man sich in die Abgründe der Rohdaten begeben, und ich habe Zweifel, ob Ioannidis und Walach dafür geeignete Personen sind.

  12. #17 PDP10
    22. Juni 2022

    Ich frage mich, ob Ioannidis wirklich weiß, wer da sein Co-Autor ist …

    Walach kann sich offenbar gut verkaufen. Der war schon immer ein Unfug-Verbreiter und hat es trotzdem geschafft eine Professur an der Viadrina zu bekommen.

    Ioannidis Kritik am Medizin-Studien-Geschäft dagegen scheint bis vor einiger Zeit Hand und Fuß gehabt zu haben (ich kann das nicht wirklich beurteilen sondern muss mich auf Quellen wie dieses Blog hier verlassen).

    Walachs nicht. Aber es wäre durchaus möglich, dass er sich genau so Ioannidis gegenüber verkauft hat.

    Bevor man ein “Bäh, da klebt aber was ekliges an Ihnen” sagt, sollte man die Idee vielleicht berücksichtigen. (Was die oben genannte “Review” jetzt auch nicht besser macht. Zugegeben.)

    • #18 Joseph Kuhn
      22. Juni 2022

      @ PDP10:

      “Was die oben genannte “Review” jetzt auch nicht besser macht.”

      Wie gesagt:

      1. Das Review Howick et al. mit Ioannidis und Walach als Coautoren greift ein wichtiges Thema auf. Ob es Schwächen hat und wenn ja, welche, müsste man anhand des Volltextes (und mit der nötigen Fachkompetenz) prüfen. Man sollte es erstmal ernst nehmen.
      2. Die Metaanalyse zur Homöopathie bei ADHS von Gaertner, Teut und Walach ist dagegen wohl Studienschrott, siehe u.a. https://edzardernst.com/2022/06/walachs-new-meta-analysis-of-homeopathy-revisited/ und https://netzwerk-homoeopathie.info/adhs-und-homoeopathie-ein-neuer-review-was-ist-dran/
      3. Walachs Coautorenschaft bei Howick et al steht in kurioser zeitlicher Koinzidenz zu seiner Beteiligung an der Metaanalyse von Gaertner et al.

      “Ich frage mich, ob Ioannidis wirklich weiß, wer da sein Co-Autor ist”

      Eine Frage, über die sich erst mal nur spekulieren lässt. Mir sind keine Aussagen von Ioannidis zur Homöopathie oder zu Walach bekannt. Man könnte Ioannidis natürlich fragen, vielleicht antwortet er sogar.

  13. #19 Ulrich Berger
    Wien
    24. Juni 2022

    “Contributions: JH (guarantor) conceived of the idea (together with StS), and wrote the first draft of the protocol all authors contributed to developing the protocol. JH piloted the data extraction form and all authors made suggestions for improvement. JH, DK, TJ, CM, ML, HW, SeS, JS, NP, StS, and JPAI contributed to the data extraction. SeS developed a computerized quality check; HW and JH resolved discrepancies. JH, JPAI, CM, and DK developed a plan for and analyzed the data. JH drafted the final manuscript, with contributions from all authors.”

    Walachs Rolle war da wohl eher bescheiden…