Seit Claus Fritzsche seinen Homöopathie-gesponserten Blog CAM Media.Watch im August 2011 gestartet hat, war mir dieser ein steter Quell der Belustigung. Zwar ist der nur mühsam verschleierte und spätestens seit dem einschlägigen SZ-Bericht über die “schmutzigen Methoden der sanften Medizin” hinlänglich und inzwischen international bekannte Kernzweck des Blogs, nämlich die öffentliche Schmähung von Forschern und Journalisten, die es gewagt hatten, kritisch zur Homöopathie zu publizieren, kein Anlass zur Heiterkeit. Doch zwischen all den Diffamierungen von Prof. Edzard Ernst sowie diversen SZ-, ZEIT-, Handelsblatt- und Spiegel-Journalisten fanden sich immer wieder wahre Perlen Fritzsche’scher Komik.
Das begann schon mit der pompösen Ankündigung, dies sei ein Blog für CAM-Forscher und Medizinjournalisten und nur jene dürften dort auch kommentieren. Nachdem die Gemeinde der CAM-Forscher und Medizinjournalisten über einen Zeitraum von fünf Monaten die imposante Summe von 0 (in Worten: null) Kommentaren hinterlassen hatte, lockerte man die Anforderungen an den beruflichen Hintergrund der Kommentatoren und öffnete die Kommentarspalten für die restliche Welt – mit dem durchschlagenden Erfolg, dass sich im gesamten Jahr 2012 unter den 43 Artikeln sage und schreibe 5 Kommentare ansammelten.
Großartiges Kino bot auch der CAM-Ticker Nr. 1 vom Oktober 2011. Unter den brandaktuellen News, die dieser Newsticker lieferte, war auch jene über eine von Jan Pilgenröder verfasste Studie über “soziologische Hintergründe der Skeptiker-Bewegung”. Diese über Fritzsches Newsticker gejagte “Studie” erschien übrigens, wie man bei Fritzsche nicht erfährt, im Jahr 2004. Herr Pilgenröder, der aus seiner Abneigung gegen alles Skeptische kein Hehl macht, musste sie im Eigenverlag seines Vereins veröffentlichen. Leider ist sie bei Amazon nicht mehr erhältlich. Wahrhaftig brandaktuelle News! Jan Pilgenröder hat übrigens inzwischen umgesattelt und ist jetzt Heilpraktiker…
Aber ich schweife ab, kommen wir also zu Harald Walach! Der Professor für CAM-Forschungsmethodik an der Universität Viadrina (“Hogwarts an der Oder”) und Träger des Goldenen Bretts 2012 ist Mitglied des “wissenschaftlichen Beirats” von CAM Media.Watch und hat dort auch eine Handvoll Beiträge verfasst. Ich habe diese Beiträge seinerzeit nur überflogen und sie erst kürzlich genauer studiert. Anlass war, dass Herr Walach Anfang Februar in Fritzsches Blog einen Kommentar beantwortete, den eine Homöopathin dort etwa ein Jahr zuvor hinterlassen hatte. (Gut Ding braucht Weile!) Das veranlasste mich, den darüberstehenden Beitrag von Herrn Walach genauer zu lesen.
Im Grunde ging es in diesem Beitrag darum, dem Journalisten Markus C. Schulte von Drach ordentlich die Leviten zu lesen, hatte dieser es doch gewagt, in der SZ kritisch über die Homöopathie und deren Missbrauch von Studien zu berichten. Insbesondere hatte Schulte von Drach auch die von Lüdtke und Rutten durchgeführte Reanalyse der bekannten Homöopathie-Metaanalyse von Shang erwähnt. Allerdings offenbar nicht zur Zufriedenheit von Walach, der sich selbst als intimer Kenner der Materie outet:
Ich […] kenne daher viele Details, die Markus C. Schulte von Drach nicht bewusst sind und für die er sich – so mein persönlicher Eindruck – möglicherweise auch nicht interessiert.
Zur Erinnerung: Shang hatte von den 110 gefundenen Homöopathie-Studien zuerst die methodisch schwachen eliminiert, woraufhin 21 Studien übrig blieben. Aus diesen hatte Shang dann die verlässlichen, weil “großen” Studien herausgefiltert, von denen es nur 8 Stück gab. Diese 8 großen und hochqualitativen Homöopathiestudien ergaben in der Metaanalyse einen Effekt, der sich nicht statistisch signifikant von jenem des Placebos unterschied. Seither ist vielen Homöopathen regelrecht zum Heulen zumute. Aber, so Walach, dass es gerade 8 große Studien sind, ist ganz entscheidend.
Nun muss man wissen: Die Autoren der Meta-Analysen haben eine ganz gravierende Entscheidung getroffen, nämlich die, nur die ersten 8 aller Studien einzuschließen, die es in der Literatur gibt
Eine “gravierende Unterlassung”, so Walach weiter, sei
die Tatsache, dass die Autoren ihre Entscheidungsprozesse nicht transparent gemacht haben, nicht gesagt haben, welche Studien sie warum ausgewählt haben und warum sie z.B. 8 und nicht 6 oder 5 oder alle 21 Studien hoher Qualität genommen haben, um ihre Analyse durchzuführen.
Äußerst mysteriös, oder? Was steckt hinter dieser Geheimniskrämerei? Lüdtke und Rutten, so Walach, hätten in ihrer Reanalyse herausgefunden, dass die magische Zahl von 8 Studien genau jene Zahl sei, die Shang gerade noch ein negatives Resultat lieferte! Denn
Höchst verdächtig! Lüdtke und Rutten haben Shang also quasi mit dem rauchenden Colt in der Hand erwischt – nur eine einzige Studie mehr, und die Metaanalyse wäre für die Homöopathie positiv ausgegangen!
Diese Botschaft zu verkünden, hält Walach offenbar für wichtig. Er wiederholt sie in seinem “Grußwort zum Abschied” an Lüdtke anlässlich dessen Ausscheidens aus der Carstens-Stiftung, wo er über Lüdtkes Reanalyse schreibt:
Diese ergibt, dass dann, wenn man mehr Studien in die Analyse einschließt, als dies Shang und Kollegen getan haben, eine signifikante Überlegenheit von Homöopathie gegenüber Placebo festzustellen ist. Damit zeigte sich, dass die viel beschworene angeblich nachgewiesene Unwirksamkeit von Homöopathie, auf die sich Kritiker gerne stützen, alles andere als nachgewiesen und klar ist.
Und auch in Walachs Klage über angebliche “Journalistische Piraterie” darf der Hinweis auf die von arglistigen Journalisten bewusst unterdrückte Wahrheit nicht fehlen, die Lüdtke und Ruttens Reanalyse ans Tageslicht befördert habe:
Die neue Analyse zeigte: wenn man nicht, wie die Autoren der originalen Analyse, beschliesst, nur acht von allen Studien aufzunehmen, sondern, was man genauso gut tun kann, 9, 10, 11, 12 oder mehr – denn kein kosmisches Gesetz sagt, dass man nur die acht besten von 200 Studien in eine Meta-Analyse einschliessen soll – , dann sieht man erstaunlicher Weise: bei 9, bei 10, bei 11 und mehr Studien zeigt sich Homöopathie Placebo überlegen. Interessant, oder?
So bedeutend ist dieses Resultat, dass Walach es – in leicht gekürzter Form – auch auf seiner eigenen Webseite nocheinmal wiederholt, diesmal fett gedruckt:
Die neue Analyse zeigte: wenn man nicht, wie die Autoren der originalen Analyse, beschliesst, nur acht von allen Studien aufzunehmen, sondern, was man genauso gut tun kann, 9, 10, 11, 12 oder mehr – dann sieht man erstaunlicher Weise: bei 9, bei 10, bei 11 und mehr Studien zeigt sich Homöopathie Placebo überlegen.
Interessant, oder?
Interessant, gewiss – wenn es denn wahr wäre. Leider aber ist Walachs Frohbotschaft nichts als ein frommes Märchen.
Überprüfen wir doch einfach einmal Walachs Behauptung. Dazu nehmen wir die Reanalyse von Lüdtke und Rutten zur Hand, die im Netz im Volltext verfügbar ist. Dann blättern wir zur Seite 3, wo wir rechts unten die Abbildung 2 finden. Diese zeigt die Odds-Ratios (ORs) der Metaanalyse in Abhängigkeit von der Anzahl der eingeschlossenen hochqualitativen Studien, die von der größten bis zur kleinsten geordnet sind. Die senkrechten Striche geben das Konfidenzintervall an, und nur wenn dieses Konfidenzintervall zur Gänze unterhalb der waagrechten Linie (OR = 1) liegt, hat man ein für die Homöopathie positives Resultat. Ist das der Fall für Walachs “9, 10, 11, 12” eingeschlossene Studien? Um Herrn Walach die Suche zu erleichtern, habe ich die Konfidenzintervalle dieser vier Varianten rot markiert:
Sieht nicht so aus als wären diese Konfidenzintervalle unterhalb der OR = 1 Linie, oder? Doch vielleicht ist ja nur die Abbildung zu ungenau, vertrauen wir lieber auf das gedruckte Wort! Dieses findet sich in der Arbeit direkt oberhalb der Abbildung 2 und lautet:
As can be taken from Fig. 2, the OR slightly increased, and the respective confidence intervals broadened if fewer trials were included. The highest OR (1.02) was found for only 2 included studies (corresponding to a threshold of N=400), followed by 5 (OR=0.91, threshold at N=162) and 8 included trials (OR=0.88, threshold at N=98). If 14 or more trials were included (threshold at N=69), the OR was always significant (with one exception at 17 trials and a threshold at N=50).
Im Klartext: Um ein für die Homöopathie positives Ergebnis zu erreichen, müsste man mindestens 14 Studien in die Metaanalyse einschließen. Nicht 9, wie Walach zu behaupten beliebt, auch nicht 10, und nicht 11 oder 12, sondern 14. Das heißt, zu den 8 großen Studien müsste man mindestens 6 kleinere Studien dazumischen, bevor das OR wegen des small study bias signifikant wird.
Herr Walach hätte aber die Reanalyse, von der er so gerne spricht, nicht unbedingt ganz genau lesen müssen. Es hätte genügt, wenn er vor vier Jahren in meinen Blog geschaut hätte, wo ich all das bereits erklärt habe. Gewiss, es ist Herrn Walach nicht zuzumuten, dass er in einem Skeptikerblog stöbert. Aber vielleicht hätte er das Interview mit Herrn Lüdtke lesen können, das in seinem eigenen Beitrag verlinkt wurde. Dann wäre er vielleicht über folgendes Lüdtke-Zitat gestolpert:
Wählt man nicht, wie Shang und Egger dies getan haben, die acht größten Studien sondern die 14 größten Studien aus, so bekommt man ein statistisch signifikantes Ergebnis zugunsten der Homöopathie.
Das hätte Walach womöglich sein kurioses Hoppala erspart. Und auch seine peinliche Verschwörungstheorie hätte er dann rechtzeitig begraben können. Denn aus seiner Zahlenverwirrung um die mysteriöse 8 heraus stimmt Walach unter der Überschrift “Ergebnisformende Studienselektion” ein düsteres Geraune an:
Warum also 8? Für diese Frage gibt es keine Antwort, denn die Entscheidung wurde nie begründet. Ich kann höchstens eine Vermutung aussprechen: Die 8. Studie […] hat 98 Teilnehmer gehabt. Wenn die Autoren der Meta-Analyse nur große Studien hätten nehmen wollen, hätten sie wohl eher 100, statt 98 zum Cut-off Punkt gemacht oder? Oder sonst vielleicht 60? Dann hätten sie mehr Studien in die Analyse nehmen müssen.
Es ist offensichtlich, dass hier an Shang und Egger implizit der Vorwurf der Parameterselektion gemacht wird. Sie hätten willkürlich eine Teilnehmerzahl von 98 zum Cut-off Punkt gemacht, damit – so wird suggeriert – sie genau jene großen 8 Studien in die Analyse einschließen konnten, die gerade noch ein negatives Ergebnis erzeugen.
Wir wissen zwar inzwischen, dass dies Humbug ist, aber das klärt noch nicht die Frage nach der mysteriösen Zahl 8. Warum also gerade 8? Nun, auch dies hätte Walach herausfinden können, wenn er genau nachgelesen hätte – diesmal allerdings die Shang-Metaanalyse selbst. Dort findet sich nämlich auf S. 728 der folgende lapidare Satz:
Shang et al hatten also unmissverständlich festgelegt, dass Studien mit einem Standardfehler (SE) im untersten Quartil als “groß” definiert werden. Daran ist nichts ungewöhnlich, und das waren eben genau 8 Studien. (Dass der Standardfehler die Streuung berücksichtigt und daher ein besseres Maß für die “Größe” einer Studie ist als die bloße Teilnehmerzahl, wird ein Professor für CAM-Forschungsmethodik ja sicher wissen.)
Das Fazit überlassen wir dem Märchenonkel selbst, indem wir uns ein Zitat aus seiner “Methodenlehre für Anfänger” borgen und es nur ganz leicht kürzen.
Was folgert der kritische Leser daraus? Richtig: […] viel zu beschäftigt, um eine Studie genau zu lesen; vielleicht […] auch nicht wirklich kompetent, das könnte auch noch sein. […] Auf jeden Fall […] offenbar außerstande, Studien wirklich kritisch zu analysieren und zu lesen. Und so entsteht über die Medien transportiert ein Hype über Daten und Ergebnisse, die sich mit großer Wahrscheinlichkeit später als nicht haltbar herausstellen werden.
Wen er damit wohl gemeint haben könnte…?
Kommentare (82)