Herr Walach hätte aber die Reanalyse, von der er so gerne spricht, nicht unbedingt ganz genau lesen müssen. Es hätte genügt, wenn er vor vier Jahren in meinen Blog geschaut hätte, wo ich all das bereits erklärt habe. Gewiss, es ist Herrn Walach nicht zuzumuten, dass er in einem Skeptikerblog stöbert. Aber vielleicht hätte er das Interview mit Herrn Lüdtke lesen können, das in seinem eigenen Beitrag verlinkt wurde. Dann wäre er vielleicht über folgendes Lüdtke-Zitat gestolpert:
Wählt man nicht, wie Shang und Egger dies getan haben, die acht größten Studien sondern die 14 größten Studien aus, so bekommt man ein statistisch signifikantes Ergebnis zugunsten der Homöopathie.
Das hätte Walach womöglich sein kurioses Hoppala erspart. Und auch seine peinliche Verschwörungstheorie hätte er dann rechtzeitig begraben können. Denn aus seiner Zahlenverwirrung um die mysteriöse 8 heraus stimmt Walach unter der Überschrift “Ergebnisformende Studienselektion” ein düsteres Geraune an:
Warum also 8? Für diese Frage gibt es keine Antwort, denn die Entscheidung wurde nie begründet. Ich kann höchstens eine Vermutung aussprechen: Die 8. Studie […] hat 98 Teilnehmer gehabt. Wenn die Autoren der Meta-Analyse nur große Studien hätten nehmen wollen, hätten sie wohl eher 100, statt 98 zum Cut-off Punkt gemacht oder? Oder sonst vielleicht 60? Dann hätten sie mehr Studien in die Analyse nehmen müssen.
Es ist offensichtlich, dass hier an Shang und Egger implizit der Vorwurf der Parameterselektion gemacht wird. Sie hätten willkürlich eine Teilnehmerzahl von 98 zum Cut-off Punkt gemacht, damit – so wird suggeriert – sie genau jene großen 8 Studien in die Analyse einschließen konnten, die gerade noch ein negatives Ergebnis erzeugen.
Wir wissen zwar inzwischen, dass dies Humbug ist, aber das klärt noch nicht die Frage nach der mysteriösen Zahl 8. Warum also gerade 8? Nun, auch dies hätte Walach herausfinden können, wenn er genau nachgelesen hätte – diesmal allerdings die Shang-Metaanalyse selbst. Dort findet sich nämlich auf S. 728 der folgende lapidare Satz:
Shang et al hatten also unmissverständlich festgelegt, dass Studien mit einem Standardfehler (SE) im untersten Quartil als “groß” definiert werden. Daran ist nichts ungewöhnlich, und das waren eben genau 8 Studien. (Dass der Standardfehler die Streuung berücksichtigt und daher ein besseres Maß für die “Größe” einer Studie ist als die bloße Teilnehmerzahl, wird ein Professor für CAM-Forschungsmethodik ja sicher wissen.)
Das Fazit überlassen wir dem Märchenonkel selbst, indem wir uns ein Zitat aus seiner “Methodenlehre für Anfänger” borgen und es nur ganz leicht kürzen.
Was folgert der kritische Leser daraus? Richtig: […] viel zu beschäftigt, um eine Studie genau zu lesen; vielleicht […] auch nicht wirklich kompetent, das könnte auch noch sein. […] Auf jeden Fall […] offenbar außerstande, Studien wirklich kritisch zu analysieren und zu lesen. Und so entsteht über die Medien transportiert ein Hype über Daten und Ergebnisse, die sich mit großer Wahrscheinlichkeit später als nicht haltbar herausstellen werden.
Wen er damit wohl gemeint haben könnte…?
Kommentare (82)