Nun, wer lesen kann, ist klar im Vorteil. Shang et al hatten klar und transparent festgelegt, dass Studien mit einem Standardfehler (SE) im untersten Quartil als “groß” definiert werden:
Da
homöopathische und konventionelle Studien natürlich unterschiedliche
und vorab nicht bekannte Größen haben, ist dies die einzige sinnvolle
Möglichkeit, im Vorhinein eine Grenze festzulegen, ohne die Studien
bereits analysiert zu haben. Das heißt, die unterschiedlichen Grenzen
für große Studien resultieren daraus, dass Shang et al eben keine post-hoc
Kriterien einführen wollten – genau das, was Rutten und Stolper ihnen
fälschlicherweise unterstellen. Womit wieder einmal gezeigt wäre, was
wie gesagt bereits bekannt ist: dass in Homeopathy und ähnlichen Zeitschriften so etwas wie ein ernstzunehmendes peer-review System schlicht nicht existiert.
Das
weiß im Grunde natürlich auch Dr. Rutten, und deswegen tat er sich mit
Rainer Lüdtke, Diplom-Statistiker bei der Veronica-Carstens-Stiftung,
zusammen und produzierte eine Zweitverwertung seiner Re-Analyse der
Egger-Studie. Diese erschien in einer seriösen Zeitschrift, dem Journal of Clinical Epidemiology, und trägt den Titel The conclusions on the effectiveness of homeopathy highly depend on the set of analyzed trials.
So weit, so wenig überraschend. Schließlich war genau das der Punkt,
den Shang et al aufgezeigt hatten: Alle 110 Studien zusammen, ohne
Qualitätsgewichtung, scheinen eine klare Wirksamkeit der Homöopathie zu
zeigen. Streicht man die methodisch schlechten Studien, so zeigt das OR
der 21 verbleibenden hochqualitativen Studien einen kleineren, aber
immer noch statistisch signifikanten Effekt für die Homöopathie.
Betrachtet man nur mehr die verlässlicheren – weil “großen” – Studien
(entsprechend dem vorab festgelegten Kriterium eines Standardfehlers im
untersten Quartil), so verschwindet dieser Effekt ebenfalls. Je
“besser” die betrachtete Menge der Studien also ist, desto schwächer
die spezifische Wirkung der Homöopathie. Extrapoliert man das
gedanklich zu sehr großen und methodisch exzellenten Studien, so landet
man bei einem OR von 1 und damit einer Wirkung von null.
Was
also zeigen Lüdtke und Rutten wirklich? Nun, das ist interessant:
Obwohl sich Lüdtke und Rutten natürlich bemühen, ihre Daten so zu
interpretieren, als hätte die Egger-Studie irgendwelche Fehler gemacht,
zeigen diese Daten nichts davon. Das Verblüffende ist: Ignoriert man
die einseitige Interpretation von Lüdtke und Rutten und fokussiert man
auf das, was ihre nackten Daten zeigen, so sieht man eine
eindrucksvolle Bestätigung der Egger-Studie.
Ein Beispiel: Homöopathen hatten lange spekuliert, dass Egger et al
ihre Parameter möglicherweise erst im Nachhinein so festgelegt hatten,
dass die am Ende eingeschlossenen großen und methodisch guten
Homöopathiestudien keine Signifikanz aufweisen. Die Daten von
Lüdtke-Rutten zeigen, dass dies nicht der Fall ist. Wie aus der
Beschreibung der folgenden Abbildung aus ihrem Papier hervorgeht, kann
man zu den acht großen Studien bis zu fünf kleinere mit einschließen,
bevor der small study bias zuschlägt und das OR signifikant wird.
Es wird noch deutlicher: Verwendet man eine alternative statistische
Methode (Metaregression), so verschwindet jegliche Signifikanz in den
21 hochqualitativen Studien:
Wie
steht es mit der Untergruppenanalyse, die Lüdtke-Rutten vorgenommen
hatten? Bei Analysen von ex post ausgewählten Untergruppen besteht
stets die Gefahr, durch multiples Testen falsch positive Befunde zu
erhalten oder infolge von (bewusster oder unbewusster)
Voreingenommenheit selektiv zu analysieren. Trotz dieser Gefahren
finden Lüdtke-Rutten nur in einer einzigen Untergruppe von
hochqualitativen Studien ein signifikantes Resultat – bei “molekularen
Verdünnungen”, also bei Tiefpotenzen, die noch Wirkstoffe enthalten.
Hochpotenzen? Fehlanzeige. Klassische Homöopathie? Fehlanzeige.
Hier die Schlussfolgerungen in den Worten der Autoren:
Our
results do neither prove that homeopathic medicines are superior to
placebo nor do they prove the opposite. This, of course, was never our
intention, this article was only about how the overall results–and the
conclusions drawn from them–change depending on which subset of
homeopathic trials is analyzed. As heterogeneity between trials makes
the results of a meta-analysis less reliable, it occurs that Shang’s
conclusions are not so definite as they have been reported and
discussed.
Mit anderen Worten: Die Resultate der
Egger-Studie sind “weniger definitiv” als sie “berichtet und diskutiert
wurden”. Was für eine dramatische Erkenntnis! Das Geraunze bezieht sich
recht eindeutig auf das begleitende Editorial, in dem der Lancet 2005 etwas pathetisch vom “Ende der Homöopathie” sprach. Dass dieses nicht kommen würde, war allen Beobachtern aber in Wahrheit auch vorher schon klar.
Kommentare (30)