Nun ist es also passiert. In der renommierten Medizinzeitschrift The Lancet ist vor wenigen Wochen eine Studie erschienen, die neue Evidenz für die Wirkung der Homöopathie liefert!
Wirklich? Nein, natürlich nicht. Aber was will uns dann die Schlagzeile dieser Pressemeldung suggerieren, die Mitte November in die Welt gesetzt wurde?
The Lancet – Neue Evidenz für die Wirkung der Homöopathie
Urheber der irreführenden Pressemeldung war der Betriebswirt und PR-Beauftragte in Sachen Homöopathie Claus Fritzsche, laut Eigenangaben Spezialist für die “Vermarktung von erklärungsbedürftigen Produkten an Geschäftskunden”. Hier geht es also offensichtlich um PR und Stimmungsmache, nicht um Wahrheit oder wenigstens wissenschaftliche Redlichkeit. Was aber steckt nun dahinter? Ein klein wenig Licht ins Dunkel bringt die Zusammenfassung von Fritzsches Pressemeldung, die behauptet:
Zwei neue Studien widerlegen die von der medizinischen Fachzeitschrift
THE LANCET 2005 aufgestellte These, Homöopathie beruhe allein auf
Placeboeffekten.
Aha. Wir kommen der Sache näher. Es geht also wieder einmal darum, die als “Shang-Studie” oder “Egger-Studie” bekannte Publikation zu diskreditieren, also jene vielzitierte und in Homöopathenkreisen verhasste Metaanalyse der Homöopathie, die eine Arbeitsgruppe rund um Shang und Egger 2005 im Lancet publizierte. Dazu passt auch der Titel des Blogpostings, das uns Fritzsche parallel zu seiner Pressemeldung servierte:
The Lancet & Homöopathie: 2 Studien weisen auf grobe Fehler der Meta-Analyse von Shang et al. 2005 hin
Ist wenigstens diese Kurzversion richtig? Wie sich herausstellt: Nein. Sie ist ebenso irreführend wie der Titel der Pressemeldung.
Worum geht es genau? Dazu ein kurzer Rückblick:
Die Egger-Metaanalyse
hatte 110 homöopathische Studien mit ebensovielen konventionellen
Studien zu denselben Indikationen verglichen und folgendes gefunden:
21 homoeopathy trials (19%) and nine (8%) conventional-medicine trials
were of higher quality. In both groups, smaller trials and those of
lower quality showed more beneficial treatment effects than larger and
higher-quality trials. When the analysis was restricted to large trials
of higher quality, the odds ratio was 0.88 (95% CI 0.65-1.19) for
homoeopathy (eight trials) and 0.58 (0.39-0.85) for conventional
medicine (six trials).
Da das Konfidenzintervall (CI) für das odds ratio
(OR) der großen und qualitativ hochwertigen Homöopathiestudien von 0,65
bis 1,19 reicht, also den Wert 1,00 einschließt, kann die Nullhypothese
(“Homöopathie hat keine über Placebo hinausgehende Wirkung”) auf dem
5%-Niveau nicht abgelehnt werden. Mit anderen Worten:
This finding is compatible with the notion that the clinical effects of homoeopathy are placebo effects.
In
der erweiterten scientific community erzeugte die Veröffentlichung
dieser Studie etwa den Nachhall eines umfallenden Sacks Reis in China.
Medizinische Statistiker hatte also gezeigt, dass geschütteltes Wasser
so gut wirkt wie Wasser – so what?
Bei den Homöopathen dagegen
herrschte Weinen und Wehklagen. Acht Jahre lang hatten Sie stets
triumphierend die Metaanalyse von Linde et al (1997) zitiert, die zum
Schluss gekommen war, die Placebohypothese könne die Daten nicht
erklären. Und deren Schlussfolgerung Klaus Linde selbst später mehrfach
relativiert hatte – was Homöopathen geflissentlich zu ignorieren pflegten und pflegen, ebenso wie sämtliche anderen systematischen reviews, die zu einem für die Homöopathie ungünstigen Resultat gekommen waren.
Nachdem
die Phase des Wehklagens vorbei war, schritten die Homöopathen zum
Gegenangriff. Zwei besonders gewitzte homöopathische Ärzte, A. L. B.
Rutten und C. F. Stolper, wussten schon Anfang 2006 zu berichten, “‘Proof’ against homeopathy in fact supports homeopathy”.
Diese Botschaft ihres Leserbriefs durch handfeste Daten zu untermauern,
beschäftigte sie anscheinend die nächsten zwei Jahre. Das Ergebnis
erschien vor wenigen Wochen in der Zeitschrift Homeopathy und trägt jetzt den weniger reißerischen Titel “The 2005 meta-analysis of homeopathy: the importance of postpublication data”.
Aber wie das so ist mit Homeopathy und ähnlichen Homöopathie-Zeitschriften: Kaum jemand nimmt sie ernst,
außer Homöopathen natürlich. Der Grund dafür ist unschwer zu erraten.
Es handelt sich zwar um Fachzeitschriften, aber nicht um
wissenschaftliche Zeitschriften. Ihre Aufgabe ist es, die Frohbotschaft
der Homöopathie zu verkünden, und ihr peer-review Verfahren sorgt
dafür, dass auch junk-science
das Licht der Druckerpresse erblicken darf, die in einem halbwegs
anständigen Journal nur müde belächelt würde. In den Worten von Chris
Lee von Ars Technica:
Homeopathy is not science. The journal has a negative scientific value
because it does not distribute scientific knowledge, but rather
disseminates wishful thinking about reality. It is the very essence of
anti-science.
Ein wichtiger Kritikpunkt an der Egger-Studie in der Arbeit von Rutten und Stolper war folgender:
Cut-off values for larger trials were inexplicably different for homeopathy (n=98) and conventional medicine (n=146). This suggests post-hoc hypothesizing.
Rutten
und Stolper grübeln also darüber nach, warum die Mindestteilnehmerzahl,
die die Egger-Studie für “larger trials” verlangt hatte, bei
Homöopathie und bei konventioneller Medizin unterschiedlich groß war.
Sie halten das für “unerklärlich” und folgern daraus, dass Eggers Team
post-hoc, also erst im Nachhinein, diese Schranken festgelegt hatten,
um das gewünschte Homöopathie-feindliche Ergebnis zu erhalten. Ein
wahrhaft schwerwiegender Vorwurf, den man nicht leichtfertig machen
sollte, wenn man dafür nicht gute Gründe hat.
Nun, wer lesen kann, ist klar im Vorteil. Shang et al hatten klar und transparent festgelegt, dass Studien mit einem Standardfehler (SE) im untersten Quartil als “groß” definiert werden:
Da
homöopathische und konventionelle Studien natürlich unterschiedliche
und vorab nicht bekannte Größen haben, ist dies die einzige sinnvolle
Möglichkeit, im Vorhinein eine Grenze festzulegen, ohne die Studien
bereits analysiert zu haben. Das heißt, die unterschiedlichen Grenzen
für große Studien resultieren daraus, dass Shang et al eben keine post-hoc
Kriterien einführen wollten – genau das, was Rutten und Stolper ihnen
fälschlicherweise unterstellen. Womit wieder einmal gezeigt wäre, was
wie gesagt bereits bekannt ist: dass in Homeopathy und ähnlichen Zeitschriften so etwas wie ein ernstzunehmendes peer-review System schlicht nicht existiert.
Das
weiß im Grunde natürlich auch Dr. Rutten, und deswegen tat er sich mit
Rainer Lüdtke, Diplom-Statistiker bei der Veronica-Carstens-Stiftung,
zusammen und produzierte eine Zweitverwertung seiner Re-Analyse der
Egger-Studie. Diese erschien in einer seriösen Zeitschrift, dem Journal of Clinical Epidemiology, und trägt den Titel The conclusions on the effectiveness of homeopathy highly depend on the set of analyzed trials.
So weit, so wenig überraschend. Schließlich war genau das der Punkt,
den Shang et al aufgezeigt hatten: Alle 110 Studien zusammen, ohne
Qualitätsgewichtung, scheinen eine klare Wirksamkeit der Homöopathie zu
zeigen. Streicht man die methodisch schlechten Studien, so zeigt das OR
der 21 verbleibenden hochqualitativen Studien einen kleineren, aber
immer noch statistisch signifikanten Effekt für die Homöopathie.
Betrachtet man nur mehr die verlässlicheren – weil “großen” – Studien
(entsprechend dem vorab festgelegten Kriterium eines Standardfehlers im
untersten Quartil), so verschwindet dieser Effekt ebenfalls. Je
“besser” die betrachtete Menge der Studien also ist, desto schwächer
die spezifische Wirkung der Homöopathie. Extrapoliert man das
gedanklich zu sehr großen und methodisch exzellenten Studien, so landet
man bei einem OR von 1 und damit einer Wirkung von null.
Was
also zeigen Lüdtke und Rutten wirklich? Nun, das ist interessant:
Obwohl sich Lüdtke und Rutten natürlich bemühen, ihre Daten so zu
interpretieren, als hätte die Egger-Studie irgendwelche Fehler gemacht,
zeigen diese Daten nichts davon. Das Verblüffende ist: Ignoriert man
die einseitige Interpretation von Lüdtke und Rutten und fokussiert man
auf das, was ihre nackten Daten zeigen, so sieht man eine
eindrucksvolle Bestätigung der Egger-Studie.
Ein Beispiel: Homöopathen hatten lange spekuliert, dass Egger et al
ihre Parameter möglicherweise erst im Nachhinein so festgelegt hatten,
dass die am Ende eingeschlossenen großen und methodisch guten
Homöopathiestudien keine Signifikanz aufweisen. Die Daten von
Lüdtke-Rutten zeigen, dass dies nicht der Fall ist. Wie aus der
Beschreibung der folgenden Abbildung aus ihrem Papier hervorgeht, kann
man zu den acht großen Studien bis zu fünf kleinere mit einschließen,
bevor der small study bias zuschlägt und das OR signifikant wird.
Es wird noch deutlicher: Verwendet man eine alternative statistische
Methode (Metaregression), so verschwindet jegliche Signifikanz in den
21 hochqualitativen Studien:
Wie
steht es mit der Untergruppenanalyse, die Lüdtke-Rutten vorgenommen
hatten? Bei Analysen von ex post ausgewählten Untergruppen besteht
stets die Gefahr, durch multiples Testen falsch positive Befunde zu
erhalten oder infolge von (bewusster oder unbewusster)
Voreingenommenheit selektiv zu analysieren. Trotz dieser Gefahren
finden Lüdtke-Rutten nur in einer einzigen Untergruppe von
hochqualitativen Studien ein signifikantes Resultat – bei “molekularen
Verdünnungen”, also bei Tiefpotenzen, die noch Wirkstoffe enthalten.
Hochpotenzen? Fehlanzeige. Klassische Homöopathie? Fehlanzeige.
Hier die Schlussfolgerungen in den Worten der Autoren:
Our
results do neither prove that homeopathic medicines are superior to
placebo nor do they prove the opposite. This, of course, was never our
intention, this article was only about how the overall results–and the
conclusions drawn from them–change depending on which subset of
homeopathic trials is analyzed. As heterogeneity between trials makes
the results of a meta-analysis less reliable, it occurs that Shang’s
conclusions are not so definite as they have been reported and
discussed.
Mit anderen Worten: Die Resultate der
Egger-Studie sind “weniger definitiv” als sie “berichtet und diskutiert
wurden”. Was für eine dramatische Erkenntnis! Das Geraunze bezieht sich
recht eindeutig auf das begleitende Editorial, in dem der Lancet 2005 etwas pathetisch vom “Ende der Homöopathie” sprach. Dass dieses nicht kommen würde, war allen Beobachtern aber in Wahrheit auch vorher schon klar.
Fazit:
Die Lüdtke-Rutten Studie ist eine Randnotiz, deren Daten die
Erkenntnisse der Egger-Studie weitgehend stützen. Sie ist alles andere
als ein Aufreger.
Wie kommt es dann, dass Claus Fritzsche in seinem Blog Purzelbäume schlägt vor Aufregung? Sehen Sie sich das hier nur einmal an:
Sollten sich erste Gerüchte bestätigen, dass die Forschergruppe um
Prof. Dr. med. Matthias Egger, Aijing Shang und Kollegen die Ergebnisse
nicht kommentieren will (d. h. Rutten, Stolper und Lüdtke ihrerseits
keine Fehler nachweist), so hätten die neuen Publikationen die Qualität
eines wissenschaftlichen Erdbebens der Stärke 9. Frei nach Charles Francis Richter: Zerstörung (einer von The Lancet konstruierten Legende) in Bereichen von tausenden Kilometern.
Etwas unaufgeregter betrachtet der Wissenschaftsjournalist Francis Segdemore die Sachlage:
Egger would be a fool to comment on such patent nonsense spun by a PR agency.
Nocheinmal O-Ton Fritzsche:
Die negativen – für die Placebo-These ausschlaggebenden – Ergebnisse
von Shang et al. 2005 werden laut Rutten und Lüdtke primär durch eine
einzige selektierte Studie beeinflusst.
Und hier die Worte von Lüdtke-Rutten:
Shang’s
negative results were mainly influenced by one single trial on
preventing muscle soreness in N=400 long-distance runners.
Bemerken
Sie den subtilen Unterschied? Wo Lüdtke-Rutten von einer “einzelnen
Studie” sprechen, ortet Fritzsche eine “selektierte Studie”. Dabei
klingt der Vorwurf der Datenselektion mit, also wissenschaftliches
Fehlverhalten. Anhaltspunkte dafür? Keine. In den PR-Agenturen sitzen
die Schmutzkübel eben locker.
Falls Sie jetzt mutmaßen, dies sei lediglich eine böswillige
Interpretation meinerseits, weil die “selektierte” Studie ja
schließlich eine der nach den Kriterien von Shang et al ausgewählten (=
“selektierten”) acht großen und hochqualitativen Studien sei, dann
passen Sie auf, wie es bei Fritzsche weiter geht:
Das heißt nichts anderes, als dass das von The Lancet 2005 proklamierte »Ende der Homöopathie« auf einem Selektionsbias und einer durch eine einzige (!) Studie verursachten Verzerrung basiert. Was für ein Kracher!
Ja, da kracht es allerdings ganz gewaltig – in mindestens einem Hirn…
Und hier schließlich die Daten:
Wie
deutlich zu sehen ist, erreicht man mit Metaanalyse nicht einmal
annähernd einen p-Wert von 0,05, wenn man eine einzelne Studie aus den
acht ausschließt. Mit dem Verfahren der Metaregression kommt man den 5%
zumindest nahe, wenn man die Vickers-Studie zum Muskelkater ignoriert.
Und? Eine Metaanalyse hat schließlich die Aufgabe, existierende Studien
zu bewerten und zusammenfassend zu beurteilen. Dass die Existenz einer
hochqualitativen und großen negativen Studie wie der von Vickers für
jene, die sich sehnlichst ein positives Resultat gewünscht hätten, ein
Ärgernis darstellt, ist nicht weiter überraschend. Das Argument “wenn
es die Vickers-Studie nicht gäbe, dann wäre das Resultat der
Metaanalyse beinahe positiv”, ist allerdings etwas dürftig. Wie Bob
Park es vielleicht formuliert hätte:
If things were different, things would not
be the way things are.
Am Ende muss ich Herrn Fritzsche aber doch noch verteidigen: Das
Unkraut ist nicht zur Gänze auf seinem Mist gewachsen. Vielmehr hat es
den Anschein, als habe er die Studien, um die es geht, gar nicht
gelesen. Oder nicht verstanden. Offenbar hat er nämlich seine
Informationen schlicht aus jener verzerrenden Pressemeldung des
Elsevier-Verlags (zu dem The Lancet, Homeopathy und das Journal of Clinical Epidemiology gehören) abgeschrieben, die den schlichten und ebenso falschen Titel New evidence for Homeopathy trägt. Diese Pressemeldung, die für einen Fachverlag eher peinlich ist, beginnt mit den Worten
Two
new studies conclude that a review which claimed that homeopathy is
just a placebo, published in The Lancet, was seriously flawed.
Wie
wir inzwischen wissen, ist das Unsinn – von “seriously flawed” kann
überhaupt keine Rede sein. Aber man sollte bedenken, dass der
Elsevier-Verlag keine wissenschaftliche Einrichtung ist, sondern ein für überteuerte Fachzeitschriften berüchtigtes kommerzielles Unternehmen, das hin und wieder auch ohne Rücksicht auf wissenschaftliche Integrität für die eigenen Produkte die Trommel rührt.
Das mediale Getöse in und aus Homöopathenkreisen entpuppt sich am Ende also wieder einmal als weitgehend inszenierter PR-Gag.
Aber überrascht das eigentlich noch jemanden?
Andere Stimmen:
Francis Sedgemore: “New evidence for homeopathy”?
Science-Based Medicine (David Gorski): Fun with homeopaths and meta-analyses of homeopathy trials
NeuroLogica Blog (Steven Novella): Homeopathy Still Sucks
Hawk/Handsaw (Paul Wilson): Shang study remains firmly in the water – More meta-analysis delight – I know I said life was too short… – Science by press release (epic fail) – Homeopathy paper published (hier)
[Nachtrag, 12.12.2008:]
Um auf klare faktische Fehler hinzuweisen, habe ich gestern im H.-Blog von Claus Fritzsche und in einem englischsprachigen Blog jeweils einen kurzen Kommentar hinterlassen. Beide Kommentare wurden von den Blogbetreibern gelöscht. Soviel zur in Homöopathieblogs herrschenden Diskussionskultur…
Die von mir gemachten kritischen Anmerkungen über den Verlag Elsevier hat Fritzsche – allerdings ungewollt – bestätigt. Fällt Ihnen bei diesem Ausschnitt aus seinem Posting etwas auf? 😉
Kommentare (30)