Hinweis: Dieser Artikel ist ein Beitrag zum ScienceBlogs Blog-Schreibwettbewerb 2015. Hinweise zum Ablauf des Bewerbs und wie ihr dabei Abstimmen könnt findet ihr hier. Informationen über die Autoren der Wettbewerbsbeiträge findet ihr jeweils am Ende der Artikel.
——————————————
Manchmal wünsche ich mir, Begriffe wie Wissenschaft oder Forschung könnte man als Trademark vor Missbrauch schützen. Ich denke, dann wäre es mehr Menschen klar, dass eine Billigkopie dieses Qualitätsproduktes nicht die gleiche Zuverlässigkeit bieten kann, wie das Original.
Bei asiatischen Billigkopien teurer Markenprodukte wissen die Leute, dass sie nicht dieselbe Lebensdauer und Funktionstüchtigkeit erwarten können. Niemand würde fragen, ob man das eine problemlos durch das andere ersetzen kann. Bei gefälschter Wissenschaft ist das irgendwie nicht so ganz rübergekommen. Während man bei gefälschten Markenprodukten intuitiv erfasst, mit was man es zu tun hat, hat gefälschte Wissenschaft bei uns irgendwie das Image des “Querdenkers“, der eben neue Wege geht.
Und prompt bin ich neulich über eine Webseite gestolpert, die zwar nominell über „Forschung und Wissen“ berichtet, die aber trotzdem fragt, ob man echte wissenschaftliche Untersuchungen nicht problemlos durch billige Kopien ersetzen kann:
“Doch muss es immer die streng wissenschaftliche Untersuchung sein? Reicht es nicht aus, wenn nach der Einnahme eines Präparates die Mehrzahl der Probanden über eine Besserung ihrer Beschwerden berichten?”
In diesem Artikel wird berichtet, eine Heilpraktikerin habe die Wirkung der Schüssler Salze in einer empirischen Studie nachgewiesen.
Die Idee hinter dem Verfahren, das sich auch „Biochemie nach Dr. Schüssler“ nennt, ist, dass gesundheitliche Probleme auf dem Mangel einiger weniger Mineralstoffe beruhen. Diesen Mangel soll man mittels Einnahme der Schüssler Salze beheben können. Nun ist hier offenbar schon einmal die Voraussetzung falsch. Es ist keineswegs so, dass alle unsere Wehwehchen auf einer Störung des Mineralstoffhaushaltes beruhen. Leider ist unser Körper komplexer. Dazu kommt, dass man mit den Schüssler Salzen niemals einen solchen Mangel ausgleichen könnte, denn diese werden in Anlehnung an die Homöopathie extrem verdünnt. Handelsüblich sind die Verdünnungen D6 (1: 1 000 000) und D12 (1: 1 000 000 000 000). Das Konzept ist also letztlich, einen angenommenen Mangel mit Mitteln auszugleichen, die das angeblich mangelnde Mineral in geringerer Menge enthalten als unsere Nahrung.
Ein Nachweis, dass dieses eigentlich unserem gesamten biochemischen Wissen widersprechende Verfahren tatsächlich funktioniert, wäre also eine echte Sensation. Komisch also, dass man nicht überall in den Medien davon erfahren hat.
Das hat ein wenig mit der Eingangsfrage zu tun:
“Doch muss es immer die streng wissenschaftliche Untersuchung sein? Reicht es nicht aus, wenn nach der Einnahme eines Präparates die Mehrzahl der Probanden über eine Besserung ihrer Beschwerden berichten?”
Wenn man krank ist, etwas einnimmt und danach geht es einem besser, dann geht man davon aus, dass das eingenommene Mittel geholfen hat. Man folgert das aus der zeitlichen Reihenfolge von Einnahme und Besserung.
Nur: Wenn wir einer Gruppe Schnupfenkranker verordnen, jeden Tag 3 x 10 Gummibärchen zu essen und sich zu schonen, dann wird auch “nach der Einnahme (…) die Mehrzahl der Probanden über eine Besserung ihrer Beschwerden berichten.” Nach obiger Logik helfen Gummibärchen also gegen Erkältungen.
Nun, das leisten Gummibärchen nicht wirklich, nicht wahr? Aber woher wissen wir das? Über den Vergleich mit Schnupfenkranken, die ebenfalls nach ein paar Tagen wieder gesund waren, ohne Gummibärchen zu essen.
Erst über den Vergleich kann man zu aussagekräftigen und zuverlässigen Schlussfolgerungen kommen. Ohne den Vergleich ist eine Schlussfolgerung schlicht nicht möglich, ein Fehlschluss, ein Trugbild oder auch ein Bestätigungsfehler, wie der Statistiker es nennen würde.
Was sagt es aus, wenn ich berichte, dass ein Mittel hundertfach geholfen habe? Gar nichts! Denn weder kann ich ausschließen, dass gleichzeitig Tausende nach der Einnahme des Mittels verstarben, noch dass die Genesenen auch ganz ohne das Mittel gesund geworden wären. Aussagekräftig werden solche Darstellungen immer erst über den Vergleich.
In einer echten wissenschaftlichen verblindeten placebokontrollierten Studie vergleicht man deshalb die Erfahrungen von möglichst vergleichbaren Patientengruppen: Ein Teil der Patienten erhält die echten Arzneien, die anderen ein gleich aussehendes Scheinmedikament. Alle glauben also, sie würden behandelt werden. Auch die Therapeuten wissen nicht, wer was bekommt, um über ihre Erwartungen die Patienten nicht zu beeinflussen.
Und dann betrachtet man, welche Erfahrungen die Patienten in den verschiedenen Gruppen machen: Eine Studie berücksichtigt alle Erfahrungen, die positiven genauso wie die negativen Erfahrungen. Wie viele nahmen das Mittel – und danach ging es ihnen besser? Wie viele nahmen es und danach ging es ihnen nicht besser? Und wie vielen Patienten ging es besser, obwohl sie das Mittel gar nicht einnahmen? Und wie vielen nicht?
Werden mit und ohne Einnahme gleich viele Patienten gleich schnell gesund, dann sieht man, dass das Mittel zu den natürlichen Genesungen nichts hinzufügen konnte. Trotzdem berichten alle diese Patienten „mir hat es geholfen“ – auch die in der Placebogruppe.
Das Betrachten der Besserungen allein kann leicht zu Fehlschlüssen und Bestätigungsfehlern führen. Es muss immer ein sauberer statistischer Vergleich aller Erfahrungen gemacht werden, will man zu zuverlässigen Aussagen über ein Verfahren kommen. Genau das ist der Vorteil echter wissenschaftlicher Untersuchung. Und genau deshalb reicht ein den Vergleich scheuender Hinweis auf erlebte Genesungen allein nicht.
Der Artikel ignoriert aber nicht nur diese eigentlich bestens bekannte Tatsache, sondern liefert sogar noch eine falsche Begründung, warum hier nicht wissenschaftlich vorgegangen wird:
“Da die Ausgangssubstanz im fertigen Produkt praktisch nicht mehr nachweisbar ist, kann auch keine wissenschaftliche verwertbare Studie über die Wirksamkeit von Schüssler Salzen angefertigt werden.”
Wie eben erklärt, ist eine Studie einfach der Vergleich von Erfahrungen von Patienten, die unterschiedlich behandelt wurden, aber glaubten, dasselbe zu bekommen. Für die Durchführung eines solchen Gruppenvergleiches ist es völlig unerheblich, wie viel der Ausgangssubstanz nun in den echten Tabletten drin ist. Es handelt also um eine reine Schutzbehauptung, ein Schlechtreden eines echten Testszenarios.
Dennoch wissen wir bislang noch nicht, ob die im Artikel vorgestellte Studie selbst – trotz der Schwächen des Artikels – nicht doch aussagekräftige Ergebnisse geliefert hat. Wenn wir fair – und wissenschaftlich – vorgehen wollen, müssen wir uns ansehen, was denn eigentlich gemacht wurde und was die Ergebnisse waren.
Frau Metz-Melchior führt den statistischen Vergleich mit Placebos, von dem ich gerade dargestellt habe, warum er es ist, der eine Studie überhaupt erst aussagekräftig macht, in ihrer Arbeit nicht durch. Alle ihre Patienten – 53 Patienten, von denen 42 die Studie beendeten – nahmen über 3 Monate hinweg Schüssler Salze ein.
Viel mehr erfahren wir als Leser allerdings nicht. Zum Beispiel, welche Beschwerden die teilnehmenden Patienten hatten. Wir erfahren nur, es seien „458 Einzelsymptome erfasst und ausgewertet“ worden.
Nur: was sagt es zum Beispiel aus, wenn darunter Schnupfensymptome waren? Ein Schnupfen wird wohl auch unter vollkommen unwirksamen Medikamenten nach der Studiendauer von 3 Monaten wieder völlig verschwunden sein. Nur sagt das über die Wirksamkeit des Mittels eben nichts aus. Das gilt auch für allergische Reaktionen wie zum Beispiel Heuschnupfensymptome. Vielfach tritt hier die Symptomatik jahreszeitlich schwankend auf, eben mit dem Pollenflug der Substanzen, gegen die ein Patient allergisch ist. Auch hier sagt es also gar nichts über das Mittel aus, wenn die Symptome nach 3 Monaten gebessert sind.
Und obendrein erfahren wir noch nicht einmal, wie viele der Patienten zusätzlich zu den Schüssler-Salzen für ihre Beschwerden noch eine seriöse medizinische Behandlung durchzogen. Diese Frage ist einfach nicht erfasst, obwohl sie die Studienergebnisse doch stark beeinflussen kann.
Schlicht falsch sind aber das genannte Ergebnis und die daraus gezogene Schlussfolgerung: Im Artikel heißt es:
“Insgesamt wurden bei allen Teilnehmern an der Studie 458 Einzelsymptome erfasst und ausgewertet. Dabei stellte sich heraus:
– Bei 42 Symptomen hatten sich die Beschwerden nicht gebessert (9,17 %).
– Bei 98 Symptomen hatten sich die Beschwerden gebessert (21,4 %).
– Bei 124 Symptomen hatten sich die Beschwerden sehr deutlich gebessert (27,07 %).
– Bei 109 Symptomen waren die Beschwerden weg (23,8 %).
Zusammenfassend kann daher gesagt werden: Bei ca. 90 % aller Symptome im Rahmen der hier durchgeführten Studie konnte eine Besserung oder sogar ein völliges Verschwinden durch die Gabe von Schüssler Salzen über einen Zeitraum von drei Monaten erreicht werden.”
Ich meine jetzt gar nicht, was ich eingangs erklärt habe: Dass man aus der zeitlichen Reihenfolge “Einnahme und danach Besserung” eben nicht auf einen kausalen Zusammenhang schließen kann.
Ich meine wirklich die Zahlenwerte: 21,4% (“gebessert”)+ 27,07% (“sehr deutlich gebessert”)+ 23,8% (“weg”) = 72,27%.
Und das sind keineswegs die behaupteten 90%. Im Gegenteil: Von rund 20% der Symptome erfahren wir in der Auswertung gar nichts mehr.
Ich finde, dieses Beispiel zeigt recht gut, warum seriöse Wissenschaft in Journalen veröffentlicht wird, die einen sogenannten “peer review” vorschalten: Kompetente Fachleute lesen sich die Artikel, bevor sie angenommen werden, auf grobe Fehler durch. Aus der Studie ausgeschiedene Patienten oder die, bei denen sich die Symptome verschlechterten einfach den Erfolgen zuzuschlagen, das ist ein grober Fehler. Und übrigens keiner, den erst der berichtende „Forschung und Wissen“ Autor eingebracht hat. Die falschen Werte finden sich so bereits auf der Webseite von Frau Metz-Melchior.
Auch die von Frau Metz-Melchior zusätzlich ausgewerteten Haaranalysen können die Studie nicht retten. Diese sind für die gemachten Aussagen ein höchst unzuverlässiges und zudem unnötig teures Verfahren. Was zum Beispiel hier die Stiftung Warentest erklärt. Man hätte erheblich aussagekräftigere Werte mit einer Blutanalyse erreichen können, zudem zu einem Bruchteil des Preises. Und es fehlt die Angabe, auf wie viele Werte denn überhaupt getestet wurde. Auch die Anzahl der durchgeführten Tests beeinflusst die Signifikanz eines Ergebnisses ganz erheblich.
In einem seriösen wissenschaftlichen Journal wird Frau Metz-Melchior eine derart unzureichende Arbeit niemals platzieren können. Hat sie scheinbar auch nicht: Trotz intensiver Suche habe ich keinen Link auf eine offiziell von ihr veröffentlichte Arbeit gefunden. Nicht einmal in einem Journal, das weit weniger zimperlich mit der Korrektheit der Artikel wäre.
Ist das jetzt so schlimm? Schüssler Salze sind doch harmlos. Was macht es da, wenn die zitierten Studien nur scheinbar wissenschaftlich vorgehen?
Die klinische Studie ist ein Werkzeug, das – wenn sauber eingesetzt – in der Lage ist, die Leistungsfähigkeit eines Verfahrens sauber zu messen und zu dokumentieren. Ebenso war es erst mit diesem Werkzeug möglich, vieles, womit man scheinbar gute Erfahrungen machte, als Humbug oder als schädlich zu entlarven. Die klinische Studie hat sehr viele Menschenleben gerettet.
Nun werden schlampige Varianten dieses Werkzeugs missbraucht, unplausible Verfahren zu bewerben. In der Öffentlichkeit entsteht so langfristig der Eindruck, man könne mit Studien alles belegen, was man nur heraus haben möchte. Es entsteht der Eindruck, man könne durch erlebte Besserungen allein eben doch die Wirksamkeit eines Verfahrens mindestens ebenso aussagekräftig beurteilen, wie mittels seriöser Methoden. Darstellungen dieser Art haben den Effekt, dass seriöses wissenschaftliches Arbeiten mit Stammtischweisheiten als gleichwertig empfunden wird.
Der Geschädigte in derartigen Artikeln ist also einerseits der Patient, dem Nachweise vorgelegt werden, die keine sind. Andererseits ist es aber auch die echte Wissenschaft und Forschung, deren Methoden und Seriosität als unnötig, engstirnig oder dogmatisch dargestellt werden.
Tatsächlich handelt es sich aber nicht um eine „Schikane“ oder Weltfremdheit irgendwelcher Wissenschaftler. Es geht hier schlicht darum, für Aussagen, die Patienten ihrer Therapiewahl zugrunde legen, den bestmöglichen Test zu fordern. Auch ein zuverlässiger Test ist ein Qualitätsprodukt. Und ich wünschte, die Menschen wüssten echte wissenschaftliche Tests genauso zu schätzen, wie echte Markenprodukte.
————————————————-
Hinweis zur Autorin: Dieser Artikel wurde von Ute geschrieben: “Ich habe Physik studiert und 1992 im Fachbereich Astrophysik mein Diplom erworben. Nach der Geburt meines Sohnes musste ich allerdings meine berufliche Tätigkeit unterbrechen. Ab und zu schreibe ich einen Gastbeitrag auf dem Blog von Norbert Aust (Beweisaufnahme-Homoeopathie). Für alternative Medizin begann ich mich zu interessieren, weil mir für meinen Sohn wiederholt sowohl von Bekannten als auch von Apothekern entsprechende Mittel empfohlen wurden, die dahinter stehenden Vorstellungen aber mit meinem naturwissenschaftlichen Hintergrund nie vereinbar waren.”
Kommentare (26)