Das Problem ist: Man kann eine Studie zwar “randomisiert” nennen, dann sollte man aber auch die entsprechenden Kriterien dafür erfüllen. Bei Grossarth-Maticek hat es offensichtlich nicht so recht geklappt: “Wie eine Randomisierung stattgefunden hat, ist nicht nachzuvollziehen“, sagt Gerken. Aussagen wie “... gemacht. Die Paare wurden dann noch einmal randomisiert.“, die eine zweite Randomisierung suggerieren, sorgten bei ihm für weitere Verwirrung.
Auch für Abholz bleibt das Verfahren schleierhaft: “Erst zu matchen (d.h. Paare zu bilden, Anm. von mir), dann zu randomisieren gibt es nicht. Es bleibt auch hier unklar, wie man so etwas gemacht hat. Denn wenn man Pärchen bildet, wie will man nun noch per Zufall erneut verteilen?“.
Wie auch immer: Da der Autor so schlecht für eine zufällige Verteilung gesorgt hat, sind falschen Ergebnissen Tür und Tor geöffnet.
Dafür sorgt auch der zweite grobe Fehler. Gerken: “Es fand keinerlei Verblindung statt. Gerade bei subjektiven Endpunkten ist fehlende Verblindung nicht akzeptabel.”
Die Studie ist nicht verblindet, dass heißt, sowohl die Probanden wussten, was sie bekommen, als auch der durchführende Arzt wusste, was er verabreicht. Eine der Untersuchungsnethoden ist aber eine subjektive Einschätzung des Gesundheitszustandes. Das wiederum bedeutet, die Probanden sollten gemäß eines Fragebogens berichten wie es ihnen geht. Wenn ich aber weiß, dass ich einen Saft einnehme, der mir helfen soll, dann muss man davon ausgehen, dass dies meine Einschätzung beeinflusst. Um das zu verhindern, sollte man “verblinden”. In dieser Studie wissen die Probanden aber, was und wozu sie es trinken. Und der Arzt weiß, wer was getrunken hat. Nicht gut.
Also: nicht wirklich randomisiert, nicht verblindet. Hinzu kommen viel zu kleine Untergruppen, außerdem ein Test für das subjektive Befinden, der außer vom Autor von keinem anderen verwendet wird (bis zum Zeitpunkt der Studie). Zumindest verweist er im Artikel diesbezüglich nur auf eines seiner Bücher. Andere Autoren werden nicht genannt. Abholz: “Wie validiert die Messinstrumente waren – wird nicht einmal angesprochen – ist allerdings auf Hintergrund der oben schon angegebenen massiven methodischen Fehler auch nicht mehr wichtig.”
Schließlich: Dass in der gesamten Arbeit kein einziger statistischer Test durchgeführt wurde, um zu überprüfen, ob die vermeintlichen Unterschiede relevant sind, spielt angesichts der Mängel der Untersuchung auch keine Rolle mehr. (Dass bei den Mittelwerten kein Konfidenzintervall angegeben ist, sagt vielleicht mehr aus als ein Laie vermuten könnte.)
Das Fazit zieht der Autor in gewissem Sinne selbst:
“Replikationsexperimente zur Überprüfung der Wiederholbarkeit der Ergebnisse wären natürlich sehr wünschenswert.”
Übrigens schreibt der Autor auch: Es könne keineswegs von einer “spezifischen, heilenden Wirkung für bestimmte Krankheitssymptome, wie sie von Medikamenten erwartet werden“, gesprochen werden.
Wie auch: Es ist ja als Nahrungsergänzungsmittel angemeldet. Sonst nichts.
Also, Fazit: Die bis vor kurzem im Marketing für den Saft Cellagon aurum verwendete Studie (auf die von Beratern sicher gerne verwiesen wurde und wird), erfüllt nicht die grundlegendsten Eigenschaften einer guten wissenschaftlich Studie. Damit kann man sie eigentlich in die Tonne kloppen. Wer sie anführt, um zu belegen, wie toll der Saft ist, sollte sie sich nochmal genauer ansehen oder jemanden fragen, der sich damit auskennt.
Außerdem fehlt eine unabhängige Bestätigung der “Ergebnisse”.
Das Zell-Gold kann natürlich trotzdem toll sein. Nur ist diese Studie nicht dazu geeignet, dies zu zeigen. Bleibt die Frage, woher man dann weiß, dass der Saft so toll ist? Da werden einem die Berater sicher eine Menge persönlicher Geschichten erzählen. Es gibt davon auch so einiges im Netz zu finden, auch Berichte zum Thema Krebserkrankung. Das Problem dabei ist natürlich: Es sind Anekdoten und keine Daten, außerdem lassen sich die Aussagen nicht überprüfen. Man weiß nie, wer sich hinter einem anonymen Namen versteckt? Vielleicht ein Berater? Man weiß es nicht.
Einfach zu sagen: Da ist viel drin, also muss es gesund sein, ist ein bisschen wenig, finde ich.
Kommentare (338)