Was ist denn nun von der Studie, mit der die Firma H.-G. Berner Cellagon aurum fünf Jahre lang beworben hat, zu halten? Kann sie mich überzeugen, den Saft zu kaufen? Nö.
Komm ich also endlich zum Eingemachten. Die Studie, mit der die H. G. Berner GmbH von 2004 bis vor ein paar Wochen (und immer noch hier) das Marketing für ihr Cellagon aurum unterfütterte.
Titel der Studie: Ergebnisse einer prospektiven, randomisierten Verlaufsstudie zur Erforschung der Wirksamkeit eines Nahrungsergänzungsmittels in Bezug auf subjektive Befindlichkeit und Veränderung physischer Risikofaktoren.
Es gibt einen Professor, es gibt ein Fachmagazin, es gibt Diagramme, es gibt Wissenschaftssprech. Es sieht alles irgendwie nach Wissenschaft aus.
Aber, wie es immer so ist: Es gibt so’ne und so’ne.
Dass die Studie 2003 in einem wenig profilierten Fachmagazin erschien (Erfahrungsheilkunde, Karl F. Haug Verlag), in dem Artikel nur gelegentlich begutachtet werden, hatte ich schon schon 2007 beschrieben. Auch, dass es ein paar Unklarheiten bezüglich des Autors Grossarth-Maticek gab. Doch das soll uns hier nicht weiter stören. Am Ende trägt es nur zum Gesamtbild bei.
Über fast drei Jahre untersuchte der Autor alle paar Monate 115 Personen in Experimentalgruppen und 115 in Kontrollgruppen. Unter den 115 Probanden waren 21 Krebspatienten. Die 115 Personen teilte er in fünf (!) Untergruppen (eine Gruppe mit 36 Personen, eine mit 21, drei mit um die 12 Personen), die regelmäßig, unregelmäßig, hoch-, normal oder niedrig dosierte Mengen Saft tranken und verglich sie mit den Kontrollgruppen (plus einer Untergruppe (21 Personen), die einen Liter Biosaft pro Tag trank, ebenfalls mit Kontrollgruppe).
Lange Rede kurzer Sinn: Das Ergebnis war aus Sicht des Saftherstellers und seiner Berater außerordentlich erfreulich:
“(…) Die Ergebnisse zeigen, dass sich durch die Einnahme des Nahrungsergänzungsmittels unterschiedliche Risikofaktoren aus unterschiedlichen Bereichen positiv verändern. Disstress verringerte sich, physische Risikofaktoren wie Gesamtcholesterin, Bluthochdruck, Zigarettenrauchen und Alkoholkonsum verringerten sich, unterschiedliche Symptome und Krankheitszeichen wie z.B. Infektionen traten im Beobachtungsraum seltener auf. (…)”
Auf der Webseite der Berner GmbH präsentierte man die entsprechenden Grafiken aus dem Fachartikel (für Laien durchaus beeindruckend):
Diese Studie hatte ich zwei Medizinern für eine Einschätzung geschickt: Frage: “Was halten Sie von der Studie? Wie schätzen sie die Aussagekraft dieser Untersuchung ein?”
Martin Gerken ist ein in Health Assesment Technology wissenschaftlich tätiger Arzt. Dass heißt, zu seinem Job gehört es, medizinische Verfahren und Medikamente auf Grundlage zum Beispiel wissenschaftlicher Studien zu beurteilen. Er weiß, wie man die Qualität eines Studie einschätzt. Einige werden ihn noch vom Blog EbM-Anwender kennen, dem Blog, in dem es um Evidenz basierte Medizin geht. Er hatte sich bei mir gemeldet, als ich in meinem Blog nach einem Mediziner für eine Einschätzung suchte.
Außerdem habe ich Heinz-Harald Abholz befragt. Er ist Professor an der Uniklinik Düsseldorf und Direktor der Abteilung für Allgemeinmedizin. Heinz-Harald Abholz kannte ich durch die Recherche zu zwei Geschichten, die ich für die Süddeutsche Zeitung geschrieben hatte.
Ich hatte beide unabhängig von einander befragt. Beide kamen unabhängig voneinander zum selben, vernichtenden Ergebnis: Sie halten die Studie für völlig unbrauchbar.
Gerkens Fazit war, nachdem er rund zwanzig Einzelpunkte abgehandelt hatte:
“Die vorliegende Untersuchung hilft nicht, den Nutzen des Präparates “Cellagon aurum” zu beurteilen. Das Ganze ist wissenschaftlich völlig unzureichend und damit wertlos. Es wurde kein Nutzenbeleg erbracht.”
Abholz kam schon nach Abhandlung von sieben Punkten zum selben Ergebnis:
“Ich glaube dies ist schon mehr als genug, um zu sagen, dass es eine Studie ist, die keinerlei Wert hat.”
Alle Punkte aufzuzählen und zu erklären, sprengt den Rahmen eines solchen Beitrags. Deshalb will ich nur ein paar näher erläutern (und das wird schon lang).
Es ist eine wissenschaftliche Studie, die einen recht hohen methodischen Anspruch erhebt. Im Titel heißt es nämlich, es handle sich um eine “randomisierte” Studie (und sogar prospektiv). Das ist erst einmal gut. Es bedeutet nämlich, dass der Autor versucht, ein paar Dinge in den Griff zu bekommen, die verhindern, dass ein Ergebnis aussagekräftig ist. Zur Erklärung aus der Wikipedia:
“Randomisierung ist ein Verfahren für klinische Studien (…), bei dem die Stichproben (z. B. teilnehmende Patienten) unter Verwendung eines Zufallsmechanismus Behandlungen zugeteilt werden, wodurch bekannte und unbekannte Einflussgrössen des Studienresultats gleichmäßig zwischen Studien- und Kontrollgruppe verteilt werden. Durch das Verfahren soll die Wahrscheinlichkeit verringert werden, dass der in einem Wirksamkeitstest nachgewiesene Effekt einer systematischen Verzerrung (Bias) unterliegt. Randomisierung ist die Voraussetzung für eine weitere Maßnahme zur Vermeidung des Bias: der Verblindung.”
Das lassen wir mal so stehen.
Das Problem ist: Man kann eine Studie zwar “randomisiert” nennen, dann sollte man aber auch die entsprechenden Kriterien dafür erfüllen. Bei Grossarth-Maticek hat es offensichtlich nicht so recht geklappt: “Wie eine Randomisierung stattgefunden hat, ist nicht nachzuvollziehen“, sagt Gerken. Aussagen wie “... gemacht. Die Paare wurden dann noch einmal randomisiert.“, die eine zweite Randomisierung suggerieren, sorgten bei ihm für weitere Verwirrung.
Auch für Abholz bleibt das Verfahren schleierhaft: “Erst zu matchen (d.h. Paare zu bilden, Anm. von mir), dann zu randomisieren gibt es nicht. Es bleibt auch hier unklar, wie man so etwas gemacht hat. Denn wenn man Pärchen bildet, wie will man nun noch per Zufall erneut verteilen?“.
Wie auch immer: Da der Autor so schlecht für eine zufällige Verteilung gesorgt hat, sind falschen Ergebnissen Tür und Tor geöffnet.
Dafür sorgt auch der zweite grobe Fehler. Gerken: “Es fand keinerlei Verblindung statt. Gerade bei subjektiven Endpunkten ist fehlende Verblindung nicht akzeptabel.”
Die Studie ist nicht verblindet, dass heißt, sowohl die Probanden wussten, was sie bekommen, als auch der durchführende Arzt wusste, was er verabreicht. Eine der Untersuchungsnethoden ist aber eine subjektive Einschätzung des Gesundheitszustandes. Das wiederum bedeutet, die Probanden sollten gemäß eines Fragebogens berichten wie es ihnen geht. Wenn ich aber weiß, dass ich einen Saft einnehme, der mir helfen soll, dann muss man davon ausgehen, dass dies meine Einschätzung beeinflusst. Um das zu verhindern, sollte man “verblinden”. In dieser Studie wissen die Probanden aber, was und wozu sie es trinken. Und der Arzt weiß, wer was getrunken hat. Nicht gut.
Also: nicht wirklich randomisiert, nicht verblindet. Hinzu kommen viel zu kleine Untergruppen, außerdem ein Test für das subjektive Befinden, der außer vom Autor von keinem anderen verwendet wird (bis zum Zeitpunkt der Studie). Zumindest verweist er im Artikel diesbezüglich nur auf eines seiner Bücher. Andere Autoren werden nicht genannt. Abholz: “Wie validiert die Messinstrumente waren – wird nicht einmal angesprochen – ist allerdings auf Hintergrund der oben schon angegebenen massiven methodischen Fehler auch nicht mehr wichtig.”
Schließlich: Dass in der gesamten Arbeit kein einziger statistischer Test durchgeführt wurde, um zu überprüfen, ob die vermeintlichen Unterschiede relevant sind, spielt angesichts der Mängel der Untersuchung auch keine Rolle mehr. (Dass bei den Mittelwerten kein Konfidenzintervall angegeben ist, sagt vielleicht mehr aus als ein Laie vermuten könnte.)
Das Fazit zieht der Autor in gewissem Sinne selbst:
“Replikationsexperimente zur Überprüfung der Wiederholbarkeit der Ergebnisse wären natürlich sehr wünschenswert.”
Übrigens schreibt der Autor auch: Es könne keineswegs von einer “spezifischen, heilenden Wirkung für bestimmte Krankheitssymptome, wie sie von Medikamenten erwartet werden“, gesprochen werden.
Wie auch: Es ist ja als Nahrungsergänzungsmittel angemeldet. Sonst nichts.
Also, Fazit: Die bis vor kurzem im Marketing für den Saft Cellagon aurum verwendete Studie (auf die von Beratern sicher gerne verwiesen wurde und wird), erfüllt nicht die grundlegendsten Eigenschaften einer guten wissenschaftlich Studie. Damit kann man sie eigentlich in die Tonne kloppen. Wer sie anführt, um zu belegen, wie toll der Saft ist, sollte sie sich nochmal genauer ansehen oder jemanden fragen, der sich damit auskennt.
Außerdem fehlt eine unabhängige Bestätigung der “Ergebnisse”.
Das Zell-Gold kann natürlich trotzdem toll sein. Nur ist diese Studie nicht dazu geeignet, dies zu zeigen. Bleibt die Frage, woher man dann weiß, dass der Saft so toll ist? Da werden einem die Berater sicher eine Menge persönlicher Geschichten erzählen. Es gibt davon auch so einiges im Netz zu finden, auch Berichte zum Thema Krebserkrankung. Das Problem dabei ist natürlich: Es sind Anekdoten und keine Daten, außerdem lassen sich die Aussagen nicht überprüfen. Man weiß nie, wer sich hinter einem anonymen Namen versteckt? Vielleicht ein Berater? Man weiß es nicht.
Einfach zu sagen: Da ist viel drin, also muss es gesund sein, ist ein bisschen wenig, finde ich.
Ich hatte einen meiner alten Artikel über Cellagon aurum mit der Frage: “Sollen wir diesen Saft kaufen” betitelt.
Meine Antwort: Ich wüsste nicht warum.
Inzwischen verweist der Safthersteller auch nur noch auf seiner englischen Seite auf diese Untersuchung. Auf der deutschen Seite gibt es seit einigen Monaten eine Zusammenfassung einer neuen Studie.
Was davon zu halten ist, das erzähl ich dann in zwei Jahren demnächst vielleicht mal.
Blogkollege Ulrich Berger (Kritisch gedacht) hat sich aufgrund der Angaben auf der Marketingseite schon eine erste Meinung gebildet. Auch Leser wolfgang ist nicht überzeugt. Wir wollen aber erst einmal die Originalstudie abwarten, um uns eine abschließende Meinung zu bilden.
Verwandte Artikel:
1. Cellagon aurum: Die zweite Staffel
2. Cellagon aurum 2: Der Saft gegen den Mangel
Kommentare (338)