Es gibt im Englischen eine ganze Reihe von idiomatischen Redewendungen, die etwas beschreiben, das zu einfach ist, um damit wirklich Eindruck machen zu können: “Easy as pie”, sagt man da beispielsweise, oder “like shooting fish in a barrel”. Oder “like stealing candy from a baby” – und letzteres scheint mir am passendsten für das, worum es hier gehen soll: Einige haben vielleicht schon von dem Coup mit der falschen Schokoladendiät gehört oder gelesen; wer’s noch nicht hat, nehme sich bitte die Zeit, die Hintergrundstory hier nachzulesen (ich warte so lange):

.
.
.

spinner_white

.
.
.
Okay, weiter geht’s. Und zugegeben, das Adjektiv “einfach” würde ich hier eigentlich nicht ganz passend finden, denn die Vorbereitungen, die John Bohannon treffen musste, um die Medien mit der Nachricht reinzulegen, dass Bitterschokolade mit hohem Kakaoanteil – genauer gesagt: eine tägliche Dosis von 42 Gramm Schokolade mit einem Kakaoanteil von 81 Prozent – für eine Reduktionsdiät förderlich sein kann, waren schon ziemlich aufwändig: Es brauchte Geld, um eine Studie durchzuführen, einen echten Arzt als Studienleiter, echte Testpersonen, echte Testreihen, eine (glaubhaft?) gefakte Webseite, um ein real nicht existierendes Forschungsinstitut vorzutäuschen, einen passenden Facebook-Auftritt, und dann, als Meisterstück, eine – echte?- Publikation in einem Journal (dazu später mehr), mit der sich dann, dank der Hilfe einer PR-Expertin, die Pressemitteilung lancieren ließ, die zudem spezifischen Medien als “exklusiv” angeboten wurde.

Ist, nach all diesen Vorbereitungen, nun wirklich jemand überrascht, dass beispielsweise die BILD-Zeitung oder die Huffington Post auf das Thema angesprungen sind? Wohl kaum, denn dort gibt es nicht mal eine Wissenschaftsredaktion. Das ist es, was ich mit “like stealing candy from a baby” meinte. Dass die Meldung, wenn sie erst einmal losgetreten ist, dann in allerlei internationalen Medien einen Niederschlag fand, ist – wenn man weiß, wie Medien funktionieren – letztlich auch nicht mehr weiter überraschend.

Persönliche Anmerkung: In einem früheren Teil meiner Berufslaufbahn hatte ich einen Korrespondentenjob im Haus Springer, der auch die Zulieferung der BILD mit einschloss. Ich sage das nicht, um das Blatt in irgend einer Weise zu verteidigen oder irgendwelche latenten Sympathien auszudrücken: Ich weiß aus eigener Erfahrung, welch ein Drecksblatt das ist und wie Nachrichten dort verdreht und verfälscht werden. Ein besonders drastisches Beispiel war eine Meldung, die ich irgendwann in den 90-er Jahren verfasst hatte (leider habe ich keine Kopie des Textes mehr, und meine Erinnerung daran ist nicht mehr sehr präzise), in der es um die Bestattungsrituale der Neandertaler ging, vor allem dabei um die Spekulation, dass Blütenpollen in einer Neandertaler-Grabstätte in der Shanidar-Höhle ein Indiz für einen “ästhetischen” Bestattungskult sein könnten. Am nächsten Tag schrieb die BILD, mit großer Schlag- (und meiner Autoren-)zeile: “Der Neandertaler brachte seiner Frau Blumen”. Der größte Fortschritt in der Zusammenarbeit mit der Zeitung, den ich in der Folge erzielen konnte, war der, dass ich danach von den zuständigen Redakteuren immer erst gefragt wurde, wie weit sie meine Texte verbiegen könnten, ehe ich vor Qualen aufschreie (nicht, dass es etwas genutzt hätte)…

Aber ich schweife ab. Worum es mir hier geht ist die Feststellung, dass die aus dem Stunt resultierende Medienkritik zwar begreiflich ist, aber für den Nachweis, dass BILD und HuffPost keine Qualitätsmedien sind, hätte es dieses Aufwands nicht bedurft. Das wussten wir schon vorher. Das Problem, das dieser Stunt offenbart und auf das ich hier die Aufmerksamkeit richten will, ist aber erst mal keines der medialen Verarbeitung, sondern der wissenschaftlichen Aufbereitung: ich finde es eigentlich sogar positiv überraschend, dass trotz dieses erheblichen Täuschungsaufwands nicht mehr Medien auf den Coup reingefallen sind.

Denn der beunruhigendste Satz in John Bohannons Bericht ist meiner Ansicht nach der folgende:

It’s called p-hacking— fiddling with your experimental design and data to push p under 0.05—and it’s a big problem. Most scientists are honest and do it unconsciously. They get negative results, convince themselves they goofed, and repeat the experiment until it “works”. Or they drop “outlier” data points. (Hervorhebung von mir)

Die meisten WissenschaftlerInnen manipulieren ihre Daten, wenn auch ohne böse Absicht? Ich finde das eher erschütternd als Feststellung. Denn das impliziert schon mal, dass WissenschaftlerInnen nicht zu trauen ist – egal nun, ob sie absichtlich schummeln oder ihre eigenen Fehler nicht bemerken. (Und dass es Probleme mit dem Verständnis solcher statistischer Indikatoren wie beispielsweise dem P-Wert bei extrem kleinen Fallzahlen auch bei aktiv forschenden AkademikerInnen gibt, erlebe ich nicht selten in meinem MIT-Lehralltag: wenn ich zum Beispiel in einem Bericht über ein studentisches Forschungsprojekt genau solche Schwächen – ein andere Klassiker ist die Verwendung von sinnfreien und auf viele Kommastellen ausgerechneten Mittelwerten für Messungen, die letzlich nur “Pi mal Daumen” vorgenommen wurden – entdecke und in meinen Kommentaren darauf hinweise, nur um dann zu sehen, dass der/die FachbetreuerIn dieses methodische Vorgehen widerspruchslos abgenickt hat…)

flattr this!

1 / 2 / Auf einer Seite lesen

Kommentare (11)

  1. #1 Joseph Kuhn
    29. Mai 2015

    “warum soll dann ein Massen(käse)blatt … plötzlich besser darin sein, solche Enten abzuschießen?”

    Auch von der Bild-Redaktion könnte man erwarten, dass sie stutzig wird, wenn der Methodenabschnitt so aussieht wie in der Schokodiät-Studie und man nicht einmal die Zahl der Untersuchten dort findet (und nur auszugsweise in der Fußzeile einer Tabelle). Da sind die schrägen Studien in Science & Co. dann doch etwas unauffälliger. Deiner Klage über die Publiziritis kann ich nur zustimmen. Es wird immer mehr Halbgares eingereicht, auch weil – so mein Eindruck – in manchen Fächern immer mehr studentische Abschlussarbeiten als Publikationsmanuskripte erstellt werden, aber offensichtlich die Betreuungszeit fehlt, die Arbeiten wirklich publikationsreif zu machen.

    “die letzlich nur “Pi mal Daumen” vorgenommen wurden”

    Pi mal Daumen ist nicht das schlechteste Verfahren. 😉

  2. #2 Phil
    29. Mai 2015

    2/3 der biomedizinischen Studien lassen sich *nicht* reproduzieren … oft fehlt es den Leuten in dem Feld schon an den nötigen Grundlagen. Ein einem heutigen Vortrag über genau dieses Thema [1] wurde erwähnt, dass vielen Biomedizinern nicht klar ist, dass wenn sie Calcium mittels Kohlenstoffdioxid regulieren, sie dabei auch den PH-Wert senken, welcher großen Einfluss auf die Funktion einer Zelle hat. So was darf einfach nicht sein.

    [1] https://www.caesar.de/caesarium.html?&L=2 (den Vortrag wird es irgendwann mal als Mitschnitt geben)

  3. #3 Jürgen Schönstein
    29. Mai 2015

    @Joseph #1

    Auch von der Bild-Redaktion könnte man erwarten, dass sie stutzig wird, wenn der Methodenabschnitt so aussieht wie in der Schokodiät-Studie

    Wieso könnte man das von der BILD-Redaktion erwarten? Ich habe, wie gesagt, selbst viele Jahre mit der Redaktion dieses Blattes gearbeitet und bin mir ziemlich sicher, dass sich dort niemand mit den Feinheiten der wissenschaftlichen Methode auskennt. Oder genauer: dass niemand, der/die sich mit diesen Methoden auskennt, dieses Wissen dort auch anbringen wollte und könnte. (Es gibt in Journalistenkreisen den Begriff “kaputtrecherchieren”, und die KollegInnen, die das tun, sind selten populär und werden gelegentlich sogar redaktionsöffentlich abgestraft. Das weiß ich aus eigener Erfahrung.) Aus der Sicht des Boulevards gesehen ist diese Studie übrigens selbst jetzt, nach dieser Enthüllung, noch nicht entkräftet: Es wurden ja echte Leute befragt, es wurden echte Kontrolltests gemacht, und es wurden echte Ergebnisse in einem wissenschaftlichen Format publiziert. Klar, die Stichprobe war klein – aber immerhin gab es eine Stichprobe (was man nicht von allen Studien, selbst jenen in Science, offenbar sagen kann – siehe oben). Was hingegen gerade nicht erbracht wurde ist der Nachweis, dass es keinen Zusammenhang zwischen dem Schokoladengenuss und dem Gewichtsverlust gibt.

    Ich gehe sogar so weit zu behaupten, dass die BILD die gleiche Schlagzeile und Platzierung gewählt hätte, wenn sie gewusst hätte, wie klein die Stichprobe war und dass das Ergebnis nicht durch die fachgerechte Überprufung einer Hypothese erzielt wurde, sondern durch einen Ansatz, der mit dem eingangs zitierten Schießen auf Fische in einem Fass (in dieser Redensart ging es ursprünglich um eingelagerte Fische, die so dicht in Fässer gepackt waren, dass es praktisch unmöglich war, beim Schuss auf so ein Fass KEINEN Fisch zu treffen) ganz passend beschrieben wäre: Wenn man genug Variable ins Spiel bringt, wird es es immer eine oder zwei geben, die auch ganz zufällig ein “statistisch relevantes” Ergebnis produzieren. Aber das wissen nicht mal alle WissenschaftlerInnen…

    Damit man mich nicht falsch versteht: Ich behaupte nicht, dass die Studie wissenschaftlich seriös ist – aber man muss sich halt darüber im Klaren sein, dass die Standards, die ein Boulevard- oder sonstiges Massenblatt an seine Berichterstattung anlegt, zwangsläifig andere sein müssen als für eine wissenschaftliche Fachpublikation. Sonst wären die Zeitungen nämlich ziemlich leer.

    Pi mal Daumen ist nicht das schlechteste Verfahren. 😉

    Klar doch. Aber nur, wenn man die derart ermittelten Werte dann nicht bis zur sechsten Nachkommastelle mittelt und dann allerlei statistische Spielereien mit ihnen treibt. Was leider selbst bei meinen ansonsten blitzgescheiten StudentInnen immer wieder der Fall ist. 🙁

  4. #4 Joseph Kuhn
    29. Mai 2015

    @ Jürgen:

    “bis zur sechsten Nachkommastelle”

    Eine bewährte Methode zur Erzeugung scheinbarer Genauigkeit nicht nur bei Studierenden, in unserer Handlungshilfe “Mediale Aspekte der Gesundheitsberichterstattung” (dort S. 15) haben wir den Statistiker Walter Krämer zitiert. Er nennt das die “Grob rein – fein raus”-Methode.

    “Ich gehe sogar so weit zu behaupten, dass die BILD die gleiche Schlagzeile und Platzierung gewählt hätte, wenn sie gewusst hätte, wie klein die Stichprobe war”

    Und das beim Deutschen Zentralblatt für Risikokommunikation! 😉

  5. #5 strahlenbiologe
    29. Mai 2015

    Deinem Statemant
    “Sondern dass dies der Auswuchs eines Systems ist, in dem die Quantität der Publikation mehr bedeutet als die Qualität der wissenschaftlichen Tätigkeit”
    schliesse ich mich voll und ganz an.
    Aber umso schlimmer ist es noch, dass gerade die High-Impact Journals heute fast nur noch Paper mit WOW-Faktor publizieren, also “Sexy-paper”. Siehe z.b. die STAP-Zellen. Für sehr viele zählt heute nur schnell, viel und hoch zu publizieren. Denn daran hängen die Drittmittel.

  6. #6 Phil
    29. Mai 2015

    @strahlenbiologe et al, IMHO sollten in dem Impact Factoren nur reproduzierte und reproduzierende Studien berücksichtigt werden. Das würde das ganze System auf <10% eindampfen.

  7. […] echte Wissenschaft falsch in den Medien reflektiert wird, oder falsche Wissenschaft in den Medien für “echte” Schlagzeilen sorgt, wird der Fehler schnell – und oft – bei den Medien verortet: beim […]

  8. […] mit bitterem Nachgeschmack, GeoGraffitico am 28. Mai […]

  9. […] windigen Blätter, die auf die angebliche Studie reingefallen sind – warum, das habe ich ja hier schon deutlich genug gesagt. Nein, der Bericht selbst ist peinlich, und zwar nach seinen eigenen Maßstäben – und man […]

  10. […] wurde, hin und her diskutiert. Die Geschichte der „Studie“ selbst kann man z.B. bei Geograffitico nebenan und den dort verlinkten Quellen nachlesen. In aller Kürze: Um zu zeigen, wie schnell eine […]

  11. […] das Problem zeigte sich auch noch einmal ganz konkret und in all seinen Facetten, als es um die berüchtigte Schokoladendiätstudie […]