Doch dafür gibt es ja, wie wir immer wieder auch in den ScienceBlogs betonen, den Prozess der Peer Review – da würden doch solche Schlampereien oder Betrügereien sicher schnell gefunden, oder? Schön wär’s (hier der Link für alle, denen das Wortspiel eben entgangen ist): Erst vor wenigen Tagen sorgte die Entlarvung einer Studie, in der es um die gezielte Änderung von Meinungspositionen zur Schwulenehe ging, für peinliche Schlagzeilen. (Der Artikel wurde gerade von Science zurückgezogen.)

Sicher, gegen vorsätzliche Betrüger sind auch Wissenschaftler nicht unbedingt gefeit; dass sich der als Co-Autor nun peinlich bloßgestellte Politikwissenschaftler Donald P. Green von einem ebenso ehrgeizigen wie offenbar skrupellos seine Daten fälschenden Doktoranden über den Tisch ziehen ließ, mag zwar verständlich sein – wer würde schon jemandem, der sich bis dahin offenbar recht erfolgreich im akademischen Apparat bewährt hat, solch eine plumpe Fälschung zutrauen? Aber, so frage ich jetzt mal vorsichtig: Wenn es selbst dem doch stets seine Peers reviewenden akademischen Apparat nicht aufzufallen scheint, dass da etwas nicht stimmt, und offenbar selbst das Flaggschiff aller wissenschaftlichen Publikationen, das ehrwürdige Science, sich reinlegen lässt, das sich mit der Peer Review und der Publikation ja eigentlich so viel Zeit lassen kann wie es nur will – warum soll dann ein Massen(käse)blatt, dass unter extremem Zeitdruck von wissenschaftlich nicht versierten Leuten produziert wird, plötzlich besser darin sein, solche Enten abzuschießen? Ich fürchte, dass dieser Stunt letztlich dem Vertrauen in die Wissenschaft mehr schaden wird als dem “Vertrauen” in solche Medien wie BILD, HuffPost oder FOCUS Online…

Aber die Schokoladenstudie wurde ja nicht in Science oder sonst einem unabhängigen Fachblatt veröffentlicht, sondern in einem “Journal”, das solche Studien gegen Bezahlung abdruckt. Und meist, trotz gegenteiliger Versicherung, ohne peer review. Wie oft diese vorgeblich als open access klassifizierten Journale dies praktizieren (kleiner Tipp: Es ist mehr als die Hälfte) hat niemand anderer als John Bohannon ausgerechnet in Science schon vor mehr als eineinhalb Jahren entlarvt. Doch warum existieren solche Journale überhaupt? Wo ist die Empörung gegen solche Publikationen wie die International Archives of Medicine, in dem diese windige Schokoladendiätstudie publiziert wurde? Wer veröffentlicht überhaupt in solchen Journalen, und warum? So weit ich das aus den Inhaltsverzeichnissen erkennen kann, handelt es sich durchaus um Menschen, die in akademischen Positionen arbeiten; also nicht nur um solche Phantome wie Johannes (!) Bohannon.

Das Motto des letztgenannten Journals verrät ja schon, was das Hauptproblem ist: “I publish therefore I AM” steht da (genau so, einschließlich der fehlerhaften Zeichensetzung). Und das stimmt nicht nur im Rahmen dieses Journals. Der wahre Missstand, über den wir uns aufregen sollten, ist nicht die Tatsache, dass die BILD oder vergleichbare Medien nicht selten Sch… veröffentlichen – das tun sie schon lange, und wer das nicht weiß, wird durch solche Stunts nicht wissender werden. Sondern dass dies der Auswuchs eines Systems ist, in dem die Quantität der Publikation mehr bedeutet als die Qualität der wissenschaftlichen Tätigkeit. Denn dadurch wird es immer Studien geben, die nur zu dem Zweck produziert wurden, eine Publikation zu erzeugen. Dass Publikation der Goldstandard ist, wissen selbst schon meine Undergrad-StudentInnen – und das ist, im Prinzip, die gleiche Mentalität, die den Boulevardjournalismus am Leben hält: Am Ende zählt nur die Auflage und der daraus erzielbare Profit.

flattr this!

1 / 2

Kommentare (11)

  1. #1 Joseph Kuhn
    29. Mai 2015

    “warum soll dann ein Massen(käse)blatt … plötzlich besser darin sein, solche Enten abzuschießen?”

    Auch von der Bild-Redaktion könnte man erwarten, dass sie stutzig wird, wenn der Methodenabschnitt so aussieht wie in der Schokodiät-Studie und man nicht einmal die Zahl der Untersuchten dort findet (und nur auszugsweise in der Fußzeile einer Tabelle). Da sind die schrägen Studien in Science & Co. dann doch etwas unauffälliger. Deiner Klage über die Publiziritis kann ich nur zustimmen. Es wird immer mehr Halbgares eingereicht, auch weil – so mein Eindruck – in manchen Fächern immer mehr studentische Abschlussarbeiten als Publikationsmanuskripte erstellt werden, aber offensichtlich die Betreuungszeit fehlt, die Arbeiten wirklich publikationsreif zu machen.

    “die letzlich nur “Pi mal Daumen” vorgenommen wurden”

    Pi mal Daumen ist nicht das schlechteste Verfahren. 😉

  2. #2 Phil
    29. Mai 2015

    2/3 der biomedizinischen Studien lassen sich *nicht* reproduzieren … oft fehlt es den Leuten in dem Feld schon an den nötigen Grundlagen. Ein einem heutigen Vortrag über genau dieses Thema [1] wurde erwähnt, dass vielen Biomedizinern nicht klar ist, dass wenn sie Calcium mittels Kohlenstoffdioxid regulieren, sie dabei auch den PH-Wert senken, welcher großen Einfluss auf die Funktion einer Zelle hat. So was darf einfach nicht sein.

    [1] https://www.caesar.de/caesarium.html?&L=2 (den Vortrag wird es irgendwann mal als Mitschnitt geben)

  3. #3 Jürgen Schönstein
    29. Mai 2015

    @Joseph #1

    Auch von der Bild-Redaktion könnte man erwarten, dass sie stutzig wird, wenn der Methodenabschnitt so aussieht wie in der Schokodiät-Studie

    Wieso könnte man das von der BILD-Redaktion erwarten? Ich habe, wie gesagt, selbst viele Jahre mit der Redaktion dieses Blattes gearbeitet und bin mir ziemlich sicher, dass sich dort niemand mit den Feinheiten der wissenschaftlichen Methode auskennt. Oder genauer: dass niemand, der/die sich mit diesen Methoden auskennt, dieses Wissen dort auch anbringen wollte und könnte. (Es gibt in Journalistenkreisen den Begriff “kaputtrecherchieren”, und die KollegInnen, die das tun, sind selten populär und werden gelegentlich sogar redaktionsöffentlich abgestraft. Das weiß ich aus eigener Erfahrung.) Aus der Sicht des Boulevards gesehen ist diese Studie übrigens selbst jetzt, nach dieser Enthüllung, noch nicht entkräftet: Es wurden ja echte Leute befragt, es wurden echte Kontrolltests gemacht, und es wurden echte Ergebnisse in einem wissenschaftlichen Format publiziert. Klar, die Stichprobe war klein – aber immerhin gab es eine Stichprobe (was man nicht von allen Studien, selbst jenen in Science, offenbar sagen kann – siehe oben). Was hingegen gerade nicht erbracht wurde ist der Nachweis, dass es keinen Zusammenhang zwischen dem Schokoladengenuss und dem Gewichtsverlust gibt.

    Ich gehe sogar so weit zu behaupten, dass die BILD die gleiche Schlagzeile und Platzierung gewählt hätte, wenn sie gewusst hätte, wie klein die Stichprobe war und dass das Ergebnis nicht durch die fachgerechte Überprufung einer Hypothese erzielt wurde, sondern durch einen Ansatz, der mit dem eingangs zitierten Schießen auf Fische in einem Fass (in dieser Redensart ging es ursprünglich um eingelagerte Fische, die so dicht in Fässer gepackt waren, dass es praktisch unmöglich war, beim Schuss auf so ein Fass KEINEN Fisch zu treffen) ganz passend beschrieben wäre: Wenn man genug Variable ins Spiel bringt, wird es es immer eine oder zwei geben, die auch ganz zufällig ein “statistisch relevantes” Ergebnis produzieren. Aber das wissen nicht mal alle WissenschaftlerInnen…

    Damit man mich nicht falsch versteht: Ich behaupte nicht, dass die Studie wissenschaftlich seriös ist – aber man muss sich halt darüber im Klaren sein, dass die Standards, die ein Boulevard- oder sonstiges Massenblatt an seine Berichterstattung anlegt, zwangsläifig andere sein müssen als für eine wissenschaftliche Fachpublikation. Sonst wären die Zeitungen nämlich ziemlich leer.

    Pi mal Daumen ist nicht das schlechteste Verfahren. 😉

    Klar doch. Aber nur, wenn man die derart ermittelten Werte dann nicht bis zur sechsten Nachkommastelle mittelt und dann allerlei statistische Spielereien mit ihnen treibt. Was leider selbst bei meinen ansonsten blitzgescheiten StudentInnen immer wieder der Fall ist. 🙁

  4. #4 Joseph Kuhn
    29. Mai 2015

    @ Jürgen:

    “bis zur sechsten Nachkommastelle”

    Eine bewährte Methode zur Erzeugung scheinbarer Genauigkeit nicht nur bei Studierenden, in unserer Handlungshilfe “Mediale Aspekte der Gesundheitsberichterstattung” (dort S. 15) haben wir den Statistiker Walter Krämer zitiert. Er nennt das die “Grob rein – fein raus”-Methode.

    “Ich gehe sogar so weit zu behaupten, dass die BILD die gleiche Schlagzeile und Platzierung gewählt hätte, wenn sie gewusst hätte, wie klein die Stichprobe war”

    Und das beim Deutschen Zentralblatt für Risikokommunikation! 😉

  5. #5 strahlenbiologe
    29. Mai 2015

    Deinem Statemant
    “Sondern dass dies der Auswuchs eines Systems ist, in dem die Quantität der Publikation mehr bedeutet als die Qualität der wissenschaftlichen Tätigkeit”
    schliesse ich mich voll und ganz an.
    Aber umso schlimmer ist es noch, dass gerade die High-Impact Journals heute fast nur noch Paper mit WOW-Faktor publizieren, also “Sexy-paper”. Siehe z.b. die STAP-Zellen. Für sehr viele zählt heute nur schnell, viel und hoch zu publizieren. Denn daran hängen die Drittmittel.

  6. #6 Phil
    29. Mai 2015

    @strahlenbiologe et al, IMHO sollten in dem Impact Factoren nur reproduzierte und reproduzierende Studien berücksichtigt werden. Das würde das ganze System auf <10% eindampfen.

  7. […] echte Wissenschaft falsch in den Medien reflektiert wird, oder falsche Wissenschaft in den Medien für “echte” Schlagzeilen sorgt, wird der Fehler schnell – und oft – bei den Medien verortet: beim […]

  8. […] mit bitterem Nachgeschmack, GeoGraffitico am 28. Mai […]

  9. […] windigen Blätter, die auf die angebliche Studie reingefallen sind – warum, das habe ich ja hier schon deutlich genug gesagt. Nein, der Bericht selbst ist peinlich, und zwar nach seinen eigenen Maßstäben – und man […]

  10. […] wurde, hin und her diskutiert. Die Geschichte der „Studie“ selbst kann man z.B. bei Geograffitico nebenan und den dort verlinkten Quellen nachlesen. In aller Kürze: Um zu zeigen, wie schnell eine […]

  11. […] das Problem zeigte sich auch noch einmal ganz konkret und in all seinen Facetten, als es um die berüchtigte Schokoladendiätstudie […]