Lasst mich mal einen Post hier beginnen, von dem ich noch nicht weiß, ob und wie ich ihn weiter führe. Aber das scheint mir ein interessanter Gedanke zu sein. Steven Pinker von der Harvard University knallt uns Wissenschaftsjournalisten heute folgenden Tweet um die Ohren:
Lesson for sci journalists: Stop reporting single studies, no matter how sexy (these are probably false). Report lit reviews, meta-analyses.
— Steven Pinker (@sapinker) August 1, 2014
(und zu Ende gedacht sind damit natürlich wir alle gemeint, die wir uns rund um wissenschaftliche Studien bewegen: Wissenschaftler, die es gerne sehen, wenn über ihre Studien berichtet wird, Pressestellen, die mit ihren Mitteln die Öffentlichkeit darauf hinweisen, Journalisten, die wir News daraus machen, und letztlich LeserInnen, ZuschauerInnen und ZuhörerInnen, die gerne Berichte über wissenschaftliche Studien konsumieren, weil sie hoffen, glauben, wissen, dass dies fundierte(re) Informationen sind.)
Es ist noch früh am Tag, die Marke ist gesetzt. Wer eine Meinung dazu hat, bitte schön. Wenn mir was einfällt, werde ich es hier ergänzen.
Ergänzung 1 (8:48 Uhr):
Auslöser für diesen Satz war offenbar ein Artikel in Slate:
Many social psych expts fail to replicate- but Soc Psych is at the forefront of dealing with the problem @cfchabris https://t.co/McY7YCtIoz
— Steven Pinker (@sapinker) August 1, 2014
Es geht in diesem Fall darum, dass in der Sozialpsychologie massenhaft Studien produziert werden, deren Ergebnisse nicht bestätigt werden/wurden/werden, darüber aber immer sehr gerne berichtet wird (dazu passt natürlich gerade schön der Fall von Diederik Stapel, der genau in diesem Forschungsbereich zahlreiche Studien manipuliert hat und damit jahrelang durchkam, sehr schön beschrieben von Max Rauner im Zeit Wissen Magazin).
Aber auch wenn es hier um eine Disziplin geht: Der Gedanke lässt sich ja eigentlich auf die meisten Wissenschaftsfächer übertragen, oder nicht?
Ergänzung 2 (9:21 Uhr):
Aufmerksam auf Pinkers Tweet wurde ich übrigens, weil Volker Stollorz auf Twitter und in der Folge auf Facebook darauf hinwies (siehe auch die Kommentare dort):
Das ist sicher kein Zufall, dass gerade Volker einen solchen Tweet weiterleitet, hat er doch zuletzt mit einem Impuls-Vortrag/Vorträge zum Thema: “Weniger ist mehr in der Wissenschaftskommunikation/ Weniger Bullshit berichten.” zur Debatte beigetragen (Wie und wo, finde ich gerade heraus.) War beim 2. Treffen des Siggener Kreises: “Weniger kommunizieren – mehr erreichen (Wider die Vermüllung öffentlicher Kommunikationsräume)”, Auslöser für seinen Vortrag war u.a. ein Artikel des Soziologen Andrew Abbott, den es hier als pdf im Volltext gibt: “The Problem of Excess“.
Ergänzung 3 (9:23 Uhr):
Wer sich ein wenig einlesen will, hier eine Google-Auswahl zum Thema: The replication problem in Science
Ergänzung 4 (10:16 Uhr):
Es gibt auch einen “Fachbegriff” für die Problematik in der Berichterstattung: Single Study Syndrome (Google-Ergebnisliste).
Ergänzung 5 (2.8. 10:31 Uhr):
Auf Twitter weist Franziska Badenschier (offtopic Hörtipp beim DLF: Serie über Vernachlässigte Krankheiten in Afrika) auf einen Blogpost der US-Wissenschaftsjournalistin Virginia Hughes aus dem Mai hin: “Resveratrol Redux, Or: Should I Just Stop Writing About Health?” (ein Storify zur anschließenden Diskussion gibt es hier).
Sie zeigt am Beispiel von Resveratrol, wohin das Problem des “Single Study Syndromes” führt: Über Jahre wird über einzelne Studien berichtet, die (scheinbar, möglicherweise, angeblich) zeigen, wie toll der Inhaltsstoff der roten Trauben ist, bis sich am Ende rausstellt: Alles Heiße Luft. Die kommerziellen Interessen dahinter sind natürlich ein Aspekt, den man beachten muss.
Ergänzung 6 (11:13 Uhr):
Curtis Brainard hatte übrigens das “SSS” zum Hauptthema seiner Eröffnungs-Keynote auf der Wissenswerte 2013 erkoren. Seinen Vortrag kann man (dank des WW-Archivs) hier nochmal in einem pdf lesen, u.a. schreibt er:
“In fact, it is in the realm of health and medicine that I see the biggest problem with what’s been called “single‐study syndrome” by some and “the big paper of the week model of journalism” by others. This is what happens when outlets try too hard for breaking news in science. Reporters cover the latest papers in journals like Science and Nature simply because they were published, and they treat whatever conclusion was reached as gospel, without explaining where the paper fits in with the larger body or relevant and related research. It’s how we get articles heralding the virtues and aspirin, red wine and multivitamins one week, and rejecting them the next. It’s how we stuck in what’s called the “new‐hope‐no‐hope” cycle of reporting about disease and illness.
Single‐study syndrome is a common problem in stories about climate change and other topics as well, of course, but I think it has the most power to cause the most harm when it turns up in health and medical reporting, because people are likely to act upon these stories in ways that can quickly affect their lives, whether it’s eating more of this or less of that, or deciding to try or to skip new drugs and treatments. And you can see how potentially dangerous that becomes when you consider that most of these studies will never be replicated.”
Ergänzung 7 (11:58 Uhr):
Mir und auch manchem anderen ist der Begriff des Single Study Syndromes das erste Mal in der Diskussion um die Seralini-Studie aufgefallen (Stichworte: Gentechmais, Ratten, Tumoren usw.) . Damals hatte Andrew Revkin auf seinem NYT-Blog Dot Earth einen Blogpost dazu verfasst mit dem Titel: “Single-Study Syndrome and the G.M.O. Food Fight“:
“I’ve written here before about what I call “single-study syndrome,” the habit of the more aggressive camps of advocates surrounding hot issues (e.g., climate, chemical exposure, fracking) to latch onto and push studies supporting an agenda, no matter how tenuous — or dubious — the research might be.”
Ergänzung 7 (11:43 Uhr):
Der Blog Science or not? hat dem SSS einen ganzen Blogpost und eine “Rote Flagge” gewidmet, ergänzt durch den unvermeidlichen xkcd-Cartoon:
“How to recognise this tactic
This tactic shows up when a person who has a vested interest in a particular point of view pounces on some new finding which seems to either support or threaten that point of view. It’s usually used in a context where the weight of evidence is against the perpetrator’s view.”
Ergänzung 8 (17:33 Uhr):
An diesem Essay kommt man natürlich gar nicht vorbei in der Diskussion:
John P. A. Ioannidis (2005): Why Most Published Research Findings Are False
Ergänzung 9 (2.8. 9:56 Uhr):
Mir scheint, es gibt einen subtilen Unterschied in der Betrachtung des “SSS”, den man beachten sollte. Einmal wird der Begriff verwendet in Diskussionen über große wissenschaftliche Themen, eine Studie, die konträr zu bisherigen Studien zeigen soll, dass es doch anders ist (Beispiel: Seralini). Hier geht es vor allem um Wissenschaftler und Befürworter einer These, die mit dieser einen Studie das gesamte bisherige Wissen infrage stellen.
Zum anderen beschreibt das SSS die Problematik im Journalismus, jede einzelne kleine Studie zu berichten (ähnlich wie bei Resveratrol) als wäre sie wichtig, bedeutend also relevant also berichtenswert, obwohl die Menschheit bei genauer Betrachtung auch sehr gut ohne diese Studie auskommen könnte.
Nachtrag 6.8.: Das SSS im Journalismus hängt aber natürlich auch am SSS in der Wissenschaft, weil Journalisten gerade diese eine Studie aufgreifen und darüber berichten, weil jemand behauptet, sie würde alles auf den Kopf stellen, (siehe eben den Fall Seralini).
Ergänzung 9 (6.8. 9:56 Uhr): Lars Fischer hat in seiner ureigenen Art in einem Blogpost begründet, warum Pinkers Forderung Quatsch ist (“Wie, nicht mehr über Studien berichten?”), Titel zuvor: :
“Dass das funktioniert, glaube ich schlicht nicht. Reviews sind keineswegs objektive und vollständige Literatursammlungen, sondern ebenfalls meist subjektive Zusammenfassungen dessen, was die ausgewählten Autorinnen und Autoren für den Stand der Forschung halten. Und ob man sich das Ergebnis einer zufälligen Studie oder die Meinung eines zufälligen Autors stützt, bei umstrittenen Themen kommt das aufs Gleiche raus, wenn man unreflektiert an die Sache rangeht. (…)
Außerdem sind, wie andere andernorts ja schon anmerkten, einzelne Studien schlicht nachrichtenwürdig, auch wenn sie für’s Überleben der Menschheit oder den Fortgang der Wissenschaft grad mal nicht relevant sind. (…)
Die Wissenschaft erzeugt keine Wahrheit, sondern einfach verschiedene Grade von Unsicherheit, über die ich als Journalist zu jedem Zeitpunkt berichten können muss (…)
Ganz abgesehen davon ist es auch nicht mein Job, möglichst gesichertes Wissen an den Mann oder die Frau zu bringen. (…)”
Holger Dambeck von Spiegel Online pflichtet ihm auf Twitter bei:
Treffer, versenkt! @Fischblog über die seltsame Idee, nur noch über Metastudien berichten zu wollen @Anhaeuser https://t.co/f6zAHjSZE9
— Holger Dambeck (@hdambeck) August 5, 2014
Ergänzung 10 (19.8. 10:50 Uhr):
Alexander Mäder nimmt sich des Themas in seiner Heureka-Kolumne in der Stuttgarter Zeitung an (“Einzelstudien-Syndrom: Da beißt die Maus keinen Faden ab”):
“(…) aus meiner Sicht gibt es zu viele Meldungen aus der Wissenschaft, die eins wollen und nicht können: gesicherte Erkenntnisse vermitteln. Ich denke vor allem an die kurzen Meldungen, in denen auf wenig Platz eine angebliche Sensation präsentiert wird. Wenn Wissenschaftsjournalisten auf ein Thema anspringen, setzen sie in aller Regel voraus, dass die Studie stimmt – und oft genug setzen sie noch einen drauf. Journalisten müssten die Botschaft zuspitzen, sagen sie zur Verteidigung. Die Resveratrol-Studien sind nicht der problematische Fall. Die Artikel der „New York Times“, die Virginia Hughes zitiert, stammen von Autoren, die seit Jahren über die Wirkung von Rotwein berichten. Sie stellen Studien nicht so dar, als stehe jede für sich. Sorgen machen mir die Fälle, in denen weitreichende Schlussfolgerungen gezogen werden. Mich stört weniger das Mal-so-und-mal-so, sondern vielmehr das So-und-nicht-anders. Ich denke an die vielen Durchbrüche, von denen ich gelesen und dann nie wieder gehört habe.”
Nachtrag 14:15 Uhr: Siehe dazu auch die Diskussion bei Alexanders Facebook-Beitrag.
Ergänzung 11, 19.11.:
Erich Lederer fasst das Thema, inspiriert durch diesen Beitrag hier, auf Doccheck zusammen.
(…wird fortgesetzt)
Ergänzung 12, 18.1.2015:
Gerald Gartlehner, EbM-Experte von der Donau-Uni Krems und Kollege von medizin-transparent.at hat die Diskussion auch nochmal auf Standard.at aufgegriffen und erteilt der Idee nicht mehr über einzelne Studien zu berichten auch eine Abfuhr: Der Sexappeal der Einzelstudie
Zum Thema Nicht-Reproduzierbarkeit von Studien hatte es übrigens bei Spektrum.de ein Bloggewitter gegeben.
Ergänzung 13, 9.2.2015:
Die Science-Section im Guardian Weekly widmet sich dem Thema Reproduzierbarkeit von Studienergebnissen, benennt einige Betrugsfälle wie den Fall Stapen.
“The whole point of science, the way we know something, is not that I trust Isaac Newton because I think he was a great guy. The whole point is that I can do it myself,” said Brian Nosek, the founder of a start-up in Charlottesville, Virginia, called the Center for Open Science. “Show me the data, show me the process, show me the method, and then if I want to, I can reproduce it.”
Kommentare (30)