Bei Compound Interest habe ich eine Liste von Tips gefunden, die helfen können, schlecht gemachte oder berichtete Wissenschaft und Forschung zu erkennen. Sie hat mir so gut gefallen, daß ich sie gestohlen und übersetzt habe und nun hier präsentiere. Die Liste ist nicht erschöpfend und nicht jeder erfüllte Punkt macht eine Studie oder einen Artikel unrettbar schlecht, aber die Liste ist eine gute Orientierung dafür, worauf man achten kann und sollte, wenn man Originalarbeiten, klinische Studien aber auch wissenschaftliche Berichterstattung liest.

(c) http://harmoniaphilosophica.files.wordpress.com

1. Sensationalistische Überschriften

Überschriften sollen einen Leser dazu anreizen, sie zum Anlass zu nehmen oder anzuklicken, um den ganzen Artikel zu lesen. Im besten Falle stellen sie nur eine (zu) starke Vereinfachung der Ergebnisse dar, im schlimmsten Fall werden die Ergebnisse durch eine Überschrift jedoch sensationalisiert und falsch dargestellt.

2. Falsch dargestellte Ergebnisse

Presseberichte (egal ob print oder online) verzerren oder verfälschen gelegentlich die Forschungsergebnisse, die sie präsentieren, absichtlich oder unabsichtlich, jedenfalls im Bestreben, eine gute Story zu liefern. Wenn möglich sollte man daher gleich die Originalarbeit lesen, statt sich auf einen darauf basierenden Artikel zu verlassen.

3. Interessenkonflikt

Viele Firmen oder Konzerne beschäftigen Wissenschaftler, um für sie Forschung zu betreiben und die Ergebnisse zu veröffentlichen. Das allein entwertet solche Forschung aus der Industrie noch nicht, sie sollte aber immer mit der Möglichkeit eines Interessenkonflikts im Hinterkopf betrachtet werden. Ein besonders eklatantes Beispiel sind natürlich die im Interesse der Tabakindustrie verfälschten oder unterschlagenen Forschungsdaten.

Forschungsergebnisse können zudem auch aus persönlichen oder finanziellen Motiven verfälscht dargestellt werden. Man sollte daher darauf achten, ob die Zeitschrift, in der eine Originalarbeit erscheint, von den Autoren verlangt, mögliche Interessenkonflikte offenzulegen.

4. Korrelation und Kausation

Ein Klassiker: Korrelation, also das gemeinsame Auftreten von zwei Variablen, darf nicht mit einem kausalen Zusammenhang zwischen beiden, wo eines das andere verursacht, verwechselt werden. Z.B. sind die Zunahme der globalen Erwärmung und die Abnahme der Anzahl an Piraten extrem stark miteinander korreliert. Daß das Verschwinden der Piraten jedoch die globale Erwärmung verursacht, ist eher unwahrscheinlich. 

5. Spekulative Sprache

Auch Spekulationen in wissenschaftlichen Artikeln sind und bleiben (nur) Spekulationen. Überall, wo „könnte“, „vielleicht“ und „hätte“ anzutreffen sind, ist Vorsicht geboten, da hier höchstwahrscheinlich keine belastbaren Belege für die gezogenen Schlüsse vorgelegt werden. Einhorntränen könnten schließlich Krebs heilen und Drachenfeuer möglicherweise den Klimawandel verursachen…

6. Zu kleine Probenanzahl

Je kleiner in einer Studie und vor allem einer klinischen Studie die Anzahl einbezogener Proben ist, desto weniger sicher kann man sich auf die Befunde der Studie verlassen. Schlußfolgerungen sollten immer in Anbetracht der untersuchten Probenanzahl (oder Stichprobengröße) erfolgen. Kleine Probenanzahlen lassen sich natürlich  nicht immer vermeiden, aber Mißtrauen ist spätestens dann angebracht, wenn größere Probenanzahlen absichtlich vermieden wurden.

7. Nicht repräsentative Proben

In Studien am Menschen sollten die Probanden so gewählt werden, daß sie die spätere Zielpopulation für das, was getestet wird, auch repräsentieren. Ist das nicht der Fall, sind die Schlußfolgerungen der Studie, die sich auf die Zielpopulation beziehen, zweifelhaft. Das ist bei vielen sozio-psychologischen Studien ein Problem, deren Probanden sich häufig fast vollständig aus jungen (Psychologie-)Studenten an einer Universität rekrutieren und damit nur einen kleinen und keineswegs repräsentativen Teil der Population abbilden.

8. Keine Kontrollen

In klinischen Studien sollte es immer eine der Testgruppe in Zusammensetzung und Größe sehr ähnliche Kontrollgruppe geben, die aber im Gegensatz zur Testgruppe keine Behandlung, Substanzgabe o.ä. erhält (sondern ggf. ein Placebo) und die Ergebnisse der Testgruppe müssen dann mit denen der Kontrollgruppe verglichen werden. Die Probanden müssen dabei zufällig auf Test- oder Kontrollgruppe verteilt werden. Auch bei Laborexperimenten sollten Kontrollproben mitgeführt werden, um alle Variablen kontrollieren zu können.

9. Keine Verblindung

Um eine auch unbewusste Verzerrung oder Verschiebung der Ergebnisse zu vermeiden, sollten Teilnehmer einer Studie nicht wissen, ob sie in der Kontroll- oder Testgruppe sind. Wenn technisch und ethisch möglich, sollte auch eine Doppelverblindung erfolgen, so daß auch die Durchführenden (Ärzte, Wissenschaftler) nicht wissen, welcher Proband in welcher Gruppe ist.

10. Rosinen-Rauspicken

Hierbei werden nur Daten, auch aus anderen Studien, präsentiert, die die Schlußfolgerung der Forscher stützen und solche, die es nicht tun, werden ignoriert oder verschwiegen, z.B. wenn in einer Originalarbeit die Schlußfolgerungen nur auf einen Teil der und nicht die gesamten Ergebnisse gestützt werden.

11. Nicht reproduzierbare Ergebnisse

Eine der wichtigsten Anforderungen an ein gutes Experiment und ein guten Aufsatz darüber ist, daß das Experiment von anderen, unabhängigen Wissenschaftlern nachgemacht werden kann und der Aufsatz (= Originalarbeit) so geschrieben ist, daß er als Anleitung zum Nachmachen ausreicht, also alle notwendigen Informationen enthält und nichts verschweigt. Das gilt umso mehr, je außergewöhnlicher die Ergebnisse sind!

1 / 2 / Auf einer Seite lesen

Kommentare (29)

  1. #1 rolak
    20/11/2014

    ..und schon im LesezeichenWerkzeugKasten 😉

  2. #2 Joseph Kuhn
    21/11/2014

    @ CC:

    “Der p-Wert korreliert mit der Wahrscheinlichkeit, daß die Ergebnisse nur ein Zufallsbefund sind (…) und je kleiner der p-Wert ist, desto geringer ist die Wahrscheinlichkeit, daß man, angenommen die Nullhypothese trifft zu, bei Wiederholungen des Experiments gleich gute oder sogar bessere Ergebnisse erhält.”

    Soso. Tipp 16: Man hüte sich vor schnell hingeschriebenen Ratschlägen 😉

  3. #3 rolak
    21/11/2014

    moin Joseph, wohl wahr, bei solch kontraintuitiven Mechanismen ist copy/paste des gewohnten “Mit dem p-Wert wird also angedeutet, wie extrem das Ergebnis ist: je kleiner der p-Wert, desto mehr spricht das Ergebnis gegen die Nullhypothese” sicherlich angebracht, zu viele Fallstricke.
    Insbesondere Fallstricke, die mir Ungeübtem beim flotten Überfliegen nicht auffallen…

  4. #4 Cornelius Courts
    21/11/2014

    @Joseph: inverse Korrelation ist auch eine Korrelation. Insofern gilt Tip 16 auch für Dich 😉

  5. #5 MartinB
    21/11/2014

    Gibt es für diese viel zitierte Piraten-Korrelation eigentlich irgendeine sinnvolle Quelle? Ich kenne nur dieses Bild (in zahlreichen Varianten)
    http://www.venganza.org/images/PiratesVsTemp.png
    und das ist so falsch, dass es schon weh tut:
    -die x-Achse ist hochgradig nicht-linear, da steht sogar ein niedrigerer Wert links von einem höheren,
    -die geschätzte Zahl der Piraten ist sicherlich vollkommen falsch – wenn sich da wirklich nur 17 Piraten vor Somalia rumtreiben, hätte man das Problem sicher schon gelöst;
    -die globale Temperatur ist seit 1880 auch nicht um 1,5°C gestiegen, wenn ich diese Grafik hier richtig verstehe:
    http://upload.wikimedia.org/wikipedia/commons/7/75/Instrumental_Temperature_Record_%28NASA%29.svg

  6. #6 Stefan Wagner
    http://demystifikation.wordpress.com/2014/11/20/toleranzpyramide/
    21/11/2014

    Z.B. sind die Zunahme der globalen Erwärmung und die Abnahme der Anzahl an Piraten extrem stark miteinander korreliert.

    Ich halte die Aussage für politisch ebenso naiv wie das Beispiel populär ist.

  7. #7 Stefan Wagner
    http://demystifikation.wordpress.com/2014/11/15/verkehrszeichen-gegendert/
    21/11/2014

    Oh, MartinB, 2 Dumme – ein Gedanke. :)

    Als ich “senden” klickte war Dein Text noch nicht zu sehen, der Tab aber vielleicht schon 1h offen.

  8. #8 Joseph Kuhn
    21/11/2014

    @ CC:

    “inverse Korrelation ist auch eine Korrelation”

    Keine Frage. Auch ein Abhang kann steil sein. Aber darum geht es nicht. Beide Halbsätze in Tipp 14 sind für sich genommen des Nachdenkens wert. Daher: Tipp 16 1/2 😉

  9. #9 Cornelius Courts
    21/11/2014

    @Martin und Stefan: das Beispiel dient ja hier nun offensichtlich mehr als ironische Überverdeutlichung des geschilderten Prinzips.
    Es stammt aus dem FSM-Umfeld und wurde erstmals von Bobby Henderson himself, einem Physiker, in jenem Brief an das Kansas School Board erwähnt (http://web.archive.org/web/20070407182624/http://www.venganza.org/about/open-letter/).
    Konstruktiv wäre doch, hier “bessere” und “seriösere” Beispiele für cum-hoc-ergo-propter-hocs zu nennen. Haut rein!

  10. #10 Cornelius Courts
    21/11/2014

    @Joseph: keine Ahnung, worauf Du hinaus willst…

  11. #11 Les Paul
    21/11/2014

    Punkt 13. stimmt so nicht ganz. Bei Informatikkonferenzen ist es üblich, dass die Beiträge vor der Konferenz ein peer-review Verfahren durchlaufen. Ob dies gemacht wird oder nicht hängt sehr stark von der Kultur des Faches ab.

  12. #12 MartinB
    21/11/2014

    @CC
    ” das Beispiel dient ja hier nun offensichtlich mehr als ironische Überverdeutlichung des geschilderten Prinzips.”
    Das verstehe ich überraschenderweise sogar – aber ein schlechtes Beispiel verdeutlicht eben nichts wirklich gut.

    Für bessere guckst du hier:
    http://www.tylervigen.com/
    Da gibt’s Korrelationen zum Selberbauen.

  13. #14 Gregor Keuschnig
    http://www.begleitschreiben.net
    21/11/2014

    Sehr guter Text, der in vielen Punkten nicht nur die Berichterstattung über wissenschaftliche Studien beschreibt. Zu Punkt 3 sei vielleicht noch ergänzt, dass es mögliche Interessenkonflikte nicht nur zwischen Wissenschaft und Industrie gibt (die häufig genug nicht kommuniziert werden), sondern auch zwischen Wissenschaft und NGOs. Der alte Spruch “Wes Brot ich ess, des Lied ich sing” droht auf allen Ebenen.

    Die meisten Punkte sind vom Journalismus mittlerweile kaum noch zu erwarten. Im Literaturjournalismus ist es bspw. längst Usance geworden, die zu besprechenden Romane maximal “diagonal” zu lesen. Ich mag mir gar nicht ausmalen, wie überfordert Journalisten sein dürften, die Studien, über die sie dann 30 oder 40 Zeilen schreiben sollen, vom Anfang bis zum Ende nach den genannten Kriterien durchzuarbeiten. Und zwar sowohl zeitlich als auch – mit Verlaub – intellektuell. Das ist natürlich keine Entschuldigung.

  14. […] MP | November 21, 2014 1. „12 + 3 Tips, um schlechte(n) Wissenschaft(sjournalismus) zu erkennen“ […]

  15. #16 Cornelius Courts
    21/11/2014

    @Les Paul: ” stimmt so nicht ganz. Bei Informatikkonferenzen ist es üblich, dass die Beiträge vor der Konferenz ein peer-review Verfahren durchlaufen.”

    Doch doch, das stimmt schon, denn meine Formulierung: ” auf einer Konferenz vorgetragen[…] wurden, wo es kein „peer review“ gibt.” schließt natürlich nicht aus, daß es Konferenzen mit peer-review gibt. Sie weist lediglich darauf hin, daß es bei manchen Konferenzen keines gibt.

  16. #17 kritier
    21/11/2014

    Tip 10 wird bei der Klimawandel geschichte auch immer nicht befolgt 😛

  17. #18 Caldwhyn
    21/11/2014

    Ich bin mir sicher, Randall Munroe würde sich über eine korrekte Quellenangabe des Correlation Comics aus #4 freuen.

    Das Original findet sich hier: http://xkcd.com/552/

    • #19 rolak
      21/11/2014

      src(#4)

      Ehrlich? Sieht mir mehr nach dem da und Tom Cheney aus, Caldwhyn.
      Was allerdings nichts an den fehlenden Quellen ändert.

  18. #20 treverer
    21/11/2014

    @Martinb

    Aha, ein piratenwandelleugner. Aber irgendwann wird auch ihnen eine Nudel leuchten. Ramen.

  19. #21 Joseph Kuhn
    21/11/2014

    @ CC:

    “@Joseph: keine Ahnung, worauf Du hinaus willst…”

    Der erste Halbsatz ist eigentlich nicht ganz korrekt: Der p-Wert korreliert nicht mit der Wahrscheinlichkeit, dass die Ergebnisse (oder extremere) nur Zufall sind, sondern er ist diese Wahrscheinlichkeit. Der zweite Halbsatz stimmt zwar unter ceteris paribus-Bedingungen der Versuchswiederholung, aber verständlicher und weniger voraussetzungsreich wäre es, wenn da einfach stehen würde, je kleiner der p-Wert, desto unwahrscheinlicher ist das Ergebnis durch Zufall zustande gekommen.

    Zu den Tipps insgesamt: Im Zusammenhang mit der Durchführung von Studien sind vielleicht auch die “Grundsätze Guter Epidemiologischer Praxis” von Interesse, ein Konsenspapier der Fachgesellschaften zu einer Reihe wichtiger Punkte.

  20. #22 rolak
    22/11/2014

    Nur schwach, aber imho dennoch (nach der Erstanalyse ‘schlecht’ ist Diskussion nicht unüblich) mit dem Thema verbunden: potholer54 tells “How to Argue with Assholes“.

    Hat allerdings mindestens zwei (nicht ganz unüberwindliche) Haken: Es braucht (ganz speziell im DirektGespräch-Fall) ausreichend Hintergrundwissen, es geht nicht ohne wohltrainierte Beherrschung. Meist schwierig…

  21. #23 WasDuNichtWillstDasManDirTut
    22/11/2014

    @ Caldwhyn (Kommentar #18):
    Genau das hab ich mir auch gedacht. Vollmundig über guten/schlechten Journalismus philosophieren und sich als moralische Instanz aufspielen, und selber nonchalant geistiges Eigentum anderer klauen (in Wissenschaftlerkreisen nennt man sowas wohl plagiieren…).

  22. #24 Bullet
    22/11/2014

    Solange du jetzt belegen kannst, daß CC dieses Bild selbst dort, wo es jetzt ligt, hochgeladen hat und es als seine eigene Erfindung ausgibt, kannst du es “plagiieren” nennen. Ansonsten ist dein Kommentar nur Ramsch mit Wurstmantel.

  23. #25 Stefan Wagner
    http://demystifikation.wordpress.com/2014/05/25/kreuzschiff/
    23/11/2014

    CC#9:
    Die nachgereichte Quelle ein Argumentum ad Autoritatemtum.

    Man kann ja den Eurozentrismus (passt nicht ganz) explizit machen, und die beobachtete Piratenpopulation auf den Nordatlantik einschränken. Jedenfalls bieten schlechte Beispiele immer ein Einfallstor für Ablenkungsmanöver (wie hier) und sollten daher vielleicht vermieden werden, wie auch der immer wieder gern erwähnte Frosch im langsam kochenden Wasser.

  24. #26 rolak
    23/11/2014

    ad Autoritatemtum

    Nein, sondern Quellenangabe, Stefan Wagner.

    schlechte[s] Beispiel

    Nein, sondern sondern ein Demaskierendes – Tipp4 wird imho auch durch den Scherzartikel gestützt, frag mich die ganze Zeit, auf welchem VerscheißerungsNiveau die diesbezügliche Diskussion läuft…
    Wenn Du es passend haben möchtest, nimmst Du die in KlimaDenialistenKreisen übliche 2-Punkt-Kurve, hier also ((früher, viele), (heute, weniger)) und hast ne 1A Korrelation.

    Das einzig Verwunderliche ist die Verwendung der wayback machine, das Original gefällt mir besser.

  25. #27 Cornelius Courts
    24/11/2014

    Danke, @Bullet und @rolak, für’s In-die-Bresche-Springen, gegenüber den Korinthenexkretern, Nanokarierten und sonstigen Wichtigtuern. Immer wieder traurig zu sehen, was Leute, die sonst nichts zu sagen haben, für mitteilenswert halten, nur um was zu sagen…

  26. […] nur einmal wird eine schein­bare 50% Reduzierung von Krebsfällen erklärt. Da ist dieser Beitrag hier von Cornelius Courts wesentlich erhellender, weil er deutlich macht, wie solche …: durch mangelhafte Lektüre, fehlende Fachkenntnisse bzw. ausbleibende Bereitschaft, sich in […]

  27. #29 Cornelius Courts
    10/02/2015

    Ben Goldacre hat gerade ein Buch genau zu diesem Thema geschrieben:
    I Think You’ll Find It’s a Bit More Complicated Than That” von Ben Goldacre