10. Rosinen-Rauspicken

Hierbei werden nur Daten, auch aus anderen Studien, präsentiert, die die Schlußfolgerung der Forscher stützen und solche, die es nicht tun, werden ignoriert oder verschwiegen, z.B. wenn in einer Originalarbeit die Schlußfolgerungen nur auf einen Teil der und nicht die gesamten Ergebnisse gestützt werden.

11. Nicht reproduzierbare Ergebnisse

Eine der wichtigsten Anforderungen an ein gutes Experiment und ein guten Aufsatz darüber ist, daß das Experiment von anderen, unabhängigen Wissenschaftlern nachgemacht werden kann und der Aufsatz (= Originalarbeit) so geschrieben ist, daß er als Anleitung zum Nachmachen ausreicht, also alle notwendigen Informationen enthält und nichts verschweigt. Das gilt umso mehr, je außergewöhnlicher die Ergebnisse sind!

12. Zeitschriften und Zitierungen

Wissenschaftliche Qualitätszeitschriften veröffentlichen Artikel nur nach unabhängiger, externer Begutachtung. Leider ist selbst diese Qualitätskontrolle nicht unfehlbar und daher ist sogar bei Artikeln aus Top-Zeitschriften eine kritische Aufmerksamkeit (auf alle genannten Aspekte) angebracht. Ähnlich verhält es sich mit den Zitierungen: daß ein Artikel von anderen Artikeln oft zitiert wurde, ist kein Maß für dessen Qualität.

13.Kein „peer review“?

Das bezieht sich auf Wissenschaftsjournalismus: nur weil über eine Untersuchung oder eine Schlußfolgerung in den Medien berichtet wurde, bedeutet das nicht, daß diese auch eine unabhängige, externe Begutachtung (= peer review) durchlaufen haben. Es könnte sich z.B. um Ergebnisse handeln, die gerade erst auf einer Konferenz vorgetragen (und noch nicht publiziert) wurden, wo es kein „peer review“ gibt.

14. Keine statistische Signifikanz

Häufig streben Wissenschaftler bei der statistischen Analyse ihrer Ergebnisse einen „p-Wert“ von < 0,05 an, um damit eine „statistische Signifikanz“ ihrer Daten auf einem allgemein geforderten aber willkürlichen Niveau zu belegen. Der p-Wert korreliert mit der Wahrscheinlichkeit, daß die Ergebnisse nur ein Zufallsbefund sind (das entspricht der sog. Nullhypothese) und je kleiner der p-Wert ist, desto geringer ist die Wahrscheinlichkeit, daß man, angenommen die Nullhypothese trifft zu, bei Wiederholungen des Experiments gleich gute oder sogar bessere Ergebnisse erhält. (Anmerkung: der „p-Wert“ ist keineswegs unumstritten und wird in letzter Zeit viel kritisiert, dennoch wird er noch sehr häufig angegeben und dabei leider oft falsch verwendet und interpretiert).

15. Störende Einflüsse

Wurden alle möglichen Störfaktoren (Fachwort: “confounding variables”) berücksichtigt, die möglicherweise Einfluss auf das Ergebnis hatten?

correl

_______

Nachtrag 10.02.2015: Ben Goldacre hat gerade ein Buch genau zu diesem Thema geschrieben:

I Think You’ll Find It’s a Bit More Complicated Than That” von Ben Goldacre

flattr this!

1 / 2

Kommentare (31)

  1. #1 rolak
    20/11/2014

    ..und schon im LesezeichenWerkzeugKasten 😉

  2. #2 Joseph Kuhn
    21/11/2014

    @ CC:

    “Der p-Wert korreliert mit der Wahrscheinlichkeit, daß die Ergebnisse nur ein Zufallsbefund sind (…) und je kleiner der p-Wert ist, desto geringer ist die Wahrscheinlichkeit, daß man, angenommen die Nullhypothese trifft zu, bei Wiederholungen des Experiments gleich gute oder sogar bessere Ergebnisse erhält.”

    Soso. Tipp 16: Man hüte sich vor schnell hingeschriebenen Ratschlägen 😉

  3. #3 rolak
    21/11/2014

    moin Joseph, wohl wahr, bei solch kontraintuitiven Mechanismen ist copy/paste des gewohnten “Mit dem p-Wert wird also angedeutet, wie extrem das Ergebnis ist: je kleiner der p-Wert, desto mehr spricht das Ergebnis gegen die Nullhypothese” sicherlich angebracht, zu viele Fallstricke.
    Insbesondere Fallstricke, die mir Ungeübtem beim flotten Überfliegen nicht auffallen…

  4. #4 Cornelius Courts
    21/11/2014

    @Joseph: inverse Korrelation ist auch eine Korrelation. Insofern gilt Tip 16 auch für Dich 😉

  5. #5 MartinB
    21/11/2014

    Gibt es für diese viel zitierte Piraten-Korrelation eigentlich irgendeine sinnvolle Quelle? Ich kenne nur dieses Bild (in zahlreichen Varianten)
    https://www.venganza.org/images/PiratesVsTemp.png
    und das ist so falsch, dass es schon weh tut:
    -die x-Achse ist hochgradig nicht-linear, da steht sogar ein niedrigerer Wert links von einem höheren,
    -die geschätzte Zahl der Piraten ist sicherlich vollkommen falsch – wenn sich da wirklich nur 17 Piraten vor Somalia rumtreiben, hätte man das Problem sicher schon gelöst;
    -die globale Temperatur ist seit 1880 auch nicht um 1,5°C gestiegen, wenn ich diese Grafik hier richtig verstehe:
    https://upload.wikimedia.org/wikipedia/commons/7/75/Instrumental_Temperature_Record_%28NASA%29.svg

  6. #6 Stefan Wagner
    https://demystifikation.wordpress.com/2014/11/20/toleranzpyramide/
    21/11/2014

    Z.B. sind die Zunahme der globalen Erwärmung und die Abnahme der Anzahl an Piraten extrem stark miteinander korreliert.

    Ich halte die Aussage für politisch ebenso naiv wie das Beispiel populär ist.

  7. #7 Stefan Wagner
    https://demystifikation.wordpress.com/2014/11/15/verkehrszeichen-gegendert/
    21/11/2014

    Oh, MartinB, 2 Dumme – ein Gedanke. 🙂

    Als ich “senden” klickte war Dein Text noch nicht zu sehen, der Tab aber vielleicht schon 1h offen.

  8. #8 Joseph Kuhn
    21/11/2014

    @ CC:

    “inverse Korrelation ist auch eine Korrelation”

    Keine Frage. Auch ein Abhang kann steil sein. Aber darum geht es nicht. Beide Halbsätze in Tipp 14 sind für sich genommen des Nachdenkens wert. Daher: Tipp 16 1/2 😉

  9. #9 Cornelius Courts
    21/11/2014

    @Martin und Stefan: das Beispiel dient ja hier nun offensichtlich mehr als ironische Überverdeutlichung des geschilderten Prinzips.
    Es stammt aus dem FSM-Umfeld und wurde erstmals von Bobby Henderson himself, einem Physiker, in jenem Brief an das Kansas School Board erwähnt (https://web.archive.org/web/20070407182624/https://www.venganza.org/about/open-letter/).
    Konstruktiv wäre doch, hier “bessere” und “seriösere” Beispiele für cum-hoc-ergo-propter-hocs zu nennen. Haut rein!

  10. #10 Cornelius Courts
    21/11/2014

    @Joseph: keine Ahnung, worauf Du hinaus willst…

  11. #11 Les Paul
    21/11/2014

    Punkt 13. stimmt so nicht ganz. Bei Informatikkonferenzen ist es üblich, dass die Beiträge vor der Konferenz ein peer-review Verfahren durchlaufen. Ob dies gemacht wird oder nicht hängt sehr stark von der Kultur des Faches ab.

  12. #12 MartinB
    21/11/2014

    @CC
    ” das Beispiel dient ja hier nun offensichtlich mehr als ironische Überverdeutlichung des geschilderten Prinzips.”
    Das verstehe ich überraschenderweise sogar – aber ein schlechtes Beispiel verdeutlicht eben nichts wirklich gut.

    Für bessere guckst du hier:
    https://www.tylervigen.com/
    Da gibt’s Korrelationen zum Selberbauen.

  13. #14 Gregor Keuschnig
    https://www.begleitschreiben.net
    21/11/2014

    Sehr guter Text, der in vielen Punkten nicht nur die Berichterstattung über wissenschaftliche Studien beschreibt. Zu Punkt 3 sei vielleicht noch ergänzt, dass es mögliche Interessenkonflikte nicht nur zwischen Wissenschaft und Industrie gibt (die häufig genug nicht kommuniziert werden), sondern auch zwischen Wissenschaft und NGOs. Der alte Spruch “Wes Brot ich ess, des Lied ich sing” droht auf allen Ebenen.

    Die meisten Punkte sind vom Journalismus mittlerweile kaum noch zu erwarten. Im Literaturjournalismus ist es bspw. längst Usance geworden, die zu besprechenden Romane maximal “diagonal” zu lesen. Ich mag mir gar nicht ausmalen, wie überfordert Journalisten sein dürften, die Studien, über die sie dann 30 oder 40 Zeilen schreiben sollen, vom Anfang bis zum Ende nach den genannten Kriterien durchzuarbeiten. Und zwar sowohl zeitlich als auch – mit Verlaub – intellektuell. Das ist natürlich keine Entschuldigung.

  14. […] MP | November 21, 2014 1. „12 + 3 Tips, um schlechte(n) Wissenschaft(sjournalismus) zu erkennen“ […]

  15. #16 Cornelius Courts
    21/11/2014

    @Les Paul: ” stimmt so nicht ganz. Bei Informatikkonferenzen ist es üblich, dass die Beiträge vor der Konferenz ein peer-review Verfahren durchlaufen.”

    Doch doch, das stimmt schon, denn meine Formulierung: ” auf einer Konferenz vorgetragen[…] wurden, wo es kein „peer review“ gibt.” schließt natürlich nicht aus, daß es Konferenzen mit peer-review gibt. Sie weist lediglich darauf hin, daß es bei manchen Konferenzen keines gibt.

  16. #17 kritier
    21/11/2014

    Tip 10 wird bei der Klimawandel geschichte auch immer nicht befolgt 😛

  17. #18 Caldwhyn
    21/11/2014

    Ich bin mir sicher, Randall Munroe würde sich über eine korrekte Quellenangabe des Correlation Comics aus #4 freuen.

    Das Original findet sich hier: https://xkcd.com/552/

    • #19 rolak
      21/11/2014

      src(#4)

      Ehrlich? Sieht mir mehr nach dem da und Tom Cheney aus, Caldwhyn.
      Was allerdings nichts an den fehlenden Quellen ändert.

  18. #20 treverer
    21/11/2014

    @Martinb

    Aha, ein piratenwandelleugner. Aber irgendwann wird auch ihnen eine Nudel leuchten. Ramen.

  19. #21 Joseph Kuhn
    21/11/2014

    @ CC:

    “@Joseph: keine Ahnung, worauf Du hinaus willst…”

    Der erste Halbsatz ist eigentlich nicht ganz korrekt: Der p-Wert korreliert nicht mit der Wahrscheinlichkeit, dass die Ergebnisse (oder extremere) nur Zufall sind, sondern er ist diese Wahrscheinlichkeit. Der zweite Halbsatz stimmt zwar unter ceteris paribus-Bedingungen der Versuchswiederholung, aber verständlicher und weniger voraussetzungsreich wäre es, wenn da einfach stehen würde, je kleiner der p-Wert, desto unwahrscheinlicher ist das Ergebnis durch Zufall zustande gekommen.

    Zu den Tipps insgesamt: Im Zusammenhang mit der Durchführung von Studien sind vielleicht auch die “Grundsätze Guter Epidemiologischer Praxis” von Interesse, ein Konsenspapier der Fachgesellschaften zu einer Reihe wichtiger Punkte.

  20. #22 rolak
    22/11/2014

    Nur schwach, aber imho dennoch (nach der Erstanalyse ‘schlecht’ ist Diskussion nicht unüblich) mit dem Thema verbunden: potholer54 tells “How to Argue with Assholes“.

    Hat allerdings mindestens zwei (nicht ganz unüberwindliche) Haken: Es braucht (ganz speziell im DirektGespräch-Fall) ausreichend Hintergrundwissen, es geht nicht ohne wohltrainierte Beherrschung. Meist schwierig…

  21. #23 WasDuNichtWillstDasManDirTut
    22/11/2014

    @ Caldwhyn (Kommentar #18):
    Genau das hab ich mir auch gedacht. Vollmundig über guten/schlechten Journalismus philosophieren und sich als moralische Instanz aufspielen, und selber nonchalant geistiges Eigentum anderer klauen (in Wissenschaftlerkreisen nennt man sowas wohl plagiieren…).

  22. #24 Bullet
    22/11/2014

    Solange du jetzt belegen kannst, daß CC dieses Bild selbst dort, wo es jetzt ligt, hochgeladen hat und es als seine eigene Erfindung ausgibt, kannst du es “plagiieren” nennen. Ansonsten ist dein Kommentar nur Ramsch mit Wurstmantel.

  23. #25 Stefan Wagner
    https://demystifikation.wordpress.com/2014/05/25/kreuzschiff/
    23/11/2014

    CC#9:
    Die nachgereichte Quelle ein Argumentum ad Autoritatemtum.

    Man kann ja den Eurozentrismus (passt nicht ganz) explizit machen, und die beobachtete Piratenpopulation auf den Nordatlantik einschränken. Jedenfalls bieten schlechte Beispiele immer ein Einfallstor für Ablenkungsmanöver (wie hier) und sollten daher vielleicht vermieden werden, wie auch der immer wieder gern erwähnte Frosch im langsam kochenden Wasser.

  24. #26 rolak
    23/11/2014

    ad Autoritatemtum

    Nein, sondern Quellenangabe, Stefan Wagner.

    schlechte[s] Beispiel

    Nein, sondern sondern ein Demaskierendes – Tipp4 wird imho auch durch den Scherzartikel gestützt, frag mich die ganze Zeit, auf welchem VerscheißerungsNiveau die diesbezügliche Diskussion läuft…
    Wenn Du es passend haben möchtest, nimmst Du die in KlimaDenialistenKreisen übliche 2-Punkt-Kurve, hier also ((früher, viele), (heute, weniger)) und hast ne 1A Korrelation.

    Das einzig Verwunderliche ist die Verwendung der wayback machine, das Original gefällt mir besser.

  25. #27 Cornelius Courts
    24/11/2014

    Danke, @Bullet und @rolak, für’s In-die-Bresche-Springen, gegenüber den Korinthenexkretern, Nanokarierten und sonstigen Wichtigtuern. Immer wieder traurig zu sehen, was Leute, die sonst nichts zu sagen haben, für mitteilenswert halten, nur um was zu sagen…

  26. […] nur einmal wird eine schein­bare 50% Reduzierung von Krebsfällen erklärt. Da ist dieser Beitrag hier von Cornelius Courts wesentlich erhellender, weil er deutlich macht, wie solche …: durch mangelhafte Lektüre, fehlende Fachkenntnisse bzw. ausbleibende Bereitschaft, sich in […]

  27. #29 Cornelius Courts
    10/02/2015

    Ben Goldacre hat gerade ein Buch genau zu diesem Thema geschrieben:
    I Think You’ll Find It’s a Bit More Complicated Than That” von Ben Goldacre

  28. #30 Billy Heckathorne
    22/03/2017

    I do believe all the concepts you’ve introduced in your post. They’re very convincing and can certainly work. Nonetheless, the posts are very quick for novices. Could you please extend them a bit from next time? Thanks for the post.

  29. #31 Hiroko Packingham
    14/04/2020

    Ca cuoc truc tuyen tren FB88 hien nay xuat hien kha nhieu tren mang xa hoi.Vi vay moi nguoi tuong doi de dang tim duoc duong dan va tao tai khoan, truoc khi dang nhap vao trang chu cua nha cai Fun88 va trai nghiem nhung tro choi dien tu tren FB88, them vao do la chuong trinh ca cuoc xo so tren FB88 kha hap dan va gay can.