10. Rosinen-Rauspicken
Hierbei werden nur Daten, auch aus anderen Studien, präsentiert, die die Schlußfolgerung der Forscher stützen und solche, die es nicht tun, werden ignoriert oder verschwiegen, z.B. wenn in einer Originalarbeit die Schlußfolgerungen nur auf einen Teil der und nicht die gesamten Ergebnisse gestützt werden.
11. Nicht reproduzierbare Ergebnisse
Eine der wichtigsten Anforderungen an ein gutes Experiment und ein guten Aufsatz darüber ist, daß das Experiment von anderen, unabhängigen Wissenschaftlern nachgemacht werden kann und der Aufsatz (= Originalarbeit) so geschrieben ist, daß er als Anleitung zum Nachmachen ausreicht, also alle notwendigen Informationen enthält und nichts verschweigt. Das gilt umso mehr, je außergewöhnlicher die Ergebnisse sind!
12. Zeitschriften und Zitierungen
Wissenschaftliche Qualitätszeitschriften veröffentlichen Artikel nur nach unabhängiger, externer Begutachtung. Leider ist selbst diese Qualitätskontrolle nicht unfehlbar und daher ist sogar bei Artikeln aus Top-Zeitschriften eine kritische Aufmerksamkeit (auf alle genannten Aspekte) angebracht. Ähnlich verhält es sich mit den Zitierungen: daß ein Artikel von anderen Artikeln oft zitiert wurde, ist kein Maß für dessen Qualität.
13.Kein „peer review“?
Das bezieht sich auf Wissenschaftsjournalismus: nur weil über eine Untersuchung oder eine Schlußfolgerung in den Medien berichtet wurde, bedeutet das nicht, daß diese auch eine unabhängige, externe Begutachtung (= peer review) durchlaufen haben. Es könnte sich z.B. um Ergebnisse handeln, die gerade erst auf einer Konferenz vorgetragen (und noch nicht publiziert) wurden, wo es kein „peer review“ gibt.
14. Keine statistische Signifikanz
Häufig streben Wissenschaftler bei der statistischen Analyse ihrer Ergebnisse einen „p-Wert“ von < 0,05 an, um damit eine „statistische Signifikanz“ ihrer Daten auf einem allgemein geforderten aber willkürlichen Niveau zu belegen. Der p-Wert korreliert mit der Wahrscheinlichkeit, daß die Ergebnisse nur ein Zufallsbefund sind (das entspricht der sog. Nullhypothese) und je kleiner der p-Wert ist, desto geringer ist die Wahrscheinlichkeit, daß man, angenommen die Nullhypothese trifft zu, bei Wiederholungen des Experiments gleich gute oder sogar bessere Ergebnisse erhält. (Anmerkung: der „p-Wert“ ist keineswegs unumstritten und wird in letzter Zeit viel kritisiert, dennoch wird er noch sehr häufig angegeben und dabei leider oft falsch verwendet und interpretiert).
15. Störende Einflüsse
Wurden alle möglichen Störfaktoren (Fachwort: “confounding variables”) berücksichtigt, die möglicherweise Einfluss auf das Ergebnis hatten?
Nachtrag 10.02.2015: Ben Goldacre hat gerade ein Buch genau zu diesem Thema geschrieben:
“I Think You’ll Find It’s a Bit More Complicated Than That” von Ben Goldacre
Kommentare (31)