Kritik an schlechten Studien, insbesondere die Diskussion von Verzerrungen durch kleine Fallzahlen, fehlende Verblindung, ungeeignete Auswertungsverfahren, selektives Publizieren oder interessengeleite Sichtweisen sind auf Scienceblogs und auch hier auf Gesundheits-Check immer wieder Thema. Berühmt, aber für die Praxis der Gesundheitsforschung erstaunlich folgenlos geblieben ist der Artikel von John Ioannidis “Why Most Published Research Findings Are False”, von der Vielzahl der Artikel, die er sonst dazu schreibt, ganz zu schweigen. Auch den Streit zwischen Jürgen Windeler und Harald Walach, den wir hier vor kurzem kommentiert haben, kann man als Frage danach verstehen, wie man nutzlose Forschung vermeidet und ob dabei ein Gegensatz zwischen methodischer Güte und Anwendungsnähe existiert.

Junk Science in den Gesundheitswissenschaften ist ein ernstes Problem. Nicht nur, wenn bewusst manipuliert wird, sondern auch, wenn Studien gut gemeint, aber schlecht gemacht sind. Schon allein die Masse an Studien, die den Blick auf die Tatsachen verstellen, ist ein Problem. Sie erschwert es erheblich, Evidenz zum Sprechen zu bringen. Vor allem aber verschwendet nutzlose Forschung gigantische Ressourcen – die Schätzungen gehen in dreistellige Milliardenbeträge – und führt, wenn zur Anwendungsreife gebracht, zu nutzlosen oder schädigenden Behandlungsverfahren.

Vor zwei Jahren gab es im Lancet, einer der führenden Medizinzeitschriften, eine Serie mit Beiträgen zum Thema „increasing value, reducing waste“ – nach Registrierung übrigens kostenfrei zugänglich. Einer der Protagonisten dieser Debatte im deutschsprachigen Raum, Ulrich Dirnagl, Direktor des Zentrums für Schlaganfallforschung an der Charité in Berlin, hat darüber gestern abend im Rahmen des Münchner Public Health Forums referiert und eine Fülle an empirischen Evaluationen zur Qualität von Studien präsentiert. Dabei hat er sich auf vorklinische Forschung, also „Mäuseforschung“, konzentriert. Ulrich Dirnagl ist einer der wenigen biomedizinischen Spitzenforscher, die auch bloggen. Auf seinem Blog „To infinity, and beyond!“ kann man vieles aus der Debatte zu nutzloser biomedizinischer Forschung nachlesen.

Bleibt die Frage: Wenn wir inzwischen so viel über waste in der Forschung wissen, warum dreht sich dieses Rad immer weiter? Klar, weil Forscher, die Karriere machen wollen, auf Teufel komm raus veröffentlichen müssen, weil Zeitschriften am liebsten sensationelle Entdeckungen veröffentlichen, weil der impact factor falsche Anreize setzt, weil die Geldgeber Ergebnisse sehen wollen usw. – aber wie bringt man dieses System auf einen besseren Kurs? Oder etwas bescheidener ansetzend: Wie kommt man bei dem Thema zu einer Debatte in Deutschland, die Einfluss auf die Methodenausbildung an den Universitäten, auf die Karriereanforderungen für Wissenschaftler oder die Wissenschaftsförderung hat? Was kann die Wissenschaftskommunikation dazu beitragen?

Nachtrag
Das Netzwerk Evidenzbasierte Medizin macht dazu eine Veranstaltung am 2. September 2016, siehe Programm

Kommentare (19)

  1. #1 Dr. Webbaer
    29. Juli 2016

    Vermutlich gilt es auch bei Arbeiten der ‘biomedizinischen’ Forschung schlicht selektiv zur Kenntnis zu nehmen (wie generell auch im Web).
    Die ‘Wissenschaftskommunikation’ darf in diesem Zusammenhang gerne auch kommentieren, auch verreißen.
    Klar, es ist bitter, wenn hier gemeinte Arbeit bereits methodologisch falsch ist, abär es ist ja auch schwere Arbeit.
    MFG
    Dr. Webbaer (der hier zum Beispiel gerne zur Kenntnis nimmt, auch für diesen WebLog-Artikel wieder dankt)

  2. #2 Dr. Webbaer
    29. Juli 2016

    Bonuskommentar hierzu:

    Vor allem aber verschwendet nutzlose Forschung gigantische Ressourcen – die Schätzungen gehen in dreistellige Milliardenbeträge – und führt, wenn zur Anwendungsreife gebracht, zu nutzlosen oder schädigenden Behandlungsverfahren.

    Dies ist wohl notwendigerweise so, wobei diese Feststellung nicht als Rechtfertigung verstanden werden soll, es lohnt sich immer besser zu machen zu suchen.
    Einige sind zum Beispiel der Meinung, dass Forschung sehr gerne auch privat finanziert sein darf, vs. “aus der Steckdose” kommend, aus Staatsmitteln, aus Mitteln de Steuerzahler.
    Bundesdeutsch ist womöglich auch dieser etwas ältere FAZ-Artikel in diesem Zusammenhang von Bedeutung:
    -> https://www.faz.net/aktuell/feuilleton/forschung-und-lehre/kritik-an-der-dfg-die-freie-wissenschaft-ist-bedroht-11497511.html

  3. #3 CM
    29. Juli 2016

    Hallo Joseph,

    Danke für diesen Beitrag!

    Zur Frage, was man tun kann: Nun, ich fahre jetzt erst mal 2 Wochen in Urlaub, bin also nicht erreichbar. Wenn Du aber jemanden weißt, der einen einschlägigen, qualifizierten Vortrag zum Thema zu halten bereit ist, sorge ich für eine adäquate Plattform.

    Bei uns, Uni kannst Du aus meinem Wohnort schließen, den Du noch in Deinen Mails hast, grassiert Management by Spruch. Es kann nur gut tun ein paar Leute anzustossen. Wenn ich zu dem Thema spreche ist der Effekt = 0, da im Inneren keine Autorität.

    Und warum ein Vortrag? Weil, wer von den PIs liest schon alte Paper, die einem die Visionen madig machen? 😉 Andererseits ein Vortrag von dem man schlecht Abstand nehmen kann … wird auch nichts bewirken. Vielleicht erreicht man den Nachwuchs.

    Ich denke bei vielen Details, dass ein Generationswechsel not tut. Und den kann man auch vorbereiten.

    Zur eigentlichen Frage: Wissenschaftskommunikation leidet vielleicht Wahrnehmungsblase. Oder: Wer von den Lesern hat Entscheidungskompetenz über die Forschungsthemen und -methoden einer Gruppe? Wer also ist PI?

    Also hilft nur einschlägige Publikationen, möglichst provokativ in Must-Read-Zeitschriften. PMC zählt bei uns leider nicht dazu (es trifft ja nicht nur die Medizin). Im Grunde sind die versch. “Bildzeitungen” und “Expresse” der Wissenschaft besser: z. B. das Laborjournal. (dabei finde ich das großartig und will gar nicht despektierlich drüber schreiben). Doch selbst da: Steter Tropfen hölt den Stein, von heute auf morgen wird sich nichts ändern. Der Druck zu Publizieren hält ungehindert an.

    Gruß,
    Christian

  4. #4 jottit
    29. Juli 2016

    Die Erkenntnis, dass viele Wissenschaftler bewusst falsche Studien veröffentlichen, wie in diesem Artikel beschrieben wird, ist sehr gut für den Anfang.

    Was kann man dagegen machen? Die negativen Fälle veröffentlichen und die Schuldigen bestrafen, wie es bespielsweise im Sport der Fall ist.

    Die Prüfungen müssen so oft gemacht werden, und die Strafen müssen so hoch sein, dass es es jedem klar wird. Falsche Studien lohnen sich nicht!

  5. #5 roel
    *******
    29. Juli 2016

    @jottit “wie es bespielsweise im Sport der Fall ist.”

    Aktuelles Beispiel: Russische Sportler und Olympia 2016

  6. #6 Dr. Webbaer
    29. Juli 2016

    @ jottit :

    Die Erkenntnis, dass viele Wissenschaftler bewusst falsche Studien veröffentlichen, wie in diesem Artikel beschrieben wird, ist sehr gut für den Anfang.

    Was kann man dagegen machen? Die negativen Fälle veröffentlichen und die Schuldigen bestrafen, wie es bespielsweise [“beispielsweise”] im Sport der Fall ist. [Ergänzung: Dr. Webbaer]

    Negativ. – Hanlon’s Razor bleibt hier anzulegen.

    Qualitätsmanagement (“QM”) gibt es, ressourcenabhängjg, in diesen Magazinen.

    Wissenschaft ist ein ständiges nie enden währendes Vorhaben, bei dem auch Trottel mitmachen sollen, aber nie bevorzugt.

    MFG + schönes Wochenende schon mal,
    Dr. Webbaer

  7. #7 shader
    29. Juli 2016

    @jottit, durch gutes Qualitätsmanagement kann man besser die fehlerhaften von den wertvollen Arbeiten trennen. Aber wie will man bewusst falsche Studien herausfinden? Dazu müsste man den Vorsatz der Autoren beweisen und das sehe ich als fast nicht machbar an.

  8. #8 Joseph Kuhn
    29. Juli 2016

    Bewusst falsche oder manipulierte Studien sind der weitaus kleinere Teil des Forschungsmülls (möglicherweise dafür der folgenreichere, wenn man an manche Skandale der Pharmaindustrie denkt). In der Mehrzahl der Fälle geht es um schlichte handwerkliche Qualität, wie oben eingangs gesagt z.B. darum, dass die nötigen Fallzahlen für einen Effekt in erwartbarer Größe richtig bestimmt sind, dass man beachtet, dass auch präklinische Studien verblindet sein sollten – nämlich bei der Auswertung, dass man schauen soll, wie viel Evidenz zu einer Fragestellung schon da ist, um nicht unnötig Studien durchzuführen, die nichts mehr zur Evidenzlage beitragen, dass man bei steilen Thesen darüber nachdenkt, ob einen der p-Wert auf die sichere Seite bringt usw. usw., siehe dazu auch die Beiträge auf dem Blog von Ulrich Dirnagl.

    Nachtrag
    Das Netzwerk Evidenzbasierte Medizin macht dazu eine Veranstaltung am 2. September 2016, siehe Programm:
    https://www.ebm-netzwerk.de/pdf/dnebm-veranstaltungen/dnebm-akademie-2016.pdf

  9. #9 shader
    29. Juli 2016

    @Joseph Kuhn, genau das denke ich auch, die allermeisten Fehler passieren unbeabsichtigt. Von daher würde eine Anprangerung von Wissenschaftlern solcher Studien nichts bringen. Im Gegenteil, im Sinne einer gelebten Fehlerkultur wäre das sogar äußerst schlecht, weil sich dann keiner mehr traut wirklich neue Ergebnisse zu veröffentlichen aus Furcht, sie könnten fehlerhaft sein. Oder Wissenschaftler würden einen Teil ihrer Zeit dafür verwenden, Fehler zu vertuschen.

    Das Tolle an der Wissenschaft ist doch, dass sie funktioniert, obwohl alle Beteiligten jede Menge Fehler machen.

  10. #10 Joseph Kuhn
    29. Juli 2016

    “Das Tolle an der Wissenschaft ist doch, dass sie funktioniert, obwohl alle Beteiligten jede Menge Fehler machen.”

    Ja, weil sie die beste Methode ist, zu Erkenntnissen zu kommen und Selbsttäuschungen zu vermeiden. Aber dazu muss sie eben solide gemacht werden. Das gelingt auch bei guter Absicht nicht immer, wenn ich an manche Fehler denke, die mir im Lauf der Jahre schon unterlaufen sind, obwohl ich nicht allzu anspruchsvolle Sachen mache.

  11. #11 Dr. Webbaer
    30. Juli 2016

    Das Tolle an der Wissenschaft ist doch, dass sie funktioniert, obwohl alle Beteiligten jede Menge Fehler machen.

    Ein schöner Satz!

    BTW, ein Kollege, der seit langem in der Forschung tätig, als Biologe, sagte mal resignierend sinngemäß:
    Manche können keine Evidenz schaffen.

  12. #12 Laie
    31. Juli 2016

    Solange nicht in eigenen Studien auf Studien verwiesen wird, ohne den Inhalt geprüft zu haben. Solange nicht das gegenseitige Referenzieren mehr zählt als der Inhalt, solange bin ich mir auch sicher, dass die Qualität stimmt!

    Wobei: Ich habe mal gehört, ein Mathematiker? hätte sich mal aufgeregt über einen Beweis, der zwar falsch war und auf den jeder verwiesen hätte, weil niemand den ursprünglichen Beweis verstand. Inzwischen wurden die fehlerhaften Teile des Beweises nachgeliefert. 🙂

  13. #13 jottit
    31. Juli 2016

    @J Kuhn
    > Bewusst falsche oder manipulierte Studien sind der weitaus kleinere Teil des Forschungsmülls

    Gibt es dafür vertrauenswürdige Belege, oder ist das nur eine Meinung?

    Das Hauptproblem ist doch, dass die Industrie und die Ärzte zu sehr verflochten sind. Da ist in den vergangenen Jahrzehnten ein System entstanden, das zu einem fehlenden Unrechtsbewusstsein bei den Ärzten führt, die Zuwendungen bekommen.

    Die Pharmafirmen zahlen Geld für Vorträge, Expertenmeinungen und Studien. Veröffentlicht haben das die Pharmaunternehmen selbst, genauer: 54 von ihnen, die zusammen 75 Prozent des deutschen Medikamentenmarktes abdecken. 2015 haben sie demnach 575 Millionen Euro an Ärzte und Kliniken überwiesen. Der Großteil des Geldes floss in die Forschung, 21 Prozent an Ärzte.

    Aber ich verstehe ganz grundsätzlich nicht, warum überhaupt irgendein Arzt von irgendeinem Unternehmen Geld bekommen sollte.

    Wie es in anderen wissenschaflichen Bereichen aussieht, kann ich nicht beurteilen.

    • #14 Joseph Kuhn
      31. Juli 2016

      @ jottit:

      “Gibt es dafür vertrauenswürdige Belege, oder ist das nur eine Meinung?”

      Ich habe nicht geschaut, ob jemand das Verhältnis zwischen Betrug und unzureichender Qualität einmal empirisch untersucht hat. Insofern ist das “nur meine Meinung”, allerdings vor dem Hintergrund, dass Artikellesen mein täglich Brot ist, dass ich jahrelang die Fachzeitschrift “Prävention” mitherausgegeben habe, als Gutachter für verschiedene Zeitschriften immer wieder Artikel reviewe, also für mich in Anspruch nehme, nicht ganz aus dem hohlen Bauch heraus zu “meinen”. Davon abgesehen, würde die gegenteilige Gewichtung bedeuten, dass der weitaus größere Teil der Wissenschaftler betrügt. Glauben Sie das?

      “Das Hauptproblem ist doch …”

      Was das “Hauptproblem” ist, weiß ich nicht, der Forschungsmüll ist jedenfalls ein erhebliches Problem. Ihrer Bewertung, was die zu enge Verflechtung von Ärzten und Industrie angeht, stimme ich ansonsten zu, nicht umsonst gibt es die Verpflichtung zur Deklaration von Interessenkonflikten oder auch Initiativen wie MEZIS.

  14. #15 shader
    1. August 2016

    @Laie: “Solange nicht in eigenen Studien auf Studien verwiesen wird, ohne den Inhalt geprüft zu haben.”

    In welcher Tiefe kann man denn den Inhalt einer Studie prüfen? Insbesondere bei empirischen Studien in der Medizin.

    @jottit: “Das Hauptproblem ist doch, dass die Industrie und die Ärzte zu sehr verflochten sind. Da ist in den vergangenen Jahrzehnten ein System entstanden, das zu einem fehlenden Unrechtsbewusstsein bei den Ärzten führt, die Zuwendungen bekommen.”

    Gibt es dafür vertrauenswürdige Belege, oder ist das nur eine Meinung?

    “Aber ich verstehe ganz grundsätzlich nicht, warum überhaupt irgendein Arzt von irgendeinem Unternehmen Geld bekommen sollte.”

    Ähm, gehen Sie zur Arbeit und machen dort Ihre Sachen ohne Geld dafür zu bekommen? Wie sollen den bitte schön medizinische Studien gemacht werden, wenn kein Geld dafür da ist?

  15. #16 tomtoo
    2. August 2016

    @webbear
    biologie ist halt auch so ein b….issen schweres thema.

    Aber vieleicht mit der zeit sehen wir weiter ? ich als laie finds spannened !

  16. #17 Karl Mistelberger
    2. August 2016

    This book is well written, short (129 pages), enjoyable to read, and easy to understand. It is well-organized, divided conveniently into short chapters, and is enhanced by the examples of research done wrong that illustrate each of its points. It covers the subject thoroughly yet concisely, and provides copious references for readers who want to know more. Rather than a guide to statistics, it is really more of a guide to critical thinking about pitfalls in the use of statistics. I highly recommend it. Whether you are interested in research or statistics, want to know what to look for when reading a research paper, or just want to improve your critical thinking skills, you will find it of value. Even if you are an expert in statistics, you might think it deserves a place on your bookshelf.

    https://www.sciencebasedmedicine.org/statistics-done-wrong-and-how-to-do-better/

  17. […] nun mal. Die wissenschaftliche Fachliteratur ist voll von statistisch signifikanten Ergebnissen, die in den Müll gehören. In einer Welt, in der wie wild alles Mögliche untersucht wird und Hypothesen getestet werden, was […]

  18. […] der sich unsere Massenwissenschaftsgesellschaft auseinandersetzen muss. Je mehr publiziert wird, desto mehr nimmt der Aufwand zu, Wissen aus dem Müll zu filtern. Echter Müll kann dagegen eine richtig gute epidemiologische Erkenntnisquelle sein. Heute war in […]