Startseiterupture de caténaire

Die COVID19-Pandemie – Schlag gegen evidenzbasierte Medizin und Licht am Ende des Tunnels?

Von / 16. Mai 2021 / 26 Kommentare
Mehr

In der Ausgabe vom 12. Mai schrieb Helen Pearson einen Artikel in Nature unter dem Titel “How COVID broke the evidence pipeline“. Sie kommt sehr schnell auf den Punkt und zeigt, dass mit Ausbruch der COVID-19-Pandemie viele Studien begonnen wurden auf der hektischen Suche nach einem Mittel gegen das Virus und die Spur der Verwüstung, die es in den Körpern der PatientInnen hinterlässt. Viele davon ohne Kontrollgruppen oder gute statistische Grundlangen. Darüber hinaus lassen die meisten Studien die notwendige statistische Power vermissen, ihre Stichprobengrößen sind einfach zu klein, um eine gute Aussagensicherheit zu gewinnen:

Zahl der Studien (y-Achse) nach Stichprobengröße (x-Achse). Screenshot bei COVID-NMA.

Das war sehr verständlich. Mit Beginn der Pandemie war die Angst groß und es wurde jeder Strohhalm ergriffen, um schnell helfen zu können, auch wissenschaftlich fragliche Schnellschussstudien. Und als wäre das nicht genug, befasst sich eine große Zahl der Studien (allein 250 der Studien in der obigen Abbildung, vielleicht auch mehr) mit Hydroxychloroquin – eine Verschwendung von Mitteln, ohne Frage (wie werden da wohl die Funnelplots aussehen?). Wissenschaftliche Arbeitsgruppen als politische Partisanen? Womöglich.

Wie auch immer, der Bedarf war groß, so auch an systematischen Übersichtsarbeiten. Und selbst diese sind wohl zum großen Teil bereits wieder veraltet, obwohl erst im letzten Jahr erschienen. Es ergibt sich zur Zeit ein “Mosaik der Evidenz” – um den eingangs genannten Artikel zu zitieren – und somit keine gute Grundlage für Entscheidungsträger in Medizin und Politik.

Und so endet der zitierte Artikel und auch ein Kommentar in derselben Ausgabe hoffnungsvoll mit dem Ausblick auf ein Treffen zwischen Vertretern der Cochrane-Organisation (einem Netzwerk zur Förderung der evidenzbasierten Medizin), der Weltgesundheitsorganisation und einer Gruppe namens COVID-END (einem zeitlich limitierten Netzwerk zur Förderung der evidenzbasierten Entscheidungsfindung im COVID-Kontext) im Oktober diesen Jahres, um Lehren aus Problemen in der wissenschaftlichen Begleitung der Pandemie zu finden. Derer gibt es einige, nicht allein im engen wissenschaftlichen Elfenbeinturm, sondern auch in Datenerfassung vieler Staaten, dem transparenten Umgang mit den Daten und der Wichtung, Aufbereitung und Weitergabe von Erkenntnissen.

Insofern ist solch eine anvisierte Verständigung auf globaler Ebene ein wichtiger erster Schritt. Zu Begrüßen wären ähnliche Verständigungstreffen auf europäischer und nationaler Ebene – und reformwillige Akteure.

 

flattr this!

Stichworte: , ,
Mehr

Kommentare (26)

  1. #1 Joseph Kuhn
    16. Mai 2021

    Wie kann die Kurve mit der Datenbeschriftung gaußkurvenförmig sein? Studien mit kleiner Stichprobe können doch nicht sowohl selten als auch häufig sein? Mir scheint die Achsen-Beschriftung vertauscht.

    • #2 Christian Meesters
      16. Mai 2021

      wie gesagt: Screenshot. Das “Sample Size” ist die Überschrift auf der Webseite. Es gilt, was ich drunter schrieb. Man kann die Daten runterladen, aufbereiten und richtig beschriften (so wie bei Nature). Aber das habe ich nicht getan. Und nein, gaußkurvenförmig ist da nichts, das ist zu rechtsschief – immerhin.

      [edit:] Habe das verwirrende “Sample Size” entfernt. Danke.[/edit]

  2. #3 Joseph Kuhn
    16. Mai 2021

    @ Christian:

    Das hat mit “rechtsschief” etc. nichts zu tun, es kann einfach nicht sein, dass kleine Studien häufig und selten zugleich sein können. Die gleiche Stichprobengröße darf nicht zweimal auftauchen, einmal links und einmal rechts vom Verteilungsgipfel.

    Es ist auch nicht anzunehmen, dass es hunderttausend kleine Studien gibt. Dagegen würde es Sinn machen, dass es ein paar wenige Studien mit hunderttausenden Probanden gibt. Schau vielleicht nochmal in den Daten nach, ob deine Achsenbeschriftung wirklich stimmt. Und falls ja, verstehe ich die Grafik schlicht nicht.

    • #4 Christian Meesters
      16. Mai 2021

      arrgh, ja.

  3. #5 hwied
    16. Mai 2021

    Joseph Kuhn
    in meiner Studienzeit galten Studien ab 2000 Probanden als aussagekräftig.

    • #6 Christian Meesters
      16. Mai 2021

      Das ist hängt ab vom statistischen Test (also der Verteilung) und der gewünschten Power bei einem gegeben Signifikanz-Niveau. Es ist auch möglich mit sehr viel weniger Probanden aussagekräftige Resultate zu erzielen. Hier liegen allerdings meist moderate Effektgrößen vor (der Studienzeitraum der meisten hier betrachteten Studien ist zu kurz, um Long-Covid-Effekte einzubeziehen und es geht nicht allein um Leben und Tod) – um Letztere zu schätzen reichen sogar rel. kleine Stichproben. Aber ja, mit weniger als ein paar hundert Probanden ist das Risiko einer Fehlaussage oder übertriebenen Aussage einer Studie zu groß, um akzeptabel zu sein.

  4. #7 rolak
    16. Mai 2021

    Es gilt, was ich drunter schrieb

    Wenn bei Dir üblicherweise in einem kartesischen Koordinatensystem ‘x-Achse’ die oben-unten-Achse bezeichnet, dann ja. Dieser Kontext wäre imho allerdings erwähnenswert gewesen.

    In der üblichen Notation ist, wie durch die Beschriftung bei der Quelle überdeutlich gemacht, auf der y-Achse, also der nichtwaagerechten, die Anzahl(Studien) aufgetragen und nicht “Zahl der Studien (x-Achse) nach Stichprobengröße (y-Achse)”, wie in der hiesigen Bildunterschrift zu lesen ist.

  5. #8 Joseph Kuhn
    17. Mai 2021

    @ Christian:

    Danke, jetzt ist die Beschriftung korrekt und ich muss nicht umlernen 😉

    Was die Studienflut angeht, wächst bei mir die Sehnsucht nach einer künstlichen Intelligenz, die die Studienlage auf konkrete Fragen hin kurz und prägnant zusammenfasst.

    • #9 Christian Meesters
      17. Mai 2021

      es war ein erfolgreiches Selbstderailing, gewissermaßen der Versuch das Fehlerrelativitätsgesetz zu erweitern. Und obendrauf der Wunsch nach der AI-Pest … kein gelungener Artikel ;-).

  6. #10 Joachim
    18. Mai 2021

    @Joseph Kuhn
    KI? Besser nicht. Ich fälsche jede Bewertung der Studienlage durch eine KI (fast) nach Belieben, wenn ich Zugang zu den Trainingsdaten habe. Das ist nur eine Frage des Aufwands.

  7. #11 Uli Schoppe
    18. Mai 2021

    Naja, so doof finde ich AI nicht. Die könnte mir viel Arbeit abnehmen, ich muss nur drüber steuern können. Dann lernt die vieleicht noch was 😉

  8. #12 Joachim
    18. Mai 2021

    Wo Uli Schoppe das so einfach sagt, KI könne viel Arbeit abnehmen, da kommt mir der Gedanke, das dieses Thema ja vielleicht einen Blog-Artikel wert sein könnte. Ich meine, KI durchdrängt Gesellschaft, Soziales, Wirtschaft, Politik bis in die EU hinein und (mit Alexa und Co) sogar die Wohnzimmer und Straßen.

    Und da wird soviel Märchen erzählt, als KI deklariert was es nicht ist oder was niemals sein wird. Wenn sie nicht gestorben sind, dann leben sie noch heute…

    Wie wäre das mal aus einer wissenschaftlichen Sicht, so erklärt, dass viele (vielleicht die Politik?) das verstehen? Könnte sich da jemand bei scienceblogs finden lassen? Ich fänd das wirklich super. Wenn ich kann, dann würde ich auch versuchen zu helfen, falls notwendig.

    • #13 Christian Meesters
      18. Mai 2021

      Gastbeiträge sind grundsätzlich willkommen. Etwas in Richtung KI in der Forschung ist definitiv geplant, aber nicht oben auf meiner Liste. Gegenwärtig stecke ich weniger Zeit in den Blog als ich möchte.

  9. #14 Joseph Kuhn
    18. Mai 2021

    @ Joachim:

    Es war ein frommer Wunsch angesichts der Unmöglichkeit, die Flut der Informationen noch mit der zerebralen Kohlenstoffeinheit zu verarbeiten. Aber ich teile Ihre Skepsis.

    Was ist eigentlich aus Wolfram Alpha geworden? Der Wiki-Eintrag scheint schon älter.

  10. #15 echt?
    18. Mai 2021

    Interessant wäre ein Artikel darüber, wie die Hochschulen die brach liegende Rechnerinfrastruktur während der Coronakrise genutzt haben.

    • #16 Christian Meesters
      18. Mai 2021

      Nun ist der Artikel zwar ziemlich derailt (durch mich) und ich bin generell bereit Vorschläge anzunehmen: Doch wie kommen Sie darauf? Ich könnte eher darüber berichten, wie knapp die Ressourcen sind. Wie auch immer – gerne aufgenommen.

  11. #17 Uli Schoppe
    18. Mai 2021

    @Joseph

    Ich finde nur das sich die blöden Rechenknechte auch mal nützlich machen können 😉 Sie gehören nicht ans Ende der Entscheidungskette. Fehler mache ich lieber selber ^^

    • #18 Christian Meesters
      18. Mai 2021

      Wenn das so einfach wäre … ist ja gewissermaßen ein Versprechen der AI: Nimmt mir monotone Arbeit ab. Aber “Welche Auswahl wird fälschlich getroffen und kriege ich heraus warum?” ist dann die nächste Frage. Um auf das Thema zurückzukommen: Zur Verbesserung der staatlich-, wissenschaftlichen Organisation zu verbessern um Informationen besser zu transportieren und insgesamt Entscheidungsprozesse auf allen Ebenen, braucht es definitiv keine KI/AI. Diese könnte man allenfalls trainieren Informationen gut und schnell zu sieben. Zur Zeit ist schlechtes bis mittelgutes Lernmaterial überproportional vorhanden ;-).

  12. #19 Uli Schoppe
    18. Mai 2021

    @Christian

    Ich habe den Verdacht wir reden vom Gleichen 🙂 Ich wühle mich jeden Tag stundenlang durch irgenwelche nun wirklich nicht intelligenten Listen. Das kann AI besser als ich. Und die fühlt sich bestimmt nicht gestresst.

  13. #20 Joachim
    18. Mai 2021

    @Joseph Kuhn: Kohlenstoffeinheit? Ich liebe Stanisław Herman Lem auch 😉

    @Christian Meesters: Ups, das passiert, wenn man sich mit zu großer Klappe einfach den Hut aufsetzt. Recht so.

    Auch wenn ich schon ein paar Blog-Artikel geschrieben habe, ich bin nicht sicher, ob ich das gut kann. Die Messlatte hängt hier nicht gerade niedrig.

    Wie dem auch sei, wer auch immer das tut, der Spin könnte vielleicht sein:

    AI nimmt eine große Anzahl, zum Teil unbekannte Eingabeinformation und bildet die auf eine sehr kleine Zahl Ausgabeinformation ab. Es erfolgt eine Informationsreduktion. Sie Abbildung ist surjektiv.

    Übersetzt bedeutet das, AI verallgemeinert. Deshalb nenne ich das eine Vorurteilsmaschine. Der Effekt der Subjektivität wird noch verstärkt durch die Auswahl der Trainingsdaten und durch die willkürliche Bewertungsfunktion.

    Bei Microsoft führte das versehentlich zu einer “rassistisch agierenden” “künstlichen Intelligenz”. Wieso wundert einen das eigentlich?

    Massive Komplexität bei primitivster Implementierung, hochgradige Optimierung, die Tatsache, dass es sich bei Lernalgorithmen um Optimierungsalgorithmen (mit ihren spezifischen Eigenschaften) handelt und die Eigenschaft, dass gelerntes nicht vergessen gemacht werden (es geht nur zurück nach Los) kann tun ihr Übriges.

    Ferner müsste eine Abgrenzung zu ML und vor allen Dingen zu “einfachen” Regelmechanismen rein.

    Zuletzt auch die Frage, ob es möglich ist, KI-Missbrauch und Manipulation (z.B in einer KI zu Börsendaten) zu erkennen. Was würde man tun wollen? Wie würde so eine Manipulation aussehen? Kann man das den Trainingsdaten ansehen, so wie die EU das erwartet, wenn sie Kontrolle der Trainingsdaten fordert? Was ist realistisch?

    Okay. Fertig! Das war ja einfach 😉

    Und ich ahne nun, was kommt… (Duck, bin mal kurz weg)

    • #21 Christian Meesters
      19. Mai 2021

      alles ist gut –

      der Spin könnte vielleicht sein

      ist genau das Problem mit meinem Anspruch: Erst die Interpretation zu haben fällt uns Menschen leicht, aber in einem Wissenschaftsblog möchte ich doch ein bisschen mehr Quellen und Wichtung einbinden. Oder kurz: das ich die Dinge irgendwie (hier: genauso) sehe, heißt nicht, dass eine/diese Meinung richtig ist.

  14. #22 The One
    19. Mai 2021

    @ Joseph Kuhn #8

    Was die Studienflut angeht, wächst bei mir die Sehnsucht nach einer künstlichen Intelligenz, die die Studienlage auf konkrete Fragen hin kurz und prägnant zusammenfasst.

    Dazu müssten die AIs wissen, was sie so treiben. Derzeit sind sie hierfür nicht im Stande. Manche würden für dieses kleine aber feine Detail viel geben, sprich die aktuellen Grenzen von AIs durchbrechen. Aktuell gilt: Mission gelungen, verstanden nix:
    https://mixed.de/deepmind-durchbruch-bringt-alphafold-die-genetik-revolution/#Proteinfaltung_laesst_sich_nicht_mit_roher_Gewalt_loesen

    Professor Grubmüller denkt weiter: „Mich würde sehr interessieren, ob es gelingt, diese Faltungsregeln so aus dem Deep-Learning-Algorithmus zu extrahieren, dass wir die Proteinfaltung besser vorhersagen und besser verstehen können.“

    Ob Hr. Meesters hierfür der Richtige ist, bezweifliche ich, obwohl er als Biologe…xxx und Bio….atiker dazu etwas sagen können sollte. Das Forschungsthema ist brandaktuell – und das nicht nur im Rahmen des Protein Engineerings. 😉

    • #23 Christian Meesters
      19. Mai 2021

      Ob Hr. Meesters hierfür der Richtige ist, bezweifliche ich

      Als ehemaliger (!) Strukturbiologe bilde ich mir zwar ein die Physik zu verstehen, aber genau die ist wegen ihrer Freiheitsgrade das Problem. Und es ist – in meinen Augen zu recht – was Grubmüller und die ges. Community umtreibt: Wie übersetzt man die Vorhersage des DL in Faltungsregeln? Hatte ich im Blog auch schon angedeutet. Und ja, mittlerweile bin ich von der Fragestellung zu weit weg. Den Weg werden andere finden oder auch nicht.

  15. #24 Joachim
    19. Mai 2021

    @Christian Meesters #21
    Wie schafft man das, dermaßen prägnant einen solchen grundlegenden Hinweis zu geben, der nicht so sehr auf meinem Schirm war? Mir scheint der Meister hat da einige Erfahrung, die mir noch fehlt.

    Gibt es da vielleicht keinen Studenten oder jemanden hier im Forum, der eh am Thema dran ist und das mit mir zusammen machen will?

    • #25 Christian Meesters
      19. Mai 2021

      habe das Offensichtliche benannt (das weißt Du(?) als fefe-Leser auch ;-)).

      Aber im Ernst: Habe nichts gegen Beiträge, es muss aber nicht sein. Und ich bin mir sicher, dass mein Umfeld und die Publikationslage allgemein mir genug Stoff geben werden, in den kommenden Monaten so richtig über AI in der Wissenschaft her zu ziehen – und auch ein paar nützliche Anwendungen zu zeigen.

  16. #26 Joachim
    19. Mai 2021

    Natürlich war das genau das Offensichtliche. “es muss aber nicht sein” habe ich durchaus verstanden und gewusst. Fefé auch (Schelm! ROFTL)

    Aber nützliche KI-Anwendungen in der Wissenschaft? Hatten wir nicht neulich noch über Windows-95 Labor-Rechner geredet… 😉

    Wissenschaftler haben es eben auch nicht leicht.