Vor einem Jahr hat der ZEIT-Journalist Harro Albrecht einen Artikel „Lob der Erfahrung“ veröffentlicht, in dem er der evidenzbasierten Medizin den Wert der persönlichen Erfahrung gegenüberstellt. Der Regensburger Sozialmedizinprofessor David Klemperer hatte damals in einem Leserbrief für das Netzwerk Evidenzbasierte Medizin diese Gegenüberstellung kritisiert. Zu Recht. Die evidenzbasierte Medizin ignoriert ja nicht die klinische Erfahrung, sie stellt ihr allerdings im Bewusstsein der Irrtumsanfälligkeit menschlicher Erfahrung die wissenschaftliche Studienlage zur Seite.

Jetzt ist mir in einer Sammelpublikation „ZEIT Spezial Medizin“ der Artikel noch einmal unter die Augen gekommen. Dabei bin ich über einen Passus gestolpert, den ich beim ersten Mal überlesen hatte. Harro Albrecht, der in seinem Artikel selbst auch Irrtümer bei erfahrungsgeleiteten Entscheidungen anspricht, schreibt:

„Berühmt ist Kahnemans ‚Linda-Problem‘. Er stellte Versuchspersonen eine Frage: Linda, 31 Jahre alt, Studium der Philosophie, kämpft für soziale Gerechtigkeit und nimmt an Anti-Atomkraft-Demonstrationen teil. Was ist wahrscheinlicher? Dass Linda in einer Bank arbeitet – oder dass Linda in einer Bank arbeitet und zugleich aktive Feministin ist? 90 Prozent tippten auf die zweite Variante. Dabei ist die Wahrscheinlichkeit für eine feministische Bankangestellte natürlich kleiner als für eine einfache Bankangestellte. (…) Trugschlüsse dieser Art lauern überall (…).“

Stimmt genau. Harro Albrecht produziert hier selbst einen Trugschluss, sei es, weil er die Logik in Kahnemans „Linda-Problem“ nicht verstanden hat, sei es, weil er unsauber formuliert. Ob es unter den „einfachen“ oder unter den „feministischen“ Bankangestellten häufiger solche mit Philosophiestudium und Anti-AKW-Demoteilnahme gibt, ist nämlich eine empirische Frage. Kahnemans Frage führt dagegen bei einem logischen Sachverhalt auf’s Glatteis. Man neigt spontan dazu, sie nach vermuteter Milieugemeinsamkeit zu beantworten und ihre logische Binnenstruktur zu übersehen: Es ist wahrscheinlicher, in einer Bank zu arbeiten als in einer Bank zu arbeiten und Feministin zu sein. Ersteres schließt Letzteres mit ein, die Feministinnen sind eine Teilmenge aller Bankangestellten. Anders, wenn man „einfache“ und „feministische“ Angestellte vergleicht (einmal ganz abgesehen davon, dass man ohnehin nicht versteht, warum nichtfeministische Angestellte „einfach“ sein sollen). Korrekt wäre seine Erklärung gewesen, hätte er geschrieben: „Dabei ist die Wahrscheinlichkeit für eine feministische Bankangestellte natürlich kleiner als einfach nur für eine Bankangestellte.“

Gegenüberstellungen haben es eben manchmal in sich, die von klinischer Erfahrung und Evidenzbasierung ebenso wie die von einfachen und feministischen Angestellten.

Kommentare (25)

  1. #1 rolak
    29. November 2013

    ..halte ich eher für einen semantischen Fehler, ‘einfach’ geschrieben, ‘nicht weiter spezifiziert’ gemeint. Bliebe allerdings auch in dieser Deutung ein durchaus typischer, häufig gemachter Fehler.

  2. #2 Ludger
    29. November 2013

    Bei Therapieverfahren sind prospektive Studien der Königsweg, um eine Wirksamkeit oder eine Überlegenheit einer Therapie im Vergleich zu einer anderen Therapie zu untersuchen. In dem verlinkten Zeitartikel ging es aber um Diagnostik. Da wird es für die statistische Untersuchung schwierig, weil die Entscheidungsbäume ungleich komplizierter sind. EBM in der Diagnostik kann allenfalls Einzelverfahren gegenüberstellen, z.B. Mammographie versus Mamma-MRT. Wenn aber ein Mensch mit den Worten kommt: ” Irgendwie fühle ich mich in den letzten Tagen gar nicht gut.”, wäre ich auf den Rat eines EBM-Spezialisten gespannt.

  3. #3 Joseph Kuhn
    29. November 2013

    @ Ludger: Im Einstiegsszenario des Artikels geht es um Diagnostik, danach geht es explizit, lange und ganz gezielt um EBM. Und was wird ein “EBM-Spezialist” (was soll das eigentlich sein, ich hoffe doch, Sie gehören dazu) wohl auf den Satz “irgendwie fühle ich mich in den letzten Tagen gar nicht gut” sagen? Er wird vermutlich wie jeder Mensch nachfragen, worin sich das konkret bemerkbar macht, ob es ständig so ist, ob es mit etwas Bestimmten angefangen hat, ob es früher schon mal war usw. – und je mehr die Sache einzugrenzen ist, wird er hoffentlich in eine fachlich dem Stand der Wissenschaft entsprechende Diagnostik einsteigen. Oder haben Sie eine andere Phantasie?

    @ rolak: Ja, nicht unwahrscheinlich.

  4. #4 Ludger
    29. November 2013

    Joseph Kuhn #3:
    “Und was wird ein “EBM-Spezialist” (was soll das eigentlich sein, ich hoffe doch, Sie gehören dazu)”

    Ich versuche, Leitlinien zu befolgen, ich gehöre nicht zu den Spezialisten, die Leitlinien formulieren. Zur Diagnostik: Es gibt ein Beschwerdebild, eine (spezielle, allgemeine, familiäre und soziale – fehlt noch was?) Anamnese und einen klinischen Befund. Dabei ergeben sich eine Fülle von wahrscheinlicheren und unwahrscheinlicheren Differentialdiagnosen. Das läuft unter Zeitdruck (bei hoffntlich vollem Wartezimmer) und mit begrenzten Ressourcen: das Laborbudget ist klein und die apparativen Möglichkeiten sind begrenzt. Eine solche Situation ist so komplex, dass sie sich statistisch nur scher untersuchen lässt. Außerdem sind die verschiedenen diagnostischen Probleme so vielfältig, dass sich nur schwer Gruppen bilden lassen, die statistisch untersucht werden können. In solchen Fällen hilft Erfahrung ungemein, praktisch über die Runden zu kommen.

  5. #5 Joseph Kuhn
    29. November 2013

    @ Ludger:

    “In solchen Fällen hilft Erfahrung ungemein, praktisch über die Runden zu kommen.”

    Dem steht die EBM auch nicht entgegen. Trotzdem würden Sie doch sicher ein diagnostisches Verfahren, das sich in wissenschaftlichen Studien als ungeeignet herausgestellt hat, nicht weiter anwenden, wenn es etwas Besseres gibt.

  6. #6 Ludger
    29. November 2013

    Und wenn Sie 100 diagnostische Verfahren haben, die sich alle als geeignet für jeweils eine bestimmte Fragestellung erwiesen haben, was machen Sie dann? Die können Sie nicht alle zusammen anwenden, man muss schon eine Hierarchie an Diagnosewahrscheinlichkeiten und Wichtigkeit aufstellen, um die passenden diagnostischen Schritte zu tun. Dafür sind aber in der Regel keine Tabellen verfügbar. Ich habe keine Zahlen darüber, wieviel Prozent der ärztlichen Tätigkeit idealerweise evidenzbasiert sein kann. Ich rate mal: Es sind deutlich unter 50%. Vielleicht kommen Sie ja an Zahlen.

  7. #7 Dagda
    30. November 2013

    @Ludger

    Idealerweise sollten 100% der ärztlichen Tätigkeit evidenzbasiert sein. Vieles ist das natürlich noch nicht. Ich weiß das es dazu Zahlen gibt, kann die aber gerade nicht mehr finden.

    Aber Diagnostik kann sehr wohl evidenzbasiert sein,
    siehe zB. hier:
    https://www.dgn.org/images/stories/dgn/leitlinien/LL_2012/pdf/ll_52_2012_diagnostik_und_apparative_zusatzuntersuchungen_bei_kopfschmerzen.pdf
    😀

  8. #8 Joseph Kuhn
    30. November 2013

    @ Ludger: Erfahrung hilft, in der Praxis über die Runden zu kommen: ja klar, wer bestreitet das? 100 diagnostische Verfahren, alle gleich geeignet: wo gibt’s das? Weniger als 50 % der ärztlichen Tätigkeit evidenzbasiert: ja, manche Fachleute halten selbst das noch für zu hoch gegriffen. Wofür oder wogegen argumentieren Sie eigentlich? Mir scheint, das Interview von Frau Slomka mit Herrn Gabriel färbt etwas auf Sie ab.

  9. #9 Ludger
    30. November 2013

    Joseph Kuhn #8: ” Erfahrung hilft, in der Praxis über die Runden zu kommen: ja klar, wer bestreitet das?”

    Viel mehr wollte ich gar nicht rüberbringen.

    Joseph Kuhn #8:
    “Wofür oder wogegen argumentieren Sie eigentlich?”

    Ich wollte etwas klarstellen, was offenbar in vielen Köpfen drin ist:

    Dagda #7:
    “Idealerweise sollten 100% der ärztlichen Tätigkeit evidenzbasiert sein. Vieles ist das natürlich noch nicht.”

    @ Dagda
    Ihr Link führt zu einer Leitlinie. Die gibt es zunehmend für umschriebene Problemfelder ( https://www.awmf.org/leitlinien/aktuelle-leitlinien.html ). Es ist wichtig, die entsprechende Leitlinie zu kennen, es reicht aber nicht aus, man braucht auch “eine Nase”. Deswegen gibt es m.E auch noch kein computerisiertes Diagnoseprogramm, welches besser ist als ein ausgebildeter und erfahrener Mensch.

    Joseph Kuhn #:
    “Mir scheint, das Interview von Frau Slomka mit Herrn Gabriel färbt etwas auf Sie ab.”

    Möchten Sie mir jetzt den Gabriel machen?

  10. #10 Joseph Kuhn
    30. November 2013

    @ Ludger-Slomka:

    “Möchten Sie mir jetzt den Gabriel machen?”

    Dazu fehlt mir die Statur 😉

    An dem “idealerweise” in “Dagdas” Kommentar hätte ich übrigens nichts auszusetzen, es ist nur, sie sagt es ja auch, in der Realität anders, aus vielen Gründen.

  11. #11 Ludger
    30. November 2013

    Das mit den 100% ist wie mit der Lichtgeschwindigkeit: je mehr man sich ihr nähert, um so mehr Energie muss man für jede weitere Annäherung aufwenden. Eine ganz gute Zusammenfassung zum Thema habe ich hier ( https://de.wikipedia.org/wiki/Medizinische_Leitlinie ) gefunden:

    Idealerweise unterliegen medizinische Leitlinien einem systematischen und transparenten Entwicklungsprozess, sie sind wissenschaftlich fundierte, praxisorientierte Handlungsempfehlungen. Ihr Hauptzweck ist die Darstellung des fachlichen Entwicklungsstandes (State of the art). Sie geben Ärzten Orientierung im Sinne von Entscheidungs- und Handlungsoptionen. Die Umsetzung liegt bei der fallspezifischen Betrachtung im Ermessensspielraum des Behandlers; ebenso sind im Einzelfall die Präferenzen der Patienten in die Entscheidungsfindung einzubeziehen.

  12. #12 Joseph Kuhn
    30. November 2013

    @ Ludger: In der Tat eine gute Zusammenfassung. Genau diese drei Elemente sind konstitutiv für die EBM: Studien, klinische Erfahrung und Patientenpräferenzen – darauf hatte der Leserbrief David Klemperers an die ZEIT, den ich im Blog verlinkt habe, abgehoben. Die konfrontative Gegenüberstellung Studien-Erfahrung trifft nicht den Kern der Sache, sondern spiegelt ein Missverständnis des Anliegens der EBM wider. In dem berühmten Artikel von Sackett et al. “Was ist EBM und was nicht?” heißt es:

    “EBM ist keine Kochbuchmedizin. Weil es eines ‘Bottom-up’-Ansatzes bedarf, der die beste verfügbare externe Evidenz mit individueller klinischer Expertise und Patientenpräferenzen verbindet, ist das Konzept nicht mit dem sklavischen Befolgen eines ‘Kochrezepts’ zur Patientenbehandlung vereinbar. Externe klinische Evidenz kann die individuelle klinische Erfahrung zwar ergänzen, aber niemals ersetzen.”

    Das Missverständnis eines grundsätzlichen Gegeneinanders von Studien und Erfahrung hat mit der medizinhistorischen Entwicklung zu tun, weil die EBM sich zunächst gegen den Anspruch der Koryphäen durchsetzen musste, dass ihre Erfahrung der letzte Maßstab in allen Dingen sei – siehe dazu z.B. unser kleines Büchlein “Die statistische Transformation der Erfahrung”, in dem u.a. auch der Aufsatz von Sackett et al. nachgedruckt ist.

  13. #13 Dagda
    30. November 2013

    @ Ludger

    Das ist nicht irgend eine Leitlinie sondern eine der Leitlinien, die sich mit einem der typischen “irgendwie geht es mir nicht gut” Symptome befassen: Kopfschmerzen. Das halte ich deswegen für relevant weil es, wenn ich sie richtig verstanden habe, ihnen ja darum geht, dass es in der Diagnostik häufig zu viele Möglichkeiten gibt, als dass man sie alle wirklich wissenschaftlich untersuchen kann.
    Gerade an der Kopfschmerzleitline sieht man was möglich ist und was nicht.

  14. #14 Ludger
    30. November 2013

    Dagda #12:
    “Das halte ich deswegen für relevant weil es, wenn ich sie richtig verstanden habe, ihnen ja darum geht, dass es in der Diagnostik häufig zu viele Möglichkeiten gibt, als dass man sie alle wirklich wissenschaftlich untersuchen kann.”

    Einverstanden, wenn man akzeptiert, dass “wissenschaftlich” in der Medizin nicht immer “statistisch abgesichert” bedeutet.

  15. #15 Babo Webbaer
    30. November 2013

    Linda, 31 Jahre alt, Studium der Philosophie, kämpft für soziale Gerechtigkeit und nimmt an Anti-Atomkraft-Demonstrationen teil. Was ist wahrscheinlicher? Dass Linda in einer Bank [Ergänzung BWb: und nicht zugleich aktive Feministin ist] arbeitet – oder dass Linda in einer Bank arbeitet und zugleich aktive Feministin ist?

    Solide angemerkt! – Übrigens gab es vor ca. 40 Jahren böse gehaltene Diskussionen über sogenannte Textaufgaben, die den Mathematik-Unterricht begannen zu bereichern, und das Sprachverständnis dem rein mathematischen Verständnis überordneten, – was in eine ähnliche Richtung geht…

    MFG
    Dr. W

    • #16 Joseph Kuhn
      30. November 2013

      Ihre Ergänzung formuliert nun explizit den Fehler, den Harro Albrecht möglicherweise aus Unbedachtsamtkeit gemacht hat. Kahnemans Beispiel beruht aber darauf, dass man “Linda arbeitet in einer Bank” (egal ob sie Feministin ist oder nicht) und “Linda arbeitet in einer Bank und ist Feministin” gegenüberstellt. Das Zweite ist eine Teilmenge des Ersten, bzw. anders formuliert, die Wahrscheinlichkeit, dass Linda zur zweiten Gruppe gehört, berechnet sich als bedingte Wahrscheinlichkeit unter Berücksichtigung, dass sie bereits zur ersten Gruppe gehört: https://de.wikipedia.org/wiki/Bedingte_Wahrscheinlichkeit

  16. #17 Babo Webbaer
    30. November 2013

    Das Zweite ist eine Teilmenge des Ersten

    Ist verstanden worden, Herr Dr. Kuhn, die Ergänzung sollte das meinen, was fälschlicherweise hätte verstanden werden können.

    Da hat sich Ihr Kommentatorenfreund, womöglich absichtlich, unklar ausgedrückt. Mit bedingten Wahrscheinlichkeiten hat’s aber nicht zu tun, oder??!

    MFG
    Dr. W

  17. #18 Joseph Kuhn
    30. November 2013

    @ Babo:

    “Mit bedingten Wahrscheinlichkeiten hat’s aber nicht zu tun, oder?”

    Doch. Betrachten Sie die beiden Mengen (alle Bankangestellten und die feministischen Angestellten) als Teilmengen einer Grundgesamtheit, aus der Sie Ihre Stichprobe (Linda) ziehen. Dann haben Sie die Wahrscheinlichkeit, dass Linda eine feministische Angestellte ist, als bedingte Wahrscheinlichkeit in Abhängigkeit von der Wahrscheinlichkeit, dass sie überhaupt eine Bankangestellte ist.

  18. #19 Babo Webbaer
    30. November 2013

    Insofern wären viele Wahrscheinlichkeiten ‘bedingt’, Herr Dr. Kuhn, wobei dann dieses Konzept aber noch keinen besonderen Erklärungswert hätte. [1]

    No prob natürlich, vielen Dank für Ihren Artikel. Sie werden weiterhin als solider Datenarbeiter geschätzt.


    Und insgesamt so, mit dem BT-Wahlergebnis zufrieden?

    MFG
    Dr. W

    [1] So “richtig cool” wird das Denken in bedingten Wahrscheinlichkeiten, wenn es sich nicht mehr mengentheoretisch einfach darstellen lässt, vgl. Monty Hall: -> https://de.wikipedia.org/wiki/Ziegenproblem

  19. #20 Marcus Anhäuser
    1. Dezember 2013

    Mir war der Artikel damals auch aufgefallen und ich dachte nur: Ist die EbM tatsächlich schon soweit in den Medizinalltag vorgedrungen, dass man schon wieder vor ihr warnen muss?

  20. #21 G.W.
    1. Dezember 2013

    Guten Tag Herr Kuhn,

    Danke für den Hinweis auf diesen Denkfehler, der allerdings, in Form einer gestellten Falle, in die man selber tappt, offenbar eigene Denkfehler vor Augen führt. Mit umgangssprachlichen Formulierungen läßt sich natürlich viel tricksen und austricksen, inklusive der eigenen Person.

    Die weitaus meisten Leute werden die Frage, formuliert im Sinne von a priori-Wahrscheinlichkeiten, sofort richtig beantworten. Schließlich sind alle wahrscheinlichkeitstheoretischen Fragestellungen mengentheoretisch, d.h. für die Mehrzahl der Leute in einleuchtenden Bildern, abbildbar; die Kunst besteht bisweilen allerdings darin, die richtige Formulierung zu finden.

    Im gegebenen Zusammengang geht es ganz klar nicht um absolute Schätzungen, sondern um Rückschlüsse von dem einen („Gerechtigkeit etc.“) auf das andere („Feminismus etc.), also um bedingte Wahrscheinlichkeiten. Es dürfte aber a posteriori wahrscheinlicher sein, dass eine Frau, die sich für Gerechtigkeit etc. einsetzt, auch dem Feminismus gegenüber aufgeschlossener ist als nicht, gleich ob sie in einer Bank arbeitet oder nicht. Die meisten Leute verstehen vermutlich die Frage (im Kontext zu Recht) als: „Wenn sie in einer Bank arbeitet, ist sie dann unter der gegebenen Voraussetzung ihres Engagements eher feministisch eingestellt oder nicht?“ Es handelt sich um eine implizite, informelle Anwendung des Bayesschen Theorems. Und wie Sie schreiben, müssen die zugrundeliegenden Wahrscheinlichkeiten empirisch geprüft werden.

    Und damit sind wir bei der EBM. Die EBM in der Diagnostik verkörpert gerade den Versuch, a) auf der Basis kontrollierter Daten zu diagnostischen Verfahren von a priori-Wahrscheinlichkeiten für das Vorliegen von Erkrankungen zu a posteriori-Wahrscheinlichkeiten für deren Vorliegen zu kommen und b) die Wertigkeit verschiedener Verfahren vergleichend zu analysieren. Das stellt sich allerdings oft als schwierig heraus, vor allem weil die a priori-Wahrscheinlichkeiten (pre-test probability) in hohem Maß durch die Vorauswahl der untersuchten Kollektive, d.h. vorher angewandte Kriterien, bestimmt sind.

    In ganz allgemeinem Rahmen wurde etwas Ähnliches übrigens vor einigen Jahrzehnten in der Wissenschaftstheorie (insbesondere von Rudolf Carnap) verfolgt, und zwar in Form der sog. induktiven Wahrscheinlichkeit der Bestätigung einer Theorie durch Daten; das Programm erwies sich allerdings als undurchführbar, auch wenn es wichtige Einsichten brachte. Die Probleme, an denen es scheiterte, haben wesentlich damit zu tun, dass ein Wissenschaftler – ganz wie ein guter Arzt – eben auch stark informell abwägt und ein nicht adäquat formalisierbares Hintergrundwissen verwendet.

    In der Diagnose arbeitet man ebenfalls mit bedingten Wahrscheinlichkeiten, auch wenn man keine formale Evidenz heranzieht. Auf der Basis von Vorerfahrungen (gleich ob diese einer kritischen Analyse standhalten oder nicht) wertet der Arzt idealerweise die Gesamtheit der Informationen über den Patienten aus, und zwar zu wesentlichen Teilen informell, und kommt zu Schlüssen über die Diagnose. Dass es sich um implizite Wahrscheinlichkeiten handelt, die sich durch hinzugefügte Informationen jeweils ändern, kann man mittels Fragebogen herausfinden, auch dann, wenn es keine formale Evidenz für die diagnostische Wertigkeit des Verfahrens gibt (das habe ich selbst bereits in einer Studie eingesetzt). Man könnte es auch so formalisieren, dass man auf relevante Differenzialdiagnosen „wetten“ läßt und aus den Wettverhältnissen die Wahrscheinlichkeiten ableitet. Sollte man jemals zu einer vollständigen Formalisierung dieser Informationen kommen (was ich für unrealistisch halte), dann wären Ärzte überflüssig und könnten durch Programme ersetzt werden.

    Insofern ist das Ausspielen der „Erfahrung“ gegen die formalisierte EBM verständlich. Es scheint mir jedoch letztlich kontraproduktiv, denn es öffnet leicht der Willkür Tür und Tor. Mancher wird sich an den Habitus von Ordinarien und Chefärzten der Vergangenheit erinnern und nichts Analoges für heute herbeiwünschen. Evidenz bedeutet immer, dass die Sache auch kritisch geprüft wurde. Das alte „Eminenz statt Evidenz“ durch das neue „Empirenz statt Evidenz“ zu ersetzen, dürfte schwerlich ein Fortschritt sein. Wir haben das ja schon zu Genüge in der „alternativen Medizin“.

    Mit freundlichem Gruß

  21. #22 Joseph Kuhn
    1. Dezember 2013

    @ G.W.: So isses. 😉

  22. #23 Dr. Webbaer
    3. Dezember 2013

    Es handelt sich um eine implizite, informelle Anwendung des Bayesschen Theorems.

    Das ist nicht der Fall, wenn nur zwischen einem Individuum, das ‘in einer Bank arbeitet’ und einem, das ‘in einer Bank arbeitet und zugleich aktive Feministin ist’ unterschieden wird.

    Denn die Menge derjenigen, die ‘in einer Bank arbeiten’, ist die Obermenge (das Fachwort) derjenigen, die ‘in einer Bank arbeiten und zugleich aktive Feministen sind’.

    Es bleibt bisher also einfache (Mengen-)Algebra.

    Verdeutlichen kann man sich’s bspw. mit Hunden, die Hunde sind, und Hunden, die Hunde und zugleich braun sind.

    MFG
    Dr. W

  23. #24 klauszwingenberger
    12. Dezember 2013
  24. […] Geschichten, weil sie Vertrautheit mit Bekanntem schaffen. Leider lassen Geschichten aber manchmal die Dinge auch einfacher erscheinen, als sie sind. Über Heuristiken, die uns helfen oder irreführen, hat Daniel Kahneman in seinem tollen Buch […]