StartseiteKritisch gedacht

Peer review und die Komplementäre und Alternative Realität

Von / 1. April 2010 / 28 Kommentare / Seite 2 von 2 / Auf einer Seite lesen
Mehr

Manchmal wird es aber zum Problem. Zum Beispiel im Fachbereich der
sogenannten Komplementär- und Alternativmedizin (CAM). Da CAM sich von
echter Medizin dadurch abgrenzt, dass es aus Verfahren besteht, deren
Wirksamkeit entweder nicht nachgewiesen oder aber bereits hinreichend
widerlegt ist, ergibt sich ein Dilemma: Was soll einen “Experten” auf
diesem Gebiet eigentlich auszeichnen?

Oft werden im CAM-Bereich “Praktiker” zu Experten. Sie
schreiben z.B. einen Fallbericht oder machen eine Meinungsumfrage über ein Voodoo-Verfahren, das sie seit
Jahren “erfolgreich” in ihrer Praxis einsetzen, und garnieren dies eventuell mit
theoretischen Spekulationen. Ein solcher Bericht wird von unkritischen
CAM-peers abgenickt und erscheint in einer CAM-Zeitschrift. Nach einiger
Zeit wird der Praktiker dadurch zum “Experten” für das Voodoo-Verfahren
– er hat ja schließlich auf diesem Gebiet publiziert. Jetzt darf er als
referee fungieren und wird mangels echter wissenschaftlicher
Kritikfähigkeit viele hingestümperte Texte seiner Kollegen wohlwollend abnicken – die
daraufhin selbst zu “Experten” mutieren, undsoweiter undsofort.

Was man hier findet, ist das bekannte Phänomen, dass ein und dasselbe Verfahren ein
dynamisches System je nach Anfangsbedingungen in eines von zwei völlig
unterschiedlichen Gleichgewichten führen kann: Eines, in welchem i.a. vernünftige wissenschaftliche Literatur entsteht, und eines, in dem
neben dem einen oder anderen wertvollen Artikel auch kompletter
Schwachsinn munter blüht und gedeiht.

i-9484aa3d5bd0fc3ba0c1c9b896b4bc23-tiller_fig-thumb-400x435.gif

CAM-Journale sind typischerweise in letzterem Zustand gefangen, in einem
“Gleichgewicht des Schreckens”. Als Illustration möge man sich
überlegen, ob eine Grafik wie etwa jene nebenstehende des ehemaligen
Stanford-Professors und jetzigen cranks William
A. Tiller Chance auf
Einzug in ein wissen-schaftliches Fachjournal hätte?

Wer trotz dieses An- und Ausblicks noch Lust verspürt, sich näher über Tillers “Fachartikel” über die very different science premises meaningful to CAM versus orthodox medicine zu
informieren, der kürzlich in einem Publikationsorgan namens Journal
of Alternative and Complementary Medicine erschienen ist,
der tut das am besten bei
Orac. Darüber auch noch zu schreiben würde mich nämlich zu sehr deprimieren.

1 / 2
Stichworte: , , ,
Mehr

Kommentare (28)

  1. #1 Christian A.
    1. April 2010

    Sehr schön beschrieben!

  2. #2 rop
    1. April 2010

    @ Ulrich

    Sehr gut beschrieben.
    Genaugenommen die einzigen die als Gutachter der TCM taugen würden, wären Promovierte und erfahrene Ärzte einer Chinesische TCM Uni. Mir ist nicht bekannt dass es solche hier im Westen eine solche Tätigkeit nachgehen würden. Daher ist es auch verständlich dass es so viel Müll gibt.

    PS: Weisst du überhaupt was Voo Doo ist?

  3. #3 Rolf
    1. April 2010

    Vielen Dank für den Artikel – zum Feierabend eine angenehme, gute Lektüre.

  4. #4 Thierbach
    1. April 2010

    Wer ein Experte ist, darüber entscheiden also die Experten.

    Das gleiche gilt für Wissenschaftler generell. Das bedeutet, niemand kann ein Solitär-Wissenschaftler sein; auch wenn manche Leute das nicht glauben wollen: Wissenschaft war, ist und wird sein – Zusammenarbeit.

  5. #5 Joseph Kuhn
    2. April 2010

    In der Tat, gut beschrieben. Was die Alternativmedizin angeht, eine Lektürempfehlung: Ben Goldacre: Die Wissenschaftslüge (dt. Übersetzung des Buches Bad Science). Der Autor engagiert sich in England für die evidenzbasierte Medizin und setzt sich kritisch mit verschiedenen Aspekten der Alternativmedizin auseinander.

  6. #6 Dr. E. Berndt
    2. April 2010

    Sicherlich kann man bei oberflächlicher Betrachtung zu dem Ergebnis kommen, daß hier jeweils in der Guppe der Wissenschafter bzw . der alternativen “Wisssenschafter” in einer Art Binnenkonsens beurteilt wird.
    Nur die Kritik in der echten Wissenschaft ist von anderer Qualität als bei den alterativen. Wissenschaft bedeutet ja, daß ein hierarchischer, logischer Aufbau der keine Widersprüche enthalten darf gegeben sein muß.

    Anders sieht es auf der alternativen Seite aus. Hier gibt es dieses Vorgehen nicht. Es werden ja unbekannte Kräfte toleriert bzw. als Erklärung angenommen. Auftretende Widersprüche werden in Folge als gegeben hingenomen, nicht weiter erklärt und die Widerspüche mit noch mächtigeren unbekannten Kräften und Theorien zugedeckt. Rückfragen auf Basis fundamentaler Widersprüche können daher entfallen.

    So geben die Homöpathen keine Antworten auf simpelste Fragen. Warum muß 10 mal gegen den Erdmittelpunkt aufgestoßen werden und nicht 8 mal. Wieso “wissen” die nur die “guten” Inhaltsstoffe, daß sie sich gefälligst zu potenzieren haben und Verunreinigungen, die ja mitunter sehr bedeutend sein können, potenzieren sich nicht.

  7. #7 Lars Fischer
    2. April 2010

    Schöner Artikel, besonders die Abbildung ist so gruselig, dass ich sie nächsten Halloween mit dem Beamer an die Wolkendecke projizieren werde.

    …und jetzt möchte ich bitte die Geschichte hören, die hinter deinem im sechsten Absatz verlinkten Paper steckt…

  8. #8 Xeelee
    2. April 2010

    Hallo,

    schoener Artikel und schoene Grafik, wenn man sie naemlich satirisch betrachtet, zeigt sie doch schoen, wie viele Laien denken. Normalerweise lebe ich nach der Devise, leben und lesen lassen, aber leider haben viele selbsternannte Laienexperten ein solches Sendungsbewusstsein, das man sie garnicht ignorieren kann, selbst wenn man moechte.

    Mein bestes Mittel um soche Leute zumindest fuer eine gewisse Zeit zum schweigen zu bringen war fuer mich bis jetzt immer die Relativierung des Begriffs “Uebernatuerlich”.

    Wann ist etwas Uebernatuerlich? Wenn es in der Natur nicht vorkommt, bzw. nicht aus Ursachen zu erklaeren ist, die nicht in der Natur liegen. Doch was ist die Natur, ist die Natur nicht das alles? Damit meine ich das Universum und alles darueber hinaus. Selbst ein Gott waere ein Teil der Natur. Ergo, gibt es keine uebernatuerlichen Vorgaenge, wir sind heututage nur noch nicht in der Lage sie zu erklaeren.

    An dieser Stelle ja nicht weiter diskutieren oder erklaeren versuchen, dann ist der alternative Laienexperte erstmal eine Zeit lang beschaeftigt, wundert sich, wie offen der Naturwissenschaftler im Denken ist, man hat seine Ruhe und das beste ist, man hat die Wahrheit gesprochen.

    cu Alex

  9. #9 Sebastian Schlau
    2. April 2010

    Was passiert nun aber mit Reviewanfragen, wenn der Experte Leiter der Universitätsklinik für Irgendwas ist, in ungefähr 30 Kommissionen mitmischt, im Editorial Board von ca. 20 High-Impact-Gazettchen steht, usw. usw., also ganz allgemein formuliert ein vielbeschäftigter Mann ist?

    Dann muss ich als kleiner Assistenzarzt den Review schreiben, der dann meist unverändert als Expertenmeinung meines schlauen Chefs an den Editor zurückgeht. Es lebe die arbeitsteilig organisierte Wissenschaft!

  10. #10 Ulrich Berger
    2. April 2010

    @ rop:
    Weisst du überhaupt was Voo Doo ist?
    Ja, eine satirische Zeitschrift vom MIT: https://web.mit.edu/voodoo/www/voodoo.html

    @ Joseph Kuhn:
    Goldacre und sein Buch wurden hier natürlich schon gewürdigt: https://www.scienceblogs.de/kritisch-gedacht/2009/08/britisch-kritisch-peter-markl-uber-ben-goldacre.php

    @ Lars Fischer:
    Naja, das dort kritisierte paper enthält gleich zwei relativ offensichtliche und schwere Fehler und behauptet dann fälschlicherweise, etwas bewiesen zu haben, was ich ein paar Jahre (leider erfolglos) zu beweisen versucht habe. Hat mich natürlich geärgert, dass der Mist publiziert wurde. Ein dezenter Hinweis an den Editor, dass eine retraction fällig wäre, hat zu einem 18monatigen hin und her geführt. Die retraction wurde inzwischen zugesichert, aber immer noch nicht durchgeführt…

  11. #11 headknox
    2. April 2010

    Insgesamt ein netter Artikel, aber bzgl.
    “Wer ein Experte ist, darüber entscheiden also die Experten.”
    eine kleine Bemerkung: Wenn dem wirklich so wäre, was gibt dann den Kritikern der Alternativmedizin (den Nicht-Experten) die Befähigung zu sagen, dass die AltMed hirnverbrannter Schmus ist? Jede Wirksamkeitsprüfung, die getätigt wird, kann nur von den Experten (den Praktikern, etc.) beurteilt und zugelassen werden, aber die urteilen ja immer mit “Wirksamkeit ist nicht überprüfbar”.

    Ich meine, vieles, was in der AltMed getrieben wird, ist ganz offensichtlich Schwachsinn, aber wenn das Beurteilungssystem wirklich so zirkulär wäre, dann könnte es nicht von außen kritisiert werden. Tatsächlich könnten keine Inhalte, die diesem zirkulärem Beurteilungssystem folgen, von den Außenstehenden, den Nicht-Experten, kritisiert werden.

    Ich denke, damit ein Versuch oder eine Erklärung als gültig annerkannt werden kann, müssen die Experimente und Erklärungen Eigenschaften besitzen, die auch von Nicht-Experten beurteilt werden können, wie z.B. Operationalisierung der Begriffe, logische Konsistenz der Theorie, Occams Messer, das Herausfiltern von störenden Effekten (z.B. Placebo-Effekt), etc. Und jeder “Experte” muss diesen Richtlinien, die dem gesunden Menschenverstand entsprechen, auch folgen. Damit hätte man ein Beurteilungskriterium für Experten, das auch Außenstehende anwenden können und mMn auch unterbewusst von den Leuten, die ein wenig wissenschaftl. Kritikfähigkeit besitzen, angewendet wird.

  12. #12 rop
    2. April 2010

    Peer reviews, frei von ideologischen und finanziellen Interessen.

    Das ist die Art der Schulwissenschaftler and die jungfräuliche Geburt Jesuschristi zu glauben.
    Es ist dieses irrationelle im Menschen dass immer obenauf schwimmt, wie ein Fettauge auf der Suppe

  13. #13 Dr. E. Berndt
    2. April 2010

    @headknox
    Unsere Demokratie beschert uns das Recht auch an Unwahrscheinliches zu glauben.
    Sie können niemanden zwingen etwas zu verstehen oder eine Argumentation anzunehmen.
    Sie haben zwar wunderbar die “Instrumente” aufgezählt, mit denen geprüft und beurteilt wird, ob etwas wahrscheinlich ist, aber das interessiert niemand. Das Geheimnis der alternativen, komplementären u. ganzheitlichen Medizin bzw. von Voodoo-Science ist es eben attraktive scheinmächtige Erklärungen zu bieten, die zu glauben einfacher sind und Widersprüche verdecken.
    Es ist eine psychologische Angelegenheit, wie und wann man zum Voodoo-Wissenschafter wird.

  14. #14 rop
    2. April 2010

    Dr. E. Berndt· 02.04.10 · 15:38 Uhr
    …….Es ist eine psychologische Angelegenheit, wie und wann man zum Voodoo-Wissenschafter wird.

    Am Polytechnicum in Graz wo Tesla 1875 studierte hatte sein Lehrer, Prof. Poeschl, Teslas idee von einen rotierenden Magnetfeld ganz wissenschaftlich auseinandergenommen und für unmoglich erklärt:

    “Herr Tesla wird in Zukunft sicherlich noch grosse dinge vollbringen, aber hier wird ihm kein Erfolg beschieden sein. Genausogut könnte er sich daran machen, eine stationäre ugkraft, wie zb. die Gravitationskraft in eine gleichmässige Drehung umzuwandeln .Was er will ist ein Perpetuum Mobile- ein Prinzip das allen Grundsätzen widerspricht.”

    Poeschl, als Vertretter und Mitglied der Wissenschaftliche gemeinschaft war davon überzeugt alles zu wissen, und er konnte es sogar wissenschaftlich belegen.
    Dem war es aber nicht so. Alle wissenschaftlichen belege zum Trotz!
    Das will manchen aber trotzdem nicht in den Kopf gehen, und wiederholen, wie ein Pepetuum Mobile, immer wieder dem gleichen Kasperle.

    Persönlchkeiten wie Sie Doktor, lassen mich ernsthaft an die Evolutionstheorie zweifeln.

  15. #15 Dr. E. Berndt
    2. April 2010

    @Rop
    Bitte alle in diesem Forum haben verstanden, daß Sie gescheiter und wissender sind als der Rest der Welt.
    Sie sind ein nicht zu übersehende Persönlichkeit mit Ansichten, die eben der allegemeinen erfahrbaren Realität entgegenstehen.
    Zweifellos haben Sie viel Mühe aufgewandt dieses ihr irreales Weltbild zu festigen. Es ist ihnen gelungen es zu versteinern.
    Wie Sie geschafft haben all die unsinnigen bis wahnsinnigen Geschichten und Geschichterln, mit denen es ihnen offenbar gelingt Vorstellungen für Sie subjektiv als richtig zu erachten, interessieren eigentlich niemand mehr.
    Es ist das alles hinlänglich bekannt … und bitte nicht bös sein.. szig zigfach durchdiskutiert worden.

    Also machen Sie uns die Freude und schleichen’s Ihna!

  16. #16 Ulrich Berger
    2. April 2010

    @ headknox:

    Sie haben ja recht, und ich sage keineswegs, dass CAM nicht “von außen” kritisiert werden kann. Genau das geschieht ja. Die CAM-Gemeinde wehrt diese Kritik von außen mit dem Argument ab, sie käme von Leuten, die auf dem Gebiet keine Experten seien. In den seltenen Fällen, wo ein CAM-Experte Kritik an CAM übt, wird er als Verräter ausgestoßen – siehe Prof. Edzard Ernst. Die CAM-Gemeinde hat sich eine Parallelwelt aufgebaut, die sich selbst perpetuiert. Die wissenschaftliche Gemeinschaft lässt sich dadurch aber nicht beeindrucken, weshalb z.B. auch Homöopathie nicht wissenschaftlich anerkannt ist, obwohl es von Ärzten angeboten wird, an machen Unis gelehrt wird, es eigene “Fachzeitschriften” gibt etc. Zu einem großen Teil betreibt man dort eben, wie Feynman es genannt hat, “Cargo-Cult science”.

    Ein Problem gibt es dabei mit unkritischen oder naiven Medien. Wen befragt denn ein Journalist, der z.B. erkunden will, ob Globuli bei Kopfweh wirklich helfen? Viele suchen nach einem “Experten” für Homöopathie und landen bei einem Homöopathen, der ihnen Unsinn erzählt. So werden dann Leser irregeführt, oft unbewusst. Wie etwa hier: https://kurier.at/nachrichten/gesundheit/1986930.php

  17. #17 rop
    2. April 2010

    Dr. E. Berndt· 02.04.10 · 16:13 Uhr
    …………Wie Sie geschafft haben all die unsinnigen bis wahnsinnigen Geschichten und Geschichterln, mit denen es ihnen offenbar gelingt Vorstellungen für Sie subjektiv als richtig zu erachten, interessieren eigentlich niemand mehr.

    Hey, bitte!

    Der ehrenwerter Dr Poeschel hätten Sie sein können! Der hat auch alles so “gewusst” und mitten in der Realität gesessen. Trotzdem war er nicht so schlau wie er dachte. Was ist an der Sache so “Irreal”?

    Wollen Sie mein Nickname freihaus beleidigen, nur zu.

    Sie haben nicht den geringsten Schimmer woraus subatomare Partikel bestehen und noch weniger kennen Sie die natur des Raums dazwischen aber Sie übergeben sich überall mit dem gleichen abgedroschenen Argumenten über HP: “es ist nicht möglich es ist nicht möglich”, mantramässig.

    Sie möchten so gerne den Guru der Moderne spielen. Wenn so ein Rop auftaucht aber, und es taucht immer ein Rop auf, der Ihnen mit einfach nachzuvollziehenden Argumenten zeigt dass Sie sich immer noch auf der dunklen Seite des Mondes befinden und vergeblich versuchen ein Streichholz anzuzünden, da werden Sie ungehalten.

    Also Bitte!

  18. #18 Ulrich Berger
    2. April 2010

    @ Sebastian Schlau:

    Das ist offenbar ein verbreitetes Übel. Doch dann haben Sie den review geschrieben und können das auch in Ihrem CV so darstellen.

  19. #19 nihil jie
    2. April 2010

    @Dr. E. Berndt

    herr Berndt… ich weiss auch, dass es so ist wie Sie es beschrieben haben. in einer demokratie zwingst man für gewöhnlich niemanden etwas zu glauben, oder etwas an zu nehmen. und das ist eigentlich auch gut so. ich kämme auch nie auf die idee das ändern zu wollen. jetzt aber stellt sich mir die frage, warum menschen das so sehr brauchen… warum ziehen sie die esoterik vor ? das kann doch nicht sein, dass es nur daran liegt, weil sie zugänglicher ist. ich denke, dass die menschheit in irgend einem abschnitt ihrer entwicklung einiges vernachlässigt hat. wir haben unser ratio nicht gut genug gepflegt. und da möchte ich auf niemanden mit dem finger zeigen, denn das betrifft alle kulturen. viele menschen haben nie gelernt kritisch zu sein.
    ich kann mich an gespräche mit ein paar nazis erinnern… es ging um eine führer figur die sie so gerne haben wollen. ich stellte ihnen äfters mal die frage wo zu sie denn so eine figur brauchen. sie konnten mir das plausibel nicht erklären… es kamm nur etwas was so klang “wir brauchen einen führer damit er hier aufräumt” tja .. was soll man da zu noch sagen ? und bei den esos ist es ähnlich… sie wissen oft auch nicht genau warum, wieso, weswegen das so oder so sein muss… es muss eben so sein (weis sie es nicht anders kennen). oder die frage an meine mutter die mir sagte “man muss doch an irgend was glauben” auf meine frage “warum ?”, gibt es bis heute nur betretendes schweigen.
    jetzt frage ich mich wie kommt es dass erwachsene menschen sich solchen dingen hingeben… nicht nur das… sie versuchen noch andere davon zu überzeugen, dass es gut ist etwas zu glauben was in sich absolut nicht stimmig ist. jetzt frage ich mich wie kommt so dieses phänomen zu stande ? warum hinterfragen menschen nicht was ihnen erzählt wird oder wie ihnen die dinge erscheinen ? sind wir (grosser teil der menschheit) da zu auf immer (evolutionär) verdammt an solchen schrägen ideen fest zu halten ? ich hoffe nicht…
    ich finde auch bedauerlich dass es in den schulen keinen fach gibt welches sich mit der rationalität an sich beschäftigt. in dem auch gelernt wird wie man an unerklärliche und unübersichtliche phänomene herangeht… damit fängt man im grunde auch erst bei dem studium an… und das ist definitiv zu spät wie ich finde.

  20. #20 Christian A.
    3. April 2010

    @Dr. E. Berndt: Ich wußte doch, dass mir dieser rop bekannt vorkommt. Wenn nämlich einer auf der “Natur des Raumes” herumreitet, dann muss ich spontan an diesen Kollegen denken. Wenn Sie mal ein wenig Zeit haben, können Sie sich die Kommentare hinter dem Link ansehen und danach evaluieren, wie sinnvoll eine Diskussion mit rop sein könnte 😉

  21. #21 rop
    3. April 2010

    Christian A.· 03.04.10 · 11:54 Uhr
    @Dr. E. Berndt: Ich wußte doch, dass mir dieser rop bekannt vorkommt.

    Jetzt haben wir es: Alle die wissen wollen was Raum&Materie sind, heissen “Troy”, und alle die keine Ahnung davon haben und dementsprechend keine Antwort, die heissen Christian A.

    Ich wäre auch dankbar für einen Link wo Dr Berndt mit jemand übehaupt eine “Diskussion” hält. Bisher habe ich von ihm nur Maximen und Urteile lesen können, und zwar immer die gelichen.

    Aber Danke trotzdem Christian für deinem Beitrag.

  22. #22 fatmike182
    3. April 2010

    @ Christian A.
    gut beobachtet… hab den Troy ja schon fast verdrängt gehabt!

  23. #23 MoritzT
    3. April 2010

    Hurra, es ist Ostern, Troy ist auferstanden! Lasst uns eine Religion draus machen!

  24. #24 MoritzT
    3. April 2010

    o, der rop … geht schon. Dem wirds nur irgendwann zu kompliziert. Dann schmeißt er Nebelkerzen. Einfach argumentativ Spur halten, dann hört er von allein auf.

  25. #25 rop
    4. April 2010

    MoritzT· 03.04.10 · 23:44 Uhr
    o, der rop … geht schon. Dem wirds nur irgendwann zu kompliziert. Dann schmeißt er Nebelkerzen. Einfach argumentativ Spur halten, dann hört er von allein auf.

    Hab keine Angst Moritz, ich habe auch wichtigeres zu tun als hier deine abgeschriebene Schulweisheiten zu widerlegen.

  26. #26 MoritzT
    6. April 2010

    na, wenigstens kann ich bei jemandem abschreiben und bin mit meinem Wissen nicht allein!

  27. #27 riobaldo
    11. April 2010

    Zitat:

    “Was man hier findet, ist das bekannte Phänomen, dass ein und dasselbe Verfahren ein dynamisches System je nach Anfangsbedingungen in eines von zwei völlig unterschiedlichen Gleichgewichten führen kann: Eines, in welchem i.a. vernünftige wissenschaftliche Literatur entsteht, und eines, in dem neben dem einen oder anderen wertvollen Artikel auch kompletter Schwachsinn munter blüht und gedeiht.“

    So ist es. Und sie gehören sicherlich zur ersten Gruppierung…
    Mit Verlaub, was lernen wir wirklich daraus ?
    Was hat peer review mit der wissenschaftlichen Akkreditierung von komplementären Heilverfahren ? Meinen Sie, dass es sich um einen konsensuellen Habitus bei Fachpublikationen auf diesem Gebiet handelt ? Wollen Sie dem Leser bzw. der Leserin
    glaubhaft machen, dass peer review nicht genauso den Bereich von sog. seriösen, wissenschaftlichen Publikationen der “reinen Lehre“ unterwandert ? Wenn es so ist, bezweifle ich sehr Ihre Aussage, mehr noch, ich unterstelle Ihnen eine Menge von Naivität gegenüber z.B. der problematischen Allianz zwischen Industrie und wissenschaftlicher Lobby. Gerade auf dem Gebiet der Medizin!

  28. #28 Ulrich Berger
    12. April 2010

    Was genau wollen Sie eigentlich wissen?