An sich funktioniert es ja ganz gut: Ein Wissenschaftler macht ein Experiment, arbeitet eine Theorie aus oder jagt einen Datensatz durch eine Statistiksoftware. Die Resultate, die er dabei erhält, sollen der Fachwelt zugänglich sein, also schreibt er einen Fachartikel, im Jargon ein paper genannt. Diesen Fachartikel schickt er an eine wissenschaftliche Fachzeitschrift zur Publikation. Nun startet ein aufwändiger Prozess, den man peer review nennt.
Peer review
Der wissenschaftliche Herausgeber (Editor) der Zeitschrift sucht
einen geeigneten Associate Editor aus, der auf dem spezifischen
Fachgebiet des eingereichten papers ein durch einschlägige
wissenschaftliche Publikationen ausgewiesener Experte ist. Dieser
wiederum sucht zwei bis drei Gutachter, sogenannte referees aus,
die ebenfalls Experten auf dem Gebiet sind. Diese begutachten das paper
im Detail und erstellen fachliche Gutachten, in denen sie die Methodik
und alle relevanten Details des papers einer kritischen Würdigung
unterziehen um am Ende eine Empfehlung auszusprechen, das paper zu
publizieren, abzulehnen oder zu verbessern und neu einzureichen. Im
letzteren Fall werden Hinweise geben, wo Schwachstellen sind und wie man
das paper signifikant verbessern könnte.
Die referees bleiben
dem Autor des papers gegenüber anonym und können daher frei von sozialem
Druck Kritik üben. Sie arbeiten freiwillig und unentgeltlich und ihr
einziger Lohn ist die Reputation, die sich aus der Zeile im akademischen
Lebenslauf ergibt, die sie als Gutachter dieser Fachzeitschrift
ausweist.
Der Associate Editor studiert das paper und die von den
referees eingeschickten Gutachten (referee reports) und bildet sich so
eine qualifizierte Meinung. Auf Basis seiner Erkenntnisse schickt er die
Gutachten samt einer Empfehlung an den Editor der Fachzeitschrift.
Dieser fällt schließlich die Entscheidung: entweder wird das paper
publiziert, oder es wird abgewiesen, oder der Autor bekommt die Chance,
es zu verbessern und neu einzureichen, worauf es in die “zweite Runde”
geht. So kann es über mehrere Runden hinweg begutachtet werden und am
Ende wird es entweder unwiderruflich abgelehnt oder endgültig akzeptiert
und publiziert. Der ganze Prozess kann von einigen Wochen bis zu über
einem Jahr dauern.
Ein bei einer Fachzeitschrift abgelehntes
paper ist noch lange nicht endgültig aus dem Rennen. Es kann bei einer
anderen Zeitschrift eingereicht werden, worauf der Prozess von vorne
losgeht. Tatsächlich sind einige später berühmt gewordene papers auf
diese Weise erst im dritten oder vierten Anlauf akzeptiert und gedruckt
worden.
Der peer review Prozess ist beileibe nicht unfehlbar. Er
ist insgesamt tendenziell konservativ, und wenn man Pech hat, erwischt
man faule oder nachlässige referees, deren Urteil oberflächlich und
unfundiert ist. Daraus resultieren sowohl gute abgelehnte papers wie
auch schlechte
akzeptierte papers. Das sind allerdings zum Glück Ausnahmen, und im
allgemeinen erstaunt es mich immer wieder, wieviel Mühe sich referees
oft nehmen um alles noch bis ins kleinste Detail nachzuprüfen.
Wer ist ein “Experte”?
Wenn
man als junger Wissenschaftler auf diese Weise ein paar papers auf
einem Gebiet erfolgreich publiziert hat, so wird man üblicherweise
schließlich als peer anerkannt und stillschweigend zum Experten
erklärt. Das merkt man daran, dass einem eines Tages eine e-mail mit der
freundlichen Aufforderung, ein paper zu begutachten, in die Inbox
flattert. Nun darf man also selbst die Arbeit der Kollegen bewerten –
und wird dies hoffentlich gewissenhaft tun.
Wer genau mitgelesen
hat, wird gemerkt haben, dass der peer review Prozess ein zirkuläres
Element beinhaltet: Begutachten dürfen nur Experten. Wie aber wird man
zum Experten? Nun, wie erwähnt gilt jemand als Experte auf einem Gebiet,
sobald er auf diesem Gebiet erfolgreich ein paar Artikel in
Fachzeitschriften publiziert hat. Das wiederum hängt davon ab, ob seine
papers als publikationswürdig eingestuft wurden. Und wer entscheidet
darüber im Endeffekt? Die referees, also die Experten!
Wer ein
Experte ist, darüber entscheiden also die Experten. Das mag zirkulär erscheinen,
was aber normalerweise nichts ausmacht. Im Gegenteil – nicht anders kann
es eigentlich funktionieren! Und es funktioniert wie gesagt insgesamt ganz gut.
Das Dilemma der “wissenschaftlichen” Alternativmedizin
Manchmal wird es aber zum Problem. Zum Beispiel im Fachbereich der
sogenannten Komplementär- und Alternativmedizin (CAM). Da CAM sich von
echter Medizin dadurch abgrenzt, dass es aus Verfahren besteht, deren
Wirksamkeit entweder nicht nachgewiesen oder aber bereits hinreichend
widerlegt ist, ergibt sich ein Dilemma: Was soll einen “Experten” auf
diesem Gebiet eigentlich auszeichnen?
Oft werden im CAM-Bereich “Praktiker” zu Experten. Sie
schreiben z.B. einen Fallbericht oder machen eine Meinungsumfrage über ein Voodoo-Verfahren, das sie seit
Jahren “erfolgreich” in ihrer Praxis einsetzen, und garnieren dies eventuell mit
theoretischen Spekulationen. Ein solcher Bericht wird von unkritischen
CAM-peers abgenickt und erscheint in einer CAM-Zeitschrift. Nach einiger
Zeit wird der Praktiker dadurch zum “Experten” für das Voodoo-Verfahren
– er hat ja schließlich auf diesem Gebiet publiziert. Jetzt darf er als
referee fungieren und wird mangels echter wissenschaftlicher
Kritikfähigkeit viele hingestümperte Texte seiner Kollegen wohlwollend abnicken – die
daraufhin selbst zu “Experten” mutieren, undsoweiter undsofort.
Was man hier findet, ist das bekannte Phänomen, dass ein und dasselbe Verfahren ein
dynamisches System je nach Anfangsbedingungen in eines von zwei völlig
unterschiedlichen Gleichgewichten führen kann: Eines, in welchem i.a. vernünftige wissenschaftliche Literatur entsteht, und eines, in dem
neben dem einen oder anderen wertvollen Artikel auch kompletter
Schwachsinn munter blüht und gedeiht.
CAM-Journale sind typischerweise in letzterem Zustand gefangen, in einem
“Gleichgewicht des Schreckens”. Als Illustration möge man sich
überlegen, ob eine Grafik wie etwa jene nebenstehende des ehemaligen
Stanford-Professors und jetzigen cranks William
A. Tiller Chance auf
Einzug in ein wissen-schaftliches Fachjournal hätte?
Wer trotz dieses An- und Ausblicks noch Lust verspürt, sich näher über Tillers “Fachartikel” über die very different science premises meaningful to CAM versus orthodox medicine zu
informieren, der kürzlich in einem Publikationsorgan namens Journal
of Alternative and Complementary Medicine erschienen ist,
der tut das am besten bei
Orac. Darüber auch noch zu schreiben würde mich nämlich zu sehr deprimieren.
Kommentare (28)