An sich funktioniert es ja ganz gut: Ein Wissenschaftler macht ein Experiment, arbeitet eine Theorie aus oder jagt einen Datensatz durch eine Statistiksoftware. Die Resultate, die er dabei erhält, sollen der Fachwelt zugänglich sein, also schreibt er einen Fachartikel, im Jargon ein paper genannt. Diesen Fachartikel schickt er an eine wissenschaftliche Fachzeitschrift zur Publikation. Nun startet ein aufwändiger Prozess, den man peer review nennt.
Peer review
Der wissenschaftliche Herausgeber (Editor) der Zeitschrift sucht
einen geeigneten Associate Editor aus, der auf dem spezifischen
Fachgebiet des eingereichten papers ein durch einschlägige
wissenschaftliche Publikationen ausgewiesener Experte ist. Dieser
wiederum sucht zwei bis drei Gutachter, sogenannte referees aus,
die ebenfalls Experten auf dem Gebiet sind. Diese begutachten das paper
im Detail und erstellen fachliche Gutachten, in denen sie die Methodik
und alle relevanten Details des papers einer kritischen Würdigung
unterziehen um am Ende eine Empfehlung auszusprechen, das paper zu
publizieren, abzulehnen oder zu verbessern und neu einzureichen. Im
letzteren Fall werden Hinweise geben, wo Schwachstellen sind und wie man
das paper signifikant verbessern könnte.
Die referees bleiben
dem Autor des papers gegenüber anonym und können daher frei von sozialem
Druck Kritik üben. Sie arbeiten freiwillig und unentgeltlich und ihr
einziger Lohn ist die Reputation, die sich aus der Zeile im akademischen
Lebenslauf ergibt, die sie als Gutachter dieser Fachzeitschrift
ausweist.
Der Associate Editor studiert das paper und die von den
referees eingeschickten Gutachten (referee reports) und bildet sich so
eine qualifizierte Meinung. Auf Basis seiner Erkenntnisse schickt er die
Gutachten samt einer Empfehlung an den Editor der Fachzeitschrift.
Dieser fällt schließlich die Entscheidung: entweder wird das paper
publiziert, oder es wird abgewiesen, oder der Autor bekommt die Chance,
es zu verbessern und neu einzureichen, worauf es in die “zweite Runde”
geht. So kann es über mehrere Runden hinweg begutachtet werden und am
Ende wird es entweder unwiderruflich abgelehnt oder endgültig akzeptiert
und publiziert. Der ganze Prozess kann von einigen Wochen bis zu über
einem Jahr dauern.
Ein bei einer Fachzeitschrift abgelehntes
paper ist noch lange nicht endgültig aus dem Rennen. Es kann bei einer
anderen Zeitschrift eingereicht werden, worauf der Prozess von vorne
losgeht. Tatsächlich sind einige später berühmt gewordene papers auf
diese Weise erst im dritten oder vierten Anlauf akzeptiert und gedruckt
worden.
Der peer review Prozess ist beileibe nicht unfehlbar. Er
ist insgesamt tendenziell konservativ, und wenn man Pech hat, erwischt
man faule oder nachlässige referees, deren Urteil oberflächlich und
unfundiert ist. Daraus resultieren sowohl gute abgelehnte papers wie
auch schlechte
akzeptierte papers. Das sind allerdings zum Glück Ausnahmen, und im
allgemeinen erstaunt es mich immer wieder, wieviel Mühe sich referees
oft nehmen um alles noch bis ins kleinste Detail nachzuprüfen.
Wer ist ein “Experte”?
Wenn
man als junger Wissenschaftler auf diese Weise ein paar papers auf
einem Gebiet erfolgreich publiziert hat, so wird man üblicherweise
schließlich als peer anerkannt und stillschweigend zum Experten
erklärt. Das merkt man daran, dass einem eines Tages eine e-mail mit der
freundlichen Aufforderung, ein paper zu begutachten, in die Inbox
flattert. Nun darf man also selbst die Arbeit der Kollegen bewerten –
und wird dies hoffentlich gewissenhaft tun.
Wer genau mitgelesen
hat, wird gemerkt haben, dass der peer review Prozess ein zirkuläres
Element beinhaltet: Begutachten dürfen nur Experten. Wie aber wird man
zum Experten? Nun, wie erwähnt gilt jemand als Experte auf einem Gebiet,
sobald er auf diesem Gebiet erfolgreich ein paar Artikel in
Fachzeitschriften publiziert hat. Das wiederum hängt davon ab, ob seine
papers als publikationswürdig eingestuft wurden. Und wer entscheidet
darüber im Endeffekt? Die referees, also die Experten!
Wer ein
Experte ist, darüber entscheiden also die Experten. Das mag zirkulär erscheinen,
was aber normalerweise nichts ausmacht. Im Gegenteil – nicht anders kann
es eigentlich funktionieren! Und es funktioniert wie gesagt insgesamt ganz gut.
Das Dilemma der “wissenschaftlichen” Alternativmedizin
Kommentare (28)