Wissenschaftliche Arbeiten werden ja vor der Veröffentlichung begutachtet – also einem System der Qualitätskontrolle unterzogen. Das wird hier auf den Scienceblogs ja auch immer wieder thematisiert – insbesondere dann, wenn mal wieder irgendwelche Kommentatorinnen der Ansicht sind, Youtube-Videos seien als Argumente genauso gut wie wissenschaftliche Veröffentlichungen. Wenn ihr nicht selbst im Wissenschaftsbetrieb drinsteckt, fragt ihr euch vielleicht, wie das System eigentlich funktioniert. Deshalb erzähle ich euch heute ein wenig darüber, wie ich selbst Artikel begutachte und wie das System in der Praxis arbeitet.
Stellt euch vor, ihr seid – so wie ich – Wissenschaftlerin*, habt ein paar Artikel in Fachzeitschriften veröffentlicht (die natürlich auch begutachtet wurden), und diese Artikel werden auch von anderen gelesen und in ihren Arbeiten zitiert – kurz, ihr habt euch ein klein wenig bekannt gemacht. (Nein, ihr müsst kein Superstar der Wissenschaftsszene sein, sondern nur das ganz normale Wissenschaftsgeschäft absolvieren, die meisten erreichen dieses Stadium irgendwann kurz nach der Doktorarbeit.) Typischerweise fühlt man sich beim ersten Mal auch ziemlich geschmeichelt und gibt sich sehr viel Mühe – mein erster Review hatte 6 Seiten (normal ist eher eine), aber es war auch ein langer Artikel, der genau zu meinem Thema passte, eigentlich ne ziemlich gute Idee hatte, die aber sehr schlecht umgesetzt war.
*Jaja, feminine Formen, wie immer, guckt hier, warum….
Dann findet ihr eines Tages eine mail in eurem Posteingang, in der sinngemäß steht: Sehr geehrte XXX, wir möchten Sie bitten, einen Zeitschriftenartikel für die Zeitschrift XYZ zu begutachten. (Ich bekomme davon im Moment so etwa 1-2 pro Monat, ich bin halt nicht superbekannt und mache ziemlich spezielle Dinge…) Typischerweise steht in der Mail der Titel des Artikels, oft auch noch der sogenannte “Abstract” (also die Artikelzusammenfassung, meist ein oder zwei Absätze lang). Und ihr habt Links, auf die ihr klicken könnt. Wenn ihr Pech habt, sind es nur zwei “Ich stimme zu” oder “Ich lehne ab”. Pech ist das deshalb, weil ihr dann wirklich nur an Hand der Information in der mail entscheiden müsst, ob ihr den Artikel begutachten wollt oder nicht – und so ein Abstract enthält oft die entscheidende Information nicht, die ihr braucht. (ZUsätzlich gibt es auch noch eine Frist, innerhalb derer ihr das Gutachten fertig haben sollt. Manchmal muss man dann schlicht ablehnen, weil man gerade in Urlaub fährt…)
Denn um zu wissen, ob ihr einen Artikel begutachten wollt, ist es vor allem wichtig, dass ihr die Methode versteht, die die Autorinnen des Artikels eingesetzt haben. Ganz grob lässt sich das zwar aus dem Abstract entnehmen (ich zum Beispiel lehne die Begutachtung von experimentellen Arbeiten meist sofort ab, weil ich da nicht wirklich firm in der Methodik bin), aber wenn da zum Beispiel steht “Wir machen Simulationen der Rissausbreitung in Material XY”, dann könnt ihr dem nicht entnehmen, ob das eine Methode ist, die ihr kennt, oder ob euch in der Arbeit ein Haufen fieser Gleichungen erwartet, die euch ins Grübeln bringen.
Wenn ihr dagegen Glück habt, dann gibt es noch den dritten Knopf “Artikel ansehen”. Außer in Fällen, wo die Sache klar ist, klicke ich eigentlich immer darauf. Dann landet ihr meist auf einer Internetseite, wo ihr direkt den eingereichten Artikel als pdf herunterladen könnt, um euch eine Meinung zu bilden.
Jetzt schaut ihr euch den Artikel (auch gern schlicht “paper” genannt) am besten erst mal kurz an – nach dem üblichen Verfahren: Abstract und Einleitung überfliegen, ein wenig im Methoden- und Ergebnisteil schmökern und vor allem die Bilder angucken, die Zusammenfassung querlesen. Das gibt euch einen ersten Eindruck, worum es in der Arbeit genau geht und was die Autorinnen getan haben. (Profitipp für alle wissenschaftlichen Veröffentlichungen: Schreibt sie so, dass genau dieses Verfahren funktioniert, achtet auf ausführlich erklärende Bildunterschriften und eine verständliche Zusammenfassung.)
Jetzt solltet ihr auf jeden Fall in der Lage sein, zu entscheiden, ob ihr die Arbeit begutachten wollt. Manchmal wisst ihr jetzt sogar schon genug, um die Arbeit beurteilen zu können – nämlich dann, wenn sie sehr sehr schlecht ist. Denn grobe Fehler fallen einem oft schon in diesem Stadium auf – falsche Randbedingungen im Simulationsmodell, extrem vereinfachende oder grob falsche Annahmen, oder ihr merkt schlicht, dass in der Arbeit nichts drin steht, was ihr nicht schon wusstet. (Das passiert mir ziemlich oft.)
Wen das so ist, dann ist euer Job einigermaßen schnell erledigt – fairerweise sollte man die Stellen, wo einem Fehler aufgefallen sind, nochmal gründlich lesen (nicht, dass man was falsch verstanden hat), aber wenn die Arbeit wirklich schlicht fehlerhaft ist, dann kann man einen vergleichsweise kurzen Bericht schreiben. (Wie der aussieht, erzähle ich gleich.)
Ganz selten kommt es auch vor, dass ihr beim Querlesen denkt “Wow, richtig gute Arbeit, voll interessant.” Aber nicht alles, was auf den ersten Blick super aussieht, ist es auch – ihr kommt also nicht umhin, auch in diesem Fall gründlicher hinzuschauen.
Jetzt lest ihr die Arbeit also etwas gründlicher (ich gebe zu, dass ich die Einleitung meist nur überfliege, da wird das Problem ja typischerweise nur in einen größeren Kontext gestellt, aber den kenne ich schon, ist ja mein Fachgebiet, sonst hätte ich das Begutachten ja schon abgelehnt…). Bei mir geht es meist um Simulationen, ich schaue jetzt in den Methodenteil, ob das Modell korrekt aufgebaut ist (sehr oft werden tatsächlich böse Anfängerfehler gemacht) und vor allem auch, ob die Beschreibung des Modells vollständig ist. Viele wichtige Informationen werden gern vergessen – bei Arbeiten mit der Finite-Element-Methode wird beispielsweise nicht gesagt, welche mathematische Elementformulierung zugrunde liegt oder wie genau das Simulationsvolumen vernetzt wurde. (Falls ihr euch mit der FE-Methode nicht auskennt: Man simuliert ein Material oder ein Bauteil indem man es in kleine Teile- die Elemente – zerhackt, die eine einfache Form haben, beispielsweise verzerrte Quader oder Tetraeder. Jedes dieser Elemente wird durch ein paar mathematische Gleichungen beschrieben, die das wahre Verhalten eines Materialelements annähern – je nachdem, wie man diese Gleichungen auswählt und wie viele solcher Elemente man auswählt, kann man sehr genaue oder vollkommen abwegige Ergebnisse erhalten.)
Wenn mir irgendetwas auffällt, dann schreibe ich das in eine Datei, die ich parallel zum Lesen anlege; typischerweise mit demselben Namen wie die Originalarbeit. Da steht dann also z.B.: Elementformulierung fehlt! Andere, kleine Dinge die mir auffallen (zum Beispiel Formatierungsfehler, nicht definierte Formelzeichen, falsche oder fehlende Verweise auf Bilder o.ä.) markiere ich meist als Kommentar direkt im pdf.
Anschließend kommt meist ein Ergebnisteil – auch da gilt es auf Vollständigkeit zu achten (sind die Ergebnisse nachvollziehbar erklärt, sind alle Bilder und Daten vorhanden, die ich brauche, um das Ergebnis beurteilen zu können?). Und vor allem ist es hier wichtig, zu sehen, welche Schlussfolgerungen gezogen werden (oder auch nicht) und ob diese auch tatsächlich durch die Daten gedeckt sind. Das “Oder auch nicht” eben war übrigens ernst gemeint – ich bekomme sehr oft Arbeiten, wo ein System simuliert wird, genau analog zu gefühlten 1000 anderen Arbeiten, nur mit leicht veränderter Geometrie oder etwas anderen Materialeigenschaften, und dann werden einfach ein paar Grafiken gezeigt, die nahezu identisch eben in genau diesen anderen Arbeiten auch drin sind. Irgendwelche weiterreichenden Schlussfolgerungen werden nicht gezogen, so dass die Arbeit vollkommen uninteressant ist, falls ihr nicht exakt dieselbe Geometrie mit exakt denselben Werkstoffen untersucht.
Die Schlussfolgerungen -typischerweise der letzte Abschnitt, manchmal auch “Diskussion” genannt – habt ihr ja schon gelesen; jetzt guckt ihr nochmal, ob das, was da steht, durch die Ergebnisse auch gedeckt wird oder ob aus wenigen Ergebnissen sehr weitreichende Schlüsse gezogen werden oder ob die gezogenen Schlüsse überhaupt etwas mit den Ergebnissen zu tun haben und nicht einfach aus anderen Arbeiten übernommen wurden (kommt alles vor).
Noch ein kurzer Blick aufs Literaturverzeichnis – klar seid ihr ein wenig eitel und schaut, ob man euch auch brav zitiert hat, immerhin habt ihr ja zum Thema was veröffentlicht. Anders als andere nehme ich das aber nicht zu wichtig und schreibe auch nicht in meinen Report rein, dass doch bitte meine Arbeit X und Y zitiert werden müsse. (Sowas kommt aber auch sehr oft vor – klar, auf die Weise erhöht man die Zahl der Zitate der eigenen Arbeiten, die ja ein wichtiges Bewertungskriterium für Wissenschaftlerinnen ist. Und nein, ideal ist das System so nicht.) Ich schaue mehr, ob überhaupt die wichtigen Arbeiten zum Thema zitiert werden.
Dan habt ihr eine Datei mit Stichpunkten und ein paar Anmerkungen im pdf des Artikels selbst. Jetzt gilt es, den Bericht zu schreiben.
Höflicherweise fängt man damit an, erst mal in ein oder zwei Sätzen zu sagen, was die Autorinnen des Papers in der Arbeit eigentlich tun und bewertet die generelle Idee der Arbeit. Also so in der Art “U und V untersuchen den Einfluss des Müsliverzehrs in Deutschland auf die zirkumpolaren Meeresströmungen. Das Thema ist von großem wissenschaftlichen Interesse, weil …” Damit macht ihr zumindest deutlich, dass ihr die Arbeit gelesen habt (was anscheinend nicht selbstverständlich ist, es kommt immer wieder vor, dass eine Gutachterin bemängelt, man solle im paper doch etwas zu Thema X schreiben, auch wenn das Thema X ne halbe Seite des Artikels einnimmt…) und – wenn es denn so ist – dass die wissenschaftliche Idee prinzipiell gut ist.
Bei den meisten Berichten, die ich schreibe, geht es dann allerdings mit genau so einem “Allerdings” (“However”) weiter – weil zwar die Idee gut ist, die Ausführung aber nicht unbedingt. Hier schreibe ich dann oft so etwas wie “Allerdings ist die methodische Umsetzung in einigen Stellen problematisch und die Darstellung der Ergebnisse nicht immer nachvollziehbar…”
Und dann kommt eine durchnummerierte Liste mit den konkreten zentralen Kritikpunkten, jeweils typischerweise ein oder zwei Sätze.
Anschließend kommt dann eine zweite Liste, die die weniger wichtigen Mängel enthält; Dinge, die nicht wirklich problematisch sind, die man aber ändern sollte – der fehlende Bildverweis, die unvollständige Grafik oder was auch immer.
Und zum Abschluss folgt dann eine Gesamtbewertung. Hier habt ihr typischerweise 4 Auswahlmöglichkeiten
- Reject: Das paper wird abgelehnt. (Kann aber eventuell neu eingereicht werden.)
- Major revisions: Das paper muss nochmal überarbeitet und um einige zentrale Dinge ergänzt werden. Major revision impliziert auch, dass es nochmal begutachtet werden muss.
- Minor revisions: ihr habt im wesentlichen nur Kleinkram gefunden, den man ändern sollte, aber der auch nicht schrecklich schlimm war. Eine neue Begutachtung ist typischerweise nicht notwendig.
- Accept: Das paper ist so in Ordnung und kann akzeptiert werden. (Das kommt selten vor, bei echten Papern in Zeitschriften hatte ich es in meinem Leben soweit ich mich entsinne einmal, dass ich ein schlichtes “accept” mit einem Hinweis auf einen unsauber formulierten Satz bekam, meist sind major oder zumindest minor revisions gefordert.)
Diesen Text kopiert ihr dann in die entsprechende Internetseite des verlags rein. Da müsst ihr dann meist noch ein paar Felder anklicken, zu Themen wie “Ich habe einen Interessenskonflikt” (Was in meinen Augen nicht sein sollte, dann müsste ich den Review ablehnen), ob dieselbe Arbeit eures Wissens schon mal anderswo veröffentlicht wurde, und manchmal könnt ihr auch noch die Qualität der arbeit auf irgendeiner Skala bewerten.
Wenn ihr das alles brav ausgefüllt habt, könnt ihr auf absenden klicken, und eure Arbeit ist getan – für’s erste jedenfalls. (Typischerweise dauert das Ganze so ein bis zwei Stunden, je nach Komplexität des Themas, Länge der Arbeit und Anzahl der Kritikpunkte kann es auch mal länger sein.) Denn wenn ihr “major revisions” oder “reject” angeklickt habt, dann ist die Wahrscheinlichkeit sehr groß, dass euch die Arbeit nochmal wieder begegnet, dazu kommen wir gleich.
Soweit der Idealfall. Schwieriger ist es, wenn ihr eine Arbeit begutachten müsst, bei der es Teile gibt, die ihr nicht wirklich versteht (wie es dazu kommen kann, habe ich ja oben erklärt). Wahrscheinlich habt ihr nicht die Zeit, euch jetzt erstmal ein paar Tage in eine neue mathematische Methode einzuarbeiten oder 10 andere Arbeiten zu lesen, bis ihr die Details der vorliegenden Arbeit versteht. In so einem Fall konzentriert ihr euch am besten auf die Stellen der Arbeit, die ihr versteht und schaut, ob die in Ordnung sind, und ihr achtet auf innere Stimmigkeit. Ich habe mal noch zu Studienzeiten eine Diplomarbeit als Freundschaftsdienst gegengelesen, die total abgefahrenes mathematisches Zeugs enthielt – konnte aber die Diplomandin unglaublich beeindrucken, weil ich eine Inkonsistenz zwischen zwei Formeln gefunden habe, die etwa 10 Seiten auseinanderstanden (und die ich natürlich nicht verstand). Auch beim echten Begutachten habe ich sowas mal hinbekommen – da gab es eine Grafik mit einer seltsam verlaufenden Kurve mit einem Knick, und obwohl ich die Details nicht verstand, war mir aufgefallen, dass die Normierung der Kurve ein bisschen seltsam war. Ich habe das entsprechend angemerkt und siehe da – in der nächsten Version des Artikels war die Kurve dank neuer Normierung hübsch und glatt. Ist ja immer nett, wenn man zumindest schlau aussieht….
Euer Bericht geht jetzt an die “Editorin” der Zeitschrift – das ist die, die euch auch als Gutachterin ausgewählt hat. Typischerweise werden für einen Artikel zwei, manchmal auch drei, Gutachten eingeholt. Die Editorin schaut sich die Gutachten an und trifft dann auf Basis der Gutachten eine Entscheidung. Euer Gutachten ist letztlich nur eine Hilfestellung – theoretisch könnte eine Editorin ein paper akzeptieren, das lauter “rejects” von den Gutachterinnen bekommen hat; aber auf die Dauer ist das der Qualität und dem Ruf einer Zeitschrift nicht zuträglich. Die Editorin bekommt übrigens – genauso wie ihr als Gutachterin – kein Geld für die Tätigkeit, die ist typischerweise ehrenamtlich.
Die Autorinnen bekommen dann die (anonymisierten) Gutachten mit der Entscheidung zugeschickt. Nehmen wir mal an – das ist ja der häufigste Fall – das paper wurde von den Gutachterinnen mit “major revisions” bewertet und die Editorin schließt sich der Meinung an. (Wobei es inzwischen immer öfters vorkommt, dass ein paper von der Editorin abgelehnt wird, auch wenn die Guatchterinnen nur “major revisions” gefordetr haben, mit dem Hinweis, man könne die Arbeit nach Überarbeitung neu wieder einreichen. Dass machen Zeitschriften deshalb, damit die Zeit zwischen Einreichung und Veröffentlichung dann – zumindest auf dem Papier – kurz aussieht, denn das ist für Autorinnen natürlich schon ein Kriterium, nach dem man Zeitschriften auswählt. Schön ist das nicht, kommt aber leider immer öfter vor.)
Meist überarbeiten die Autorinnen das paper jetzt und reichen es dann erneut bei der Editorin ein. Im überarbeiteten paper werden die Änderungen meist farbig markiert, zusätzlich verfassen die Autorinnen noch eine Antwort an die Gutachterinnen, in der sie erklären, wie sie die kritisierten Punkte überarbeitet haben. (Das Verfassen dieser Antwort ist eine Kunst für sich – na klar muss man ausgesucht höflich sein und sollte die Gutachterinnen nicht kritisieren – wenn die aber irgendwelchen Blödsinn kritisiert haben oder das paper nicht gelesen haben, ist das nicht so einfach zu formulieren. )
Und so kommt das paper dann einige Wochen oder Monate später wieder zu euch zurück. Gut, dass ihr eure Datei mit eurer ersten Kritik aufbewahrt habt, dann könnt ihr im Zweifel nochmal nachgucken, was ihr geschrieben habt. (Bei guten Wieder-Einreichungen ist das nicht notwendig, weil schlaue Autorinnen in ihrer Antwort auf die Gutachterinnen die Originalkritik vollständig zitieren.) Jetzt wird es interessant: Wurden zentrale Kritikpunkte (wie etwa die falschen Randbedingungen) tatsächlich geändert (dazu müssen die Autorinnen dann tatsächlich nochmal neue Ergebnisse berechnen und auswerten) oder beschränkt sich die Antwort darauf, zu argumentieren, warum die gewählten Randbedingungen eigentlich doch total in Ordnung sind, auch wenn sie der Realität widersprechen? (Ratet mal, welcher Fall häufiger ist…)
Ihr schaut jetzt also Punkt für Punkt, ob eure Kritikpunkte entsprechend beantwortet wurden (vielleicht ließen sich einige ja tatsächlich durch ein oder zwei Sätze entkräften) und guckt, ob das paper entsprechend angepasst wurde. Dann schreibt ihr ein neues Gutachten, wo ihr die Punkte, die immer noch nicht zufriedenstellend sind, nochmal aufführt und erklärt, warum ihr nicht zufrieden seid. Je nachdem, wie viel Mühe sich die Autorinnen gegeben haben, ändert ihr jetzt möglicherweise von “major revision” auf “minor revision” (es ist nur noch Kleinkram) oder auf “accept”; wenn aber immer noch Probleme da sind, dann bleibt es bei “major revision” – und ihr könnt euch vermutlich darauf freuen, die Arbeit noch ein drittes (und irgendwann möglicherweise viertes) Mal zu bekommen, es sei denn, die Editorin lehnt sie jetzt im zweiten Durchlauf ab.
So also funktioniert das berühmte “Peer Review”. Ihr seht, dass das Verfahren schon einige Vorteile hat:
- Gutachterinnen, die sich mit der Thematik auskennen, lesen die Arbeit durch und prüfen, ob sie methodische oder sonstige Fehler entdecken können.
- Im Gutachten werden – wenn alles gut läuft – klare Hinweise gegeben, wie man die Arbeit verbessern kann.
- Da es normalerweise mehrere Gutachten gibt, hängt nicht alles an einer Person.
- Am Ende entscheidet die Editorin, ob die Arbeit akzeptiert wird, nicht die Gutachterinnen – böswillige Gutachterinnen haben also nicht beliebig viel Macht.
Aber klar, das System hat auch Nachteile (Etwas ganz anderes ist natürlich die Kritik am System wissenschaftlicher Verlage (siehe zum Beispiel diesen Artikel). Darum geht es jetzt nicht.):
- Die Gutachterinnen werden von der Editorin ausgewählt (wobei die meisten Zeitschriften von den Autorinnen Vorschläge für Gutachterinnen verlangen); da ist also durchaus eine gewisse Willkür möglich, weil unterschiedliche Gutachterinnen unterschiedlich hart urteilen.
- Die Gutachterinnen bekommen nichts für ihre Tätigkeit; dadurch ist die Versuchung da, ein Gutachten möglichst schnell zu verfassen, weil man noch etwas anderes wichtiges zu tun hat.
- Die Gutachterinnen können natürlich relativ willkürlich agieren.
- Da Autorinnen Gutachterinnen vorschlagen, können/werden sie natürlich solche vorschlagen, von denen sie annehmen, dass sie ihnen wohlgesonnen sind.
- Zumindest theoretisch ist es denkbar, dass eine Gutachterin eine Arbeit zur Ablehnung empfiehlt, die Idee klaut und schnell selbst etwas entsprechendes veröffentlicht, Habe ich so noch nicht erlebt, soll aber vorkommen.
- Die Gutachterinnen werden in keiner Weise geschult oder ausgebildet.
- Die Gutachterinnen unterliegen möglicherweise Vorurteilen – berühmte Namen auf der Autorinnenliste oder der Name einer bekannten und renommierten Universität haben sicher einen Einfluss, egal wie sehr man sich davon lösen will. (Anonymisierte Gutachten, bei denen die Gutachterinnen die Autorinnennamen nicht erfahren, funktionieren nur bedingt, weil man meist an Hand des papers und der zitierten Literatur sieht, wer die Autorinnen sind, denn die verweisen natürlich auf ihre eigenen früheren Arbeiten zum Thema, auf denen sie aufbauen.)
Deswegen werden ja auch Alternativen diskutiert (Gutachtenverfahren im Netz, die für alle offen sind zum Beispiel). Die haben aber auch ihre Nachteile – wenn zum Beispiel alles erstmal öffentlich gemacht wird und erst dann durch die Gemeinschaft begutachtet wird, dann heißt das eben, dass ich beim Suchen nach Arbeiten zu einem Thema alles finde, auch den größten Blödsinn. Und dann muss ich die Arbeiten erst selbst anschauen, gucken, wie oft sie schon gelesen und wie sie kommentiert wurden und mir dann eine Meinung bilden, ob die Arbeit überhaupt etwas taugt. Gerade wenn man eine Literaturübersicht macht (so wie ich Anfang des Jahres, als ich einen Übersichtsartikel schreiben durfte), kommt es durchaus vor, dass man an einem Tag in 20 oder 30 Veröffentlichungen reinschaut – und da ist es gut, wenn man sich einigermaßen darauf verlassen kann, dass die Veröffentlichung vorher schon begutachtet wurde.
Insgesamt zeigt meine eigene Erfahrung (sowohl als Gutachterin als auch als Autorin) also schon, dass das System dazu beiträgt, wissenschaftliche Veröffentlichungen besser zu machen. Die Kritik der Gutachterinnen ist ja oft sinnvoll, man hat etwas übersehen, nicht sauber dargestellt oder so, und so etwas kann durch das System abgefangen werden. Und wirklich schlechte Veröffentlichungen (von denen ich schon eine ganze Reihe zur Begutachtung hatte), die methodisch vollkommen fehlerhaft sind oder gar keinen Erkenntnisgewinn liefern, werden durch das System meist (wenn auch nicht immer, wegen der Schwachstellen des Systems) gestoppt.
Kommentare (24)