Jetzt lest ihr die Arbeit also etwas gründlicher (ich gebe zu, dass ich die Einleitung meist nur überfliege, da wird das Problem ja typischerweise nur in einen größeren Kontext gestellt, aber den kenne ich schon, ist ja mein Fachgebiet, sonst hätte ich das Begutachten ja schon abgelehnt…). Bei mir geht es meist um Simulationen, ich schaue jetzt in den Methodenteil, ob das Modell korrekt aufgebaut ist (sehr oft werden tatsächlich böse Anfängerfehler gemacht) und vor allem auch, ob die Beschreibung des Modells vollständig ist. Viele wichtige Informationen werden gern vergessen – bei Arbeiten mit der Finite-Element-Methode wird beispielsweise nicht gesagt, welche mathematische Elementformulierung zugrunde liegt oder wie genau das Simulationsvolumen vernetzt wurde. (Falls ihr euch mit der FE-Methode nicht auskennt: Man simuliert ein Material oder ein Bauteil indem man es in kleine Teile- die Elemente – zerhackt, die eine einfache Form haben, beispielsweise verzerrte Quader oder Tetraeder. Jedes dieser Elemente wird durch ein paar mathematische Gleichungen beschrieben, die das wahre Verhalten eines Materialelements annähern – je nachdem, wie man diese Gleichungen auswählt und wie viele solcher Elemente man auswählt, kann man sehr genaue oder vollkommen abwegige Ergebnisse erhalten.)

Wenn mir irgendetwas auffällt, dann schreibe ich das in eine Datei, die ich parallel zum Lesen anlege; typischerweise mit demselben Namen wie die Originalarbeit. Da steht dann also z.B.: Elementformulierung fehlt! Andere, kleine Dinge die mir auffallen (zum Beispiel Formatierungsfehler, nicht definierte Formelzeichen, falsche oder fehlende Verweise auf Bilder o.ä.) markiere ich meist als Kommentar direkt im pdf.

Anschließend kommt meist ein Ergebnisteil – auch da gilt es auf Vollständigkeit zu achten (sind die Ergebnisse nachvollziehbar erklärt, sind alle Bilder und Daten vorhanden, die ich brauche, um das Ergebnis beurteilen zu können?). Und vor allem ist es hier wichtig, zu sehen, welche Schlussfolgerungen gezogen werden (oder auch nicht) und ob diese auch tatsächlich durch die Daten gedeckt sind. Das “Oder auch nicht” eben war übrigens ernst gemeint – ich bekomme sehr oft Arbeiten, wo ein System simuliert wird, genau analog zu gefühlten 1000 anderen Arbeiten, nur mit leicht veränderter Geometrie oder etwas anderen Materialeigenschaften, und dann werden einfach ein paar Grafiken gezeigt, die nahezu identisch eben in genau diesen anderen Arbeiten auch drin sind. Irgendwelche weiterreichenden Schlussfolgerungen werden nicht gezogen, so dass die Arbeit vollkommen uninteressant ist, falls ihr nicht exakt dieselbe Geometrie mit exakt denselben Werkstoffen untersucht.

Die Schlussfolgerungen -typischerweise der letzte Abschnitt, manchmal auch “Diskussion” genannt – habt ihr ja schon gelesen; jetzt guckt ihr nochmal, ob das, was da steht, durch die Ergebnisse auch gedeckt wird oder ob aus wenigen Ergebnissen sehr weitreichende Schlüsse gezogen werden oder ob die gezogenen Schlüsse überhaupt etwas mit den Ergebnissen zu tun haben und nicht einfach aus anderen Arbeiten übernommen wurden (kommt alles vor).

Noch ein kurzer Blick aufs Literaturverzeichnis – klar seid ihr ein wenig eitel und schaut, ob man euch auch brav zitiert hat, immerhin habt ihr ja zum Thema was veröffentlicht. Anders als andere nehme ich das aber nicht zu wichtig und schreibe auch nicht in meinen Report rein, dass doch bitte meine Arbeit X und Y zitiert werden müsse. (Sowas kommt aber auch sehr oft vor – klar, auf die Weise erhöht man die Zahl der Zitate der eigenen Arbeiten, die ja ein wichtiges Bewertungskriterium für Wissenschaftlerinnen ist. Und nein, ideal ist das System so nicht.) Ich schaue mehr, ob überhaupt die wichtigen Arbeiten zum Thema zitiert werden.

Dan habt ihr eine Datei mit Stichpunkten und ein paar Anmerkungen im pdf des Artikels selbst. Jetzt gilt es, den Bericht zu schreiben.

Höflicherweise fängt man damit an, erst mal in ein oder zwei Sätzen zu sagen, was die Autorinnen des Papers in der Arbeit eigentlich tun und bewertet die generelle Idee der Arbeit. Also so in der Art “U und V untersuchen den Einfluss des Müsliverzehrs in Deutschland auf die zirkumpolaren Meeresströmungen. Das Thema ist von großem wissenschaftlichen Interesse, weil …” Damit macht ihr zumindest deutlich, dass ihr die Arbeit gelesen habt (was anscheinend nicht selbstverständlich ist, es kommt immer wieder vor, dass eine Gutachterin bemängelt, man solle im paper doch etwas zu Thema X schreiben, auch wenn das Thema X ne halbe Seite des Artikels einnimmt…) und – wenn es denn so ist – dass die wissenschaftliche Idee prinzipiell gut ist.

Bei den meisten Berichten, die ich schreibe, geht es dann allerdings mit genau so einem “Allerdings” (“However”) weiter – weil zwar die Idee gut ist, die Ausführung aber nicht unbedingt. Hier schreibe ich dann oft so etwas wie “Allerdings ist die methodische Umsetzung in einigen Stellen problematisch und die Darstellung der Ergebnisse nicht immer nachvollziehbar…”

Und dann kommt eine durchnummerierte Liste mit den konkreten zentralen Kritikpunkten, jeweils typischerweise ein oder zwei Sätze.

Anschließend kommt dann eine zweite Liste, die die weniger wichtigen Mängel enthält; Dinge, die nicht wirklich problematisch sind, die man aber ändern sollte – der fehlende Bildverweis, die unvollständige Grafik oder was auch immer.

Und zum Abschluss folgt dann eine Gesamtbewertung. Hier habt ihr typischerweise 4 Auswahlmöglichkeiten

  • Reject: Das paper wird abgelehnt. (Kann aber eventuell neu eingereicht werden.)
  • Major revisions: Das paper muss nochmal überarbeitet und um einige zentrale Dinge ergänzt werden. Major revision impliziert auch, dass es nochmal begutachtet werden muss.
  • Minor revisions: ihr habt im wesentlichen nur Kleinkram gefunden, den man ändern sollte, aber der auch nicht schrecklich schlimm war. Eine neue Begutachtung ist typischerweise nicht notwendig.
  • Accept: Das paper ist so in Ordnung und kann akzeptiert werden. (Das kommt selten vor, bei echten Papern in Zeitschriften hatte ich es in meinem Leben soweit ich mich entsinne einmal, dass ich ein schlichtes “accept” mit einem Hinweis auf einen unsauber formulierten Satz bekam, meist sind major oder zumindest minor revisions gefordert.)

Diesen Text kopiert ihr dann in die entsprechende Internetseite des verlags rein. Da müsst ihr dann meist noch ein paar Felder anklicken, zu Themen wie “Ich habe einen Interessenskonflikt” (Was in meinen Augen nicht sein sollte, dann müsste ich den Review ablehnen), ob dieselbe Arbeit eures Wissens schon mal anderswo veröffentlicht wurde, und manchmal könnt ihr auch noch die Qualität der arbeit auf irgendeiner Skala bewerten.

Wenn ihr das alles brav ausgefüllt habt, könnt ihr auf absenden klicken, und eure Arbeit ist getan – für’s erste jedenfalls. (Typischerweise dauert das Ganze so ein bis zwei Stunden, je nach Komplexität des Themas, Länge der Arbeit und Anzahl der Kritikpunkte kann es auch mal länger sein.) Denn wenn ihr “major revisions” oder “reject” angeklickt habt, dann ist die Wahrscheinlichkeit sehr groß, dass euch die Arbeit nochmal wieder begegnet, dazu kommen wir gleich.

1 / 2 / 3

Kommentare (24)

  1. #1 roel
    *******
    30. August 2016

    @MartinB super interessanter Artikel. Beim Lesen auf scienceblogs und besonders bei der begleitenden und anschließenden Recherche lese ich auch sehr viele, im Moment etwas weniger, paper. Meistens sind diese, soweit ich es beurteilen kann, von ordentlicher Qualität. Manchmal jedoch sind aber auch einige dabei, bei denen ich schon über Fehler stolpere und mich wundere, wie diese durch das peer review gerutscht sind. Jetzt verstehe ich zumindest das System.

  2. #2 strahlenbiologe
    30. August 2016

    Was zum Punkt fünf deiner Liste mit Nachteilen, bei experimentellen Arbeiten ist diese Variante deutlich häufiger:
    Autorinnen machen fast dasselbe wie ich und haben im Prinzip dasselbe raus wie ich, ich will die super Neuigkeit aber zuerst veröffentlichen. Also schreibe ich so viele zusätzliche,unbedingt nötige neue Experiment-“Vorschläge” in die Revision, dass Autorinnen mindestes 1/2 Jahr beschäftigt sind. In der Zeit haben “ich” hoffentlich mein Paper schon durch. erster………

  3. #3 :q!
    30. August 2016

    PhD Comics hat auch einen Leitfaden, wie man korrekt auf Gutachten antwortet:
    https://www.phdcomics.com/comics/archive.php?comicid=581

  4. #4 MartinB
    30. August 2016

    @roel
    Manchmal wundere ich mich auch…

    @strahlenbiologe
    Ich hatte auch keinen Zweifel, dass so was vorkommt, ich habe es nur selbst noch nicht erlebt.

    @:q!
    Ja, irgendwie schon treffend…

  5. #5 Mick
    30. August 2016

    Hallo Martin,

    besten Dank für diesen sehr interessanten Artikel! Da ich selbst gerade mit der Promotion fertig bin, aber bisher noch nichts mit Gutachten zu tun gehabt habe, ist es besonders hilfreich, einen Einblick zu bekommen, was in Zukunft ansteht.

    Eine Frage zur letzten Seite: Dort schreibst Du:

    “Wurden zentrale Kritikpunkte (wie etwa die falschen Randbedingungen) tatsächlich geändert (dazu müssen die Autorinnen dann tatsächlich nochmal neue Ergebnisse berechnen und auswerten) oder beschränkt sich die Antwort darauf, zu argumentieren, warum die gewählten Randbedingungen eigentlich doch total in Ordnung sind, auch wenn sie der Realität entsprechen?”

    Fehlt im letzten Teilsatz vielleicht ein “nicht” oder missverstehe ich etwas? Die Grundaussage ist schon klar, mich interessiert das nur in den Details.
    Danke nochmal und Gruß,
    Mick

  6. #6 MartinB
    30. August 2016

    @Mick
    Sorry, da sollte natürlich “widersprechen” stehen.

  7. #7 KarlH
    30. August 2016

    @MartinB

    Für viele ist das sicher eine sehr interessante Darstellung. Etwas irreführend ist darin nur, dass in dem wissenschaftlichen Veröffentlichungsprozess angeblich nur weibliche Gutachter und Editoren (“Gutachterinnen” und “Editorinnen”) vorkommen. Zur Beruhigung mancher Leserinnen und Leser: meine langjährigen Erfahrungen zeigen, dass daran durchaus auch männliche Gutachter und Editoren beteiligt sind.

  8. #8 Joseph Kuhn
    30. August 2016

    Schön beschrieben. Ein kritisches Gutachten, das auf Fehler aufmerksam macht, ist eigentlich ein Geschenk – dadurch bleibt einem erspart, die Fehler später gedruckt sehen zu müssen.

  9. #9 Solkar
    30. August 2016

    wg #3 https://www.phdcomics.com/comics/archive.php?comicid=581

    Ist es nicht vielleicht ein wenig pulsarm, jeder Kritik erstmal mit einer Floskel der Form
    X raises an interesting concern. However….
    zu begegnen?

    Zwischen der Größenordnung von
    You #&@*% reviewer!
    und jener der zitierten Floskel gibt es noch ganzes Spektrum von Reaktionsmöglichkeiten.

    Wie wäre es denn z.B., wenn Y ohne Kraftausdrücke, aber auch ohne viel Gefloskel einfach das beschriebe, was ihm/Ihr an dem Reviewer comment unzutreffend erscheint?

  10. #10 MartinB
    31. August 2016

    @KarlH
    Taschentuch-reich (und die Fußnote war zu klein gedruckt?)…

  11. #11 Keno
    31. August 2016

    Bei meinem letzten paper hatte der unbekannte Reviewer wichtige Vorschläge gemacht, die die Lösung noch weiter vorantrieben. Dankbar (und etwas nervös) habe ich die Vorschläge eingearbeitet und war zufrieden. Dann kam das paper in der 2. Korrekturrunde wieder zurück, mit einer Reihe weiterer Vorschläge, die ich einzuarbeiten hätte, damit er auf “accepted” votiert. Nicht, dass seine Anmerkungen nicht hilfreich gewesen wären, aber ich habe mich sehr geärgert, dass er nicht gleich damit rauskam.
    Am Ende war das paper aber deutlich besser…

  12. #12 MartinB
    31. August 2016

    @Keno
    Kann man aber verstehen – in der zweiten Schleife sieht man als Gutachterin dan oft noch Dinge, die einem beim ersten Mal nicht aufgefallen sind. Ich geb mir immer mühe, das zu vermeiden, aber manchmal passtierts.

  13. #13 Bettina Wurche
    31. August 2016

    Gut gemacht, Martin. Auf diesen Beitrag kann ich dann künftig verweisen, wenn es um “peer-reviewed” Publikationen geht. Und manche KommentatorInnen meinen, ein Blogbeitrag sei aufgrund der Kommentare bereits per-reviewed : )

  14. #14 KarlH
    31. August 2016

    @MartinB #10
    Danke für den erhellenden Link. Ganz konsequent wären Sie aber erst dann, wenn Sie alle grammatikalischen Geschlechter der deutschen Sprache ins Weibliche verkehrten. Dem besseren Verständnis, insbesondere wissenschaftlicher Sachverhalte, dienen derartige Sprachvergewaltigungen jedenfalls nicht. Deswegen werden sie sich auch kaum durchsetzen. Da schließe ich mich weitgehend der Kritik vieler Kommentare an Ihrem programmatischen Artikel an.

  15. #15 egal
    3. September 2016

    Dieses duzen mit dem “ihr” und “wollt” usw. macht den Artikel unlesbar.

    Schon die falschen weiblichen Formen machen es schwer (ja den Link habe ich gesehen, aber das duzen nervt nur noch. Man denkt der Artikel richtet sich an Kinder und vor lauter Manipulation kann man den eigentlichen Inhalt nicht mehr lesen.

    Gerade als Wissenschaftler sollte man Politisches nicht mit Inhaltlichem mischen.

  16. #16 MartinB
    3. September 2016

    @egal
    Man kann es nicht jedem Recht machen, ich schreibe so, wie es mir gefällt.

    Und ie Aufforderung “politisches nicht mit inhaltlichem zu mischen” ist implizit *immer* eine Aufforderung, des status quo nicht anzutasten – denn das inhaltliche ist in solchen Fällen immer auch politisch; wenn ich schreibe, verende ich grammatikalische Formen und beziehe damit zwangsläufig Stellung zur Debatte nach geschlechtergerechter Formulierung, dem kan ich nicht entkommen.

    Im übrigen ist dieser Artikel auch keine wissenschaftliche Abhandlung über das peer review, sondern ein Erfahrungsbericht.

  17. #17 definition
    16. September 2016

    Sehr Interessant. Ich finde, das ist ein sehr hilfreicher Text für Doktoranden, wie mich, oder Post-Docs, die noch nicht viele Paper veröffentlicht oder begutachtet haben. Weiter so.

    (Im Grunde genommen bekommt man wohl beim schreiben des ersten Papers vom Doktorvater die ein oder andere Information hieraus mal eben so beiläufig erklärt, wenn es gerade beim Schreiben relevant wird. Ich würde mir wünschen, dass es generell am Ende des Masters/Diploms einen Pflichtkurs gäbe, indem genaus sowas hier erklärt wird.)

  18. #18 MartinB
    16. September 2016

    @definition
    Ja, sowas wäre gut – wie überhaupt ein Kurs “Die 1000 Tricks des wissenschaftlichen Arbeitens”..
    Und danke für’s Lob den text gern weiterempfehlen…

  19. #19 AmbiValent
    22. Oktober 2016

    @MartinB
    Ich wusste bis jetzt gar nicht, dass Du ein Peer Reviewer bist, bin grade zufällig drauf gestoßen. Ich habe nämlich in den letzten Wochen an einer Arbeit über Lichtlaufzeit im Gravitationsfeld gesessen und diese immer weiter durchgesehen und durchgerechnet.

    Ich weiß aber, dass auch dann, wenn ich keine Fehler mehr finde, dass da nicht doch noch welche sind, deshalb würde ich Dir das Ganze (PDF, 4 Seiten) gerne zuschicken.

    Ich habe versucht, mich möglichst eng an die Mathematik und die Formeln aus den Quellen zu halten und alle Rechenfehler wie zB Division durch 0 tunlichst zu vermeiden, insbesondere, weil nicht das herauskam, womit ich am Anfang gerechnet hatte.

    Ich wüsste auch gern, ob einige Teile der Begründung im Text überflüssige Laberei sind (das Motiv dafür, dass die überhaupt drinstehen, ist, den Vorwurf “der hat jetzt ganz unmotiviert das gemacht” zu vermeiden).

    Der Ausgangspunkt sind übrigens exakte Formeln, keine Approximationen. Fließbach und Weinberg hatten da schöne Formeln, auf denen ich aufbauen konnte.

  20. #20 MartinB
    22. Oktober 2016

    @AmbiValent
    Jede, die in der Wissenschaft tätig ist und selbst veröffentlichungen schreib,t ist irgendwann peer reviewer.
    Für das Review einer Arbeit über Lichtlaufzeiten in der ART fühle ich mich allerdings nicht wirklich kompetent, ich reviewe Arbeiten in meinem Fachgebiet an der Uni (also Simulation in der Materialwissenschaft).

  21. #21 AmbiValent
    22. Oktober 2016

    @MartinB
    Mein Problem ist, dass ich jemanden suche, der das Ganze auf mathematische Folgerichtigkeit untersucht, statt direkt auf das Ergebnis zu schauen, festzustellen, dass es nicht der gängigen Meinung entspricht, und kommentarlos abzulehnen.

    Das Problem (was ich gut kenne), ist, dass die meisten, die irgendetwas Neues behaupten, dies nicht ausreichend durchdacht und durchgerechnet haben, und Experten haben so oft mit denen zu tun, dass ein neues unerwartetes Ergebnis von einem nicht in der Wissenschaft Tätigen einfach nicht erwartet wird.

    Was nicht heißt, dass ich mir völlig sicher bin, dass mein Beitrag korrekt ist, ich selbst kann nur keinen Fehler mehr finden, und finde, dass, solange eine Chance da ist, dass er korrekt ist, er nicht verlorengehen sollte.

    Müsste ich mich also direkt an ein wissenschaftliches Journal wenden? Ich hätte natürlich gerne eine ausführliche Kritik von einem Reviewer, keine einfache Ablehnung (es sei denn, es würde ein innerer Widerspruch aufgedeckt, aber auch dann wüsste ich das gern).

  22. #22 MartinB
    22. Oktober 2016

    @AmbiValent
    “Mein Problem ist, dass ich jemanden suche, der das Ganze auf mathematische Folgerichtigkeit untersucht,”
    Genau dafür bin ich der falsche – ich habe (bilde ich mir zumindest ein) ne ziemlich gute Intuition für die ART, bin aber nicht so wahnsinnig gut im Rechnen.

    Es gibt letztlich kein “müsste”. Wenn Dein Ergebnis dem Standard der ART widerspricht, ist die Wahrscheinlichkeit, dass du irgendeinen Fehler gemacht hast, allerdings ziemlich dicht bei 1. (Und gerade bei sowas wie Lichtlaufzeiten kann man sich unglaublich schnell verheddern, wenn man nicht höllisch aufpasst, was man in welchem Bezugssystem mit welchen Koordinaten tut.)

    Eine Alternative wäre, das ganze z.B. beim physicsforum zu posten – ich empfehle, es so zu formulieren, dass du sagst “Hey, ich hab was ausgerechnet, bekomme aber ein Ergebnis raus, dass nicht dem Standard entspricht, kann mir jemand meinen Fehler aufzeigen”?

    Nichtsdestotrotz kannst du mir das ganze ja mal mailen, ich kann es mir kurz anschauen, vielleicht fällt mir ja was auf (habe allerdings im Moment nicht sehr viel Zeit…)

  23. #23 AmbiValent
    22. Oktober 2016

    @MartinB
    Deshalb habe ich mich ja bemüht, auf exakten Formeln, die aus der Allgemeinen Relativität folgen, aufzubauen. Es sind die Folgerungen aus den Ergebnissen der Berechnung, die nicht passen.

    Danke!

  24. […] Verlage wie Elsevier letztlich nur deshalb funktionieren, weil Wissenschaftlerinnen kostenlos (z.B. als Gutachterinnen) für die Zeitschriften arbeiten (mal ganz davon abgesehen, dass man als Autorin auch nahezu die […]