Der Prozess der Peer Review, in dem Experten die (wissenschaftliche) Arbeit von FachkollegInnen beurteilen und bewerten, gilt zwar als der Goldstandard für wissenschaftliche Publikationen – doch nichts an dem Prozess sei golden oder gar so etwas wie ein Standard, warnt die Washington Post in diesem Meinungsbeitrag*: Why we shouldn’t take peer review as the ‘gold standard’. Womit sie nicht sagen, dass Peer Review abgeschafft werden sollte – aber es wäre oft hilfreich, wenn wir uns der Grenzen und Schwächen dieses Prozesses bewusst bleiben; die Autoren geben ein paar einschlägige Beispiele dazu…

* Inzwischen ist der Beitrag leider hinter der Paywall verschwunden. Dieser Blogbeitrag von einem der Autoren, Jon Tennant, hilft vielleicht ein bisschen weiter.

Und ich packe hier jetzt einfach noch ein paar weitere Zitate rein:

“Similarly, fossil fuel industry interests have tried to distort the public debate on climate change by sponsoring research and exploiting the prestige of peer review, undermining the overwhelming scientific consensus on the topic. For many years, climate skeptics published studies in the journal Energy & Environment, which had little credibility among climate scientists, even though it had a peer review process. (One of its articles said inaccurately that the sun is made of iron.) (…) Sonja Boehmer-Christiansen, is an avowed climate change skeptic: “I’m not ashamed to say that I deliberately encourage the publication of papers that are skeptical of climate change,” she told the Guardian in 2011.”

“Peer review has also sometimes stymied important research. Senior scientists are more likely to be asked to assess submissions, and they can shoot down articles that conflict with their own views. (…) A 2015 study of 1,000 medical journal submissions found that of the papers that were eventually published, the 14 that became the most frequently cited were initially rejected. Groundbreaking studies by Sir Frank MacFarlane Burnet, Rosalind Yalow, Baruch Blumberg and others were rejected by peer reviewers, yet later led to Nobel Prizes.”

“With more transparency about the publication process, we might have a more nuanced understanding of how knowledge is built — and fewer people taking “peer-reviewed” to mean settled truth.”

flattr this!

Kommentare (17)

  1. #1 tomtoo
    4. August 2019

    Ist halt doof gleich mal wieder vor einer Paywall zu stehen.
    *schulterzuck*

  2. #2 Braunschweiger (DE)
    4. August 2019

    Die Washinton Post liegt wohl leider teilweise hinter einer Paywall. Wenn ich den zweiten Link nutze, werde ich auf diese Seite geleitet. Einmal werde ich zwar reingelassen, dann wird aber mein Adblocker entdeckt, den ich nicht vollständig abschalten will. Insofern hat sich der Lesetipp doch etwas relativiert.

    Immerhin mag ich das Motto der W.P.: “Democracy Dies in Darkness.”

    Eine mögliche Einführung zum Thema Peer Review habe ich dort gefunden.

  3. #3 Jürgen Schönstein
    4. August 2019

    Das tut mir leid! Bei mir war der Artikel noch vor der Paywall. Ich schaue mal, ob ich eine freie Kopie des Artikels finde, und verlinke die dann.

  4. #4 Jürgen Schönstein
    4. August 2019

    @Braunschweiger

    Immerhin mag ich das Motto der W.P.: “Democracy Dies in Darkness.”

    Ich mag das Motto eigentlich auch – aber leider untertreibt es: Die Demokratie wird aktuell nicht irgendwo im Dunkeln gemeuchelt, sondern vor aller Augen im grellen Sonnenlicht massakriert.

  5. #5 rolak
    4. August 2019

    es untertreibt

    ..und ist selbstreferentiell, Jürgen, wie erst kürzlich aufgespießt wurde…

  6. #6 Spritkopf
    4. August 2019

    Bei mir ist der Artikel nicht hinter einer Paywall. Allerdings muss man auf den Button “Browse now” (im Rahmen “Free”) klicken und einmal den Nutzungsbedingungen zustimmen.

    Wenn das nicht funzen sollte, hat man sein Monatskontingent an WashPost-Artikeln ausgeschöpft. Dieses kann man aber wieder auf Null setzen, indem man die Cookies, die die WashPost im Browser gesetzt hat, löscht.

  7. #7 tomtoo
    4. August 2019

    Bei der Zeit ist es ja im Moment noch cooler. Da gibts bei mir noch nicht mal einen Hinweis auf den Werbeblocker. Nö da wird einfach alles grau und ein klicken ist nicht möglich. Ultracool, speziel für Menschen die sich nicht auskennen.

  8. #8 Braunschweiger (DE)
    4. August 2019

    @J. Schönstein:
    In der Tat. — Es ist auch eine Frage der Perspektive.

    Hier in DE-Land scheint die Spitzenmannschaft überwiegend weiblich und demokratisch und großteils nicht-blond. Bei einigen Nachbarn wird das schon anders: Italien, Polen, Ungarn, und vor allem Großbritannien, da wird es schon blonder. Es kann einem mulmig werden. Gut, dass die Letztgenannten auf einer Insel und etwas auf Abstand sind. Da haben US-Amerikaner (und weitere dortige Mitbewohner) natürlich einen noch extremeren Standpunkt.

  9. #9 Braunschweiger (DE)
    4. August 2019

    @tomtoo: – “…die sich nicht auskennen”.
    Bei mir im Firefox oder Chrome blockiert NoScript auch schon die Script-Verarbeitung auf zeit.de — und ich sehe alles, sogar anklickbar. Mit Script wird’s in der Tat grau, dennoch ist die Seite über das Scrollrad der Maus rollbar. Und ganz unten rechts steht eine klickbare Zeile “Mit Adblocker weiterlesen”… Das geht auch!

  10. #10 Beobachter
    4. August 2019

    @ Braunschweiger, # 7:

    Was hat die Haarfarbe (blond, nicht blond) mit den Fähigkeiten und Ansichten des politischen Führungspersonals (m/w) zu tun?

  11. #11 Braunschweiger (DE)
    5. August 2019

    @Beobachter:
    Die Haarfarbe und insbesondere das “Blondsein” hat damit zu tun, wie dieser Zusammenhang kolportiert und von zB. den Medien gesehen werden möchte. Es ist durchaus aufgefallen, dass Mr. Tee aus You-Essay und Mr. Jay aus You-Kay ziemlich blond sind. Blond ist auch in einigen neueren Hollywood-Produktionen der neue Feind. — Es wird dich vielleicht interessieren, wenn ich “Nostradamus” sage. Mich wundert, wann denn jemand sagen wird: der hat auch schon vom “Blonden” gesprochen.

    Bei unserem weiblichen Triumvirat in DE macht mir die Haarfarbe keine Sorgen, die ist im Zweifel künstlich. Der weibliche Zusammenhalt dagegen ist anscheinend ärger als in jeder männlichen Burschenschaft. Das nagt auch an den Beinen der Demokratie, denn es geht hier, wie immer in solchem Fall, um die Chancengleichheit der Anderen.

  12. #12 Beobachter
    5. August 2019

    @ Braunschweiger, # 11:

    Mich interessiert weder eine Haarfarbe noch das Blondsein noch das, was irgendwer irgendwo dazu gesagt oder geschrieben hat –
    weil ich es für völlig unerheblich halte.

    Noch verquerer finde ich deine Aussage:

    ” … Der weibliche Zusammenhalt dagegen ist anscheinend ärger als in jeder männlichen Burschenschaft. Das nagt auch an den Beinen der Demokratie, … ”

    Wenn es nur der vermeintlich “ärgere weibliche Zusammenhalt” wäre, der “an den Beinen der Demokratie nagt”, dann bräuchten wir uns über den Fortbestand unserer FDGO keine Sorgen machen.
    😉

    Was die drei Damen “bei unserem weiblichen Triumvirat in DE” zusammenhält, ist nicht ihre Haarfarbe, auch nicht ihr Geschlecht, sondern eine gewisse politische Übereinstimmung … 🙂

    Befürchtest du im Ernst ein weibliche “Übermacht” in Politik, Wirtschaft, Justiz, Wissenschaft und Forschung, … bzw. in allen wichtigen Entscheidungs-, Führungs- und Machtpositionen?!
    Dann schau dir bitte mal die entsprechenden Zahlen dazu an!
    Von einer “Chancengleichheit” sind wir noch meilenweit entfernt.

  13. #13 Joseph Kuhn
    7. August 2019
  14. #14 Beobachter
    7. August 2019

    @ Joseph Kuhn, # 13
    @ alle:

    Thematisch ist der verlinkte Kommentar zwar einigermaßen passend, aber etwas irreführend, weil er nur einen ausgewählten Bereich betrifft.
    Es wird der Eindruck erweckt, dass Interessenkonflikte hauptsächlich oder besonders im Bereich der CAM (bedeutet hier: Complementary and Alternative Medicine) und den dortigen peer reviews (falls überhaupt welche stattfinden) vorkämen – und insbesondere im Bereich Homöopathie.

    Dem ist nicht so.
    Interessenkonflikte und fragwürdiges Expertenverhalten bzw. fragwürdige Expertisen kommen im gesamten (leider auch im etablierten) Wissenschafts-, Medizin- und “Veröffentlichungs”-Betrieb vor.
    Ein vorsichtiger Umgang mit peer reviews und Expertenmeinungen/-interpretationen ist also IMMER geboten.

    Im verlinkten Thread zum Thema “Interessenkonflikte” hat ein Kommentator einen interessanten, wichtigen und erhellenden Kommentar gepostet (# 6 von “Soisses”) –
    ich erlaube mir, ihn in Kopie hier einzustellen:

    https://scienceblogs.de/gesundheits-check/2019/08/04/interessenkonflikte-wir-doch-nicht/#comments

    “Soisses
    5. August 2019
    @RainerO
    Das ist ein wichtiges Thema und braucht geduldige Diskussion – wie man sie evtl. in Lehrveranstaltungen Public Health oder Epidemiologie findet.
    Es ist sehr anstrengend, wiss. Studien zu lesen. Nicht alle Leser/innen können Daten selbstständig interpretieren, und die, die es sehr wohl könnten, haben nicht immer Zeit und Kraft dafür. Der/die Autor/in hat in jedem Artikel eine Gelegenheit auszudrücken, was er/sie in den Daten zu sehen glaubt. Das ist eine hohe Verantwortung, weil diese Entscheidung den großen Teil des Publikums leiten wird. Er/sie setzt Prioritäten: Welchen Teil der Ergebnisse verbalisiere ich, und was lasse ich einfach so stehen, uninterpretiert. Und dann gibt es die berühmten Key-messages oder Take-home-messages. Drei davon soll man maximal haben, mehr prägt sich dem Publikum sowieso nicht ein. Also muss wieder sorgfältig gewählt werden … Überall dort kann sich ein Interessenkonflikt auswirken. Autor/innen, die ihren Artikel erfolgreich durch den Veröffentlichungsprozess gebracht haben, sind in einer vorteilhaften Position, das Publikum auf die eigene Linie einzuschwören. Das Statement zum Interessenkonflikt ist manchmal die wichtigste Chance für die Leserin, sich nicht völlig einseifen zu lassen. Ich habe hingegen nicht erlebt, dass aus diesem Statement abgeleitet wurde, ein Artikel sei nicht lesenswert, insbesondere sein Daten- und Ergebnisteil.”

  15. #15 Beobachter
    7. August 2019

    Nachtrag zu # 14:

    Hier ein vermeintlich “witziges” Extrem-Beispiel (2018), das die leider sehr ernsthafte Problematik recht eindrücklich beschreibt:

    Dazu ein insgesamt lesenswerter Spiegel-Artikel:

    https://www.spiegel.de/wissenschaft/mensch/quatsch-studie-forscher-narrt-fachmagazin-mit-klo-studie-a-1216792.html

    Auszüge:

    “Wischvorlieben auf WC
    Forscher narrt Fachmagazin mit absurder Klo-Studie
    Konservative Politiker wischen sich den Po eher mit der linken Hand ab, Linke nehmen die rechte. Diese ausgedachte Studie eines britischen Psychologen schaffte es in eine Fachzeitschrift. Hinter der Aktion steckt ein ernsthaftes Problem. … ”

    ” … Denn das Heft behauptet, bei allen Veröffentlichungen eine Qualitätsprüfung vorzunehmen. Bei diesem sogenannten Peer Review bewerten unabhängige Fachleute etwa Methodik und Ergebnisse einer Studie. Zudem ist ein Peer Review in der Welt der Wissenschaft ein begehrtes Qualitätssiegel bei Veröffentlichungen.

    Doch keiner der unabhängigen Experten stolperte über die absurden Namen oder fand bei einer Autorenprüfung heraus, dass es das Institute of Interdisciplinary Political and Fecal Science nicht gibt oder Lewis, der die Schreibweise seines Namen verfälscht hatte, bei einer Google-Abfrage nicht zu finden war. “Ich kann mir nicht vorstellen, dass irgendein Mitarbeiter des Journals meine Studie, bevor sie publiziert wurde, gelesen hat”, sagt Lewis. … “

  16. #16 Beobachter
    7. August 2019

    Nachtrag 2 zu # 14:

    Und weil eben doch ab und zu bemerkt wird, dass im Wissenschaftsbetrieb und bei wissenschaftlichen Veröffentlichungen, den dortigen Qualitätsprüfungsverfahren und bei der Offenlegung von Interessenkonflikten manches im Argen liegt, kann man nur mehr Transparenz fordern.

    Und diese erhöhte Transparenz sollte nicht nur für Fachkreise nachvollziehbar und verständlich umgesetzt werden, sondern auch für den interessierten Laien, der wissen will, um was es geht.
    Dazu braucht es auch eine gute und kompetente Wissenschaftskommunikation.

    Zu diesem Thema hat kürzlich Julika Griem, Vizepräsidentin der DFG, eine interessante Rede gehalten:

    https://www.dfg.de/download/pdf/dfg_im_profil/reden_stellungnahmen/2018/181107_keynote_fwk18_griem.pdf

    “Keynote
    Forum Wissenschaftskommunikation 2018
    Zumutungen. Wissenschaftskommunikation und
    ihre Widersprüche
    Prof. Dr. Julika Griem (Vizepräsidentin der DFG)
    … ”

    Sehr lesenswert … !

  17. #17 Basilios
    Jūni Kokuki
    7. August 2019

    @Beobachter


    Es wird der Eindruck erweckt, dass Interessenkonflikte hauptsächlich oder besonders im Bereich der …

    Also bei mir nicht.
    Ich habe das tatsächlich lediglich als Beispielhaft verstanden.