no bullshit.jpg

Vinzenz Schönfelder macht macht sich in seinem Blog “Grenzen” auf den Brainlogs Gedanken zur unüberschaubaren Menge publizierter Forschungsartikel. Er kritisiert die Praxis, Forschungsergebnisse in Form von Papern zu publizieren, die von fachverwandten Kollegen, sogenannten “Peers” vor der Publikation auf ihre Richtigkeit überprüft werden. Hier eine Antwort auf seinen unakzeptablen Blogpost.

Vinzenz,

ich weiß, es kann einen überfordern, wenn man vor einem Berg Papers sitzt, gerade am Anfang seiner Doktorarbeit. Ich weiß, Peer-Review ist nicht der Objektivität letzter Schluss. Es mag auf dich desillusionierend wirken, dass in der akademischen Forschung auch über Forschungsgelder nachgedacht werden muss, und es nicht nur um die Suche nach Erkenntnis über die Welt geht, wie du schreibst. Aber – mit Verlaub – dein letzter Blogpost ist einfach Blödsinn.

Du beklagst in deinem Artikel “Wie der Sinn in der Paperflut versinkt“, dass in der Wissenschaftsszene weit mehr Papers veröffentlicht würden, als irgendein Mensch noch lesen könnte. Da hast du vollkommen Recht. Aber es soll ja auch überhaupt kein Mensch alles lesen. Ich hoffe dich hier nicht zu verstören, aber die Zeit der Universalgelehrten ist vorbei!

Die Fülle an Publikationen ist Ausdruck einer blühenden Wissenschaftskultur mit hoch spezialisierten Fachbgebieten. Wie stellst du dir sonst vor, dass Forschungsergebnisse publiziert werden sollen, wenn nicht in Form von Papers? Immer häufiger werden diese übrigens durch Datenbanken, zusätzliche Videos und weiteres Datenmaterial online gestützt. Noch mehr Daten – Oh Gott.

Ist es nicht erstens wichtiger und zweitens interessanter, sich Gedanken darüber zu machen, wie man die großen Datenmengen managt und intelligent durchsucht, als sich über die Flut an Papers zu beschweren?

Du schreibst weiter in deinem Artikel:

Vor den Experimenten kommen statt besonnener Vorüberlegungen immer häufiger Betrachtungen zur (wissenschaftsjournalistischen) Vermarktbarkeit, statt reiflicher Diskussion und Abwägung der Ergebnisse folgen unbedachte und immer öfter unhaltbare Schlussfolgerungen.

Das ist doch Mist! Nenne mir ein einziges Experiment, dass ohne Vorüberlegung durchgeführt wurde, mit dem Ziel das Ergebnis journalistisch zu vermarkten. Nenne mir ein Paper, in dem unbedachte und unhaltbare Schlussfolgerungen stehen. Papers haben einen Diskussionsteil, dort darf spekuliert werden. Das ist aber weder unbedacht noch haltlos. Sonst wäre das Paper nicht akzeptiert worden.

Solang Forschungsleistung an der Zahl der Publikationen gemessen wird, muss der Forscher (wie der Blogger) schlussfolgern “Feed the journals, don’t read the journals.

Was soll das, Vinzenz. Hast du schon mal ein Paper geschrieben? Auf den letzten Seiten der Veröffentlichung, das mit den Nummern vorne dran, das sind die Referenzen. Das sind alles Publikationen, auf die sich das Manuskript berufen, das vor dir liegt. Die solltest du also zumindest gelesen haben, wenn du ein Manuskript schreibst. Im Schnitt sind das vielleicht 50 pro Paper.

Ganz zu schweigen von den gelesenen Publikationen, während du an deinem Projekt forschst, die nicht in den Referenzen auftauchen. Wenn du ein Manuskript ablieferst, in dem du nicht korrekt zitiert, weil du die Papers nicht gelesen hast, die sich vor dir mit deinem Thema beschäftigt haben, wird dein Manuskript abgelehnt. Also eher: Ohne Reading kein Feeding.

Auch in der Wissenschaft kommt so das Denken aus der Mode,…

Ja, genau. Wo noch? Mir scheint, bei dir im Blog. Denn Vinzenz, es wird noch schlimmer. Lösche am besten den Teil über Peer-Review ganz.

Wir sind ja einer Meinung. Peer-Review ist sicher nicht der Weisheit letzter Schluss. Am besten wäre ein völlig unabhängiges Gremium, besetzt mit Göttern, die nichts anderes zu tun haben, als Tag und Nacht Manuskripte zu beurteilen.

Die Realität ist leider anders. Die Manuskripte werden von Kollegen beurteilt, mit denen man auf der letzten Konferenz vielleicht besser ein Bier hätte trinken sollen, anstatt sofort nach dem Abendessen ins Hotelzimmer zu verschwinden, um morgens bei den ersten Talks auch wirklich wach zu sein.

Es sind Kollegen aus fachverwandten Forschungsgebieten, die reviewen, weil sie ganz einfach am besten verstehen, was man da zu Papier gebracht hat. Genau aus diesem Grund laden manche Journals auch die Autoren ein, mögliche Reviewer zu benennen. Das schreit also nicht nach Skandal, wie du schreibst. Und ob sich die Editoren an die Vorschläge der Autoren halten, steht übrigens in den Sternen.

Wissenschaft funktioniert auch ohne Peer Review großartig, umgekehrt kann sie selbst mit Peer Review ordentlich schief gehen

Was soll denn ohne Peer-Review besser sein als mit? Du führst den Skandal um Jan Hendrik Schön als Beispiel an. Wäre der ohne Peer-Review schneller aufgeflogen?

Indes ist wohl damit zu rechnen, dass in veröffentlichten Manuskripten wesentliche methodische und logische Fehler eher die Regel als die Ausnahme bilden

Vinzenz, wir alle lieben es kontroverse Artikel abzuliefern. Aber ein bisschen Substanz sollte dann schon dahinter sein. Welche Artikel mit welchen methodischen und logischen Fehlern hast du denn da gefunden?

Die Papers von Jan Hendrik Schön wurden zurückgezogen. Nichts für ungut, ich schlage vor, du machst mit deinem Blogpost einfach das gleiche. Durch den Peer-Review hier, hat es dein Artikel zumindest nicht geschafft.

No Bullshit Bild von hier

Kommentare (12)

  1. #1 Marc
    2. März 2009

    Ich würde den Artikel von Vinzenz nicht komplett durch meinen Blog-Peer-Review durchfallen lassen. Allerdings zur Überarbeitung zurückgeben. 😉

    Denn über einige Punkte, die angesprochen werden, kann man durchaus diskutieren und die Schwächen des Peer Review sind ja auch kein Geheimnis. Ebenso lohnt ggf. ein Blogpost zu anderen negativen Aspekten, die durch den steigenden Druck, eine maximal lange Publikationsliste anzuhäufen, zustande kommen.

    Allerdings – und da gebe ich Dir zu 100% recht – schadet sich Vinzenz durch seinen pauschalen Jammerton. Und die Zeiten “vor” dem Peer Review als goldene Zeiten der Wissenschaft zu besingen, naja das trägt zur Diskussion jedenfalls nichts bei.

  2. #2 Ludmila
    2. März 2009

    Lass den erst mal sein erstes Paper schreiben, dann rafft er vielleicht, dass das Blödsinn ist, was er schreibt.

    Wir sind uns hier jedenfalls alle einige, dass ganz ohne Peer Review die Anzahl an Veröffentlichungen exponentiell steigen würde und darunter extrem viel Mist wäre. Noch mehr Mist als heute bereits durchgeht, denn die Peer Review ist wie jeder Spam-Filter. Ab und an kommt dann doch Mist durch. Zudem gegen böswilligen Betrug, wie es bei Schön war, kann auch Peer Review wenig ausrichten kann, wenn man halbwegs geschickt ist.

    Wobei man sagen muss, dass die Peer Review ja nicht bei der Begutachtung aufhört. Die Peer Review geht ja noch weiter und erledigen hinterher die Fachkollegen beim Lesen und Nachbauen. Und so flog dann auch der Jan Hendrik Schön auf.

    Weil eine Doktorandin die Ergebnisse der Paper sich angesehen und gemerkt hat, dass da was nicht stimmen konnte. Wäre das nicht schriftlich fixiert und nachprüfbar in ein Paper gegossen worden, dann hätte es noch länger gedauert, bis der Betrug aufflog.

    Paper + Peer Review + Kollegen, die über das Paper nachdenken und es bewerten und zerreißen oder als Grundlage für weitere Arbeiten nehmen = Derzeit beste Möglichkeit Wissenschaft zu betreiben.

    Man könnte eventuell die Begutachtungsphase direkt an die Leser übergeben, aber ich weiß nicht so recht. Das muss sich erst bewähren.

  3. #3 Marc
    2. März 2009

    Peer-Review ist aber schon so, als ob Mercedes den neuen BMW begutachtet und dann feststellt: “Sorry, das ist kein Auto.” Manche Reviewer haben ganz klar eine Arbeten dazu in der Pipeline und da wird, dann schonmal irgendwas nachgefordert, um den Konkurrenten aufzuhalten. Oder man will unliebsame Wahrheiten aufhalten, weil die so gar nicht in die eigenen Konzepte passen.

    Oder man kocht den experimentellen Ansatz der Konkurrenz nach, was ein leichtes ist, weil man das Paper zum Review hat. Und in der Zwischenzeit werden Steine in den Weg gelegt.

    Eine Forscherin sagte mir, dass sie beim Einreichen, die Vornamen abkürzt, weil ihrer Meinung nach Frauen gleich schlechter bewertet werden.

    Alles nicht doll, allerdings sehe ich auch kaum andere Möglichkeiten, wie man Arbeiten vor einer Veröffentlichung bewerten soll.

  4. #4 Ludmila Carone
    2. März 2009

    @Marc:
    Ja klar hat das System Schwächen. Allerdings muss man auch sagen, dass die Reviewer selbst der Review unterliegen. Klar können die versuchen, anonym zu bleiben, aber in der Regel kennt man die Leute und wenn da Fehlverhalten vorkommt, dann spricht sich das rum. So groß ist die Gemeinde nicht.

  5. #5 Jan
    2. März 2009

    Zitat Ludmila: “Man könnte eventuell die Begutachtungsphase direkt an die Leser übergeben, aber ich weiß nicht so recht. Das muss sich erst bewähren.”

    Zumindest das passiert ja bereits in Form von public peer review: https://www.atmospheric-chemistry-and-physics.net/index.html
    (danke an @Anita_168 für den Link)

    Außerdem findet ernsthafte wissenschaftliche Kommunikation auch immer mehr in Blogs (und anderswo abseits der formaliserten Pfade) statt. Hier gibt es (außer in den Kommentaren und Antwortartikeln (wie z.B. dem hier kommentierten)) kein echtes Peer-Review. Trotzdem ist findet eine (wenig formalisierte) Form der Qualitätssicherung statt, die sich aus vielen einzelen Mosaikstücken zusammensetzt (Reputation des Autors, durch Verlinkungen und Kommentare ersichtliche Verortung des Blogs (bzw. des Autors) innerhalb der scientific community, etc.) und prinzipiell dazu geeignet ist Vetrauen in die wissenschaftliche Seriosität der Beiträge zu schaffen.

    Peer-Review abzuschaffen ist wohl etwas übertrieben, aber man sollte sich schon Gedanken darüber machen, wie im Kontext neuer Publikations- und Kommunikationsformen ergänzende Formen der wissenschaftlichen Qualitätssicherung entwickelt werden können (ein gutes, wenn auch nicht mehr neues Beispiel ist immer noch Researchblogging.org)

  6. #6 Ludmila Carone
    2. März 2009

    @Jan: Für populäre Forschungsgebiete mag das gehen.

    Es gibt allerdings Forschungsgebiete, die so speziell sind, dass nur wenige Leute die Güte der Arbeiten überschauen können. Und die teilen sich dann manchmal auch noch in zwei oder mehr feindliche Lager. Ich fürchte in diesen Fällen – und die gibt es durchaus – funktioniert die public peer review nicht wirklich.

  7. #7 Tobias
    2. März 2009

    @Marc von verwickeltes: Der Mercedes muss aber auch begründen, warum das von BMW kein Auto sein soll. Tatsächlich sehe ich die grössere Gefahr in der Verzögerung der Publikation. Sprich der Reviewer fordert etliche weitere Experimente, um in der Zwischenzeit sein eigenes Projekt fertig zu kriegen und zu publizieren. Da gibt es sicher Fälle. Was aber immer populärer wird, ist das Manuskript vor dem submitten beim Journal auf pre-print Server zu legen, wie z.B. arxiv (bei den Physikern schon längst Praxis). So kann man zumindest nachweisen, dass die Idee zuerst von einem selbst war. Das Risiko, dass andere sich dann die Daten vor der eigentlichen Publikation zu Nutze machen, steigt natürlich auch.

    @Ludmila und Jan:
    PLoS One geht den vorgeschlagenen Weg: Eingereichte Papers werden auf technische Mängel geprüft und schnell publiziert. Der Peer-Review und die Einschätzung der Wichtigkeit findet in den Diskussionen zum Paper statt.

    ReseachBlogging ist meiner Meinung nach eher ein Mittel, um gute Papers in den Fokus der Debatte zu rücken.

  8. #8 Jan
    2. März 2009

    @Ludmila: Ja, da hast du bestimmt recht. Es geht ja auch nicht darum Peer-Review zu ersetzen, sondern nur darum es zu ergänzen. Man muss sicherlich immer abwägen in welchen Fällen welcher Review-Mix am sinnvollsten ist. Gerade bei interdisziplinären Arbeiten kann eine größere Begutachtergruppe möglicherweise äußerst fruchtbare Hinweise liefern.

    @Tobias: Ja, aber Researchblogging ist AUCH ein Mittel um die Blogs und Beiträge (in denen über Peer-Review-Artikel geschieben wird) mit einer Art von Reputation auszustatten und ist somit auch Teil eines Qualitätssicherungsmechanismus in wissenschaftlichen Blogs (welcher insgesamt noch unterentwickelt scheint).

  9. #9 Jannis
    2. März 2009

    Da scheint ja jemand in ein Wespennest gestochen zu haben… Kontroverse Artikel und kritische Kommentare sind das eine, aber wieso so ein emotianales persönliches Rumgehacke!? Oder dürfen nur noch Leute über den Wissenschaftszirkus schreiben, wenn sie “selbst erstmal etwas veröffentlicht haben?”

    Genauer betrachtet geht es um zwei verschiedene Dinge: (1) ein Unwohlsein mit der unglaublichen Menge von Publikation und deren Qualität und (2) der Vorschlag, das Peer-Review zu überdenken. Was die Kritik an der Publikationspraxis betrifft, finde ich, Vinzenz hat partiell durchaus recht. Auch wenn ich hier kein einzelnes Paper defamieren will: wer sich mal bei der ganzen fMRI-bunte-Bilder-erklären-Verhalten-Literatur umschaut, der wird entdecken, dass eine Menge Veröffentlichungen genau daran kranken, dass vorher keine Theorie entwickelt wurde. Da haben wir eben das Problem von Korrelation ohne zwingende Kausalität, das hier ja auch schon diskutiert wurde. Das Problem wird in der entsprechende Gemeinde auch durchaus diskutiert, trotzdem existiert es noch. Ähnliches in der Evolutionären Psychologie – und diese Artikel werden dann auf Spiegel Online (und in vielen Blogs) gerne zitiert. Die Probleme liegen sicherlich von Fach zu Fach an anderen stellen, in meinem Feld (Neurophysiologie) spielt der zeitliche Druck und die Angst vorm Scoop wiederum kaum eine Rolle, weil selten zwei Gruppe an exakt der gleichen Sache arbeiten.

    Ich finde, es ist schon interessant zu diskutieren, wie sich die Wissenschaft aufgrund der Publikationspraxis verändert hat. In meinem Feld habe ich sehr das Gefühl, dass viel in Publikationshappen gedacht wird – ich erwisch mich ja selbst dabei, wenn ich eine Idee hab, dass ich die gleich in eine Zeitschriftenkategorie einordnen, bevor die Experiment überhaupt (und ja, ich habe schon publiziert, darf ich mitreden?).

  10. #10 Tobias
    2. März 2009

    Jannis,
    hier darf jeder mitreden. Der Gefahr, dass mein Artikel, der ja als persönliches Anschreiben gehalten ist, als persönlichen Angriff auf Vinzenz Schönfelder verstanden wird, war ich mir bewusst. Sieh es als Stilmittel, um die Kontroverse zu schüren.

    Ich stimme dir in beiden Punkten zu: 1. Die überwältigende Menge an publizierten Papers verlangt nach einer Strategie, diese persönlich zu managen. Welche Stragegien gibt es, um im eigenen Fachbegbiet “up to date” zu bleiben, welche, um sich ein neues Fachgebiet effizient zu erschliessen?

    2. Die Schwächen des Peer-Review sind hinlänglich bekannt, es gibt nun mal keine vernünftige Alternative, die ein ähnliches Mass an Qualitätssicherung erlaubt, als ein persönlicher Reviewprozess. PLoS ONE ist genau für den gegangenen Ansatz kritisiert worden (siehe auch diesen Artikel hier im Blog).

  11. #11 Christopher Dyer
    13. März 2009

    The Sci-Mate offers a new method for the communication of scientific information and results. It uses Web 2.0 or Science 2.0 software tools to make it easier for authors and reviewers to prepare documents for publication. Anyone interested in this topic is welcome to discuss it on the site so that we (as an online community of scientists) can develop systems that are fair, objective and that protect the IP of authors.

  12. #12 Christopher Dyer
    13. März 2009

    The Sci-Mate offers a new method for the communication of scientific information and results. It uses Web 2.0 or Science 2.0 software tools to make it easier for authors and reviewers to prepare documents for publication. Anyone interested in this topic is welcome to discuss it on the site so that we (as an online community of scientists) can develop systems that are fair, objective and that protect the IP of authors.
    http://www.sci-mate.org