TL;DR: Das wissenschaftliche Publikationssystem ist ein gewaltiges Geschäftsmodell und deswegen schon lange kaputt.

In den letzten Tagen hat eine lang recherchierte Veröffentlichung deutscher Medien unter dem Schlagwort “Fake Science” eine Diskussion über wissenschaftliche Publikationen losgetreten. Es geht – sehr kurz gesagt – um “wissenschaftliche” Fachzeitschriften die den Anschein von seriöser Wissenschaftlichkeit erwecken, aber alles andere als seriös sind. Und um sehr, sehr viele Wissenschaftler (auch von deutschen Hochschulen), die dort Dinge publiziert haben. Das ist ein Problem. Ein sehr großes Problem. Aber eines, das nicht neu ist und eines, das meiner Meinung nach nicht unbedingt das Problem ist, das in diesem Zusammenhang diskutiert wird.

“Fake Science” legt nahe, dass es hauptsächlich um gefälschte Wissenschaft geht; um absichtlich falsche Wissenschaft. Um Pseudowissenschaft, Scharlatanerie und anderen Unsinn, dem durch die Veröffentlichung in scheinbar seriösen Medien der Anspruch auf Wissenschaftlichkeit verliehen werden soll. Aber obwohl dieses Problem natürlich existiert, ist es nicht das, um das es eigentlich geht. Das, was jetzt überall unter “Fake Science” diskutiert wird, ist das Resultat der Tatsache, dass das wissenschaftliche Publikationssystem schon seit langer Zeit kaputt ist und niemand etwas daran ändert.

Wissenschaftsjournale sind kaputt!

Wissenschaftsjournale sind kaputt!

Ich habe schon vor einiger Zeit ausführlich erklärt, warum die Art und Weise wie Wissenschaftlerinnen und Wissenschaftler die Ergebnisse ihrer Arbeit publizieren (müssen) absolut problematisch ist (Teil 1, Teil 2). Kurz zusammengefasst: Eine wissenschaftliche Karriere wird mehr oder weniger ausschließlich anhand der Anzahl der wissenschaftlichen Fachpublikationen einer Person bewertet. Je mehr Publikationen, desto besser. “Publish or perish” ist ein Motto, das definitiv nicht neu ist: Wer nicht publiziert, geht unter.

Und natürlich sollen Forscherinnen und Forscher ihre Arbeit veröffentlichen! Das Problem an der Sache ist, dass es oft nicht so sehr darauf ankommt, WAS man veröffentlicht, sondern nur DAS man es tut. Ich rede immer wieder mal mit Kolleginnen und Kollegen und ab und zu diskutieren wir auch über potentielle Projekte, Forschungsvorhaben, und so weiter. Sehr oft lautet die Antwort dann: “Mein Vertrag muss demnächst verlängert werden/Meine Professur wird bald evaluiert/Ich muss bald einen neuen Förderantrag schreiben. Ich hab keine Zeit für dieses Projekt, ich muss etwas finden, das ich schnell veröffentlichen kann!”

Der Druck, möglichst viel zu publizieren ist nicht neu. Und es gab immer schon dubiose Fachzeitschriften. Was vergleichsweise neu ist, sind die Journale, die Grundlage der “Fake Science”-Recherche waren. Diese sogenannten “Raubjournale” missbrauchen eine eigentlich sinnvolle (und notwendige) Neuerung: Open Access. Auch darüber hab ich ausführlich geschrieben; im Wesentlichen geht es darum, wer für die Publikation der Forschungsergebnisse bezahlt. Üblicherweise zahlen dafür diejenigen, die die Fachzeitschriften lesen wollen. Was unfair für die Öffentlichkeit ist, die ja die im Allgemeinen durch öffentliche Gelder finanzierte Forschung ja sowieso schon bezahlt hat und jetzt noch einmal zahlen muss, um die Ergebnisse auch lesen zu können. In den “Open Access”-Journalen zahlen die Wissenschaftler schon vor der Veröffentlichung einen gewissen Betrag an das Journal; dafür sind die Artikel dann für alle öffentlich zugänglich. Das ist eine gute und richtige Entwicklung – aber eine, die von den Raubjournalen ausgenutzt wird.

Denn fundamental bei jeder wissenschaftlichen Veröffentlichung ist die Qualitätskontrolle! Das, was man “peer review” nennt: Jede Veröffentlichung wird vorab von Experten geprüft und nur was methodisch vernünftig und seriös durchgeführt wurde, kann auch publiziert werden. Dieser peer review wird unentgeltlich von der wissenschaftlichen Gemeinschaft durchgeführt; aber von den jeweiligen Journalen organisiert (d.h. dort werden die Gutachter ausgewählt und der ganze Prozess organisatorisch betreut). Zumindest dann, wenn alles so läuft wie es laufen sollte. Bei den Raubjournalen wird nun zwar behauptet man würde ein peer review durchführen; mehr als die Behauptung findet dann aber nicht statt. Oder anders gesagt: Wenn man die entsprechenden Gebühren bezahlt, wird der Artikel dort veröffentlicht. Egal ob es sich um echte Forschung handelt oder völligen Quatsch.

Genau das ist es, was die aktuelle “Fake Science”-Recherche beschreibt. Die Journalisten haben selbst Unsinnsartikel verfasst und sie problemlos in diversen Raubjournalen veröffentlichen können. Und bei ihren Nachforschungen jede Menge unwissenschaftliche Artikel in diesen Zeitschriften gefunden. Das alles ist nicht neu; solche Recherchen gab es in der Vergangenheit auch schon. Aber es ist gut, dass die Sache jetzt einmal wirklich groß in allen Medien auftaucht. Denn ist ein Problem, das die Wissenschaft nicht mehr länger ignorieren kann.

Achtung, Raubjournale! (Bild: Public Domain)

Achtung, Raubjournale!
(Bild: Public Domain)

Wie gesagt: “Fake Science” halte ich für das falsche Schlagwort für die ganze Debatte. Es geht nicht um gefälschte Wissenschaft; zumindest nicht im Kern. Dort sitzt das kaputte Publikationssystem und das, was wir sehen, sind dessen Auswüchse. In diesem Fall ist es ein Problem der Qualitätskontrolle. Beziehungsweise das Fehlen dieser Qualitätskontrolle. Ich habe mich ein wenig in den entsprechenden Portalen dieser Raubjournale umgesehen. Nur sehr oberflächlich – wer eine intensive Analyse der entsprechenden Zeitschriften und Artikel sucht, der soll unbedingt lesen, was Markus Pössel dazu gerade schreibt (hier und hier). Ich hab mich auch vor allem auf die astronomischen Texte konzentriert und die machen dort definitiv nicht die Mehrheit aus. Man findet dort zum Beispiel das “Journal of Astrobiology & Outreach”, dessen Chefeditor Nalin Chandra Wickramasinghe ist. Wer mein Blog regelmäßig liest, wird den Namen kennen: Das ist der Astronom der Universität Buckingham, der seit Jahrzehnten der Meinung ist, überall im All würden Alien-Bakterien und andere Mikrolebewesen rumfliegen. Mit dieser Ansicht steht er mehr oder weniger alleine da; das was er als Beleg für diese Behauptungen präsentiert wird von allen anderen Wissenschaftlern nicht nur bezweifelt sondern auch widerlegt. Deswegen findet man die Veröffentlichungen von Wickramasinghe auch nicht in den echten und seriösen Wissenschaftszeitschriften, sondern eben in solchen Medien wie dem “Journal of Astrobiology & Outreach”.

Im “International Journal of Astronomy and Astrophysics” dagegen findet man auf den ersten Blick keinen groben Unsinn (auf den zweiten Blick wahrscheinlich schon; auf jeden Fall dort wo es um Albert Einstein, die Quantengravitation u.ä. geht). Dafür jede Menge Artikel, die ganz normale astronomische Themen behandeln. Hier ist zum Beispiel einer über potentielle Doppel-Asteroiden der auf den ersten Blick eigentlich ganz normale Forschung beinhaltet. Ebenso wie dieser Artikel über astronomische Beobachtungen mit Kleinteleskopen. Diese Artikel sind – ohne das ich sie jetzt im Detail geprüft habe – ganz normal. Aber halt eher unspektakulär. Und nichts, was man in irgendeinem der “großen” Journalen unterbringen könnte. Beziehungsweise vielleicht schon und vielleicht hat man das in diesen Fällen auch versucht. Und vielleicht haben die Gutachter dann angemerkt, dass es eh ganz nette Forschung ist, aber in der Form nicht relevant genug für die Zeitschrift ist und man doch bitte noch mehr Beobachtungen und Analysen machen soll. Und die Publikation deswegen abgelehnt haben. Es muss aber in der Wissenschaft nun mal publiziert werden. Und wenn man den Artikel ohne die ganze zusätzliche Arbeit in einem (Raub)Journal unterbringen kann: Warum soll man das nicht tun?

Journalspam

Journalspam

Wer eine Emailadresse besitzt die einer Forschungseinrichtung zugeordnet werden kann, wird vermutlich mehrmals die Woche entsprechende Aufforderungen von solchen Raubjournalen bekommen. Ich habe gerade meinen Spamordner durchsucht und allein für Juli fünf solcher Mails gefunden. Schnelle Abwicklung wird da versprochen; schnelle Online-Veröffentlichung und selbstverständlich auch peer review. Der aber – wie die Recherche zeigt – nicht oder nur unzulänglich stattfindet. Für die Leute, die – wie eben beschrieben – ihre unspektakuläre Forschung publizieren wollen, ist das praktisch. Beziehungsweise kann es durchaus sein, dass sie das nicht einmal vorsätzlich getan haben. Sondern einfach froh darüber sind, ein Journal gefunden zu haben, das anscheinend doch den Wert ihrer Arbeit erkannt hat und es ohne all die nervigen Korrekturhinweise der Gutachter publiziert.

Richtig wertvoll sind solche Raubjournale aber für die, die bewusst täuschen wollen. Diese Leute findet man eher nicht in der Astronomie-Abteilung sondern dort, wo es um Medizin und Lebenswissenschaften geht. Wenn man zum Beispiel ein “Medikament” hat, das eigentlich kein Medikament ist, weil es nicht wirkt, man es aber trotzdem gerne verkaufen möchte – was macht man dann? In echten wissenschaftlichen Zeitschriften kann man nicht publizieren, weil einem der Nachweis der Wirksamkeit fehlt, was den Gutachtern normalerweise auffällt. Aber in den Raubjournalen kann man sein Zeug gegen eine entsprechende Gebühr publizieren und fortan überall behaupten “Wie wissenschaftliche Studien belegen…” und auf die Arbeit dort verweisen. Und das beste daran: Da ja alles open access ist, kann die interessierte Öffentlichkeit sich auch direkt selbst davon überzeugen, dass es da wirklich einen Fachartikel gibt, der so aussieht wie Wissenschaft und in einer schön seriös klingenden Zeitschrift erschienen ist. Und geht so den Scharlatanen auf den Leim – oft mit tragischen Folgen.

Ich kann nicht einschätzen, wie viele der Artikel in den Raubjournalen tatsächlich solche echten “Fake Science”-Artikel sind (wer entsprechende Daten kennt, soll bitte Bescheid sagen). Ich vermute, das sie nicht die Mehrheit ausmachen. Es geht den Raubjournalen ja auch nicht darum, Pseudomedizin zu promoten. Es geht ums Geld. Und damit sind wir wieder beim kaputten Publikationssystem.

Wissenschaftsverlag (Symboldbild) (Bild: USDOJ, public domain)

Wissenschaftsverlag (Symboldbild) (Bild: USDOJ, public domain)

Die Veröffentlichung wissenschaftlicher Erkenntnisse darf kein Geschäftsmodell sein! Wissenschaftliche Publikationen dürfen nichts sein, mit dem man Geld verdienen kann! Genau das ist aber der Fall. Die wissenschaftlichen Verlage (und damit sind jetzt ganz explizit auch die seriösen gemeint) sind ein riesiges Geschäft! All die Arbeit (die Forschung, das Schreiben der Texte, das Layout, die Begutachtung) wird kostenlos von den Wissenschaftlern erledigt (bzw. müssen sie oft auch noch dafür an die Verlage zahlen). Und der Verlag kann gewaltige Summen von den Bibliotheken der Forschungseinrichtungen verlangen, die ja darauf angewiesen sind, die Journale lesen zu können. Und die Wissenschaftlerinnen und Wissenschaftler müssen sich an diesem absurden Prozess beteiligen. Wer in der Wissenschaft Karriere machen will, muss publizieren. Je mehr, desto besser. Das Aufkommen von Raubjournalen ist da eigentlich eine logische Konsequenz. Die Wissenschaftler müssen publizieren. Und die Raubjournale nutzen den Druck des “publish or perish” als Geschäftsmodell. Und veröffentlichen all das, das anderswo nicht durch die Qualitätskontrolle kommt. Geld verdienen kann man ja trotzdem damit.

Die Gefahr für die Wissenschaft darf man nicht unterschätzen. Die beständige gegenseitige Qualitätskontrolle durch peer review ist eines der Fundamente der wissenschaftliche Methode. Wenn das verschwindet oder ausgehöhlt wird, verliert die Wissenschaft genau das, was sie so erfolgreich macht. Und sie verliert auch das Vertrauen der Öffentlichkeit (sofern sie das nicht sowieso schon verloren hat). Am peer review darf nicht gerüttelt werden. Es ist absolut notwendig. Nicht notwendig dagegen sind die wissenschaftlichen Fachzeitschriften (egal ob seriös oder Raubjournal). Nicht notwendig ist es, mit der Publikation der Ergebnisse Geld verdienen zu müssen. Nicht notwendig ist der Impact-Faktor-Fetischismus und das Beharren darauf, die Qualität wissenschaftlicher Forschung durch eine einzige Kennzahl zu quantifizieren zu können. Es braucht keinen Journale (mehr) um wissenschaftliche Ergebnisse zu veröffentlichen und zu begutachten. Ihre Existenz und die Tatsache, dass sie ein gewaltiges Geschäftsmodell sind, ist der Grund für das kaputte Publikationssystem. Und es wird solange kaputt bleiben, solange sich das nicht ändert.

P.S. Und bevor sich jemand beschwert, das man die Zeitschriften unmöglich abschaffen kann, verweise ich nochmal auf meinen ausführlichen Artikel zu diesem Thema, in dem ich das näher erläutert habe.

Kommentare (58)

  1. #1 Braunschweiger
    23. Juli 2018

    Der “Impact-Faktor-Fetischismus” ist zunächst einmal ein Chauvinismus: Wir sind wer und viel, weil wir viel publizieren, und ihr, die ihr wenig oder nicht publiziert, seid weniger oder gar nichts. — Ich vermute mal, dies entstammt auch dem äffischen Erbe des Menschen, in möglichst kleinen und abgeschlossenen Gruppen zu denken, die sich eine hervorgehobene Stellung zum Überleben erkämpfen und verteidigen. Und von daher wird dieser Chauvinismus schwer zu ändern sein.

    Warum gründen Universitäten und andere Forschungsverbände nicht auf internationaler Ebene Publikationsringe mit aller notwendiger technischer Ausstattung, unterstützt durch die anerkannten Staaten, um eben eigene Zirkel der Veröffentlichung zu haben, Peer-Reviews eingeschlossen? — Dies würde den Publikationschauvinismus auffangen und zumindest in finanzieller Hinsicht in Kanäle leiten. Irgendwie wirkt der jetzige Zustand ein wenig gewollt. Wer soll hier wirklich mit wem in Konkurrenz treten; geht es um Finanzkraft beim Veröffentlichen und später dann auch Einkaufen der Artikel?

  2. #2 shader
    23. Juli 2018

    Eines vorweg, “problematisch” ist für mich nicht “kaputt”. Letzteres klingt als Überschrift erst mal interessant, erzeugt Aufmerksamkeit. Und ja, klappern gehört zum Handwerk. Aber ich würde auf die Dosierung achten, sonst klingen die Überschrift bald wie in P.M. oder Welt der Wunder. 😉

    “In den “Open Access”-Journalen zahlen die Wissenschaftler schon vor der Veröffentlichung einen gewissen Betrag an das Journal; dafür sind die Artikel dann für alle öffentlich zugänglich.”

    Das ist eine mögliche Form der Finanzierung. Eine andere ist die Finanzierung über Institutionen, Publikationsfonds, etc.

    “Die Veröffentlichung wissenschaftlicher Erkenntnisse darf kein Geschäftsmodell sein! Wissenschaftliche Publikationen dürfen nichts sein, mit dem man Geld verdienen kann! Genau das ist aber der Fall. Die wissenschaftlichen Verlage (und damit sind jetzt ganz explizit auch die seriösen gemeint) sind ein riesiges Geschäft!”

    Das ist es in der Tat. Allerdings höre ich von Studenten und Doktoranden, dass sie für ihre Recherche lieber auf Arbeiten zurückgreifen, die frei verfügbar sind und nicht hinter einer Paywall stecken. Das muss die Verwendung renommierter Journale nicht ausschließen, wenn die Wissenschaftler eine kostenlose Zusendung ihrer Veröffentlichung anbieten. Von daher kann in einem teuren Journal zu publizieren eher ein Nachteil sein, wenn man häufig zitiert werden möchte.

    Wenn jetzt nun gesagt wird, Journale braucht es nicht, aber peer-review soll bleiben, der muss allerdings erklären, wie das weiterhin laufen soll.

  3. #3 Florian Freistetter
    23. Juli 2018

    @Braunschweiger: “Warum gründen Universitäten und andere Forschungsverbände nicht “

    Ja, warum nicht? Das wäre eigentlich was, was die EU, die UNESCO oder ähnliche Organisationen wunderbar erledigen könnten. Aber dazu müsste man ein bestehendes System radikal verändern. Und die Wissenschaft ist halt eben auch konservativ. Da wird es nur graduelle Änderungen geben, leider.

  4. #4 Florian Freistetter
    23. Juli 2018

    @shader: “. Letzteres klingt als Überschrift erst mal interessant,”

    “Kaputt” steht aber nicht in meiner Überschrift… Abgesehen davon bin ich wirklich der Meinung, das es kaputt ist.

    ” der muss allerdings erklären, wie das weiterhin laufen soll.”

    Weswegen ich auch extra am Ende meines Artikels darauf hin gewiesen habe, das ich über dieses Problem anderswo ausführlicher geschrieben habe…

  5. #5 shader
    23. Juli 2018

    “Der “Impact-Faktor-Fetischismus” ist zunächst einmal ein Chauvinismus: Wir sind wer und viel, weil wir viel publizieren, und ihr, die ihr wenig oder nicht publiziert, seid weniger oder gar nichts.”

    Sorry Braunschweiger, aber das was Du beschreibst ist nicht der Impact Faktor. Der sagt etwas darüber aus, wie häufig durchschnittlich Veröffentlichungen in anderen Veröffentlichungen zitiert werden. Das sagt jetzt auch nur bedingt etwas über die Qualität aus, aber hier geht es nicht mehr darum, wie viele Veröffentlichungen man selbst rausgebracht hat.

    “Warum gründen Universitäten und andere Forschungsverbände nicht auf internationaler Ebene Publikationsringe mit aller notwendiger technischer Ausstattung, unterstützt durch die anerkannten Staaten, um eben eigene Zirkel der Veröffentlichung zu haben, Peer-Reviews eingeschlossen?”

    Wenn Universitäten und Forschungseinrichtungen dann in ihren eigenen Verlagen veröffentlichen, dann hat das den Stand eines “Technical Report”. Die Qualität durch Peer-Review wird damit nicht garantiert. Man löst die Probleme des Publizieren in der Wissenschaft nicht dadurch, indem man einfach nur die Geldgeber austauscht.

  6. #6 shader
    23. Juli 2018

    @Florian Freistetter, ja, es steht nicht als Hauptüberschrift, aber als Untertitel: “Das wissenschaftliche Publikationssystem ist ein gewaltiges Geschäftsmodell und deswegen schon lange kaputt.”

    “Weswegen ich auch extra am Ende meines Artikels darauf hin gewiesen habe, das ich über dieses Problem anderswo ausführlicher geschrieben habe…”

    Danke für den Hinweis. Ich entnehme dem 2.Teil, dass Du ein “Open Peer Review” vorschlägst. Du schreibst da sehr schön: “Über die Details kann (und soll) man diskutieren.” ich finde, genau diese Details entscheiden darüber, ob das Open Peer Review eine gute oder schlechte Sache wird oder ob am Ende dasselbe herauskommt, wie bei einer Fachzeitschrift, nur das es keine Papierausgabe mehr gibt, sondern eine Onlineversion mit Up- und Download und einsehbaren Gutachten.

  7. #7 Florian Freistetter
    23. Juli 2018

    @shader: “Wenn Universitäten und Forschungseinrichtungen dann in ihren eigenen Verlagen veröffentlichen, dann hat das den Stand eines “Technical Report”. Die Qualität durch Peer-Review wird damit nicht garantiert. “

    Warum? Was ändert sich wenn der Peer-Review nicht mehr von nem Verlag organisiert wird, sondern von einer übergeordneten Organisation die keinen Gewinn machen will/muss? Wieso soll der Peer-Review schlechter werden, wenn er nicht mehr von Verlagen organisiert sind. Es sind ja immer noch die gleichen Leuten, die reviewen!

  8. #8 Florian Freistetter
    23. Juli 2018

    @shader: “aber als Untertitel: “Das wissenschaftliche Publikationssystem ist ein gewaltiges Geschäftsmodell und deswegen schon lange kaputt.””

    Das ist kein “Untertitel” sondern ein TLDR (“too long; didn’t read”); also eine Kürzestzusammenfassung dessen was da noch kommt.

  9. #9 shader
    23. Juli 2018

    @Florian Freistetter, hier ist entscheidend, was in meinen Konditionalsatz in #5 steht. Wenn Universitäten und Forschungseinrichtungen im Eigenverlag ihre eigenen Ergebnisse publizieren, ist damit kein Peer-Review garantiert. Dann sind wir erst mal auf dem Niveau von “Technical Reports”. Ich zitiere mal einen wichtigen Satz aus dem englischen Wikipediaartikel dazu: “technical reports rarely undergo comprehensive independent peer review before publication.”

    Also muss man etwas einbauen, was die Peer-Review-Qualität garantiert. Ein Grundproblem sehe ich dabei im Interessenkonflikt, wenn Institutionen gleichzeitig Autoren (durch seine Mitarbeiter) als auch Veröffentlicher sein wollen. Eine Unabhängigkeit, oder man könnte auch sagen eine Gewaltenteilung wäre hier wichtig.

    Nun zu dem Punkt “Gewinn machen”. Mich hat das jetzt selbst mal interessiert, ist eine renommierte Zeitschrift wie “Science” oder “Nature” gewinnorieniert. Eine gute Frage. Nature wird von Macmillan Publishers Ltd. herausgebracht, Science von AAAS in den USA. Letzteres steht für American Association for the Advancement of Science, ist mit der größte Herausgeber von wiss. Zeitschriften in der Welt und eine “non-profit organization”. Macmillan Publishers gehört zur Verlagsgruppe Georg von Holtzbrinck, sitzen zufälligerweise in Stuttgart und wollen natürlich Gewinn machen. Es zeigt sich also schon durch die kleine Internetrecherche, es gibt in der Wissenschaft Verlage, die Gewinn machen wollen und andere, die als Non-Profit Gesellschaft organisiert sind. Was spricht nun dagegen, Letztere zu fördern? Weil Verlage, die mit Wissenschaft Geld verdienen wollen, wird es immer geben. Die kann und sollte man nicht in einer freiheitlichen Welt verbieten.

    Was ich nun nicht an Deiner Argumentation verstehe ist, warum Nicht-Verlage (die dann trotzdem wie ein Verlag arbeiten) besser sein sollen als die American Association for the Advancement of Science (als Beispiel)? Wo liegt jetzt der Vorteil?

    So, jetzt sollen sich mal andere User an der Diskussion beteiligen, weil momentan ich an die 50% aller Diskussionspublikationen geleistet habe. Und darauf bin ich nicht erpicht. 😉

  10. #10 Jonas Schimke
    23. Juli 2018

    Heute lief im WDR5 ein interessanter Beitrag darüber, wie wissenschaftsferne Gruppierungen wie z. B. das “Europäische Institut für Klima und Energie” EIKE gezielt unkritische Verlage dazu nutzt, ihre pseudowissenschaftlichen Publikationen, die in der Hauptsache die Globale Erwärmung leugnen, mit einem seriösen Anschein zu versehen.

  11. #11 Florian Freistetter
    23. Juli 2018

    @shader: “Wenn Universitäten und Forschungseinrichtungen im Eigenverlag ihre eigenen Ergebnisse publizieren, ist damit kein Peer-Review garantiert. “

    Zwei Fragen: 1) Warum muss etwas im “Eigenverlag” publiziert werden? Davon hab ich nie gesprochen. Nur das es keine kommerziellen Journale mehr geben soll. Da gibts aber jede Menge andere Möglichkeiten. Und 2) Es ist ja ganz offensichtlich (darum dreht sich ja die ganze Story!), dass die Publikation in Zeitschriften ebenfalls keinen Peer-Review garantiert! Genau darüber diskutieren wir ja – der Peer-Review findet in den angesprochenen Journalen nicht statt. Garantieren kann den Peer-Review nur absolute Transparenz.

    ” ist eine renommierte Zeitschrift wie “Science” oder “Nature” gewinnorieniert. Eine gute Frage.”

    Mit einer simplen Antwort: Selbstverständlich ja! Siehe zB: https://www.heise.de/tp/features/Elsevier-Skandal-weitet-sich-aus-3381210.html “Dem Börsenblatt zufolge steigerte Elsevier zwischen 2006 und 2007 seinen Gewinn von 828 Millionen auf 1,6 Milliarden Euro.”

    “Weil Verlage, die mit Wissenschaft Geld verdienen wollen, wird es immer geben. Die kann und sollte man nicht in einer freiheitlichen Welt verbieten.”

    Es soll sie ja keiner verbieten. Ich kann ja jetzt meine Fachartikel auch in *irgendwelchen* Zeitungen veröffentlichen. Nur nimmt sie halt niemand ernst, wenn die Zeitung keine seriöse Fachzeitschrift ist. Und die Wissenschaftler machen zwangsläufig das, was ernstgenommen wird.

    “Was ich nun nicht an Deiner Argumentation verstehe ist, warum Nicht-Verlage (die dann trotzdem wie ein Verlag arbeiten) besser sein sollen als die American Association for the Advancement of Science (als Beispiel)? Wo liegt jetzt der Vorteil?”

    Erstmal würd ich die Diskussion gern weg von “Nature” bringen. Das ist ein Sonderfall und ein ganz eigenes Problem (https://scienceblogs.de/astrodicticum-simplex/2013/08/20/wider-den-nature-fetischismus-wissenschaftliche-literatur-muss-frei-sein/?all=1). Es geht um den Publikationsbetrieb allgemein und der ist massiv gewinnorientiert. Und – wie ich in meinem Artikel probiert habe zu erläutern – das ist das grundlegende Problem. Die Verlage machen Gewinn mit einem Publikationsmodell, das vor 100 Jahren sinnvoll war, heute aber nicht mehr. Heute braucht es keine einzelnen Fachzeitschriften mehr; keine “guten” und “schlechten” (definiert durch den nichts aussagenden “Impact Faktor”) Journals. Die Publikation von Artikeln ist kein Problem und kann von den Wissenschaftlern selbst erledigt werden (sie machen ja eh jetzt auch schon einen Großteil der Publikationsarbeit). Das Peer-Review kann bzw. muss transparent erfolgen. Und organisiert werden kann das ganze von einer übergeordneten Organisation (der EU, der UNO, etc). Dann läuft der Publikationsbetrieb so wie jetzt (nur vermutlich wesentlich billiger und besser) UND man hat all die Probleme (wie zB Raubjournale) nicht mehr, die der kommerzielle Publikationsbetrieb verursacht.

  12. #12 Bernd
    23. Juli 2018

    Den Begriff “Raubjournal” verstehe ich in dem Zusammenhang nicht. Das was die tun ist doch nicht Widerrechtlich?

  13. #13 Florian Freistetter
    23. Juli 2018

    @Bernd: ” Das was die tun ist doch nicht Widerrechtlich?”

    Da kann man drüber streiten. Wenn da behauptet wird, dass ein Peer-Review stattfindet, das aber nicht passiert, dann ist das mindestens moralisch verwerflich. Aber vermutlich wissen die Juristen besser Bescheid, was genau da gesetzwidrig ist. Bzw wäre. Sind ja iA Journale aus Asien; da ists eventuell kompliziert mit der Anwendung deutscher Gesetze.

  14. #14 mimimi
    23. Juli 2018

    @Bernd: Der Begriff ist ja eine Übersetzung des englischen “predatory journal”,. Das “Raub” ist afaik also eher im Sinne von “Raubtier” zu verstehen als im Sinne von Diebstahl (was eher “robbery” or “theft” wäre).

  15. #15 Robert
    München
    23. Juli 2018

    Als ich am Freitag die Überschriften im SZ-Magazin las, dachte ich, es wird ein Artikel über Elsevier angekündigt.

  16. #16 Elektriker
    23. Juli 2018

    “Ich habe schon vor einiger Zeit ausführlich erklärt, warum die Art und Weise wie Wissenschaftlerinnen und Wissenschaftler die Ergebnisse ihrer Arbeit publizieren (müssen) absolut problematisch ist”

    Wirklich?

    Haben Sie eune Ahnung, in welchem Verhältnids diese angeblichen Fehlpublikationen zur Gesamtheit stehen?

    Was ist mit Ihren Veröffentlichkungen, schon mal überprüft?

    Nein, haben Sie nicht, weil Sie sich selbst für genial halten und alle anderen für dumm.

    Da merkt man mal, wer sich wirklich um Wissenschaft bemüht und wer nur andere diskreditieren will…..

    Schade, schade……. du könntest es besser, wenn du wolltest……

  17. #17 Florian Freistetter
    23. Juli 2018

    @Elektriker: “Haben Sie eune Ahnung, in welchem Verhältnids diese angeblichen Fehlpublikationen zur Gesamtheit stehen?”

    Welche Fehlpublikationen sind gemeint? Die absichtlich gefälschten? Die Menge an Artikeln die in Raubjournalen veröffentlicht werden ist auf jeden Fall enorm gering im Vergleich zu denen in den seriösen Journalen. Exakte Zahlen wird man finden können – aber worum gehts denn genau?

    “Was ist mit Ihren Veröffentlichkungen, schon mal überprüft? “

    Meine Fachartikel über Astronomie sind in peer-reviewten Zeitschriften publiziert; echten Journalen und nicht den Raubjournalen um die es hier geht. Vor jeder meiner Veröffentlichungen stand eine ausführliche Kommunikation mit Gutachtern, die erst nach gründlicher Prüfung meiner Artikel einer Publikation zugestimmt haben.

    “Nein, haben Sie nicht, weil Sie sich selbst für genial halten und alle anderen für dumm.”

    Ach so… es geht nur um Pöbelei…

    “und wer nur andere diskreditieren will”

    Und wen sollte ich diskreditieren wollen? Ich kritisiere den Publikationsbetrieb. Und diejenigen, die aus Geldgier wissenschaftliche Seriosität vortäuschen und solche Raubjournale herausgeben.

    (Hmm. Gehts etwa um die Wickramasinghe-Sache??)

  18. #18 shader
    24. Juli 2018

    @Florian Freistetter, zu den zwei Fragen. Das mit den Universitäten bezog sich auf das erste Posting von Braunschweiger und dessen Vorschlag. Ansonsten ist es natürlich eine spannende Frage, wie man auf alternativen Wegen eine neue Qualität beim Peer-Review hinbekommt.

    Allerdings würde ich gerne wissen, ob Du die Organisation AAAS, die u.a. Science herausbringen, als gewinnorientierte Organisation ansiehst? Weil was das mit Elsevier zu tun hat, die zu einer ganz anderen Verlagsgruppe gehört, habe ich nicht ganz verstanden.

    “Es geht um den Publikationsbetrieb allgemein und der ist massiv gewinnorientiert. Und – wie ich in meinem Artikel probiert habe zu erläutern – das ist das grundlegende Problem.”

    Das ist mit Sicherheit ein Problem, aber ich halte es nicht für das Wesentliche. Der schon häufig bemängelte Publikationsdruck (also das man viel veröffentlichen soll) kommt ja nicht von den Verlagen, sondern beginnt im inneren universitären Betrieb. Als Doktorand bekommt man nicht selten vom Doktorvater vorgegeben, mind. 3-4 Veröffentlichungen herauszubringen, am besten noch in angesagten Journals. Die staatliche Exzellenzförderung der Unis in Deutschland erfolgte u.a. durch ein Ranking der Publikationen. Bewerber für einen Lehrstuhl werden u.a. an deren Publikationsliste bewertet. Und sehr häufig werden dabei quantitative Kriterien herangezogen. Da muss man sich über derzeitige Fehlentwicklungen nicht wirklich wundern.

    “Das Peer-Review kann bzw. muss transparent erfolgen. Und organisiert werden kann das ganze von einer übergeordneten Organisation (der EU, der UNO, etc).”

    Den ersten Punkt kann ich absolut verstehen, den zweiten leider gar nicht. Denn wenn man nur noch einen möglichen Weg hätte, wissenschaftliche Arbeiten mittels peer-review zu veröffentlichen, entstände eine enorme Machtkonzentration in der Wissenschaft. Diese Einheitsorganisation wäre dann sowas wie eine Weltregierung in der Wissenschaft, die darüber entscheiden würde, was veröffentlicht wird und was nicht (und nach welchen Kriterien). Das halte ich für gefährlich. Wissenschaftliche Standards beim Veröffentlichen würden sich nicht durch eine Konkurrenzsituation verschiedenster Journals weiterentwickeln, sondern könnten je nach Machtkonstellation in dieser Organisation stagnieren oder sogar schlechter werden. Das die Verlage auch in Konkurrenz zueinander stehen, bedeutet auch, dass sie es sich nicht leisten können, für viel Geld mittelmäßige Papers anzubieten. Es sind auch Journale vom Markt verschwunden, die einfach keine Nachfrage in der Wissenschaft fanden.

    Statt auf Verlagsvielfalt auf eine einzige Organisation zu setzen, halte ich für genauso sinnvoll wie sämtliche Universitäten der Welt zu einer Welt-Uni zusammenzufassen. Man könnte das in Bezug auf Standardisierung und Vermeidung von Fehlentwicklungen gut begründen, aber es wäre auch das Ende für einen Teil der wissenschaftlichen Freiheit.

    Im übrigen, ich bin nicht die letzten zwei Jahre zum March for Science gegangen, damit eine staatliche Organisation (z.B. EU, UNO) die Standards für Peer-Review-Publikationen in der Wissenschaft festlegen. Die Demos und deren Teilnehmer plädierten für weniger staatlichen Einfluss in der Wissenschaft und Dein Vorschlag geht in die genau andere Richtung.

  19. #19 Ichbinich
    24. Juli 2018

    @FF:
    “Für die Leute, die – wie eben beschrieben – ihre unspektakuläre Forschung publizieren wollen, ist das praktisch. Beziehungsweise kann es durchaus sein, dass sie das nicht einmal vorsätzlich getan haben.”
    Sorry, aber das glaube ich nicht. Ich bin schon ein paar Jährchen nicht mehr im wissenschaftlichen Betrieb aber diese Journale (damals noch “Chinajournale” genannt) gab es da auch schon. Und jeder wusste davon.
    Und die Artikel in diesen Journalen wurden auch bei keiner relevanten Auswertung gezählt (eben weil jeder wusste, dass sie kein peer review durchführen). Und in der community ist ja durchaus auch bekannt, was seriöse Journale sind und was nicht. (da finde ich die Kritik am impact factor übrigens auch übertrieben. Denn so kann man schon herausfinden, ob ein Journal relevant ist oder nicht. Das System ist sicher nicht perfekt, aber besser als einfach alle Publikationen zu zählen ist die Beachtung des impact factors allemal).
    Außerdem: Ich habe nie in solchen Journalen publiziert, aber wenn man das tut merkt man doch sicher schon bevor man Geld überweist, dass es dort kein peer review gibt. Denn normalerweise läuft das ja so (auch bei open access). Man reicht ein Manuscript ein, wartet ein paar Monate und bekommt dann ein Feedback von mindestens 2 Gutachtern. Meistens mit zumindest kleineren Dingen, die noch ergänzt werden sollen. Oder halt eine Ablehnung mit Begründung.
    Wenn ich jetzt in einem Journal ohne peer review publiziere, bekomme ich diese Antworten doch nicht. Spätestens da sollte ich doch merken, dass es kein seriöses Journal ist und das Geld nicht überweisen.
    Und da finde ich die Ausrede: “Ich hab das ja nicht gewusst” unglaubwürdig.

    Oder fälschen die Journale tatsächlich Gutachterantworten?

  20. #20 Florian Freistetter
    24. Juli 2018

    @ichbinich: “Und die Artikel in diesen Journalen wurden auch bei keiner relevanten Auswertung gezählt”

    Ich bin mir nicht sicher, ob das allgemein so ist. Nachdem ich den Bericht gestern im ZDF gesehen habe (https://www.daserste.de/information/reportage-dokumentation/dokus/exclusiv-im-ersten-fake-science-die-luegenmacher-102.html) zweifle ich das an. Denn sonst wären da nicht all die Uni-Mitarbeiter, die dort publizieren.

    “Meistens mit zumindest kleineren Dingen, die noch ergänzt werden sollen.”

    Wie ich in ner Sendung des DLF gehört hab, passiert das da auch – man kriegt ein paar Minimalkorrekturen zugeschickt.

    “Und da finde ich die Ausrede: “Ich hab das ja nicht gewusst” unglaubwürdig.”

    Ist sie in den meisten Fällen sicherlich auch. Aber ich würd trotzdem nicht verallgemeinern; ein paar sind da sicher auch einfach drauf reingefallen. Wie Markus Pössel in seinem Blog ja zeigt, sind Mehrfachpublikationen bei diesen Journals selten (unter deutschen Autoren). Die meisten haben dort nur einmal publiziert. Was ein Indiz dafür wäre: Man ist drauf reingefallen; hats dann gemerkt und seitdem nichts mehr dort veröffentlicht.

  21. #21 Florian Freistetter
    24. Juli 2018

    @shader: “Allerdings würde ich gerne wissen, ob Du die Organisation AAAS, die u.a. Science herausbringen, als gewinnorientierte Organisation ansiehst? Weil was das mit Elsevier zu tun hat, die zu einer ganz anderen Verlagsgruppe gehört, habe ich nicht ganz verstanden.”

    Ich hab keine Ahnung was die AAAS treibt. Ich wollte nur darauf hinweisen, das es um den Publikationsbetrieb im Ganzen geht und nicht um zwei Zeitschriften wie Nature/Science, die sowieso eine Sonderstellung haben. Die absolut überwiegende Mehrheit der papers wird NICHT in Nature/Science veröffentlicht sondern anderswo und dort ist das ganze ein Geschäft.

    ” Diese Einheitsorganisation wäre dann sowas wie eine Weltregierung in der Wissenschaft, die darüber entscheiden würde, was veröffentlicht wird und was nicht (und nach welchen Kriterien).”

    Äh. Ja. Das sollte eigentlich so sein. Oder bist du der Meinung, es sollte unterschiedliche Kriterien geben, nach denen entschieden wird, was gute Wissenschaft ist und was nicht? Implizit ist jetzt ja auch festgelegt, was gute Wissenschaft ist und was nicht und alle Gutachter (die ja nicht fix zu den Journals gehören!!) probieren im Idealfall das umzusetzen. Es ändert sich doch nichts. Die Gutachter bleiben die gleichen. Die Autoren bleiben die gleichen. Nur die organisatorische Ebene dazwischen ändert sich. Wo ist da das große Problem?

    ” damit eine staatliche Organisation (z.B. EU, UNO) die Standards für Peer-Review-Publikationen in der Wissenschaft festlegen. “

    ?? Wer legt die Standards denn jetzt fest? Und wieso sollten sich die Standards ändern, wenn man mit Publikationen keinen Gewinn mehr machen kann?

    Meinetwegen brauchts auch gar keine Organisation. Es braucht nur Infrastruktur; einen Server wie arxiv o.ä. der halt von irgendeiner Organisation betrieben werden muss (zB der UN oder der EU). Dort laden die Wissenschaftler ihre Papers rauf; dort führen die Wissenschaftler ihren (offen) peer review durch. Genau so wie jetzt auch. Nur halt offen, transparent und ohne geldgierige Verlage und all die Probleme die sie schaffen.

    (Aber ernsthaft: Der freie Markt unter konkurrierende Journals als Retter des Peer-Reviews?? Ist das ernst gemeint?)

  22. #22 Spritkopf
    24. Juli 2018

    @Elektriker a.k.a. demolog

    Haben Sie eune Ahnung, in welchem Verhältnids diese angeblichen Fehlpublikationen zur Gesamtheit stehen?

    Was ist mit Ihren Veröffentlichkungen, schon mal überprüft?

    Na, demolog? Kommen mal wieder die Sockenpuppen zum Einsatz?

  23. #23 shader
    24. Juli 2018

    @Florian Freistetter: “Die absolut überwiegende Mehrheit der papers wird NICHT in Nature/Science veröffentlicht sondern anderswo und dort ist das ganze ein Geschäft.”

    Ehrlich gesagt fehlt mir da die Übersicht, wie hoch der Anteil der gewinnorientierten Wissenschaftsjournale weltweit ist. Mir wird hier zu sehr nach Mutmaßungen gegangen. Recherchearbeit würde sich bei so einem Thema wirklich lohnen.

    “Äh. Ja. Das sollte eigentlich so sein. Oder bist du der Meinung, es sollte unterschiedliche Kriterien geben, nach denen entschieden wird, was gute Wissenschaft ist und was nicht?”

    Ich bin der Meinung, dass die Kriterien für gute Wissenschaft durch einen ständigen Diskurs entstehen muss, der auf verschiedensten Ebenen stattfindet, Universitäten, Forschungseinrichtungen, Konferenzen (das diese zum großen Teil auch gewinnorientiert arbeiten, wurde noch gar nicht erwähnt), Publikationseinrichtungen usw. Ich sehe da den Wettbewerb als wesentliches Element, um bestehende Kriterien für gute Wissenschaft zu verbessern oder neue zu schaffen. Eine Einheitsorganisation für sämtliche Wissenschaftspublikationen hätte eine Monopolstellung ohne jegliche Legitimation. Über die Gefahren habe ich schon geschrieben.

    “Implizit ist jetzt ja auch festgelegt, was gute Wissenschaft ist und was nicht und alle Gutachter (die ja nicht fix zu den Journals gehören!!) probieren im Idealfall das umzusetzen.”

    Und wie wurde festgelegt, was gute Wissenschaft ist? Wurde das durch eine Weltorganisation an Wissenschaftlern festgelegt oder durch einen weltweiten Diskurs unter Wissenschaftlern? Das ist nämlich ein riesiger Unterschied.

    ” Es ändert sich doch nichts.”

    Oh doch und ich bin erstaunt, dass Du das nicht siehst.

    ” Wer legt die Standards denn jetzt fest?”

    Keine staatliche Organisation. Und das ist auch gut so.

    “Es braucht nur Infrastruktur; einen Server wie arxiv o.ä. der halt von irgendeiner Organisation betrieben werden muss (zB der UN oder der EU). Dort laden die Wissenschaftler ihre Papers rauf; dort führen die Wissenschaftler ihren (offen) peer review durch. Genau so wie jetzt auch. Nur halt offen, transparent und ohne geldgierige Verlage und all die Probleme die sie schaffen.”

    Das wäre eine völlig andere Organisationsstruktur als Dein obiger Vorschlag. Ich hoffe, dass das durch meine Ausführungen deutlich wurde. Nun wäre zu klären, wer die Sache finanzieren soll und wer die Gutachter festlegt. Und noch viele weitere Details.

    “(Aber ernsthaft: Der freie Markt unter konkurrierende Journals als Retter des Peer-Reviews?? Ist das ernst gemeint?)”

    Oh doch. Machen wir doch mal folgendes Gedankenexperiment. gehen wir in das Jahr 1905 zurück und stellen uns vor, es hätte damals schon ein Freistetter-Pubklikationssystem gegeben, keine Journale, sondern eine weltweit einheitliche Organisation, die für die Veröffentlichung sämtlicher wissenschaftlicher Arbeiten zuständig wäre. Ein Physiker, geboren in Ulm, hätte dort eine Arbeit mit dem Titel “Zur Elektrodynamik bewegter Körper” eingereicht. Es werden ihm zwei Gutachter zugeteilt, die aber die Arbeit nicht so richtig verstehen und die Veröffentlichung abgelehnt. Was dann? Das Paper wäre gestorben und die Physik hätte eine vermutlich andere Entwicklung genommen. Was wäre aber 1905 wirklich passiert, wenn die Gutachter der Annalen der Physik und Chemie diese Arbeit abgelehnt hätten. Der Wissenschaftler hätte immer noch die Möglichkeit, seine Fassung in einem anderen Journal einzureichen, wo es dann wahrscheinlich angenommen wäre. Die spezielle Relativitätstheorie wäre einige Monate später der Wissenschaftswelt bekannt geworden.

  24. #24 Christian Berger
    24. Juli 2018

    Also in der Hackerkultur funktioniert das scheinbar besser. Da gibts Zeitschriften die entweder gratis vertrieben werden (z.Bsp. PoC||GTFO) oder normal kommerziell für erträgliche Preise veröffentlicht (2600), oder irgendwas dazwischen (Datenschleuder).
    Will man da was veröffentlichen schickt man da einfach hin, die prüfen das noch auf Plausibilität und schicken das dann durch das Lektorat. Je nach Zeitschrift bekommt man von Nix bis hin zu T-Shirts und Jahresabos.

  25. #25 Florian Freistetter
    24. Juli 2018

    @shader: “Ich bin der Meinung, dass die Kriterien für gute Wissenschaft durch einen ständigen Diskurs entstehen muss, der auf verschiedensten Ebenen stattfindet, Universitäten, Forschungseinrichtungen, Konferenzen”

    Ja. Das passiert ja auch. Und ich sehe keinen Grund, warum das nicht weiterhin so passieren sollte.

    ” Wurde das durch eine Weltorganisation an Wissenschaftlern festgelegt oder durch einen weltweiten Diskurs unter Wissenschaftlern? Das ist nämlich ein riesiger Unterschied.”

    Ich habe nirgendwo von einer “Weltorganisation” gesprochen. Ich habe auch nirgendwo davon gesprochen, das sich irgendwas ändern soll was die Richtlinien zur Bewertung guter Wissenschaft angeht.

    “Oh doch und ich bin erstaunt, dass Du das nicht siehst.”

    Dann erklär es mir. Wieso soll sich etwas ändern? Wenn Verlage nicht mehr gewinnorientiert arbeiten, dann machen IMMER noch die gleichen Wissenschaftler die Gutachten, die sie auch jetzt machen. Nach den gleichen Kriterien.

    “Das wäre eine völlig andere Organisationsstruktur als Dein obiger Vorschlag.”

    Ich fürchte, du hast meinen vorigen Vorschlag missverstanden. Ich hab nie behauptet, es braucht irgendeine “Weltorganisation”, die diktatorisch festlegt, was gute Wissenschaft zu sein hat und was nicht. Ich hab nur gesagt, es braucht keine Journale mehr wie jetzt. Sondern einfach nur Strukturen, die von den Wissenschaftler benutzt werden können. Das kann eben so ein Serverding sein. Oder auch irgendwas anderes. Was auch immer. Aber wie du zu deinen Horrorvisionen von “Weltorganisationen” kommst, weiß ich nicht…

    “Nun wäre zu klären, wer die Sache finanzieren soll und wer die Gutachter festlegt. Und noch viele weitere Details.”

    Ja, das ist doch aber auch klar. Meinst du wirklich, ich könnte mal eben in ein paar Blogkommentaren ein komplett ausgearbeitetes System der weltweiten Neuordnung wissenschaftlicher Publikationen präsentieren??
    Finanziert werden kann so ein Server dann zB tatsächlich von der UN/EU/etc. Kosten tut das ja nichts und sowas sollte von einer möglichst übergeordneten Organisation gemacht und nicht von irgendwelchen Einzelorganisationen wie ner Uni oder ner Firma. Und die Gutachter muss bei einem transparenten, offenen Peer-Review nicht zwingend irgendwer “festlegen”.

    ” hätte damals schon ein Freistetter-Pubklikationssystem gegeben, keine Journale, sondern eine weltweit einheitliche Organisation, die für die Veröffentlichung sämtlicher wissenschaftlicher Arbeiten zuständig wäre. “

    Bitte hör doch auf, mir ständig zu unterstellen, ich würde so eine “weltweit einheitliche Organisation” fordern! Das habe ich nie getan.

    “Es werden ihm zwei Gutachter zugeteilt, die aber die Arbeit nicht so richtig verstehen und die Veröffentlichung abgelehnt. Was dann? “

    Dann wäre das ein schlechtes System. Weil es kein offenes Peer-Review ist. Und das ist essentiell. Bei einem offenen und transparenten Peer-Review kann so etwas nicht passieren. Weil dann das paper öffentlich ist, auch vor dem Review. Und weil auch die Gutachten öffentlich sind. Und weil nicht nur irgendwelche “zugewiesenen” Gutachter gutachten können, sondern alle die Ahnung haben (Und ja, du musst mich nicht darauf hinweisen, das es da noch offene Fragen, Details und potentielle Probleme gibt. Das weiß ich. Aber siehe weiter oben: Ich werde hier nicht spontan alle Details einer Neuordnung des Publikationswesens aufschreiben können).

    Andere Frage: Anstatt meine Vorschläge zu irgendwelchen Horrorszenarien von weltweiten Wissenschaftsdiktaturen umzudeuten – was würdest du denn ändern? Oder gibts deiner Meinung nach sowieso kein Problem beim aktuellen Publikationswesen?

  26. #26 shader
    24. Juli 2018

    @Florian Freistetter: “Ich habe nirgendwo von einer “Weltorganisation” gesprochen.”

    Das wäre doch die Konsequenz Deines Vorschlages. Es gibt eine einheitliche Internetseite, wo alle Wissenschaftler ihre Papers einreichen können und man Gutachter zugeteilt bekommt. Das wäre nichts anderes als eine weltweite Wissenschaftspublikationsorganisation, die darüber entscheiden würde, was in der Wissenschaft als veröffentlicht gilt und was nicht. Zudem hast Du von zentralen staatlichen Weltorganisationen wie der UNO gesprochen, die das aus der Taufe heben sollen. Sorry wenn ich Dich da völlig missverstanden habe, aber für mich war es die plausibelste Schlussfolgerung aus Deinen Aussagen.

    Zum Gedankenexperiment: “Dann wäre das ein schlechtes System. Weil es kein offenes Peer-Review ist. Und das ist essentiell. Bei einem offenen und transparenten Peer-Review kann so etwas nicht passieren. Weil dann das paper öffentlich ist, auch vor dem Review.”

    Was würde ein “offenes” Review ändern? Jeder könnte die Begründung für die Ablehnung eines Papers lesen und könnte vielleicht in einer Kommentarspalte seine Meinung dazu äußern. Aber an der Ablehnung des Papers würde sich doch nichts ändern, oder?

    “Und weil nicht nur irgendwelche “zugewiesenen” Gutachter gutachten können, sondern alle die Ahnung haben “

    Aber wie soll das Bitte in der Praxis funktionieren? Sorry für meine ungeduldigen Fragen, aber das ist doch entscheidend, egal ob das in Deinen Überlegungen offen ist oder nicht. Ich stelle mir gerade vor, wie EIKE dann wieder mal versuchen würde, ein eigenes Paper durchzudrücken. Erst würde es von zwei Gutachtern abgelehnt, die Gutachten werden veröffentlicht, EIKE schickt seine Leute vor, die in den Kommentaren schreiben, dass das voll doof ist und das Paper veröffentlicht gehört. Und dann schicken sie noch “eigene” Gutachter vor, die das alles bestätigen. Also stelle ich mal die Frage, wer legt bitte schön fest, wer “Ahnung” hat?

    “Andere Frage: […] was würdest du denn ändern?”

    Zu der Grundproblematik habe ich schon was geschrieben, leider bist Du darauf nicht eingegangen. Aber da man aus der Lernpsychologie weiß, dass erst Wiederholungen im Gedächtnis hängen bleiben, gerne nochmal 😉

    Der schon häufig bemängelte Publikationsdruck (also das man viel veröffentlichen soll) kommt ja nicht von den Verlagen, sondern beginnt im inneren universitären Betrieb. Als Doktorand bekommt man nicht selten vom Doktorvater vorgegeben, mind. 3-4 Veröffentlichungen herauszubringen, am besten noch in angesagten Journals. Die staatliche Exzellenzförderung der Unis in Deutschland erfolgte u.a. durch ein Ranking der Publikationen. Bewerber für einen Lehrstuhl werden u.a. an deren Publikationsliste bewertet. Und sehr häufig werden dabei quantitative Kriterien herangezogen. Da muss man sich über derzeitige Fehlentwicklungen nicht wirklich wundern.

    Nun, was kann man tun? Ich finde man sollte den wissenschaftlichen Betrieb dahingehend bewegen, dass wirklich Qualität und nicht Quantität zählt. Wenn man mal von dem Dogma wegkommt, dass man als Wissenschaftler alle 3 bis 6 Monate was veröffentlichen soll, dann gebe es auch beiweiten nicht so viele gewinnorientierte Wissenschaftsjournale. Zum anderen denke ich, teure Journale werden es in der Zukunft nicht leicht haben, weil deren Reichweite ist geringer als offene oder preiswerte Veröffentlichungen. Wenn Studenten und Doktoranden kaum noch aus solchen Zeitschriften zitieren und das auch die Profs immer weniger tun, dann werden auch die Verlage sich umstellen müssen. Die Wissenschaftler haben es also selbst in der Hand, welche Paper aus welchen Zeitschriften zitiert werden.

  27. #27 Florian Freistetter
    24. Juli 2018

    @shader: “Das wäre nichts anderes als eine weltweite Wissenschaftspublikationsorganisation, die darüber entscheiden würde, was in der Wissenschaft als veröffentlicht gilt und was nicht.”

    Das magst du zwar behaupten; den Schuh zieh ich mir aber trotzdem nicht an. Nur weil du meinst, dass das eine aus dem anderen folgen muss, ist das deswegen noch lange nicht wahr.

    “Was würde ein “offenes” Review ändern? Jeder könnte die Begründung für die Ablehnung eines Papers lesen und könnte vielleicht in einer Kommentarspalte seine Meinung dazu äußern. Aber an der Ablehnung des Papers würde sich doch nichts ändern, oder?”

    Doch. Weil es keine “Ablehnung” oder “Akzeptanz” gibt. Sondern papers und reviews. Und Leser, die sich eine Meinung bilden müssen/können.

    “. Ich stelle mir gerade vor, wie EIKE dann wieder mal versuchen würde, ein eigenes Paper durchzudrücken. Erst würde es von zwei Gutachtern abgelehnt, die Gutachten werden veröffentlicht, EIKE schickt seine Leute vor, die in den Kommentaren schreiben, dass das voll doof ist und das Paper veröffentlicht gehört.”

    Vergiss diese ganzen starren Strukturen an denen du so fest hängst! Es gibt bei einem offenen System keine “offiziellen” Gutachter. Es gibt keine “Macht im Hintergrund”, die bestimmt, wer begutachten darf. Aber es gibt natürlich Regeln. Ein offenes Review ist kein Facebook. Da muss man sich vermutlich namentlich registrieren; mit einer nachweisbaren Identität. Mit der Forschungseinrichtung zu der man gehört. Und so weiter. Und wenn dann EIKE Unsinn einstellt, werden die Reviews das entsprechend aufdecken. Und es wird keine anonyme Meute geben, die alles runter votet, oder was auch immer du dir da vorstellst.

    Und nochmal: Verlangst du ernsthaft von mir, dass ich dir hier jetzt ein in allen Details ausgearbeitetes Publikationssytem präsentiere? Wir können jetzt noch ein paar Tage lang so weitermachen: Du konstruierst irgendwelche Horrorszenarien; ich probiere zu erklären, was man dagegen tun kann. Aber wozu soll das führen?

    “. Bewerber für einen Lehrstuhl werden u.a. an deren Publikationsliste bewertet. Und sehr häufig werden dabei quantitative Kriterien herangezogen. Da muss man sich über derzeitige Fehlentwicklungen nicht wirklich wundern. “

    Ja. Exakt das hab ich in meinem Artikel geschrieben und in den längeren, verlinkten Texten ausführlich behandelt. Das ist ein weiteres Problem. Aber nicht ausschließlich der Grund, warum es Raubjournale gibt.

    “Wenn man mal von dem Dogma wegkommt, dass man als Wissenschaftler alle 3 bis 6 Monate was veröffentlichen soll, dann gebe es auch beiweiten nicht so viele gewinnorientierte Wissenschaftsjournale. “

    Natürlich muss man davon wegkommen. Aber ich glaube nicht, dass allein dadurch das Problem gelöst würde. Abgesehen davon dass der derzeitige Publikationsbetrieb noch sehr, sehr viele andere Probleme hat, müssen Wissenschaftler ja immer noch publizieren. Dann halt weniger. Aber es braucht Publikationen und diese Publikationen werden weiterhin bewertet werden. Und solange das derzeitige System von “guten” und “schlechten” Journals; von Impakt-Faktoren etc bestehen bleibt, wird es weiterhin Probleme geben. Deswegen muss der ganze Kram mit den Journals abgeschafft werden.

    “Die Wissenschaftler haben es also selbst in der Hand, welche Paper aus welchen Zeitschriften zitiert werden.”

    Halt nur theoretisch. Denn wenn sie die “wichtigen” Journals nicht zitieren, dann kommen die Gutachter und bemeckern das. Und wenn man das nicht korrigiert, kann man selbst nicht publizieren. Wodurch man selbst keine Karriere macht. Es ist ein sich selbst verstärkendes System. Wer probiert auszusteigen, sabotiert seine eigene Karriere. Wenn, dann können das nur die Geldgeber ändern. Also BMWF, DFG, ERC, etc, die Gelder nur noch dann vergeben, wenn die Ergebnisse in einem neuen, offenen System publiziert werden anstatt den alten Journals. Aber das wird vermutlich und leider nicht so schnell passieren.

  28. #28 shader
    24. Juli 2018

    @Florian Freistetter, es tut mir einfach leid, wenn ich Dich vorher mehrmals falsch verstanden habe. Es war nicht in böser Absicht entstanden.

    “Doch. Weil es keine “Ablehnung” oder “Akzeptanz” gibt. Sondern papers und reviews. Und Leser, die sich eine Meinung bilden müssen/können.”

    Okay, dann habe ich das gesamte System des Open Access komplett falsch verstanden. Mein Fehler. Ich hatte es so aufgefasst, dass die Gutachter darüber entscheiden, ob die Paper veröffentlicht werden oder nicht.

    “Und nochmal: Verlangst du ernsthaft von mir, dass ich dir hier jetzt ein in allen Details ausgearbeitetes Publikationssytem präsentiere?”

    Nicht in allen Details, sondern in den wesentlichsten.

    “Natürlich muss man davon wegkommen. Aber ich glaube nicht, dass allein dadurch das Problem gelöst würde.”

    Ich glaube in dem Punkt unterscheiden sich unsere Sichtweisen. Für Dich sind die Hauptprobleme die Raubjournale und die Verlage, die mit Wissenschaft Geld verdienen wollen. Für mich ist das wesentliche Problem, dass zu lange auf Quantität im Wissenschaftsbetrieb gesetzt wurde, und Wissenschaftler und Institutionen in einem Wettbewerb standen, wer die meisten Papers veröffentlicht hat. Aus meiner Sicht gab es Raubjournale und geldverdienende Verlage schon immer und sie haben die Entwicklung der Wissenschaft nur bedingt negativ beeinflusst. Der Druck immer mehr Publikationen zu veröffentlichen hat in der Zeit schon begonnen, als ich studierte und dann promovierte und scheint noch größer geworden zu sein. Es ist mittlerweile unter Wissenschaftlern die absurde Situation entstanden, dass sie kaum noch Zeit haben, Publikationen zu lesen, weil sie selbst an ihren Publikationen schreiben. Es gibt einen riesigen Output an Daten und Papern, der kaum noch umfassend gelesen wird. Das finde ich als Entwicklung bedenklich.

    ” Denn wenn sie die “wichtigen” Journals nicht zitieren, dann kommen die Gutachter und bemeckern das. Und wenn man das nicht korrigiert, kann man selbst nicht publizieren. Wodurch man selbst keine Karriere macht. Es ist ein sich selbst verstärkendes System.”

    Das ist wohl so. Aber wenn das wirklich ein Problem ist, dann muss man es angehen. Wenn aber die Mehrheit der Gutachter der Meinung ist, dass “wichtige “Journale zitiert werden müssen, dann wird diese Entwicklung weitergehen. Das ist ja in der Wissenschaft nicht anders, wenn der Hauptstrom in eine Richtung geht und ein Außenstehender eine alternative Idee hat, aber seine Kollegen nicht wirklich davon überzeugen kann, dann bleibt es bei der Hauptrichtung.

    “Aber das wird vermutlich und leider nicht so schnell passieren.”

    In der Wissenschaft wird sich letztendlich immer das durchsetzen, was sich als gut herausstellt. Also wenn Deine Idee gut ist, dann wird es so kommen. Dann kann das 2 oder 50 Jahre dauern. Allerdings zweifle ich daran, dass es wirklich mehr Vorteile als Nachteile hat. Das soll nicht wieder eine Kritik an fehlende Details sein, aber letztendlich braucht es in jedem System Gutachter und Bewertungskriterien und jemanden, der das Ganze finanziert. Einen Schwachpunkt im System ist, dass man keine Garantie hat, dass nach der Einreichung überhaupt das Paper begutachtet wird. Weil wenn ich Dich richtig verstanden habe (aber ich liege da auch gerne falsch ;)), darf jeder Gutachter selbst entscheiden, was er bewerten will. D.h. es wird zahlreiche Papers geben, die jahrelang nicht bewertet werden und auf dem Server vor sich herdümpeln. Bei einer Zeitschrift hingegen hat man die Gewissheit, dass mind. 2 Gutachter in endlicher Zeit draufschauen.

    Mich würde da auch mal die die Meinungen der anderen Gutachter….. ähm User interessieren.

  29. #29 Bullet
    24. Juli 2018

    Ich nehme an, daß der Publikationsdruck daher rührt, daß Geldgeber (egal woher sie kommen) für das Geld auch Ergebnisse verlangen. Wie die dann aussehen und ob ein “wir konnten keinen Zusammenhang zwischen A und B feststellen” im Ernstfall als Ergebnis eines 35-Mio-€-Budgets vielleicht als “zu wenig” wahrgenommen wird, ist ja noch eine andere Frage. Aber ohne diesen Druck wäre ja genausogut denkbar, daß Geld für Forschung ausgegeben wird, aber (viel zu) lange gar keine Ergebnisse herauspurzeln. Da muß man kein Genie sein, um zu merken, daß da massiver Ärger droht.
    Cooler als reine Menge fänd ich, wenn es eine mehrschichtige Beurteilung der Arbeiten gäbe: beispielsweise methodische Akuratesse, Reproduzierbarkeit, Nähe zum Ausbildungsschwerpunkt und inhaltliche Richtigkeit mit jeweils einem bis sechs Sternen oder so. Die Frage wäre dann nur noch, wer das überprüft und bewertet und wie und ob sichergestellt ist, daß da niemand “gefälligkeitesbewertet”…
    Klar wäre aber, daß Herr Broers dann jedem/r Interessierten gleich so glaubwürdig vorgeführt wird, wie der Herr es verdient.

    Leider aber – das ist mir durchaus bewußt – ändert so etwas überhaupt nichts am System der Raubjournale. Die würden ihre Bewertungen dann einfach auswürfeln (und/oder gegen entsprechende Zahlungen die Würfelergebnisse, äh, “anpassen”) und gut is.

  30. #30 Adent
    24. Juli 2018

    Ich denke auch eher, dass das System sich von unten heraus ändern muss, also die Universitäten, Forschungsinstitute und Bibliotheken müssen Druck machen, dass a) nicht die Masse an Publikationen entscheidend ist sondern die Qualität (dazu muss es natürlich ein Bewertungssystem geben, das glaube ich keinem von uns im Moment so ganz klar ist) und b) kein Geld für teure Journale ausgegeben wird, so dass denen die Autoren und Leser ausgehen.
    Holland hat das mit Elsevier so gemacht und in den Verhandlungen Druck erzeugt indem sie drohten, sämtliche Zeitschriften und Online Abos landesweit zu kündigen oder einen deutlich reduzierten Preis zu bekommen. Das ist natürlich nur die Seite der Abonnenten, nicht der Autoren, aber ein Anfang. In Deutschland verhandeln gerade die Universitäten und Behörden etwas ähnliches mit Elsevier, bisher noch ohne Ergebnis.
    Um zu dem von Florian bevorzugten System zu kommen bräuchte man aber tatsächlich globale Strukturen (in welcher Form auch immer), dabei scheint mir entscheidend zu sein, wer seine Zeit opfert, um zumindest eine Art sinnvolles Review durchzuführen.
    Im jetzigen System ist es ja auch schon so, dass man nur die für einen selbst interessanten Artikel reviewed (4-5 pro Jahr), denn ein ordentliches Review in einem Themenbereich in dem man sich gut auskennt dauert mal eben eine Woche. Da könnte ich ansonsten kaum noch was anderes machen als Peer Reviews.

  31. #31 Florian Freistetter
    24. Juli 2018

    @Adent: “dabei scheint mir entscheidend zu sein, wer seine Zeit opfert, um zumindest eine Art sinnvolles Review durchzuführen.”

    Die gleichen Leute die es jetzt auch schon tun. Der Peer-Review wird ja von Wissenschaftlern durchgeführt; nicht von Verlagen. Und die Wissenschaftler kriegen für den Review auch kein Geld. Jeder der publiziert kriegt früher oder später auch Review-Anfragen. Das gehört zur normalen wissenschaftlichen Arbeit dazu.

  32. #32 Captain E.
    24. Juli 2018

    Und wie wird zurzeit und wie könnte zukünftig sichergestellt werden, dass die Reviewer nicht irgendetwas dahin schludern, weil sie keine Zeit, keine Lust oder weder das eine noch das andere nicht haben? Oder dass sich die Reviewer untereinander immer positiv bewerten? Jeder will schließlich irgendwann einmal selber begutachtet werden.

  33. #33 Adent
    24. Juli 2018

    @Florian
    Das ist mir klar, aber hast du schon mal z.B. für Frontiers in …. (gibt eine ganze Reihe) Peer Review gemacht?
    Frontiers ist free Open Access und verfolgt ein ähnliches Modell wie du es evtl. im Kopf hast, nur nehmen die auch Geld und das nicht zu knapp.
    Der Artikel wird eingereicht, Reviewer werden gesucht/gefunden, Peer Review findet statt und wird den Autoren zugesandt (zunächst noch ohne Namen der Reviewer, erst wenn der Artikel durch ist werden auch die Reviewer offen gelegt). Erste Runde, Bewertung durch die Peers mit Emfpehlung, Antwort der Autoren auf die Kritikpunkte, zweite Runde, erneute Bewertung durch die Peers, erneute Antwort der Autoren und das Ganze ad infinitum wenn die Autoren darauf bestehen Recht zu haben. Man kann dort nur schwerlich einen Artikel ablehnen als Reviewer, weil den Autoren bei jeder Begründung der Ablehnung die Möglichkeit gegeben wird Einspruch einzulegen (sozusagen). Ich hatte schon mal 5 Runden, dann hab ich mein Review genervt zurückgezogen (als dritter Reviewer, die anderen beiden hatten schon vorher aufgegeben). Das kostet extrem viel Zeit und Nerven.
    Also nehmen wir ein ähnliches System ohne Zahlugnen an, dann führt es entweder zu eine Art Diskussionsforum über das Paper (was bei manchen Papern sicherlich sinnvoll wäre, aber bei der erscheinenden Menge?) oder zu dem Frontiers-System, beides zeitaufwändig und unbezahlt.

  34. #34 Spritkopf
    24. Juli 2018

    @Adent
    Wenn es sich um diese Organisation handelt, dann scheinen sie nicht nur in deinem Beispiel sehr an der Veröffentlichung von Papers interessiert gewesen zu sein, bei denen Reviewers noch Bedenken hatten.

  35. #35 Adent
    24. Juli 2018

    @Spritkopf
    Ja, aber wie gesagt es gibt diverse Frontiers Schienen und zum Glück sind die im Link genannten beiden und ich glaube noch die astronomische (Florian?) Frontiers bisher die negativen Ausnahmen.
    Was ich sonst davon mitbekomme läuft es ordentlicher (siehe meine geschilderte Ausnahme, das lag aber an den Autoren nicht am Verlag).

  36. #36 Future99
    24. Juli 2018

    Denn fundamental bei jeder wissenschaftlichen Veröffentlichung ist die Qualitätskontrolle! Das, was man “peer review” nennt: Jede Veröffentlichung wird vorab von Experten geprüft und nur was methodisch vernünftig und seriös durchgeführt wurde, kann auch publiziert werden.

    Aber genau hier sehe ich einen weiteren Grund warum manche nach ‘alternativen’ suchen.
    Es scheint so als würde der Peer-Reviewer entscheiden ob ein Artikel veröffentlicht wird oder nicht. Was ein Problem darstellen kann, im Falle von ‘strittigen’ Weltanschauungen.

    Warum wurden zb. in den letzten Jahren soviele ‘String-Theorien’ veröffentlicht ?
    Eigentlich handelt es sich hierbei ja gar nicht um Theorien, sondern lediglich um vage Vermutungen, welche mittels Computersimulationen und Marketing zu einem ‘greifbar’ nahem Weltbild aufgepeppt wurden.

    Für mich hat hier das Peer-Reviewing (von anderer Seite her betrachtet) komplett versagt. So was darf nicht als ‘Theorie’ vermarkten.

    Wenn also von Seitens des Reviewers her ein Problem besteht, dann bleibt dem Wissenschafter ja gar nichts übrig als ‘ohne’ Review in einem alternativen Journal etwas zu veröffentlichen.

    Dieses Reviewer-Problem wird in dem Zusammenhang gar nicht erwähnt.

    Wer trifft letztendlich die Entscheidung ob ein Artikel veröffentlich wird oder nicht ? Der Reviewer ?, Das Journal selbst ?, Wer legt die Liste der Reviewer fest ? Wann und Wo werden diese abgehalten ? Muss der Reviewer eine Begründung für sein Urteil angeben ?
    Darf ein Artikel auch gegen das Urteil eines Reviewers veröffentlicht werden ? Gibt es Review-Protokolle welche für den Urheber einsichtlich sind ? Kann ein Einspruch erhoben werden ? Wer Urteilt im Streitfall ? uvm.

    mit freundlichen Grüßen,

  37. #37 Future99
    24. Juli 2018

    Noch einige Punkte hab ich vergessen:
    Wie schließt man befangenes handeln des Reviewers aus ? Werden die Reviews anonym durchgeführt ? Welche Personen müssen beim Review vorhanden sein (oder wird dieses vom Reviewer alleine durchgeführt ?) usw. usw.

  38. #38 Florian Freistetter
    24. Juli 2018

    @Future99: “Wer trifft letztendlich die Entscheidung ob ein Artikel veröffentlich wird oder nicht ? Der Reviewer ?, Das Journal selbst ?”

    Aktuell ist das der Editor, der beim Journal für den jeweiligen Artikel zuständig ist.

    “Wer legt die Liste der Reviewer fest ?”

    Ebenfalls der Editor des Journals.

    “Wann und Wo werden diese abgehalten ?”

    Was soll abgehalten werden? Die Frage verstehe ich nicht.

    “Muss der Reviewer eine Begründung für sein Urteil angeben ?”

    Selbstverständlich! Eine sehr ausführliche sogar.

    “Darf ein Artikel auch gegen das Urteil eines Reviewers veröffentlicht werden ?”

    Wenn der Editor das für angebracht hält, kann das durchaus passieren.

    “Gibt es Review-Protokolle welche für den Urheber einsichtlich sind ?”

    Jeder Autor sieht, was der Reviewer gemacht hat. Sonst könnte man ja die entsprechenden Korrekturen nicht anbringen.

    “Kann ein Einspruch erhoben werden ? Wer Urteilt im Streitfall ?”

    Man kann Einspruch erheben. Manchmal bringts was, manchmal nicht. Am Ende entscheidet das Journal.

    “Wenn also von Seitens des Reviewers her ein Problem besteht, dann bleibt dem Wissenschafter ja gar nichts übrig als ‘ohne’ Review in einem alternativen Journal etwas zu veröffentlichen. “

    Oder man könnte zu dem Schluss kommen, dass das Problem zu Recht besteht, es korrigieren und dann veröffentlichen. Das ist eigentlich der Sinn der ganzen Sache. Das sich die Wissenschaftler gegenseitig überprüfen…

    “Wie schließt man befangenes handeln des Reviewers aus ? “

    In dem der Editor darauf achtet, vernünftige Leute auszuwählen (keine Kollegen, etc). Sehr oft gibt es die Möglichkeit für die Autoren, entsprechende Leute zu nennen, die befangen sind und nicht gutachten sollten. Und idealerweise sollten sich Reviewer auch selbst für befangen erklären, wenn das der Fall ist.

    “Werden die Reviews anonym durchgeführt ?”

    I.A. ja. Je nach Journal kann man sich als Reviewer aber auch erkenntlich geben bzw. nach dem Review werden die Namen offen gelegt.

    ” Welche Personen müssen beim Review vorhanden sein (oder wird dieses vom Reviewer alleine durchgeführt ?) “

    Hmm? Wie “vorhanden sein”? Das ist keine öffentliche “Veranstaltung” bei der man zuschauen kann o.ä. Der Reviewer kriegt das paper zugeschickt, mit der Bitte, das doch in den nächsten X Wochen zu begutachten. Und das macht der Reviewer dann halt. Oder auch nicht, wenn er keine Zeit/Lust hat. Dann sucht der Editor nen anderen Reviewer. Pro paper werden auch immer mindestens 2-3 Reviewer ausgewählt; je nach Journal oder Thema (zB bei sehr umstrittenen Ergebnissen) auch mal mehr.

  39. #39 shader
    24. Juli 2018

    @Florian Freistetter, ich vermute mal, dass die Motivation, für ein angesehenes Journal Review-Gutachten zu schreiben, durchaus größer ist, als wenn man sich in einem offenen Server beteiligt, wo alle möglichen Papers eingereicht werden.

    Im übrigen gibt es durchaus vereinzelt die Forderung, Gutachten zu vergüten. U.a. hat man festgestellt, dass die Gutachten dann auch früher fertig sind. –> https://www.zeit.de/2016/32/gutachten-peer-review-verfahren-verbesserung

    Vermutlich besagt die reine Lehre, dass Wissenschaftler zusätzliche Arbeit für die Wissenschaft unentgeltlich machen sollen. Schließlich werden Wissenschaftler durch eine intrinsische Motivation angetrieben. Aber mir ist das manchmal zu sehr Elfenbeinturmdenken, wenn man glaubt, dass man ohne Geld neue Strukturen in der Wissenschaft etablieren kann. Wissenschaftler im öffentlichen Dienst bekommen teilweise so viel Arbeit aufgedrückt, dass man nicht mehr von der Einhaltung der 10-Stunden-Regelung nach Arbeitszeitgesetz sprechen kann. Zudem, Reviewer sind selbst forschende Wissenschaftler und könnten die Zeit für ihre eigene Zeit gut gebrauchen. Wenn die Veröffentlichung und Qualitätssicherung in der Wissenschaft ein so wichtiges Gut ist, dann kann man es nicht zum Nulltarif erwarten. Ist meine Meinung.

  40. #40 Florian Freistetter
    24. Juli 2018

    @shader: ” ich vermute mal, dass die Motivation, für ein angesehenes Journal Review-Gutachten zu schreiben, durchaus größer ist, als wenn man sich in einem offenen Server beteiligt, wo alle möglichen Papers eingereicht werden. “

    Meiner Erfahrung nach reißen sich die Leute nicht unbedingt darum, Reviews zu schreiben. Das ist Arbeit und man wird dafür iA nicht belohnt. Man kriegt kein Geld und da die Reviews iA anonym stattfinden und sie außer den Autoren und den Editoren beim Journal niemand zu Gesicht bekommt, gewinnt man auch kein sonderliches Ansehen dadurch. Das wäre anders, wenn Reviews öffentlich wären. Das wäre schon mal ein erster Schritt: Bei jedem Paper sollten auch die Reviews öffentlich sein. Das ist gut für die Leser, die schauen können, was ursprünglich gemeckert wurden und ob die Autoren das auch wirklich vernünftig korrigiert haben. Es ist gut für die Reviewer, die mit guten Reviews dann auch Ansehen gewinnen.

    “Im übrigen gibt es durchaus vereinzelt die Forderung, Gutachten zu vergüten”

    Hätt ich nichts dagegen (zumindest im aktuellen System). Noch besser aber wäre es, den Peer-Review entsprechend in die Arbeitszeit einzupreisen. So wie ja auch jetzt schon in den meisten Verträgen festgelegt ist, das man X Stunden pro Woche Lehre machen muss und X Stunden Forschung, kann man ja auch noch X Stunden Review angeben. Dann wäre das “offiziell” und die Leute müssen sich die Zeit für den Review nicht mehr von der Forschung abknapsen; wären schneller fertig und wenn das auch noch öffentlich stattfindet, hätte man sogar noch etwas, was man entsprechend im CV etc angeben kann.

    Eine reine Bezahlung per Review würde jede Menge weitere potentielle Probleme mit sich bringen. Leute, die dann möglichst viele Reviews raushauen (mit entsprechend geringer Sorgfalt), um möglichst viel Geld zu verdienen zum Beispiel. Editoren, die Reviewer bevorzogen um ihnen so Geld zukommen zu lassen. Und so weiter.

  41. #41 shader
    24. Juli 2018

    “Eine reine Bezahlung per Review würde jede Menge weitere potentielle Probleme mit sich bringen. Leute, die dann möglichst viele Reviews raushauen (mit entsprechend geringer Sorgfalt), um möglichst viel Geld zu verdienen zum Beispiel.”

    Da bestände zumindest die Möglichkeit, eine Obergrenze für Reviews pro Jahr festzulegen. Es würde die Belastung auch auf mehr Schultern zu verteilen, was der Sache vermutlich auch gut tun würde.

  42. #42 mimimi
    24. Juli 2018

    @Adent und Spritkopf (#33-35)
    Kurz zum Thema Frontiers: Man kann nicht abstreiten, dass die ein Interesse daran haben, möglichst viel zu veröffentlichen. Aber gerade dieses System, dass die Autoren immer auf die Reviewer antworten können und Manuskripte nicht einfach ohne Einspruchmöglichkeit oder wegen “nicht interessant genug” von vorneherein abgelehnt werden (wie das bei so vielen “großen” Journals ist), finde ich ein gute Sache. Klar, dann kann das mehrmals hin und her gehen, was anstrengend sein kann. Habe ich selbst als Reviewer dort miterlebt. Aber letztendlich ist das dann die Entscheidung des Editors, das Ganze irgendwann zu beenden. Auch dies kenne ich aus der Sichtweise des Editors bei Frontiers. Meine “Ablehnungsquote” liegt bei ~30%, alleine basierend auf ablehnenden Reviewer-Kommentaren oder weil die Autoren es eingesehen haben und das Manuskript zurückgezogen haben. NIE hat irgendwer vom Verlag da reingequatscht (wie das ja in dem Link beschrieben wurde).
    Bei Frontiers werden übrigens die Reviewer nach der Veröffentlichung publik gemacht (aber nicht die Reviews). Hat den Vorteil, dass man vielleicht sachlicher und höflicher reviewed, wenn man weiß, dass der Name später erscheint. Hat vielleicht aber auch den Nachteil, dass man zu positiv ist, da man sich dann vielleicht in Zukunft auch ein positiven Review von den Autoren “erkauft” oder man nicht zu negativ sein will, weil man sonst eine zukünftige “Revanche” befürchtet.

  43. #43 mimimi
    24. Juli 2018

    @Florian
    Ein klein bisschen Ansehen bekommt man durch Reviews schon. Allerdings eher, wenn man bei den angesehenen Journals reviewed. Man gehört dann zum Einen zu einem “angesehenen, erlauchten” Kreis, der dort reviewen darf, der von den Editoren (meist angesehene Leute) für “würdig” betrachtet wird. Also Ansehen in einem kleinen Kreis und gut fürs eigene Ego. 😉 Und man hat das Gefühl, bei den potenziell großen Papers mitbestimmen zu können. Das ist bei den kleineren Journals meist nicht gegeben. Deshalb reißen sich die Leute schon darum, Reviewer bei einem sehr angesehenen Journal zu sein, aber nicht bei kleineren, unbedeuteren.
    Und es gibt auch Journals, die einmal pro Jahr eine Liste aller Reviewer des letzten Jahres veröffentlichen oder Systeme (z.B. Orcid), die deinen Review-Beitrag für einige Journals speichern. Ist dann eher die Frage, ob das irgendwer mitbekommt.

  44. #44 adent
    24. Juli 2018

    @mimimi #43
    Kann ich so voll und ganz bestätigen, es gab ein mal ein Problem mit dem Editor (das du ansprachst und das zu den X-Runden führte, der wollte das Paper irgendwie haben, alle Reviewer aber nicht), ansonsten eher positive Erfahrungen.

  45. #45 Future99
    25. Juli 2018

    @Florian Freistetter:
    “Wann und Wo werden diese abgehalten ?”
    FF: Was soll abgehalten werden? Die Frage verstehe ich nicht.

    A: Müssen Reviews an einem bestimmten Ort (Universität, Labor, Konferenzraum) durchgeführt werden.

    ” Welche Personen müssen beim Review vorhanden sein (oder wird dieses vom Reviewer alleine durchgeführt ?) “
    FF: Hmm? Wie “vorhanden sein”? Das ist keine öffentliche “Veranstaltung” bei der man zuschauen kann o.ä. Der Reviewer kriegt das paper zugeschickt, mit der Bitte, das doch in den nächsten X Wochen zu begutachten.

    A: Naja, ob “Urheber”, “Reviewer”, “Editor” und “Moderator” zu gegen sein müssen.

    Im allgemeinen klingt der Rest für mich so, als hätte das Journal bzw. der Editor selbst sehr viel Macht in dieser Sache. Könnte ein Grund sein, warum Wissenschafter nach alternativen Journalen suchen.

    @mimimi – Zitat:
    Man gehört dann zum Einen zu einem “angesehenen, erlauchten” Kreis, der dort reviewen darf, der von den Editoren (meist angesehene Leute) für “würdig” betrachtet wird.
    A: Klingt für mich ein bischen nach “Freunderlwirtschafterei”, “Postenschacher” oder “Eingesessenen”.

  46. #46 Future99
    25. Juli 2018

    Provokative Frage an die Review in diesem Forum.
    Warum dürfen “String-Hypothesen”, GUTs, TOEs als “Theorien” veröffentlicht werden ?

    Eigentlich ist das nicht korrekt Hypothesen derartig nach aussen zu tragen.

  47. #47 Florian Freistetter
    25. Juli 2018

    @Future99: “Müssen Reviews an einem bestimmten Ort (Universität, Labor, Konferenzraum) durchgeführt werden.”

    Nein?? Warum? Wie gesagt: Du kriegst ein paper zugeschickt, liest es und schreibst dem Journal deine Meinung dazu.

    P.S. Deine String-Aversion gehört hier nicht zum Thema; die kann anderswo diskutiert werden.

  48. #48 tomtoo
    25. Juli 2018

    @Future99
    Evtl. liegt es einfach daran das man auch den Versuch des erklimmen eines Berges, das fachmännisch durchgeführt wird, als Bergsteigen bezeichnet. Und nicht nur das erreichen des Gipfels.

  49. […] Freistetter in ScienceBlogs discusses the dysfunctionality of the current scholarly journal […]

  50. #50 Oliver Müller
    29. Juli 2018

    @Florian

    Die Fragen, die hier in der Kommentarspalten auftreten, zeigen, dass du einen Artikel über das peer-review System schreiben solltest. 🙂
    Das ganze ist ja ein sehr spannendes Thema und gibt den Interessierten hier einen Einblick in einen essenziellen Teil der Wissenschaft, welcher nur selten Erwähnung findet, aber was genau die Wissenschaft ausmacht.

  51. #51 H.M.Voynich
    30. Juli 2018

    Ich träume mal ein bisschen:
    Die Begutachtung müsste durch die Universitäten selbst erfolgen. Nicht durch die eigene, sondern möglichst viele andere, weltweit.
    Man stellt eine Arbeit in ein gemeinsames Netzwerk, jede Uni kann sie begutachten, Anmerkungen machen, Rücksprache mit dem Autor halten, was er nacharbeiten müsste, und sie am Ende bei Gefallen auf ihrer eigenen Seite mit einem “approved-by”-Siegel veröffentlichen – mit Kommentarspalte, in der auch nach Veröffentlichung noch die Mängel diskutiert werden können.
    Um so mehr Universitäten diese Arbeit als wert befinden, in die eigene Bibliothek einzugehen, um so mehr vertrauen kann ich als Leser dann in diese Arbeit haben.
    Das heißt aber auch, auf den Begutachtungsprozess würden viel mehr Mannstunden entfallen, die entsprechend honoriert werden müssten. Aber jeder Wissenschaftler könnte sich dann auch aussuchen, bei welcher Arbeit er beim Review-Prozeß beitragen möchte.
    Anders gesagt: veröffentlicht wird erstmal alles, aber es wird nicht einmalig von einem Verlag entschieden, ob die Arbeit den Qualitätsstandard einhält, sondern in einem ständigen Prozeß von beliebig vielen Lesern.
    Im Prinzip müßten die Unis nur Personal zur Verfügung stellen, das arXiv nach Arbeiten durchforstet, die es wert sind (nach eventueller Überarbeitung) ins Archiv der Uni übernommen zu werden. Und wenn sich später herausstellt, das die Arbeit doch Mist war (siehe Sokal-Affäre), kann sie auch wieder entfernt werden.
    Als Leser müsste ich nur noch schauen, wieviele (und welche) Institute eine Arbeit hosten, oder ob sie womöglich bei manchen schon wieder gelöscht wurde, um ihre Qualität abschätzen zu können.
    Keine Zusatzkosten für die Autoren, keine Kosten für den Leser, angemessene Honorierung der Gutachter (nicht unbedingt finanziell, sondern vielleicht gleichrangig zum Veröffentlichungsindex oder darin einfließend). Aus dem binären “Hat veröffentlicht oder nicht” wird ein viel aussagekräftigeres “Arbeit wurde von xyz Instituten akzeptiert”, die auch namentlich bekannt sind, wodurch ich als Leser mir wiederum ein Bild über die Ernsthaftigkeit dieser Institutionen machen kann.

    “A man can dream though …”

  52. #52 H.M.Voynich
    30. Juli 2018

    Um mal eine Analogie zu benutzen: der Wert einer Währung beruht auf dem Vertrauen, das man in sie haben kann.
    Das (steigende) Vertrauen in die Währung Bitcoin braucht notwendig zwei Faktoren: Quelloffenheit und Dezentralisierung.

  53. #53 Florian Freistetter
    30. Juli 2018

    @Oliver: in der verlinkten ausführlichen Serie hab ich das eigentlich getan.

  54. #54 Horatio
    Wien
    3. August 2018

    Das profil widmet seine Titelgeschichte der Entgegnung. Die ganze Sache sei aufgeblasen und in der Branche längst ein alter Hut und das Label “Fake Science” problematisch.
    https://www.profil.at/wissenschaft/titelgeschichte-streitschrift-wissenschaft-10241830

  55. #55 Frank Hill
    Jena
    7. August 2018

    Mir (als selbst publizierender Naturwissenschaftler und als Gutachter für mehrere -durchaus namhafte und honorige- Journale) stößt die Diskussion um die sog. “Raubjournale” recht unangenehm auf.

    Das fängt bei der Begriffswahl an: “Raubjournal” assoziiert den Begriff “Raubdruck”, also die unautorisierte (und in der Regel unhonorierte) Verbreitung fremden geistigen Eigentums. Das ist allerdings bei den sog. “Raubjournalen” nicht gegeben, sie veröffentlichen –wie die „seriösen“ Journale- originäres geistiges Eigentum ihrer Autoren. Die tatsächliche Qualität, d.h. wie viel “Geist” tatsächlich im “geistigen Eigentum” steckt, ist eine andere Baustelle, hat aber mit “Raub” (bekanntlich definiert als „Eigentumsdelikt mit Gewaltanwendung“) nichts zu tun.
    Angemessener wäre daher wohl der neutrale Ausdruck “Druckkostenjournale”- wie es ja auch “Druckkostenverlage” gibt, in denen jeder seine Weltbeglückungs- oder -untergangsphantasien, seine Forschungen zur prähistorischen Alieninvasion oder seine tief empfunden Liebesgedichte gegen gutes Bares auf Papier (wahlweise: in bits und bytes) ergießen und der Menschheit zur Kenntnis geben kann. (Ob die Menschheit davon jedoch groß Kenntnis nehmen möchte, sei dahingestellt. Zum Glück gibt es keine Lesepflicht….)

    Zudem sind Druckkostenjournale eine –wie ich finde- durchaus adäquate Antwort auf ostasiatische Publikationspraktiken einer- und Wildwuchs beim „peer reviewing“ andererseits. Es ist bekannt, dass sich (auch und besonders im naturwissenschaftlich- technischem Bereich) in den letzten Jahren speziell in China Journale etabliert haben, die von chinesischen Autoren auch (IMHO: vorwiegend) paper recht geringer Qualität, was Neuheitsgrad und Substanz anbetrifft, veröffentlichen. Ob und wie diese Journale peer-reviewed werden entzieht sich meiner Kenntnis. Es ist jedoch bemerkenswert, dass chinesische Autoren vermehrt auch bei Publikationen in „seriösen“ Journalen diese Quellen zitieren, die dadurch peu a peu zu einer Reputation (impact factor) gelangen, die ihnen auf Grund der Qualität der in ihnen publizierten paper eigentlich nicht zusteht. Einerseits.

    Andererseits ist man als reviewer auch bei etablierten und renommierten Journalen immer öfter damit konfrontiert, dass man sehr schlechte paper (auch hier meist von rein asiatischen Autoren) zur Begutachtung vorgelegt bekommt. Man kann sie ablehnen, klar, aber das muss man begründen. Das macht Arbeit, manchmal viel Arbeit. Dann werden von den Autoren genau die beanstandeten Stellen formal geändert und das paper wieder eingesandt. Es ist zwar nicht besser geworden, aber anders schlecht. The next way round…. Kommen sie damit bei einem Journal nicht durch, versuchen sie es beim nächsten- bis sie irgendwann einen Gutachter finden, der aus Gefälligkeit oder Überdruss sein placet gibt. Es ist sehr frustrierend, wenn man ein paper, in das man ein Wochenende Arbeit gesteckt hat und das man dann doch ablehnen musste (weil die Autoren nicht begriffen haben oder begreifen wollen, warum ihr paper in der Form bullshit ist) genau so ein paar Monate später in einem anderen Journal lesen muss.

    Es scheint auch, dass die bekannten Probleme des peer review- Prozesses (Publikationskartelle, Verzögerung der Veröffentlichung, wenn der Gutachter selbst an ähnlichen Projekten arbeitet, bis hin zum blanken Ideendiebstahl), die es auch und gerade für den seriös arbeitenden und publizierenden Wissenschaftler immer schon gab, nicht unbedingt abnehmen, wenn zunehmend asiatische Kollegen in diesen Prozess eingebunden werden. Da sind Druckkostenjournale von Vorteil, sie veröffentlich alles und so schnell, dass Prioritätsprobleme und Ideenklau kaum auftreten können.

    Also: Bitte den Ball flach halten. So lange die derzeitigen Mißstände im Publikationswesen (von „publish or perish“ über den impact-Wahn bis hin zur Preispolitik der großen Verlage) nicht beseitigt sind, haben Druckkostenjournale ihre Berechtigung. Übrigens: Einsteins Relativitätstheorie* wäre auch nicht dadurch falsch oder diskussionsunwürdig geworden, hätte er sie Xenien Verlag und nicht im Johann Ambrosius Barth Verlag (beide Leipzig) veröffentlicht….

    *(A. Einstein,”Über die Elektrodynamik bewegter Körper”, Ann. d. Phys., Bd. 17, p 891-921)

  56. […] Freistetter in ScienceBlogs diskutiert die Dysfunktionalität des aktuellen […]

  57. #57 Metalgeorge
    14. August 2018

    insbesondere zum ARD Beitrag @FF #20
    Jeden Tag taucht in den Medien zig mal der Zusatz
    …laut wissenschaftlichen Studien…
    …wissenschaftlichen Untersuchungen belegen…auf,
    um der Kernaussage des Beitrags den Anschein des faktischen
    und seriösen zu geben.
    Siehe auch Aussagen der AfD zur Klimaforschung.

    Wenn der Begriff wissenschaftlich aber nichts mehr zählt,
    kann doch im Endeffekt jedes Unternehmen, jede Partei , jede Regierung diesen Begriff verwenden, um ihre Zielgruppen für dumm zu verkaufen.
    Da für den Normalbürger hinter diesem Begriff immer noch die Bedeutung :
    das ist Fakt steht.
    Könnte man nicht irgendein Prüfsiegel oder ein anderes Wort für wissenschaftlich prägen oder einen Zusatz wie PRV, (peer review) , der sicherstellt , dass diese Studie auch diesen Prozess durchlaufen hat. Alle die diesen Zusatz verwenden ohne dass sie ihn erworben haben, müssten dann mit empfindlichen Strafen belegt werden können.
    Eine Art UNO der Wissenschaften.
    Ich weiss, dass das alles utopisch klingt und ziemlich weit hergeholt ist.
    Aber wenn es der Erhaltung des wrklichen Wissens dient…:)

  58. […] Freistetter in ScienceBlogs discusses the dysfunctionality of the current scholarly journal […]