Das ganze System der naturwissenschaftlichen Fachpublikationen ist im Arsch! Ja, jetzt regen sich wieder einige darüber auf, dass ich das Wort “Arsch” verwendet habe. Aber es beschreibt die Sachlage absolut treffend und wer sich unbedingt aufregen will, sollte sich lieber über die Verlage wissenschaftlicher Fachzeitschriften, Impact-Faktoren & Co aufregen. Denn genau die sind das Problem! Ich habe über all das schon in vielen früheren Artikeln geschrieben. Aber weil das Thema immer noch aktuell ist und weil ich alles einmal gesammelt aufschreiben wollte, tue ich das hier.

Zwei wichtige Aufgaben

Man muss bei der Angelegenheit zwei verschiedene Aspekte unterscheiden. Die Publikation wissenschaftlicher Ergebnisse soll zwei grundsätzliche Aufgaben erfüllen:

  • 1) Wissenschaftler wollen die Ergebnisse ihrer Arbeit öffentlich machen und der wissenschaftlichen Community mitteilen.
  • 2) Die Öffentlichkeit will sich über die Ergebnisse wissenschaftlicher Forschung informieren können.
Alles kaputt!!

Alles kaputt!!

Beide Aufgaben sind wichtig. Der erste Punkt ist vor allem für die Wissenschaftler selbst von Bedeutung. Man forscht, um etwas über die Welt herauszufinden. Und wenn man das getan hat, will man dem Rest der Welt davon erzählen. Man muss es aber auch tun. Denn wenn man in der Wissenschaft Karriere machen will, muss man sich und seine Arbeit irgendwie präsentieren. Genau dazu dienen heute die Artikel, die in wissenschaftlichen Fachzeitschriften veröffentlicht werden. Sie belegen, was ein Wissenschaftler kann und geleistet hat. Sie stellen quasi den Wert der wissenschaftlichen Karriere dar. Man kann es sich nicht leisten, nicht zu publizieren. Gleichzeitig hat aber auch die Öffentlichkeit ein Interesse, die Ergebnisse der Wissenschaft zu sehen. Und auch wenn das nicht unbedingt die Fachartikel selbst sein müssen, sind sie doch die Grundlage jeder seriösen Wissenschaftskommunikation, die zwischen Forschung und Öffentlichkeit steht. Es braucht also auch hier einen Weg, um die Ergebnisse auf irgendeine Art und Weise öffentlich zu machen.

Der Impact-Faktor

Momentan läuft die Sache so. Wissenschaftler forschen und gelangen zu einem Ergebnis. Sie verfassen einen Fachaufsatz über ihre Forschungsarbeit. Dieser Aufsatz wird an eine Fachzeitschrift geschickt und auf die Einhaltung der wissenschaftlichen Methodik geprüft. Nach eventuellen Korrekturen wird der Artikel dann veröffentlicht und kann von allen interessierten Personen (im Allgemeinen gegen eine Gebühr) gelesen werden. Das klingt nach einem einigermaßen guten System. Eigentlich nach einem ziemlich offensichtlichen System. Und das ist es auch – aber nur, wenn man die Details ignoriert. Denn die zeigen, wie massiv dieses System mittlerweile an den Bedürfnissen (fast) aller Beteiligten vorbei funktioniert – bzw. nicht funktioniert.

Fangen wir mit Punkt 1) an. Wissenschaftler wollen ihre Ergebnisse veröffentlichen. Nur wenn sie ausreichend viele, ausreichend gute Ergebnisse vorweisen können, haben sie eine Chance, in der Welt der Wissenschaft Karriere zu machen. Die Publikationsliste ist die Grundlage jeder Stellenbewerbung und jedes Förderantrags. Daran ist kaum etwas auszusetzen (höchstens, dass die Publikationsliste oft auch das einzige Kriterium ist). Aber man muss sich die Frage stellen, was in diesem Fall als “gutes Ergebnis” gilt. In der aktuellen Praxis wird das nämlich viel zu oft mit “eine Publikation in einer guten Fachzeitschrift” gleichgesetzt. Und was ist eine “gute” Fachzeitschrift? Eine mit einem hohen Impact Factor.

Und genau da steckt das Problem! Der Impact Factor ist eine Kennzahl, die im wesentlichen aussagt, wie oft Artikel einer bestimmten Fachzeitschrift in anderen Artikeln zitiert werden. Hat eine Fachzeitschrift einen hohen Impact Factor, dann werden die dort publizierten Texte sehr oft von anderen Forschern referenziert. Wenn sie aber oft zitiert werden, dann – so die Annahme – müssen sie auch wichtig sein und je mehr wichtige Artikel in einer Zeitschrift veröffentlicht werden, desto wichtiger die Zeitschrift selbst.

Die einzigen wichtigen Impacts sind die bei denen Krater entstehen! (Bild: NASA)

Die einzigen wichtigen Impacts sind die bei denen Krater entstehen! (Bild: NASA)

Man muss genau hinsehen, um das Problem zu identifizieren. Ein Beispiel: Im Jahr 2017 hatte die Fachzeitschrift Celestial Dynamics and Dynamical Astronomy (CMDA) (eine Zeitschrift speziell für Ergebnisse aus der Himmelsmechanik) einen Impact Factor von 1,58. Die Fachzeitschrift “Nature” (in der nicht nur Astronomie sondern alle Naturwissenschaften publiziert werden) dagegen hat dagegen einen Impact Factor von 40,14. Ist also ein Artikel dort wirklich mehr als 25 mal “wichtiger” als einer in CMDA? Diese Frage macht keinen Sinn. Wer an Himmelsmechanik und dynamischer Astronomie interessiert ist, wird einen Artikel in CMDA unter Umständen als deutlich relevanter empfinden als einen Artikel in Nature, der nicht einmal etwas mit Astronomie zu tun hat. Die wissenschaftliche Bedeutung eines Textes lässt sich nicht an einer einzigen Zahl ablesen. Doch genau das passiert in der Praxis ständig.

Die Zeit der Zeitschriften ist schon lange vorbei

Früher hat das noch mehr Sinn gemacht. Früher konnte man die Fachartikel tatsächlich nur lesen, wenn man die entsprechende gedruckte Zeitschrift physisch in der Hand hielt. Es war unmöglich, alle Fachzeitschriften zu überblicken und auf relevante Artikel zu prüfen. Man musste sich auf die Vorauswahl der Zeitschriften verlassen. Und eine “wichtige” Zeitschrift war die, die Artikel enthielt, die möglichst viele Leute interessierten. Wenn man also etwas publizieren wollte, das möglichst viele Leute erreichen sollte, wählte man daher genau diese “wichtige” Zeitschrift.

Dieses System ist aber mittlerweile längst überholt. Kein Mensch liest mehr gedruckte Fachzeitschriften! Alle (Wissenschaftshistoriker vielleicht ausgenommen) nutzen bei ihrer Literaturrecherche entsprechende Datenbanken, suchen sich das, was relevant ist, per (Volltext)Suchformular und greifen online auf die Texte zu. Und wenn ich einen Suchbegriff in irgendeiner Datenbank eingebe, kriege ich die Ergebnisse geliefert, ganz egal ob der entsprechende Artikel in einer “wichtigen” oder “unwichtigen” Zeitschrift publiziert worden ist.

Man braucht keine Zeitschriften mehr, die eine Relevanz-Vorauswahl treffen, weil man heute alles was da ist, nach den jeweils eigenen Kriterien durchsuchen kann. Die Sache mit dem Impact-Faktor ist zum Selbstzweck geworden. Warum feiern Wissenschaftler überall auf der Welt die Publikation eines Artikels in Nature so, wie andere den Abschluss des Studiums oder eine Beförderung im Job? Weil alle in Nature publizieren wollen und deswegen der Großteil der dort eingereichten Artikel abgelehnt wird. Umso größer also auch die Freude, es doch geschafft zu haben. Und warum wollen alle in Nature publizieren? Weil Nature den größten Impact-Faktor hat. Und warum hat Natur den größten Impact-Faktor? Weil alle dort publizieren wollen und Nature es sich deswegen leisten kann, nur die Artikel abzudrucken, von denen es sich die meisten Zitate verspricht, die dann wieder den Impact-Faktor erhöhen. Oder anders gesagt: Nature hat den höchsten Impact-Faktor weil Nature den höchsten Impact-Faktor hat und alle wollen in Nature publizieren weil alle in Nature publizieren wollen.

Die Karriere hängt an einer einzigen Zahl

Der Impact-Faktor-Fetischismus hat mittlerweile das gesamte Publikationssystem korrumpiert. Und kann ganze Karriere zerstören oder erst entstehen lassen. Budgets an Universitäten werden anhand von Impact-Faktoren vergeben – so war es zum Beispiel an der Uni Jena als ich dort gearbeitet habe. Die Institute, deren Mitarbeiter die meisten Artikel in Zeitschriften mit hohem Impact-Faktor untergebracht hatten, bekamen am meisten Geld. Und wer sich irgendwo um eine Post-Doc-Stelle oder Professur bewirbt, sollte besser möglichst viele Artikel in “wichtigen” Zeitschriften in der Publikationsliste stehen haben.

Das ist genau das was passiert, wenn man den Inhalt eines wissenschaftlichen Fachartikels auf eine einzige Zahl reduziert: Sie wird benutzt! Denn es ist ja auch so schön einfach. Ich will wissen, ob der Artikel “gut” oder “schlecht” ist; ob er “seriös” oder “unseriös” ist? Dann schaue ich einfach wie “wichtig” die Zeitschrift ist und je wichtiger, desto besser oder seriöser muss er sein. Ich will wissen, ob die Person die sich um eine Stelle bewirbt, gut oder schlecht geeignet ist? Dann schaue ich einfach auf die Impact-Faktoren der Publikationsliste! Es ist eine große Verlockung, die mühsame Beurteilung wissenschaftlicher Leistungen durch den Blick auf eine einzige Zahl zu ersetzen und dieser Verlockung ist das wissenschaftliche System erlegen.

Es gibt jede Menge wichtige Zahlen. Der Impact-Faktor gehört nicht dazu. (Bild: Public domain)

Es gibt jede Menge wichtige Zahlen. Der Impact-Faktor gehört nicht dazu. (Bild: Public domain)

Dabei sind die Probleme mit dem Impact-Faktor offensichtlich. Sieht man sich eine Liste mit Impact-Faktoren astronomischer Zeitschriften an, dann stehen dort ganz oben nur Zeitschriften, die “Reviews” veröffentlichen. Also Übersichtsartikel, in denen bisherige wissenschaftliche Forschung zusammengefasst und eingeordnet wird. Das ist selbstverständlich absolut relevant und wichtig. Aber es sind ebenso selbstverständlich auch genau die Artikel, die besonders oft zitiert werden. Deswegen sind sie aber nicht weniger “wichtig” als andere Forschungsartikel, die keine Reviews sind.

Alternativen zum Impact-Faktor

Der Impact-Faktor hat noch weitere Schwächen: Er führt dazu, dass Wissenschaftler Ergebnisse, die eigentlich in einem Artikel veröffentlicht werden könnten in mehreren Artikeln publizieren. Je mehr Artikel, desto mehr Zitate. Er führt zu – den Regeln guter wissenschaftlicher Praxis widersprechender – “Zitierkreisen”, wo sich Forscher(gruppen) wechselseitig zitieren, um den Impact-Faktor in die Höhe zu treiben. Und so weiter.
Deswegen hat man sich auch immer wieder Gedanken über Alternativen gemacht. Am populärsten ist vermutlich der h-Index (bzw. Hirschfaktor). Diese Zahl gibt die größtmögliche Anzahl der Publikationen eines Wissenschaftlers an, die mindestens h-mal zitiert worden ist. Oder anders gesagt: Sind 10 meiner Artikel alle mindestens 10 mal zitiert worden, ist mein h-Index gleich 10. Habe ich 11 Artikel, die mindestens 11 mal zitiert worden sind, beträgt mein h-Index 11. Für einen h-Index von 12 muss ich 12 Artikel publiziert haben, die alle mindestens 12 Mal zitiert worden sind. Und so weiter.

Diese Zahl ist insofern eine Verbesserung, als sie Ausreißer ignoriert. Habe ich zum Beispiel einen Artikel, der 500 mal zitiert worden ist, hätte ich auch einen entsprechend hohen Impact-Faktor. Wenn ich ansonsten aber nur zwei weitere Artikel publiziert, die je zweimal zitiert worden sind, beträgt mein h-Index trotzdem nur 2. Aber auch der h-Index hat so seine Probleme. Der h-Index hängt noch viel stärker als der Impact-Faktor von der Güte und Vollständigkeit der benutzten Datenbank ab. Und ganz massiv von den Gepflogenheiten der jeweiligen Fachdisziplin.

Wenn man in der Astronomie zum Beispiel in der Beobachtung arbeitet, wird man viele Artikel publizieren, die Beobachtungsdaten veröffentlichen. Mit solchen Daten kann man nicht nur selbst arbeiten und daraus weitere Ergebnisse ableiten. Auch viele andere Wissenschaftler die auf anderen Gebieten arbeiten, können die Daten nutzen und eigene Analysen durchführen und eigene Ergebnisse publizieren. Dabei werden sie jedes Mal den ursprünglichen Artikel zitieren, aus dem die Beobachtungsdaten stammen. So sammelt man als Beobachter viele Zitate für jeden Artikel und erreicht einen hohen h-Index. Arbeitet man dagegen in der Theorie, dann werden nur Leute die eigenen Forschungsergebnisse zitieren, die auch wirklich im gleichen Forschungsfeld arbeiten. Es gibt weniger Zitate und einen niedrigeren h-Index. Das bedeutet nicht, dass die Beobachtung “wichtiger” ist als die Theorie (und auch nicht das Gegenteil). Beide Disziplinen sind wichtig und jede Art der Publikation potentiell wertvoll. Der h-Index ist eben nicht geeignet, die unterschiedliche Arbeitsweise wiederzugeben.

Die Lösung: Kennzahlen abschaffen

Es gibt eine einfache Lösung für das ganze Problem. Man muss den Unsinn mit den Impact-Faktoren und Kennzahlen einfach bleiben lassen. Das sollte eigentlich auch offensichtlich erscheinen. Wissenschaft ist komplex. Es ist schlicht und einfach nicht möglich, die Bedeutung einer Forschungsarbeit durch eine einzige Zahl zu charakterisieren. Denn ist ja nicht einmal möglich einwandfrei zu definieren, was “Bedeutung” in diesem Zusammenhang meinen soll. Was in der einen Situation völlig irrelevante Forschung ist, ist in einer anderen von höchster Wichtigkeit. Forschung wird nicht besser, nur weil sie in einer “besseren” Zeitschrift veröffentlicht worden ist. Ganz im Gegenteil: Es ist schon lange bekannt, das umso mehr Fachartikel aufgrund von Fehlern zurück gezogen werden müssen, je größer der Impact-Faktor der entsprechenden Zeitschrift ist. Wer immer auf der Suche nach möglichst spektakulären Ergebnissen ist, die oft zitiert werden, wird dabei auch viel häufiger Artikel erwischen, die so nah am Rand des gesicherten Wissens arbeiten, dass sich die Ergebnisse später oft als falsch herausstellen (bzw. motiviert Wissenschaftler, ihre Ergebnisse per Manipulation schlicht und einfach spektakulärer zu machen als sie sind).

Man muss lesen. Anders geht es nicht. (Bild: Public domain)

Man muss lesen. Anders geht es nicht. (Bild: Public domain)

Will man wissen, ob Forschung gut oder schlecht ist, muss man den entsprechenden Artikel lesen. Punkt. Das ist die einzige seriöse Methode. Die ist aufwendig, braucht Zeit und ein entsprechendes Hintergrundwissen bei denen, die das Urteil abgeben müssen. Aber es kann keine Alternative sein, sich dieser Arbeit durch die Betrachtung einer einzigen Zahl zu entziehen, wenn diese Zahl keine verlässliche Aussagekraft hat!

Natürlich ist es für die in der Wissenschaft involvierte Politik und Bürokratie wesentlich einfacher, alles mit schönen simplen Kennzahlen darzustellen. Da kann man Diagramme zeichnen, “Verbesserungen” oder “Verschlechterungen” dokumentieren, Fördergelder und Stellen “objektiv” vergeben, und so weiter. Aber Impact-Faktoren und Co sind eben keine Kennzahlen. Sie erwecken den Anschein etwas zu messen, tun das aber nicht. Deswegen gehören sie abgeschafft.

Und es müssen genau die Stellen sein, denen der Impact-Faktor jetzt so wichtig ist, die ihn auch abschaffen müssen. Die Wissenschaftler selbst werden sich auch weiterhin dem Status Quo nicht entziehen können. Sie werden weiterhin versuchen, möglichst oft in “wichtigen” Zeitschriften zu publizieren. Denn nur dann werden sie Karriere machen können. Sie müssen das Spiel mitspielen, ob sie wollen oder nicht. Wer sich dem Zwang zur “High Impact”-Publikation entzieht, wird an die Ränder des Systems gedrängt. Erst wenn die Förderorganisationen und die Universitäten aufhören, die Impact-Faktoren als Bewertung heran zu ziehen, wird es möglich sein, das Publikationssystem zu verändern.

Und das ist dringend nötig. Denn neben dem Problem mit den Impact-Faktoren ist da noch ein weiteres, grundlegendes Problem das mit den Zeitschriften selbst zu tun hat. Davon wird dann Teil 2 des Artikels handeln, den ihr hier lesen könnt.

Kommentare (44)

  1. #1 Ludger
    24. Januar 2018

    Will man wissen, ob Forschung gut oder schlecht ist, muss man den entsprechenden Artikel lesen. Punkt. Das ist die einzige seriöse Methode.

    Richtig. Aber über Stellenvergaben werden auch Leute entscheiden, die solche Artikel nicht komplett verstehen. Deswegen verlassen sie sich auf das [?] Peer-Review. Und sie vergleichen nicht die Absolutwerte der Impactfaktoren sondern beziehen sie auf die im konkreten Fachbereich üblichen Werte.

  2. #2 Hans Zauner
    24. Januar 2018

    @Ludger

    “Und sie vergleichen nicht die Absolutwerte der Impactfaktoren sondern beziehen sie auf die im konkreten Fachbereich üblichen Werte.”

    Das stimmt, wenn man die interdisziplinären Edeljournale beiseite lässt und die Community-Journals eines Fachgebiets anschaut, wird es etwas vergleichbarer.

    Aber eben auch nur auf Ebene der Journals. Die Artikel innerhalb eines Journals sind dann wieder sehr heterogen, was die Zitierhäufigkeit angeht, und oft tragen einige wenige, extrem häufig zitierte Artikel den Großteil zum IF eines Journals bei.

    Über einen einzelnen Artikel, oder gar die Fähigkeiten des Autors eines einzelnen Artikels, sagt der JIF so gut wie nichts aus.

    Dass er nach wie vor in Berufungskomissionen eine Rolle spielt, kann eigentlich nur mit Ignoranz und Denkfaulheit erklärt werden.

  3. #3 Smamap
    24. Januar 2018

    Irgenwann während des Lesens des Artikels kam ich auf den Punkt, dass der Artikel ein grundlegendes Problem unserer Systeme (egal in welchem Bereich) beschreibt: Es geht häufig nach Paragraphen (v.a. wenn man mit Behörden zu tun hat, was höchst oft der Fall ist). Dort wird ebenso alles nach einer (Paragraphen)Zahl entschieden, ohne sich mit einem Fall konkret zu beschäftigen. Es werden Einzeldinge herausgefiltert, und nach diesen beurteilt/entschieden. Nach Kategorisierung eben. Ob das dem Einzelfall gerecht wird, ist dabei nebensächlich.
    Dies alles vereinfacht die Dinge für die “Sachbearbeiter”, die dafür nicht einmal vom Fach sein müssen.
    Wieviel “Mist” an Entscheidungen dabei herauskommt, ist meist haaresträubend.

  4. #4 Alderamin
    24. Januar 2018

    @Florian

    Will man wissen, ob Forschung gut oder schlecht ist, muss man den entsprechenden Artikel lesen. Punkt. Das ist die einzige seriöse Methode.

    Finde ich nicht, denn wenn man nach Artikeln sucht, will man sich nicht erst durch einen Stapel pseudowissenschaftlicher oder bedeutungsloser Artikel durchwühlen (insbesondere nicht, wenn die hinter Paywalls stecken). Eine Kennzahl wäre schon sinnvoll, aber es muss ja nicht der Impact-Faktor sein. Z.B. könnten die Reviewer den Artikel mit einer Note, sagen wir A bis D oder so was, bewerten. Auf Konferenzen gibt’s häufig einen “Best Paper Award”, wo einige Arbeiten ausgewählt und nominiert werden (hatte selbst das Glück, mal nominiert worden zu sein, aber leider nicht gewonnen). Wenn man die Papers sowieso schon alle durchschaut, kann man sie auch werten.

    Alternativ könnte so eine Wertung auch online in den Datenbanken von den Lesern erfolgen. Heute wertet ja jeder alles mögliche, von Büchern über Waschmaschinen, Restaurants bis zu Zahnärzten. Warum die Papers auf arXiv nicht von den Lesern werten lassen? Vielleicht mit Login nur für Wissenschaftler, die selbst vom Fach sind? Klappt doch auch beim Blogschreib-Wettbewerb…!

  5. #5 Florian Freistetter
    24. Januar 2018

    @Ludger: “Aber über Stellenvergaben werden auch Leute entscheiden, die solche Artikel nicht komplett verstehen. Deswegen verlassen sie sich auf das [?] Peer-Review.”

    Du verwechselst da zwei Dinge! Peer-Review hat nix mit IF zu tun. Auch alle Artikel in Celestial Mechanics sind selbstverständlich peer reviewt. Jeder Artikel in einer normalen Fachzeitschrift ist peer-reviewt. Von Peer-Review hab ich in meinem Artikel gar nicht gesprochen. Sondern über die Impact-Faktoren. Wenn man wissen will, wie bedeutsam eine Forschungsarbeit ist, mss man den Artikel lesen. (Peer Review sagt nur, dass die Arbeit ordentlich gemacht worden ist; nichts über die Bedeutsamkeit). Die IF sagen aus den im Text genannten Gründen nichts aus.

  6. #6 Florian Freistetter
    24. Januar 2018

    @Alderamin: “Finde ich nicht, denn wenn man nach Artikeln sucht, will man sich nicht erst durch einen Stapel pseudowissenschaftlicher oder bedeutungsloser Artikel durchwühlen”

    Nun ja – pseudowissenschaftliche Texte sollten in Fachzeitschriften mit peer review sowieso nicht publiziert werden. Und warum es keinen IF braucht, um “bedeutungslose” Artikel auszusortieren hab ich ja auch erklärt. Es gibt Datenbanken mit Volltextsuche und Abstracts. Das reicht vollkommen aus, um einzuschätzen ob das für die eigene Arbeit relevant ist oder nicht.

    “Alternativ könnte so eine Wertung auch online in den Datenbanken von den Lesern erfolgen.”

    Siehe dazu den Teil 2 der morgen erscheint…

  7. #7 Florian Freistetter
    24. Januar 2018

    @Alle: Bitte berücksichtigen, dass ich im Text nix von Peer Review geschrieben habe. Und auch nichts darüber, wie man wissenschaftliche von unwissenschaftlichen Artikeln trennt. Das macht eben genau der Peer Review, der aber bei JEDER wissenschaftlichen Veröffentlichung stattfindet, unabhängig von der Zeitschrift (von Zeitschriften die nicht reviewt sind, rede ich gar nicht; hier geht es nur um den normalen wissenschaftlichen Publikationsprozess).

    Mir geht es um die absurde Trennung zwischen “wichtigen” und “unwichtigen” Zeitschriften. Ein Artikel in Nature ist nicht deswegen wichtiger als einer in einer anderen Zeitschrift, weil er in Nature erschienen ist. Wichtig ist ein Artikel dann, wenn sein Inhalt wichtig ist. Um das feststellen zu können, muss man den Artikel aber lesen. Und kann die Lektüre und die Beschäftigung mit der Forschung nicht durch den Blick einer unzureichenden “Kennzahl” ersetzen.

    P.S. Mir geht es jetzt ausnahmsweise auch mal nicht um die Rolle der Wissenschaftskommunikation oder der Öffentlichkeit. Sondern rein um die Vorgänge innerhalb der Wissenschaft selbst.

  8. #8 Hans Zauner
    24. Januar 2018

    Ludger und Alderamin sprechen schon einen wunden Punkt an, finde ich. Klar wäre es schön, wenn Leute, die über Stellenbesetzungen oder Anträge entscheiden, auch wirklich die Arbeiten der Kandidaten lesen und einschätzen könnten.

    In der Praxis ist das leider utopisch, dafür ist die Wissenschaft viel zu spezialisiert und die Zeit sich für jeden Kandidaten, für jeden Antrag stundenlang in fremde Fachgebiete einzulesen fehlt einfach.

    Ein Drosophila-Genetiker tut sich z.B. evtl. schon schwer, Arbeiten eines Fadenwurm-Genetikers bewerten zu können.

    Ein möglicher Weg aus diesem Dilemma sind offene Reviews, d.h. die Gutacher der Papers unterzeichnen ihre Reviews, die dann zusammen mit dem Paper publiziert werden.

    So können sich auch Fachfremde leichter ein Bild machen, was (hoffentlich) unabhängige Experten über eine Arbeit so denken, was Stärken und Schwächen sind, und niemand muss auf irreführende Metriken zurückgreifen.

    Einige Journals, wie z.B. eLife oder GigaScience (disclaimer: ich arbeite für letzteres Journal) machen das schon so.

  9. #9 dzp-nerd
    24. Januar 2018

    “Peer-Review hat nix mit IF zu tun.”

    @Florian: Ich gebe dir grundsätzlich recht und unterstütze den Tenor deines Artikels.

    Wobei man schon sagen muss, dass es eine positive Korrelation zwischen der Qualität des Peer-Reviews und dem IF des Journals gibt. Die Latte hängt dort also relativ hoch.

    Außerdem sorgen die Editoren von Nature, Lancet etc. dafür, dass in deren Journals nur Paper mit hoher Relevanz landen.

    Natürlich will ich nicht abstreiten, dass es in Journals mit niedrigem IF genauso sein kann.

  10. #10 Hans Zauner
    24. Januar 2018

    @dzp-nerd:

    “Wobei man schon sagen muss, dass es eine positive Korrelation zwischen der Qualität des Peer-Reviews und dem IF des Journals gibt”.

    – Hast du da mal die Daten dafür? Eine Korrelation gibt es v.a. mit der Zahl der ‘Retractions’, wie Florian ja beschrieben hat, was womöglich eher gegen die Qualität des Peer Review spricht.

    Und das Relevanz-Argument ist vermutlich ein Zirkelschluss – relevant wird, was in Nature und Science steht.

  11. #11 Alderamin
    24. Januar 2018

    @Hans Zauner

    Ein möglicher Weg aus diesem Dilemma sind offene Reviews, d.h. die Gutacher der Papers unterzeichnen ihre Reviews, die dann zusammen mit dem Paper publiziert werden.

    Gute Idee, und wenn man da auch so eine Art Wertungssystem einführen würden (1-5 Sternchen für die Verständlichkeit, 1-5 für die Nachvollziehbarkeit, 1-5 für die Relevanz o.ä.), dann könnte man sehr einfach nach solchen Artikeln suchen.

    Solange man freien Zugriff auf alles hat (was sehr viel sein kann, mehr als alles lesen mag; in manchen Fächern wie der Telekommunikation gibt es zu manchen Schlagwörtern so viele Artikel, die will man gar nicht alle durchackern), mag man ja noch die Artikel alle zur Leseprobe runterladen, aber für Artikel, die nicht kostenlos erhältlich sind, wäre ein Wertungssystem schon wichtig. Natürlich sollte alles frei verfügbar sein, allerdings ist es das nicht und die Frage ist, ob es das je sein wird. Wenn das Impact-Factor-System fallen sollte und alles frei verfügbar würde, wäre das der sichere Tod von Nature & Co. Dagegen werden die sich zu wehren wissen (z.B. indem sie das derzeit wohl tolerierte parallele Veröffentlichen auf Arxiv verbieten).

  12. #12 Gerald
    Warschau
    24. Januar 2018

    Generell gebe ich Dir recht, dass das wissenschaftliche Publikationssystem in vielen Punkten verbesserungswuerdig ist, aber in vielerlei Hinsicht kann ich mich Deiner Kritik nicht anschliessen. Hier schnell (schliesslich muss ich an Publikationen arbeiten ;o) ) ein paar Argumente:
    – Niemand publiziert nur in Nature, Science etc. Die meisten wissenschaftlichen Arbeiten werden in den “normalen” Zeitschriften publiziert, und jedes halbwegs schlaue Kommissionsmitglied, das Publikationslisten, impact factors oder Hirsch-Indizes evaluiert weiss, wie solche Arbeiten und Metriken einzureihen sind.
    – Dass Publikationen in high-impact journals eher fehlerbehaftet sind, hat sich auch schon unter Wissenschaftern herumgesprochen. ;o)
    – Uebersichtsartikel, die natuerlich oft zitiert werden, werden zumeist auf Einladung von der Zeitschrift verfasst, und daher in der Regel von renommierten Personen, die auf Fixanstellungen sitzen, geschrieben. Insofern nicht wirklich Konkurrenz fuer z.B. junge postdocs.
    – Es gibt keinen Grund zu Theoretiker/Beobachterneid. Erstens fuehrt die reine Publikation von Daten nicht zu einer Menge von Zitierungen (Ausnahme: Kataloge), da muessen auch schon fundierte Interpretationen, die wichtige Rueckschluesse erlauben, dabei sein. Zweitens: niemand verbietet Theoretikern, in aehnlicher Manier ihre Codes zu publizieren. ;o)
    – Auch wenn es fuer gewisse Subdisziplinen spezialisierte Fachzeitschriften wie CMDA mit niedrigem impact factor gibt, wird eine gute Arbeit auf dem Gebiet wohl auch nicht von ApJ oder A&A, mit 3 – 4 Mal hoeheren impact factor, abgelehnt werden.
    – Auch wenn Ueberschriften wie “die Karriere haengt an einer einzigen Zahl” sicher publikumswirksam sind, geht diese Behauptung doch weit an der Realitaet vorbei – wie schon oben geschrieben, Kommissionen, die Antraege, Bewerbungen, Institute etc. evaluieren, sind in der Regel nicht so naiv, gedankenlos oder faul, alles nur an impact factors zu haengen.

  13. #13 Stefan H.
    24. Januar 2018

    @Smamap
    Ich muss deinem Behördenvergleich grundlegend widersprechen. Es wird immer der Einzelfall betrachtet und der gesamte Sachverhalt. Denn der Sachbearbeiter bzw. die Sachbearbeiterin hat anhand der Rechtsnormen auch zu prüfen, welche Rechtsfolgen sich ergeben, ob sie Ermessen auszuüben haben, Ermessen ausüben können, ob sie positiv oder negativ entscheiden können oder müssen.
    Da werden nicht Einzeldinge herausgenommen und danach beurteilt, um dem “kleinen Bürger” das Leben schwer zu machen, es können aber einzelne Dinge im Gesamtsachverhalt vorhanden sein, die eine positive Bewilligung verhindern.
    Und man ist schon vom Fach. Dafür gibt es die Ausbildung zum/zur Verwaltungsfachangestellen. Da setzt man nicht irgendeinen ausgelernten Industriemechaniker hin.

  14. #14 Stefan Schmeja
    24. Januar 2018

    Wie so oft ist auch beim Impact-Faktor nicht das Ding an sich schlecht, sondern wie und wofür man es einsetzt. Zur Beurteilung einzelner Artikel oder Wissenschaftler ist der IF weder gedacht noch geeignet. Der Ruf nach Abschaffung des IFs klingt erst einmal gut, ich fürchte aber, das würde nur zur Etablierung von anderen Metriken führen, die nicht unbedingt besser sein müssen. Solange die Wissenschaft ein so hochkompetitives Feld ist, so lange wird es Versuche geben, wissenschaftliche Leistung in einfache Kennzahlen zu pressen. Man sieht das ja schon bisweilen bei Open-Access-Zeitschriften: Da muss die Höhe der APCs als Qualitätssiegel herhalten: je teurer, desto besser muss eine Zeitschrift sein… mindestens genau so absurd.

  15. #15 dzp-nerd
    24. Januar 2018

    “Hast du da mal die Daten dafür”

    @Hans Zauner: Das ist natürlich ein subjektiver Eindruck, belegen lässt sich das nicht. Es wäre allerdings kontraintuitiv, wenn hochrangige Journals nicht auch auf eine hohe Qualität des Peer-Reviews achten würden.

  16. #16 Florian Freistetter
    24. Januar 2018

    @Hans Zauner: “Ein möglicher Weg aus diesem Dilemma sind offene Reviews”

    Auch hier verweise ich auf Teil 2 der Serie 😉 Kommt morgen.

  17. #17 Florian Freistetter
    24. Januar 2018

    @dzp-nerd: “Außerdem sorgen die Editoren von Nature, Lancet etc. dafür, dass in deren Journals nur Paper mit hoher Relevanz landen”

    Genau das bestreite ich in der formulierten Klarheit. Hab ich im Artikel auch erklärt – ebenso wie die Tatsache, das ein hoher IF mit einer ebenso hohen retraction-rate korreliert.

  18. #18 Florian Freistetter
    24. Januar 2018

    @Alderamin: ” indem sie das derzeit wohl tolerierte parallele Veröffentlichen auf Arxiv verbieten”

    tun sie ja jetzt schon. Man darf die originalen Version mWn nicht 1:1 veröffentlichen.

    Vielleicht hätte ich den Artikel doch nicht zweiteilen sollen (aber er wäre sonst so lang geworden…). All die Punkte die ihr hier diskutiert, spreche ich morgen im Detail an.

  19. #19 Florian Freistetter
    24. Januar 2018

    @Gerald: “Es gibt keinen Grund zu Theoretiker/Beobachterneid”

    Ich hoffe, das ist nicht so rüber gekommen. Ich wollte nur sagen, dass man Kennzahlen wie IF oder h-Index immer im Kontext der Disziplin vergleichen muss.

  20. #20 CM
    24. Januar 2018

    Also mit Florian bin ich weitgehend eins. Nur, was mich an solcherlei Diskussionen stört, dass ist der Konjunktiv: man müsste, würde dies, wenn das wäre, etc.

    Und dann kommt eine Plattform wie archivx daher, die von vielen Disziplinen nicht akzeptiert wird.
    Oder das Journal of Negative Results in BioMedicine, dass ein Schattendasein fristet.
    Oder die vielen Profs. die auf “Nature & Co”-Paper zielen und dafür Doktoranden “verbraten” oder Einrichtungen, die wie Durchlauferhitzer funktionieren (wo “publish or perish” in Reinstform durchgezogen wird).
    Etc. etc. etc.

    Insg. verlangt dieser Augiasstall der wissenschaftlichen Publikationsmisere eben wahrhaft herkulische Tatkraft.

  21. #21 pane
    24. Januar 2018

    Nehmen wir mal den Ruf eines Professors. Er muss nach objektiven Kriterien erfolgen. Die Aufsichtsbehörden haben eine Riesenangst, es könnte jemand einen Ruf bekommen, weil er der Freund der Schwägerin eines Freundes des Dekans ist und nicht weil er der beste ist.

  22. #22 Hans Zauner
    24. Januar 2018

    @pane

    Aber der JIF ist eben kein geeignetes objektives Kriterium um einzelne Forscher zu bewerten, darum geht’s ja.

  23. #23 pane
    24. Januar 2018

    @Hans Zauner

    Ja, aber erzähl das mal einem Wissenschaftsminister.

  24. #24 demolog
    24. Januar 2018

    Ach ja, Lobo´s linguistische Phrase macht die Runde.

    Alles ist kaputt.

  25. #25 PDP10
    24. Januar 2018

    @demolog:

    Und? Was hast du so konstruktives zur Diskussion beizutragen?

    Außer der wohlfeilen Phrase, dass irgendwas eine “Phrase” sei?

  26. #26 PDP10
    24. Januar 2018

    @pane:

    Nehmen wir mal den Ruf eines Professors. Er muss nach objektiven Kriterien erfolgen.

    Mal abgesehen von dem Problem, dass das Anheuern eines Mitarbeiters gar nicht vollständig nach objektiven Kriterien erfolgen kann (man muss sich ja zB. auch mit Ihr / Ihm auf persönlicher Ebene verstehen) …

    Dafür gibt es normalerweise Berufungskommissionen.
    Solche Rufe werden nicht per Ordre de Mufti beschlossen.

    Wie man das genau macht, bzw. machen sollte ist allerdings ein anderes Thema und im Artikel oben gehts zuallererst mal um den sog. “Impact” einer Zeitschrift.
    Also in erster Linie noch nicht um die Vergabe von Stellen. Warten wir erstmal die anderen Teile der Serie ab um das eventuell zu diskutieren.

  27. #27 pane
    24. Januar 2018

    Genau. Und solch eine Berufungskommission muss nachprüfbare Kriterien festlegen, nach denen ausgewählt wird und dann auch so verfahren. Gefällt mir ist nicht objektiv.

  28. #28 PDP10
    24. Januar 2018

    @pane:

    Jetzt hast du nochmal wiederholt, was du weiter oben schon geschrieben hast. Und jetzt?

  29. #29 Gerhard
    24. Januar 2018

    Erst jetzt gelesen, sehr aufschlussreicher Artikel.
    Die Eigendynamik von Kennzahlen, wie kann man sie verhindern?

  30. #30 pane
    24. Januar 2018

    @PDP10: was weiß ich? Andere Politiker wählen? Solange wir den Unis nicht zugestehen, zu wählen wen sie wollen, egal aus welchem Grund, wird es nicht besser. Allerdings ist Vetternwirtschaft auch nicht die Lösung.

  31. #31 PDP10
    24. Januar 2018

    @pane:

    Solange wir den Unis nicht zugestehen, zu wählen wen sie wollen,

    Hä?

    [_]: Du weißt, wie Berufungsverfahren an Universitäten funktionieren.

    [X]: Du hast keine Ahnung wie Berufungsverfahren an Universitäten funktionieren.

    Bitte zutreffendes ankreuzen. (Bleib ruhig liegen. Habe ich schon für dich gemacht.)

  32. #32 sternburg
    https://www.allesausseraas.de/
    25. Januar 2018

    Nur mal als zusätzlicher Gedanke eingeworfen: Das Problem ist keineswegs auf die Naturwissenschaften begrenzt.

    In den Rechtswissenschaften z.B. gibt es zwar keine seltsame Zahl, aber Meinungen gelten auch dort als umso bedenkenswerter, in umso mehr bedeutenden Kommentaren, Zeitschriften etc sie geäußert werden – also umso beeindruckender die Fußnote aussieht. Was natürlich nicht dazu führt, dass die wichtigen Autoren Ihre Ansichten in diesem Kampf der Meinungen durchdrücken, indem sie sich regelmäßig gegenseitig zitieren. Begriffe wie Zitate-Karussell oder Zitat-Kartell sind unter Juristen nach meiner Beobachtung jedenfalls seit Jahrzehnten üblicher Sprachgebrauch.

  33. #33 JW
    25. Januar 2018

    Man sollte auch nur vergessen, dass der drittklassigste Mediziner immer einen besseren IF erzielt als ein sehr guter z. B. Botaniker es gibt einfach so viele, die auch entsprechend publizieren und demnach zitieren.
    Wer in einem Gebiet publiziert, das gerade en vogue ist,hat es sich leichter, als jemand, der ein Gebiet neu prägt. Manchmal dauert es etwas, bis die Zitationen zusammen kommen.
    Nur eine praktikable Lösung fällt mir auch nicht ein.

  34. #34 pane
    25. Januar 2018

    @PDP10: Ich weiß sehr wohl wie ein Berufungsverfahren läuft. Aber so einfach ist es nicht. Man kann auch gegen so ein Berufungsverfahren Rechtsmittel einlegen. Nicht dass das häufig geschieht, genau genommen ist mir kein einziger Fall bekannt, aber allein weil es möglich ist, ist die Berufungskommission sehr vorsichtig und will objektive Kriterien, oder solche die danach aussehen. Soviel ich weiß müssen auch die ganzen Unterlagen ans Ministerium geschickt werden. Die entscheiden zwar nicht behalten aber die Oberaufsicht.

  35. #35 jojo
    25. Januar 2018

    Bravo. Hab mich deswegen endlich mal bei flattr angemeldet und hier zum ersten Mal geflattered
    Sehr gut geschrieben, sehr gut erklärt.

  36. #36 PDP10
    25. Januar 2018

    @pane:

    Soviel ich weiß müssen auch die ganzen Unterlagen ans Ministerium geschickt werden. Die entscheiden zwar nicht behalten aber die Oberaufsicht.

    Ja. Weil von denen in der Regel ein Großteil des Geldes kommt. Natürlich wollen die sicherstellen, dass da alles mit Rechten Dingen zu geht. Und das ist auch gut und richtig so.

  37. #37 Christian
    Deutschland
    25. Januar 2018

    Mir fällt zu der Bewertungsprolematik (die es ja nicht nur in der Wissenschaft gibt), immer wieder das Liquid-Democracy-Prinzip mit Stimmdelegation als Lösungsmöglichkeit ein. Wenn die Bewertungsobjekte in einer Community indivuell geratet werden, kann sich jeder über einen frei gestaltbaren Vertrauensbaum die entsprechenden Ergebnisse anschauen. Man erhält dadurch auch einen guten Überblick über Fraktionen und kann darauf basierend Anhaltspunkte gewinnen, welche typischen Gründe für die Ablehnung oder Belobigung eines Gegenstands existieren mögen.

    So etwas würde ich mir auch in Social Media oder beim Ranking von Suchergebnissen wünschen. Welche Suchergebnisse sind besonders relevant, wenn ich einer bestimmten Peer Group vertraue? Welches Ranking entstünde stattdessen, wenn ich das Vertrauen hypothetisch an eine andere Gruppe delegiere? So kann man auch leicht, kontrolliert und transparent über den Tellerrand seiner Filterblase gucken.

  38. #38 PDP10
    25. Januar 2018

    @Christian:

    immer wieder das Liquid-Democracy-Prinzip

    Das ist eine schöne Idee. Ich war begeistert, als ich von der Piratenpartei gelernt habe, was das ist.

    Blöderweise ist das so wie mit vielen schönen Ideen. Sie im Alltag um zu setzen ist so überkomplex, dass das einfach nicht funktioniert … Ausser vielleicht für ungefähr drei Nerds, die sich dann den ganzen Tag um nichts anderes mehr kümmern können.

  39. #39 Florian Freistetter
    26. Januar 2018

    @jojo: “Hab mich deswegen endlich mal bei flattr angemeldet und hier zum ersten Mal geflattered”

    Oh verdammt! Und ich hab mich ürzlich bei flattr abgemeldet, weil deren Systems seit neuesten so “upgedatet” worden ist, dass es nicht praktikabel ist. Ich hab nur noch keinen Weg gefunden, dieses WordPress-Plugin zu entfernen…

  40. #40 Primergy
    26. Januar 2018

    Aus meinem Bereich der Geschichtswissenschaften kann sagen, dass bei uns sowas wie ein Impact-Faktor kaum/keine Rolle spielt. Wenn ein Artikel wichtige Erkenntisse für mein Thema enthält und methodisch gut ist, wird er zitiert, auch wenn er in nur in den “Riedinger Blättern für Geschichte” publiziert wurde.

    Daraus folgt aber auch, dass ich das Gefühl habe, dass deswegen Seilschaften/Vitamin B deutlich wichtiger für die Karriere sind, als die eigentliche wissenschaftliche Arbeit (überspitzt gesagt).
    Wenn man mit Kollegen spricht und sie fragt, wie sie zu ihrer Stelle gekommen sind, ist die übliche Antwort, ich kannte XYZ. Etwas frustrierend, wenn die dann wissenschaftlicher Mitarbeiter sind, aber noch nicht mal wissen über was sie promovieren wollen, während man selbst mit einem Thema bei Profs und Stipendien Klingeln putzen darf. *Neid*

    Da geben Faktoren wie Impact-Factor und Publikationsszahlen einem zumindest noch die Illusion seine Karriere selbst in der Hand zu haben. Ist vlt. aber auch nur ein “Grass-ist-grüner”-Fehlschluss.

  41. #42 Cornelia S. Gliem
    27. Januar 2018

    Ad #13: Stefan H danke! Zwar bissl offen topic – aber ja, mich stören die Verunglimpfungen der Behörden Paragraphen der Bürokratie auch immer. Da reden oft welche die keine Ahnung von der Materie haben. Dass Wissenschaftler “hier” so vorurteilsbehaftet über “Paragraphen” herziehen, ist schade. So als ob ich einfach einen Astrophysiker als spinnerten Bücherwurm mit Brille und Galilei-komplex anführen würde :-).
    Zum thema selbst: erinnert mich doch sehr an den qm-Bereich (qualitätsmanagement Evaluierungen etc.). Die Menschen haben es gern einfach und griffig – und ab und zu funktioniert das eben nicht.
    Ein kleiner Lichtblick – gegen impact-Wahnsinn hilft zt der Bestand die Existenz von öffentlichen Universitäten und Forschungseinrichtungen in Konkurrenz u Kombination zu all den privatwirtschaftlichen Einrichtungen (da zähle ich leider eine ganze Reihe staatlicher unis dazu welche den modernen Forderungen nach fördermittel u Stiftungen u “zusammenarbeit” mit Konzernen etc. entsprechen müsden).

  42. […] Florian Freistetters Artikel zu Publikationen in Deutschland […]

  43. […] und Wissenschaftler die Ergebnisse ihrer Arbeit publizieren (müssen) absolut problematisch ist (Teil 1, Teil 2). Kurz zusammengefasst: Eine wissenschaftliche Karriere wird mehr oder weniger […]