Das ganze System der naturwissenschaftlichen Fachpublikationen ist im Arsch! Ja, jetzt regen sich wieder einige darüber auf, dass ich das Wort “Arsch” verwendet habe. Aber es beschreibt die Sachlage absolut treffend und wer sich unbedingt aufregen will, sollte sich lieber über die Verlage wissenschaftlicher Fachzeitschriften, Impact-Faktoren & Co aufregen. Denn genau die sind das Problem! Ich habe über all das schon in vielen früheren Artikeln geschrieben. Aber weil das Thema immer noch aktuell ist und weil ich alles einmal gesammelt aufschreiben wollte, tue ich das hier.
Zwei wichtige Aufgaben
Man muss bei der Angelegenheit zwei verschiedene Aspekte unterscheiden. Die Publikation wissenschaftlicher Ergebnisse soll zwei grundsätzliche Aufgaben erfüllen:
- 1) Wissenschaftler wollen die Ergebnisse ihrer Arbeit öffentlich machen und der wissenschaftlichen Community mitteilen.
- 2) Die Öffentlichkeit will sich über die Ergebnisse wissenschaftlicher Forschung informieren können.
Alles kaputt!!
Beide Aufgaben sind wichtig. Der erste Punkt ist vor allem für die Wissenschaftler selbst von Bedeutung. Man forscht, um etwas über die Welt herauszufinden. Und wenn man das getan hat, will man dem Rest der Welt davon erzählen. Man muss es aber auch tun. Denn wenn man in der Wissenschaft Karriere machen will, muss man sich und seine Arbeit irgendwie präsentieren. Genau dazu dienen heute die Artikel, die in wissenschaftlichen Fachzeitschriften veröffentlicht werden. Sie belegen, was ein Wissenschaftler kann und geleistet hat. Sie stellen quasi den Wert der wissenschaftlichen Karriere dar. Man kann es sich nicht leisten, nicht zu publizieren. Gleichzeitig hat aber auch die Öffentlichkeit ein Interesse, die Ergebnisse der Wissenschaft zu sehen. Und auch wenn das nicht unbedingt die Fachartikel selbst sein müssen, sind sie doch die Grundlage jeder seriösen Wissenschaftskommunikation, die zwischen Forschung und Öffentlichkeit steht. Es braucht also auch hier einen Weg, um die Ergebnisse auf irgendeine Art und Weise öffentlich zu machen.
Der Impact-Faktor
Momentan läuft die Sache so. Wissenschaftler forschen und gelangen zu einem Ergebnis. Sie verfassen einen Fachaufsatz über ihre Forschungsarbeit. Dieser Aufsatz wird an eine Fachzeitschrift geschickt und auf die Einhaltung der wissenschaftlichen Methodik geprüft. Nach eventuellen Korrekturen wird der Artikel dann veröffentlicht und kann von allen interessierten Personen (im Allgemeinen gegen eine Gebühr) gelesen werden. Das klingt nach einem einigermaßen guten System. Eigentlich nach einem ziemlich offensichtlichen System. Und das ist es auch – aber nur, wenn man die Details ignoriert. Denn die zeigen, wie massiv dieses System mittlerweile an den Bedürfnissen (fast) aller Beteiligten vorbei funktioniert – bzw. nicht funktioniert.
Fangen wir mit Punkt 1) an. Wissenschaftler wollen ihre Ergebnisse veröffentlichen. Nur wenn sie ausreichend viele, ausreichend gute Ergebnisse vorweisen können, haben sie eine Chance, in der Welt der Wissenschaft Karriere zu machen. Die Publikationsliste ist die Grundlage jeder Stellenbewerbung und jedes Förderantrags. Daran ist kaum etwas auszusetzen (höchstens, dass die Publikationsliste oft auch das einzige Kriterium ist). Aber man muss sich die Frage stellen, was in diesem Fall als “gutes Ergebnis” gilt. In der aktuellen Praxis wird das nämlich viel zu oft mit “eine Publikation in einer guten Fachzeitschrift” gleichgesetzt. Und was ist eine “gute” Fachzeitschrift? Eine mit einem hohen Impact Factor.
Und genau da steckt das Problem! Der Impact Factor ist eine Kennzahl, die im wesentlichen aussagt, wie oft Artikel einer bestimmten Fachzeitschrift in anderen Artikeln zitiert werden. Hat eine Fachzeitschrift einen hohen Impact Factor, dann werden die dort publizierten Texte sehr oft von anderen Forschern referenziert. Wenn sie aber oft zitiert werden, dann – so die Annahme – müssen sie auch wichtig sein und je mehr wichtige Artikel in einer Zeitschrift veröffentlicht werden, desto wichtiger die Zeitschrift selbst.
Die einzigen wichtigen Impacts sind die bei denen Krater entstehen! (Bild: NASA)
Man muss genau hinsehen, um das Problem zu identifizieren. Ein Beispiel: Im Jahr 2017 hatte die Fachzeitschrift Celestial Dynamics and Dynamical Astronomy (CMDA) (eine Zeitschrift speziell für Ergebnisse aus der Himmelsmechanik) einen Impact Factor von 1,58. Die Fachzeitschrift “Nature” (in der nicht nur Astronomie sondern alle Naturwissenschaften publiziert werden) dagegen hat dagegen einen Impact Factor von 40,14. Ist also ein Artikel dort wirklich mehr als 25 mal “wichtiger” als einer in CMDA? Diese Frage macht keinen Sinn. Wer an Himmelsmechanik und dynamischer Astronomie interessiert ist, wird einen Artikel in CMDA unter Umständen als deutlich relevanter empfinden als einen Artikel in Nature, der nicht einmal etwas mit Astronomie zu tun hat. Die wissenschaftliche Bedeutung eines Textes lässt sich nicht an einer einzigen Zahl ablesen. Doch genau das passiert in der Praxis ständig.
Die Zeit der Zeitschriften ist schon lange vorbei
Früher hat das noch mehr Sinn gemacht. Früher konnte man die Fachartikel tatsächlich nur lesen, wenn man die entsprechende gedruckte Zeitschrift physisch in der Hand hielt. Es war unmöglich, alle Fachzeitschriften zu überblicken und auf relevante Artikel zu prüfen. Man musste sich auf die Vorauswahl der Zeitschriften verlassen. Und eine “wichtige” Zeitschrift war die, die Artikel enthielt, die möglichst viele Leute interessierten. Wenn man also etwas publizieren wollte, das möglichst viele Leute erreichen sollte, wählte man daher genau diese “wichtige” Zeitschrift.
Dieses System ist aber mittlerweile längst überholt. Kein Mensch liest mehr gedruckte Fachzeitschriften! Alle (Wissenschaftshistoriker vielleicht ausgenommen) nutzen bei ihrer Literaturrecherche entsprechende Datenbanken, suchen sich das, was relevant ist, per (Volltext)Suchformular und greifen online auf die Texte zu. Und wenn ich einen Suchbegriff in irgendeiner Datenbank eingebe, kriege ich die Ergebnisse geliefert, ganz egal ob der entsprechende Artikel in einer “wichtigen” oder “unwichtigen” Zeitschrift publiziert worden ist.
Man braucht keine Zeitschriften mehr, die eine Relevanz-Vorauswahl treffen, weil man heute alles was da ist, nach den jeweils eigenen Kriterien durchsuchen kann. Die Sache mit dem Impact-Faktor ist zum Selbstzweck geworden. Warum feiern Wissenschaftler überall auf der Welt die Publikation eines Artikels in Nature so, wie andere den Abschluss des Studiums oder eine Beförderung im Job? Weil alle in Nature publizieren wollen und deswegen der Großteil der dort eingereichten Artikel abgelehnt wird. Umso größer also auch die Freude, es doch geschafft zu haben. Und warum wollen alle in Nature publizieren? Weil Nature den größten Impact-Faktor hat. Und warum hat Natur den größten Impact-Faktor? Weil alle dort publizieren wollen und Nature es sich deswegen leisten kann, nur die Artikel abzudrucken, von denen es sich die meisten Zitate verspricht, die dann wieder den Impact-Faktor erhöhen. Oder anders gesagt: Nature hat den höchsten Impact-Faktor weil Nature den höchsten Impact-Faktor hat und alle wollen in Nature publizieren weil alle in Nature publizieren wollen.
Die Karriere hängt an einer einzigen Zahl
Der Impact-Faktor-Fetischismus hat mittlerweile das gesamte Publikationssystem korrumpiert. Und kann ganze Karriere zerstören oder erst entstehen lassen. Budgets an Universitäten werden anhand von Impact-Faktoren vergeben – so war es zum Beispiel an der Uni Jena als ich dort gearbeitet habe. Die Institute, deren Mitarbeiter die meisten Artikel in Zeitschriften mit hohem Impact-Faktor untergebracht hatten, bekamen am meisten Geld. Und wer sich irgendwo um eine Post-Doc-Stelle oder Professur bewirbt, sollte besser möglichst viele Artikel in “wichtigen” Zeitschriften in der Publikationsliste stehen haben.
Das ist genau das was passiert, wenn man den Inhalt eines wissenschaftlichen Fachartikels auf eine einzige Zahl reduziert: Sie wird benutzt! Denn es ist ja auch so schön einfach. Ich will wissen, ob der Artikel “gut” oder “schlecht” ist; ob er “seriös” oder “unseriös” ist? Dann schaue ich einfach wie “wichtig” die Zeitschrift ist und je wichtiger, desto besser oder seriöser muss er sein. Ich will wissen, ob die Person die sich um eine Stelle bewirbt, gut oder schlecht geeignet ist? Dann schaue ich einfach auf die Impact-Faktoren der Publikationsliste! Es ist eine große Verlockung, die mühsame Beurteilung wissenschaftlicher Leistungen durch den Blick auf eine einzige Zahl zu ersetzen und dieser Verlockung ist das wissenschaftliche System erlegen.
Es gibt jede Menge wichtige Zahlen. Der Impact-Faktor gehört nicht dazu. (Bild: Public domain)
Dabei sind die Probleme mit dem Impact-Faktor offensichtlich. Sieht man sich eine Liste mit Impact-Faktoren astronomischer Zeitschriften an, dann stehen dort ganz oben nur Zeitschriften, die “Reviews” veröffentlichen. Also Übersichtsartikel, in denen bisherige wissenschaftliche Forschung zusammengefasst und eingeordnet wird. Das ist selbstverständlich absolut relevant und wichtig. Aber es sind ebenso selbstverständlich auch genau die Artikel, die besonders oft zitiert werden. Deswegen sind sie aber nicht weniger “wichtig” als andere Forschungsartikel, die keine Reviews sind.
Alternativen zum Impact-Faktor
Der Impact-Faktor hat noch weitere Schwächen: Er führt dazu, dass Wissenschaftler Ergebnisse, die eigentlich in einem Artikel veröffentlicht werden könnten in mehreren Artikeln publizieren. Je mehr Artikel, desto mehr Zitate. Er führt zu – den Regeln guter wissenschaftlicher Praxis widersprechender – “Zitierkreisen”, wo sich Forscher(gruppen) wechselseitig zitieren, um den Impact-Faktor in die Höhe zu treiben. Und so weiter.
Deswegen hat man sich auch immer wieder Gedanken über Alternativen gemacht. Am populärsten ist vermutlich der h-Index (bzw. Hirschfaktor). Diese Zahl gibt die größtmögliche Anzahl der Publikationen eines Wissenschaftlers an, die mindestens h-mal zitiert worden ist. Oder anders gesagt: Sind 10 meiner Artikel alle mindestens 10 mal zitiert worden, ist mein h-Index gleich 10. Habe ich 11 Artikel, die mindestens 11 mal zitiert worden sind, beträgt mein h-Index 11. Für einen h-Index von 12 muss ich 12 Artikel publiziert haben, die alle mindestens 12 Mal zitiert worden sind. Und so weiter.
Diese Zahl ist insofern eine Verbesserung, als sie Ausreißer ignoriert. Habe ich zum Beispiel einen Artikel, der 500 mal zitiert worden ist, hätte ich auch einen entsprechend hohen Impact-Faktor. Wenn ich ansonsten aber nur zwei weitere Artikel publiziert, die je zweimal zitiert worden sind, beträgt mein h-Index trotzdem nur 2. Aber auch der h-Index hat so seine Probleme. Der h-Index hängt noch viel stärker als der Impact-Faktor von der Güte und Vollständigkeit der benutzten Datenbank ab. Und ganz massiv von den Gepflogenheiten der jeweiligen Fachdisziplin.
Wenn man in der Astronomie zum Beispiel in der Beobachtung arbeitet, wird man viele Artikel publizieren, die Beobachtungsdaten veröffentlichen. Mit solchen Daten kann man nicht nur selbst arbeiten und daraus weitere Ergebnisse ableiten. Auch viele andere Wissenschaftler die auf anderen Gebieten arbeiten, können die Daten nutzen und eigene Analysen durchführen und eigene Ergebnisse publizieren. Dabei werden sie jedes Mal den ursprünglichen Artikel zitieren, aus dem die Beobachtungsdaten stammen. So sammelt man als Beobachter viele Zitate für jeden Artikel und erreicht einen hohen h-Index. Arbeitet man dagegen in der Theorie, dann werden nur Leute die eigenen Forschungsergebnisse zitieren, die auch wirklich im gleichen Forschungsfeld arbeiten. Es gibt weniger Zitate und einen niedrigeren h-Index. Das bedeutet nicht, dass die Beobachtung “wichtiger” ist als die Theorie (und auch nicht das Gegenteil). Beide Disziplinen sind wichtig und jede Art der Publikation potentiell wertvoll. Der h-Index ist eben nicht geeignet, die unterschiedliche Arbeitsweise wiederzugeben.
Die Lösung: Kennzahlen abschaffen
Es gibt eine einfache Lösung für das ganze Problem. Man muss den Unsinn mit den Impact-Faktoren und Kennzahlen einfach bleiben lassen. Das sollte eigentlich auch offensichtlich erscheinen. Wissenschaft ist komplex. Es ist schlicht und einfach nicht möglich, die Bedeutung einer Forschungsarbeit durch eine einzige Zahl zu charakterisieren. Denn ist ja nicht einmal möglich einwandfrei zu definieren, was “Bedeutung” in diesem Zusammenhang meinen soll. Was in der einen Situation völlig irrelevante Forschung ist, ist in einer anderen von höchster Wichtigkeit. Forschung wird nicht besser, nur weil sie in einer “besseren” Zeitschrift veröffentlicht worden ist. Ganz im Gegenteil: Es ist schon lange bekannt, das umso mehr Fachartikel aufgrund von Fehlern zurück gezogen werden müssen, je größer der Impact-Faktor der entsprechenden Zeitschrift ist. Wer immer auf der Suche nach möglichst spektakulären Ergebnissen ist, die oft zitiert werden, wird dabei auch viel häufiger Artikel erwischen, die so nah am Rand des gesicherten Wissens arbeiten, dass sich die Ergebnisse später oft als falsch herausstellen (bzw. motiviert Wissenschaftler, ihre Ergebnisse per Manipulation schlicht und einfach spektakulärer zu machen als sie sind).
Man muss lesen. Anders geht es nicht. (Bild: Public domain)
Will man wissen, ob Forschung gut oder schlecht ist, muss man den entsprechenden Artikel lesen. Punkt. Das ist die einzige seriöse Methode. Die ist aufwendig, braucht Zeit und ein entsprechendes Hintergrundwissen bei denen, die das Urteil abgeben müssen. Aber es kann keine Alternative sein, sich dieser Arbeit durch die Betrachtung einer einzigen Zahl zu entziehen, wenn diese Zahl keine verlässliche Aussagekraft hat!
Natürlich ist es für die in der Wissenschaft involvierte Politik und Bürokratie wesentlich einfacher, alles mit schönen simplen Kennzahlen darzustellen. Da kann man Diagramme zeichnen, “Verbesserungen” oder “Verschlechterungen” dokumentieren, Fördergelder und Stellen “objektiv” vergeben, und so weiter. Aber Impact-Faktoren und Co sind eben keine Kennzahlen. Sie erwecken den Anschein etwas zu messen, tun das aber nicht. Deswegen gehören sie abgeschafft.
Und es müssen genau die Stellen sein, denen der Impact-Faktor jetzt so wichtig ist, die ihn auch abschaffen müssen. Die Wissenschaftler selbst werden sich auch weiterhin dem Status Quo nicht entziehen können. Sie werden weiterhin versuchen, möglichst oft in “wichtigen” Zeitschriften zu publizieren. Denn nur dann werden sie Karriere machen können. Sie müssen das Spiel mitspielen, ob sie wollen oder nicht. Wer sich dem Zwang zur “High Impact”-Publikation entzieht, wird an die Ränder des Systems gedrängt. Erst wenn die Förderorganisationen und die Universitäten aufhören, die Impact-Faktoren als Bewertung heran zu ziehen, wird es möglich sein, das Publikationssystem zu verändern.
Und das ist dringend nötig. Denn neben dem Problem mit den Impact-Faktoren ist da noch ein weiteres, grundlegendes Problem das mit den Zeitschriften selbst zu tun hat. Davon wird dann Teil 2 des Artikels handeln, den ihr hier lesen könnt.
Kommentare (44)