Als ich vor ein paar Tagen wieder einmal bei Technorati gestöbert habe, habe ich auch darüber nachgedacht, wie man den Erfolg eines Blogs messen kann. Dieses Thema wurde in der Blogwelt ja schon ausgiebig diskutiert – ohne eine endgültige Antwort zu finden. Meistens wird die sg. “Technorati-Authority” benutzt: also die Anzahl der Links die von anderen Blogs auf ein bestimmtes Blog gesetzt werden.
Das ist sicherlich ein gutes Meßinstrument – einflußreichere (und damit wohl auch erfolgreichere) Blogs werden öfter verlinkt. Aber Links sind natürlich nicht alles. Ein Blog, dass sich z.B. nur mit der Welt der Blogs beschäftigt, kann leicht eine hohe authority bekommen, denn dann ist es nicht verwunderlich, wenn viele Blogs darauf verweisen. Aber außerhalb der (eigentlich doch relativ kleinen) Blogwelt werden solche Beiträge kaum Interesse hervorrufen. Andererseits kann es Blogs geben, die kaum oder keine Verlinkungen aufweisen – aber doch von sehr vielen Leuten gelesen werden.
Es ist also leicht zu sehen, wie schwer es ist, den Erfolg eines Blogs zu bewerten – und auch ich kenne keine vernünftige Lösung für dieses Problem. Aber diese Situation hat mich an ein anderes Bewertungsproblem erinnert: Wie bewertet man den Erfolg von Wissenschaftlern?
Was macht einen Wissenschaftler zu einem guten Wissenschaftler? Individuell lässt sich diese Frage meistens beantworten: setzt man sich lang genug mit der Arbeit eines konkreten Forschers auseinander (und hat man Ahnung vom Forschungsthema), dann kann man recht gut einschätzen, ob hier gute oder schlechte Arbeit geleistet wird. Aber was macht man, wenn man z.B. 50 Bewerbungen für eine PostDoc-Stelle vorliegen hat, und entscheiden soll, wer den Job bekommt? Da braucht es dann irgendeine andere Möglichkeit, die Entscheidung zu treffen.
Und genau wie für den Erfolg von Blogs meistens eine einzelne Zahl (die Technorat-authority) verwendet wird, gibt es auch bei der Bewertung von Wissenschaftlern (zumindest in den Naturwissenschaften) eine entsprechende “Meßgröße”: die Publikationsliste.
Publikationen sind das für alle sichtbare Endprodukt eines wissenschaftlichen Projekts: nach Abschluß einer Forschungsarbeit werden die Ergebnisse mitsamt der Methode zusammengefasst und aufgeschrieben. Fachgutachter prüfen die Arbeit und (bei bestandender Prüfung) sie wird in einer passenden Zeitschrift veröffentlicht und so dem Rest der wissenschaftlichen Gemeinschaft zugängig gemacht.
Die Publikationsliste ist quasi eine erweiterte Visitenkarte eines Forschers, die dessen bisherige Karriere kurz wiedergibt. Aber auch hier ergeben sich einige Probleme: um tatsächlich zu bewerten, ob die publizierten Arbeiten gut oder weniger gut (schlechte Arbeiten sollten es ja eigentlich gar nicht bis zu einer Veröffentlichung schaffen) sind, sollte man sie lesen. In der Praxis ist dafür selten Zeit – oft reicht es nur dazu, die Artikel kurz zu überfliegen und meistens nichtmal dazu. Deshalb wird darauf geachtet, in welchen Zeitschriften, die Artikel erschienen sind. Es gibt nämlich “gute” und “schlechte” Journale – und genau wie die authority bei den Blogs bestimmen auch hier gegenseitigen “Verlinkungen” über die Güte einer Zeitschrift.
Die entsprechende Zahl heisst “Impact Factor” und bestimmt sich daraus, wie oft Atrikel aus der Zeitschrift in anderen Artikel zitiert werden. Je mehr Zitate, desto höher der Impact Factor und desto “besser” die Zeitschrift. Und je mehr Artikel man selbst in Zeitschriften mit einem hohen Impact Factor veröffentlicht hat, desto höher wird die Qualität der Publikationsliste (und damit der eigenen Forschungsarbeit) eingeschätzt.
Natürlich ist diese Methode nicht ganz unproblematisch. Da Veröffentlichungen in Zeitschriften mit hohem Impact Factor mehr zählen, versucht man natürlich meistens, seine Artikel auch dort unterzubringen. Journale, die sich auf bestimmte Bereiche stark spezialisiert haben, gehen da leicht ein bisschen unter. Ein Beispiel aus meinem Arbeitsbereich, der Himmelsmechanik: Da gibt es die Zeitschrift “Celestial Mechanics and Dynamical Astronomy” (CMDA) die sich speziell mit Himmelsmechanik, störungs- bzw. chaostheoretischen Anwendungen und Astrodynamik beschäftigt. Im Editorial Board sitzen führende Himmelsmechaniker, die Qualitätsstandards sind hoch und trotzdem ist der Impact Factor von CMDA vergleichsweise niedrig. Ich habe deswegen schon öfter Artikel, die thematisch eigentlich genau zu CMDA gepasst hätten, lieber in Astronomy & Astrophysics (A&A) veröffentlicht (einer Zeitschrift, die sich mit allen Themen der Astronomie beschäftigt und einen vergleichsweise hohen Impact Factor hat). Das führt dann natürlich wieder dazu, dass der Impact Factor von A&A die Chance hat, größer zu werden während der von CMDA kleiner wird (und eine Publikation dort noch unattraktiver – es wird aber trotzdem bald ein neuer Artikel von mir dort erscheinen).
Je nach Zeitschrift, in der ein Artikel veröffentlicht wird, wird dieser “besser” oder “schlechter” – auch wenn sich am eigentlich Inhalt des Artikels nichts ändert. Ein anderer Artikel von mir soll beispielsweise in den “Astronomischen Nachrichten” erscheinen – immerhin die älteste noch existierende astronomische Fachzeitschrift der Welt! Trotzdem ist ihr Impact Factor ziemlich klein. Ich hätte meinen Artikel sicherlich auch bei Astronomy & Astrophysics oder z.B. den Monthly Notices of the Royal Astronomical Society unterbringen können. In diesem Fall waren es aber organisatorische Gründe die zur Veröffentlichung in den Astronomischen Nachrichten geführt haben – und damit dann auch die “Qualität” meines Artikels verringern.
Ein gewisses Gegengewicht zu dieser Entwicklung hat die Digitalisierung der Zeitschriftendatenbanken gebracht. Während früher Artikel in unbekannteren bzw. “unwichtigeren” Journalen tatsächlich nicht gelesen oder zur Kenntnis genommen wurden (weil die entsprechenden Zeitschriften nur in wenigen Bibliotheken vorhanden waren), sorgen heute Datenbanken wie z.B. das Astrophysics Data System (ADS) für mehr Sichtbarkeit. Wer nach Artikeln zu bestimmten Themen sucht, findet alle – egal ob sie in Nature, Science, A&A, CMDA oder den Astronomischen Nachrichten erschienen sind.
Das ändert aber nichts daran, dass die Zeitschriften, in denen man veröffentlicht, immer noch eine sehr wichtige Rolle spielen, wenn es daran geht, eine wissenschaftliche Karriere zu bewerten. Das System ist unfair – aber ich habe mir schon öfter Gedanken darüber gemacht, ohne wirklich eine bessere Lösung zu finden. Wenn man nicht tatsächlich alle Artikel eines Wissenschaftlers detailliert studiert, dann muss man zwangsläufigt irgendwelche Näherungswerte suchen, die die Qualität beschreiben können – und das kann wohl nie eine befriedigende Lösung sein. Oder haben meine Leserinnen und Leser vielleicht eine geniale Idee?
Ein weiteres wesentliches Problem ist die Beschränkung der Beurteilung auf die Publikationen. Nicht umsonst heisst die Redewendung ja “Publish or Perish!” – “Publiziere oder gehe unter!”. Wer nicht publiziert, existiert in der wissenschaftlichen Welt quasi nicht.
Ich habe ja hier schon öfter gefordert, dass man Wissenschaftler nicht allein nach ihrer Forschungsarbeit bzw. Publikationen beurteilen sollte. Nicht, weil Forschung nicht wichtig ist. Selbstverständlich, ist Forschung ein fundamentaler Bestandteil der wissenschaftlichen Arbeit. Aber eben nicht alles. Meiner Meinung nach sollte die Vermittlung des Wissens (Lehre und Öffentlichkeitsarbeit) eine mindestens ebenso wichtige Rolle für die Forschung spielen. Diese Themen werden an den Universitäten meist etwas stiefmütterlich behandelt. Das ist auch nicht verwunderlich – wenn der Erfolg eines Wissenschaftlers rein an der Forschung und an den Publikationen gemessen werden, dann wird man auch nicht sonderlich viel Zeit auf die Lehre oder gar Öffentlichkeitsarbeit verwenden. Ob man gute oder schlechte Vorlesungen hält, sich um die Öffentlichkeitsarbeit kümmert oder nicht, spielt bei der Bewertung wissenschaftlicher Karrieren kaum eine Rolle – und dementsprechend “wichtig” wird sie auch genommen.
Wenn auch diese Dinge eine wichtige Rolle bei der Messung des wissenschaftlichen Erfolgs spielen würden, dann könnte man vielleicht von der reinen Fixierung auf Publikationen und die damit verbundenen Probleme abkommen. Aber das ist wohl nur eine Wunschvorstellung…
Kommentare (19)