Das Shanghai-Ranking, ein Forschungsranking in den Fächern Mathematik, Physik, Chemie, Informatik und Ökonomie ist Anfang November herausgekommen. In der Mathematik führt Princeton vor Berkeley und Harvard.

Das Gesamt-Ranking (für alle 5 Fächer) sieht so aus:

i-7608424632d5ffe91dd7d3dbb9868d60-shanghairank.png

Die Methodik des Rankings wird hier erklärt: zu 10% zählt die Anzahl der von Absolventen (seit 1951) erhaltenen Fields-Medaillen, zu 15% die Anzahl der von Mitarbeitern (seit 1961) erhaltenen Fields-Medaillen, zu 25% die Anzahl der viel-zitierten Forscher, zu 25% die Anzahl der beim ISI verzeichneten Arbeiten und zu 25% der prozentuale Anteil, wieviele dieser Arbeiten in den Top20%-Zeitschriften veröffentlicht wurden.

Über Sinn und Unsinn solcher Rankings läßt sich natürlich vieles sagen. Etienne Ghys hat sich auf “Images des Mathematiques” mit dem Thema auseinandergesetzt, seinen Artikel “Shanghai, Perpignan et les mathematiques” findet man hier.

Für die Nicht-Frankophonen übersetze ich mal die ersten Absätze des Artikels:

Viele Mathematiker haben dieses Ranking kritisiert. Zuerst: seine “Methodik” war schon in der Vergangenheit befremdlich und ist es noch mehr für dieses neue Mathematik-Ranking. Alle Mathematiker stimmen überein, daß die gewählten Indikatoren nicht sinnvoll sind. Die Fields-Medaillen sind nicht zahlreich genug als daß ihre Anzahl eine wahre Bedeutung für die Qualität der Forschung einer Universität haben könnte. Die Verwendung der ISI-Datenbank, um die mathematischen Zitierungen zu zählen, macht keinen Sinn, wenn man über ein so nützliches Tool wie die Mathematical Reviews verfügt.

Die Wissenschaftler wissen auch, daß es absolut nichts bedeutet, die Universitäten der Welt von der besten bis zur schlechtesten zu “klassifizieren”. Das wird noch karikaturesker, wenn man zwei Mathematik-Fachbereiche mit sehr unterschiedlichen Personalbeständen vergleicht. In Frankreich haben manche Institute mehr als 150 Mitarbeiter und andere weniger als 20. Was ist der Sinn eines Vergleichs außer zu sagen, der eine ist größer als der andere? Das ist ein wenig so, als wenn man die Bahnhöfe der SNCF nach der Anzahl der täglich ausfahrenden Schnellzüge und der Oberfläche der Bahnhofshallen klassifizieren wollte. Der Gare de Lyon in Paris würde wahrscheinlich als Sieger hervorgehen (?) aber damit würde man den Bahnhof Perpignan verpassen, obwohl dieser von Dali zum Centre Cosmique du Monde erklärt wurde!

Und trotzdem publizieren die Medien genußvoll Statistiken, die “objektiv” erscheinen.

Im Rest des Beitrags geht es dann noch um spezielle Argumente, warum konkret für die französischen Mathe-Fachbereiche das Ranking wenig Sinn macht.

Der Beitrag war eine Replik auf einen entsprechenden Artikel in ‘Le Monde’, in dessen Einleitung es hieß:
Das Urteil ist gefallen. Das Shanghai-Ranking der 500 forschungs-stärksten Universitäten für 2009 wurde gerade veröffentlicht.

Kommentare (22)

  1. #1 Georg Hoffmann
    2. Dezember 2009

    Bei Mathe sind “wir” aber ganz oben mit dabei. Paris-Sud ist die Uni in Orsay, wo ich praktisch wohne (3 km), mit einigen Fields Medaillisten und einigen Importrussen.
    OT: Wie machst du diesen Balken da am Rande mit den TopPosts?

  2. #2 Thilo Kuessner
    2. Dezember 2009

    @ GH: Das Widget bekommt man bei https://www.postrank.com/publishers

  3. #3 Georg Hoffmann
    2. Dezember 2009

    Thilo
    loesch einfach den folgenden Kommentar.
    Und wenn ich das widget habe, was dann? Ich habe bei mir ueberhaupt nicht die Erlaubnis etwa plugins zu laden. Wie hast du das dann installiert?
    Georg

  4. #4 Dr. Glukose
    2. Dezember 2009

    Ich frage mich bei unzähligen Rankings, wieso Biologie meistens nie dabei ist?!?!

  5. #5 Thilo Kuessner
    2. Dezember 2009

    @ GH:
    Das Widget ist bei mir einfach Teil der Blogroll.
    D.h. in der Blogroll steht als Code:

    (spitze klammer)script type=”text/javascript” src=”https://api.postrank.com/static/widget-v2.js”>(spitze klammer)/script>
    (spitze klammer)script type=”text/javascript”>
    var options = {
    “feed_hash”: “7fc510b63d73d21c825d7c618c59aebe”,
    “num”: 15 ,
    “theme”: “blueSteel”
    };
    new PostRankWidget(options);
    (spitze klammer)/script>

  6. #6 derari
    2. Dezember 2009

    So ganz kann ich die Kritik nich nachvollziehen. Es geht doch um die “forschungstärksten Universitäten”. Und ein Fachbereich mit 150 Leuten ist numal stärker als einer mit 20, auch wenn die 20 vielleicht relativ bessere Arbeit leisten.
    Viel interessanter ist dann doch: was macht man mit dieser Information? Jemandem, dem Qualität wichtiger ist als Quantität, hilft sie wohl nicht weiter…

  7. #7 Georg Hoffmann
    2. Dezember 2009

    Ok und wie kopiere ich das ins Blogroll. Ich finde einfach keine Stelle wo ich so etwas machen duerfte. Stell dir einfach vor, du muesstest es einem sechjaehrigen kurzsichtigen Schwerhoerigen erklaeren.

  8. #8 Thilo Kuessner
    2. Dezember 2009

    Ok, das gehört zwar nicht hierher, aber: die Blogroll findet man auf MT unter Verwalten>Seiten>Blogroll.
    Und überall, wo oben (spitze Klammer) steht, muß man natürlich ein Kleiner-Zeichen einsetzen 🙂

  9. #9 Thilo Kuessner
    2. Dezember 2009

    @ derari:
    Persönlich finde ich solche Statistiken immer ganz interessant, solange sie nicht von irgendwelchen Leuten zur Grundlage irgendwelcher Entscheidungen gemacht werden.
    In Frankreich muß man das jetzt wohl im Kontext der ganzen Debatte um das LRU sehen, wo den Universitäten von politischer Seite immer wieder vorgeworfen wird, sie seien nicht leistungsorientiert genug etc. Der Le Monde-Artikel über das Shanghai Ranking begann mit dem Satz “Le Verdict est tombe”.

    Inhaltlich hatte ich Ghys’ Kritikpunkte ja oben schon zitiert. Die Verwendung des ISI-Index für Zitate finde ich auch ziemlich merkwürdig. Die Math Reviews haben den Vorteil, daß dort nicht JEDER mathematische Fachartikel erfaßt wird.
    Z.B. ist laut ISI das “International Journal of Nonlinear Sciences and Numerical Simulation” die meistzitierte mathematische Fachzeitschrift, eine, um es zurückhaltend zu formulieren, ziemlich umstrittene chinesische Zeitschrift, deren Artikel (ebenso wie viele diese Zeitschrift zitierende Artikel) es häufig eben nicht in die Math Reviews schaffen.
    Der andere Punkt, den Ghys angesprochen hatte: die Anzahl der Fieldsmedaillen (bzw. in anderen Fächern der Nobelpreisträger) wird sehr stark gewichtet, obwohl gerade die Nobelpreise oft nichts mit der aktuellen Forschung zu tun haben.

  10. #10 Georg Hoffmann
    2. Dezember 2009

    Unerbittlich treibe ich deinen Ticker nach oben.
    Danke. Super. Jetzt habe ich deine Liste bei mir. Nicht schlecht, aber ich hoffe du zaehlst es nicht als Eitelkeit, dass ich das noch nicht ganz befriedigend finde. Ich haette so gerne meine Liste.

  11. #11 Thilo Kuessner
    2. Dezember 2009

    Haha, auch nicht schlecht.
    Dein eigenes Widget bekommst Du auf https://www.postrank.com/publishers

  12. #12 Georg Hoffmann
    3. Dezember 2009

    Thilo
    loesch bitte alles was hier steht.
    Wie? Wie bekomme ich ein Widget?
    Ich habe alles auf dieser Seite versucht. Ich verstehe nur Bahnhof.
    In Schritt 1 trage ich meine Seite ein und dann?

  13. #13 Georg Hoffmann
    3. Dezember 2009

    Ich hab’s. Frag nicht. Es bleibt unter uns.

  14. #14 rank zero
    3. Dezember 2009

    eine, um es zurückhaltend zu formulieren, ziemlich umstrittene chinesische Zeitschrift, deren Artikel (ebenso wie viele diese Zeitschrift zitierende Artikel) es häufig eben nicht in die Math Reviews schaffen.

    Das ist so nicht richtig – bei den Mathematical Reviews steht immer noch

    First Issue:1 2000-
    Indexed cover-to-cover
    Status: Current

    vgl. https://ams.org/mathscinet/search/journaldoc.html?jc=INTJNS

    Cover-to-cover heißt: Prinzipiell wird von MR JEDER Artikel daraus genommen. Dass die Reihe bei MR trotzdem 2004 aufhört (bei Zbl 2002), hat einen anderen Grund: Es sind seither seitens des Journals für MR und ZBL einfach keine Rezensionsexemplare verfügbar (ein Schelm…). Übrigens m.W. auch nicht in deutschen Standardbibliotheken – vielleicht produzieren sie ja nur noch ein Exemplar für ISI 😉

    Übrigens wurden 2009 auch immer noch laufend Artikel aus Chaos Solitons & Fractals bei MR aufgenommen (nicht so in Zbl).

    Die Einsparungen betreffen dagegen m.E. durchaus ernstzunehmende Zeitschrriften wie das Sibirskii Zhurnal Vychislitel’noi Matematiki – inwieweit es ein Vorteil ist, dass das seit 1998 NICHT drin steht, muss mir noch einmal erklärt werden. (Dagegen wird z.B. aus dem in New Mexico erscheinenden Progress in Physics zwar nicht alles, aber dennoch teilweise unglaublicher Müll in MR übernommen).

    Zu den Zitationsstatistiken: Der Fehler liegt hier schon im System. Dass die MR für ihren impact factor (den sie etwas anders nennen) eine andere Datengrundlage haben als ISI, ändert nichts an den vielfachen grundlegenden Einwänden gegen diese inhaltsfreien Techniken. Hier spielt z.B. mit hinein, dass MR die Referenzendaten von den eigenen Journalen natürlich komplett hat, ähnlich von größen Verlegern (und Elsevier hat ist z.B. bei der Zitateoptimierung für eigene Zeitschriften sehr effektiv), von anderen dagegen weniger oder gar nicht (letzteres für schätze ich mal ca. 70% der Journale). Naturgemäß rutschen die amerikanischen Journale dadurch in der Statistik hoch. Wenn überhaupt, sollte man hier lieber die Referatezitate in die Statistik eingehen lassen, diese sind durch intellektuelle Selektion wesentlich aussagekräftiger.

  15. #15 rank zero
    3. Dezember 2009

    Nachtrag: Um das Statement zu Progress in Physics zu illustrieren, damit es nicht als reine Behauptung im Raum steht: Als MR 2006i:83051 wurde etwa Stephen J. Crothers “A brief history of black holes” [Prog. Phys. 2, 54-57 (2006)] in die Mathematical Reviews aufgenommen – Artikel unter https://www.ptep-online.com/index_files/2006/PP-05-10.PDF verfügbar, mit dem schönen Abstract:

    Neither the layman nor the specialist, in general, has any knowledge of the historical circumstances underlying the genesis of the idea of the black hole. Essentially, almost all and sundry simply take for granted the unsubstantiated allegations of some ostentatious minority of the relativists. Unfortunately, the minority has been rather careless with the truth and is quite averse to having its claims corrected, notwithstanding the documentary evidence on the historical record. Furthermore, not a few of that vainglorious and disingenuous coterie, particularly amongst those of some notoriety, attempt to dismiss the testimony of the literature with contempt, and even deliberate falsehoods, claiming that history is of no importance. The historical record clearly demonstrates that the black hole has been conjured up by combination of confusion, superstition and ineptitude, and is sustained by widespread suppression of facts, both physical and theoretical. The following essay provides a brief but accurate account of events, verifiable by reference to the original papers, by which the scandalous manipulation of both scientific and public opinion is revealed.

    Frau L hätte vermutlich ihre Freude…

  16. #16 Thilo Kuessner
    3. Dezember 2009

    Na ja, es geht ja um Statistiken, nicht um Einzelfälle.
    Bei den Math Reviews sind z.B. für die letzten 5 Jahre
    753 Zitierungen für “Annals of Mathematics” und 271 Zitierungen für “Chaos, Solitons & Fractals”
    verzeichnet.
    Man kann sicher nicht behaupten, daß diese Zahlen den Unterschied der beiden Zeitschriften korrekt wiedergeben würden,
    aber jedenfalls sind diese Zahlen weniger weit entfernt von einer realistischen Bewertung als die ISI-Zahlen von 2006 (gibt es schon neuere?),
    wo die “Annals of Mathematics” mit 2,43 verzeichnet sind,
    während “Chaos, Solitons & Fractals” (laut Webseite) den ISI-Index 2,98 hat.

  17. #17 rank zero
    4. Dezember 2009

    Man kann sicher nicht behaupten, daß diese Zahlen den Unterschied der beiden Zeitschriften korrekt wiedergeben würden [..]

    Das ist aber genau mein Punkt. “Etwas weniger falsch” bleibt falsch. Zum Vergleich:

    Acta Arithmetica bringen es auf 275, sind danach also “fast gleichwertig” mit CSF?

    Mathematika bringt es auf nur 28 (ein sehr gutes Journal, wenngleich weniger bekannt; dankenswerterweise bringt es ab 2010 die LMS heraus, die sich ja schon beim Journal of Topology verdient gemacht hat).

    Für mich am drastischten: Astérisque gerade mal 144 – im Vergleich zu den natürlich sauber überall gezählten hauseigenen Proc. Amer. Math. Soc. (die gerade so richtig schlecht werden durch durchfallmäßige Inflation von Wenigseitern) mit 1282.

    Wie gesagt, diese Statistikspielchen sind schlicht Unfug.

  18. #19 Thilo
    2. Oktober 2012

    https://www.heise.de/tp/artikel/37/37711/1.html

    Der Wissensdurst der Ranking-Experten beeinträchtige mittlerweile die Arbeit von Verwaltung und Wissenschaft “erheblich” und verursache überdies “wachsende Kostenaufwendungen” für Recherche und Aufbereitung. Daneben beklagen die Hamburger “erhebliche methodische Mängel” und befürchten negative Auswirkungen auf das Ansehen der eigenen Universität. Schließlich hätten Rankings und Umfragen trotz ihrer zweifelhaften Rufs …

    … gleichwohl Auswirkungen auf die Bewertung der Qualität und Leistungsfähigkeit der Universität und damit auf das Bewerbungsverhalten von Studierenden, auf die Zuwendungsbereitschaft von Staat und Drittmittelgebern.