Nature News brachte vor kurzem einen Artikel über den vermeintlichen Zusammenhang zwischen dem Umfang der Literaturangaben am Ende eines Papers und der Häufigkeit, mit der dieses Paper dann zitiert wird. Da ich gerade selbst am Paper schreiben bin, habe ich mich natürlich dafür interessiert!

“There is a ridiculously strong relationship between the number of citations a paper receives and its number of references,” Gregory Webster, the psychologist at the University of Florida in Gainesville who conducted the research, told Nature. “If you want to get more cited, the answer could be to cite more people.”

Laut dem Artikel hat der Psychologe Gregory Webster in einem Vortrag während der International Society for the Psychology of Science & Technology Konferenz Daten vorgestellt, die genau so einen Zusammenhang zeigen sollen. Er hat dafür alle Forschungspaper und Reviews der Zeitschrift Science zwischen 1901 und 2000 ausgewertet, und einfach die Anzahl der Zitate gegen die Anzahl der späteren Zitierungen eines Papers aufgetragen. Und siehe da – er findet einen stabilen Zusammenhang, der über die Zeit sogar zunahm. Heute soll man pro zusätzlichem Zitat eine weitere Zitierung des Papers einheimsen können. Eine ähnliche Auswertung hat Gregory Webster auch schon mit Artikeln aus den Zeitschriften Journal of Consulting and Clinical Psychology und Evolution and Human Behavior gemacht, und dabei einen vergleichbaren, aber etwas schwächeren Zusammenhang gefunden. Die Folien des Vortrags stehen online, jeder der mag kann sich die gezeigten Daten also gern ansehen!

Die Idee dahinter ist wohl, dass Wissenschaftler auch nur Menschen sind, und sich natürlich über eine Zitierung ihrer Arbeit freuen. Die Freude übersetzt sich dann ins gegenseitige Zitieren aus Dankbarkeit. Doch ganz so einfach ist es wohl doch nicht. Abgesehen davon, dass wir es hier erstmal nur mit einer Korrelation zu tun haben, gibt es an der Auswertung auch noch ein paar andere Probleme.

Philip Davis von The Scholarly Kitchen hat sich das Problem nach dem News-Artikel auch vorgenommen. Er hat zwar nur die Science Veröffentlichungen von 2007 als Datensatz anstelle des längeren Zeitraums von Gregory Webster, er kommt mit der gleichen Auswertung aber auf ein recht ähnliches Ergebnis, Länge der Literaturangaben und Zitierhäufigkeit des Papers korrelieren. Dann zeigt er aber sehr schön, dass es sich hier ziemlich sicher nur um eine Scheinkorrelation handelt, indem er den Gesamtdatensatz aufteilt und sich mehr und mehr Aspekte zur Auswertung dazuholt.
Wenn beispielsweise der Umstand herausgerechnet wird, dass längere Artikel in der Regel auch längere Literaturangaben haben, wird die Korrelation plötzlich negativ! Und indem er auch noch die verschiedenen Artikelthemen und die Anzahl der Autoren eines Artikels mit einbezieht, verschwindet die Korrelation vollständig.

Das muss nicht unbedingt heißen, dass es tatsächlich keine Beziehung zwischen der Länge der Literaturangaben und der Zitierhäufigkeit gibt, es ist nur wie so oft nicht ganz so einfach zu finden. Bleibt noch der Hinweis, dass es sich bei beiden Arbeiten nicht um veröffentlichte Artikel handelt, die als nicht das Peer Review durchlaufen haben. Und für mich und mein Paper gibt es leider auch keine einfache Formel, um an mehr Zitierungen zu kommen. So ein Mist, müssen wir halt doch wieder zurück zur alten Masche, gut geschriebene und wissenschaftlich interessante Paper zu veröffentlichen…

Kommentare (9)

  1. #1 Tobias
    August 30, 2010

    Bei einigen Journals sind die Anzahl der erlaubten Referenzen zudem begrenzt, z.B. Nature: 50 beim Artikel, 30 beim Letter.
    Interessant wäre zu sehen, in wie weit Papers eher akzeptiert werden, wenn von den (nur den Journals bekannten) Reviewern Publikationen in den Referenzen aufgeführt sind.

  2. #2 CCS
    August 30, 2010

    Hat das irgend etwas zu bedeuten, dass in Nature über die Häufigkeit in Science-Papern berichtet wird?

  3. #3 Schnappi
    August 30, 2010

    Blogger:
    “müssen wir halt doch wieder zurück zur alten Masche, gut geschriebene und wissenschaftlich interessante Paper zu veröffentlichen”

    Ganz schön naiv. Artikel werden angenommen, wenn der Autor einen bekannten Chef hat, wenn Artikel des Gutachters zitiert werden, oder wenn noch viel Platz auf der Konferenz sein sollte. Innovation ist schädlich (passt meistens nicht in bestehende Zeitschriften oder Konferenzen) und Korrektheit egal (kannst dir bestenfalls ein “Überformalisierung” einfangen).

    Vielleicht kann man den Effekt, dass viele Referenzen mit vielen Zitaten zusammenhängen, auch so erklären: Auf Forschungsgebieten, wo viel zitiert wird, wird viel zitiert

  4. #4 Alexander
    August 30, 2010

    @Tobias: Stimmt, gibt es einen Einfluss der Zitierung auf die Entscheidung des Reviewers, das wäre mal interessant herauszufinden! Da müsste dann aber wirklich der Journal mitspielen und die Daten rausrücken. Vielleicht verblindet, dass niemand um seinen Ruf fürchten muss? 😉

    @CCS: Nö, da würde ich erst mal kein Problem drin sehen. In dem Artikel wurde über den Vortrag von Gregory Webster berichtet, der sich nunmal Science-Artikel vorgenommen hat. Da kann dann auch Nature nicht anders und muss die Datenquelle nennen. 😉
    Aber die von Nature News berichten auch immer wieder über andere Journals, beispielsweise wenn sie sich über Open Access hermachen. Da berichten sie nämlich (zumindest ist das mein Eindruck) ein wenig einseitig.

    @Schnappi: (vorweg – siehst du, ich kann dich mit deinem Pseudonym anreden, umgekehrt wär das auch nett. Mein Name steht am Ende des Artikels, gleich hinter “Autor:”)
    Was du als ziemlich naiv bezeichnest entspricht dann doch schon eher der Realität, als das was du danach raushaust. Glaub das jemandem, der selbst (Mit-)Autor von ein paar Papers ist, aber auch den ganzen Einreichprozess bei jeder Menge anderer Paper miterlebt hat. Aber vielleicht hab ich auch einfach nur einen bekannten Chef…
    Ansonsten sind das von dir einfach nur irgendwelche unbelegten Vorwüfe… Niemand hat je gesagt, dass das Veröffentlichen eines Papers einfach sein muss. Und wenn es dann mal angenommen wird, schiebt sich die Schuld halt sehr leicht auf andere.
    Dein letzter Satz ist aber sinnvoll: Genau deswegen müssen die ganzen Confounder eben herausgerechnet werden, wie es Philip Davis gezeigt hat.

  5. #5 Nesaia
    August 31, 2010

    Nicht so toll ist es, wenn man über Themen publiziert, die nicht so populär sind bzw. für die es wenige Arbeitsgruppen gibt. Wie bei mir in der Diagnostik. Dementsprechend gibt es wenige Artikel die man zitieren kann, somit ist die Anzahl der Referenzen, wenn es ganz schlecht läuft, auf 10 begrenzt. Von Vorteil ist dann jedoch, dass man vermutlich Puplikationen der Reviewer aufgeführt hat 😉 und vermutlich bei einem ähnlichen Thema auch zitiert wird. Also, wenn ich so darüber schreibe und nachdenke, ist es gar nicht so schlimm.

  6. #6 Alexander
    August 31, 2010

    @Nesaia:
    Letzten Endes ist es sehr schwer, den “Erfolg” eines Papers vorherzusagen. Jedes Gebiet hat da so seine eigenen ungeschriebenen Regeln.
    Gerade heute habe zufällig herausgefunden, dass das meistgelesene Paper, bei dem ich Mitautor bin (zumindest innerhalb von Mendeley), eins aus einem echten Randgebiet ist. Veröffentlicht in einem Journal, der noch nicht mal von PubMed gelistet wird. Sowas solls auch geben 😉

  7. #7 Schnappi
    September 3, 2010

    @Alexander
    Stimmt, da unten steht tatsächlich der Autor, nach dem ich suchte. Ich dachte der Artikel ist bei “Gefällt mir” zu Ende.

    Was die Veröffentlichungen angeht, kann ich unter anderem auf folgende Beispiele verweisen:
    Lee Smolin schreibt in “The Trouble with Physics” darüber, wie Gutachter im Peer-Review-System in der Physik Alternativen zur String-Theorie blockieren,
    Serge Lang schreibt in “Challenges” darüber, wie Gutachter ihre Macht in der HIV-AIDS-Kontroverse ausspielen,
    Beck-Bornholdt und Dubben schreiben in “Der Hund der Eier legt” darüber, wie Gutachter Artikel über Fehler in Krebsstudien blockieren.
    Meine Erfahrungen mit eigenen Artikeln sind ähnlich, aber dann heißt es vielleicht, dass ich eben zu geringes Wissen beim Publizieren besäße.
    Aus meinen und den anderen Erfahrungen habe ich geschlussfolgert, dass Originalität und Korrektheit eines Artikels nachrangig sind, und Opportunismus und große Namen vorrangig.

  8. #8 Alexander
    September 6, 2010

    @Schnappi: Niemand bestreitet, dass Peer Review auch missbraucht werden kann. Ich bestreite allerdings heftigst, dass dieser Missbrauch die Regel darstellt. Ich komme gerade vom Meeting Science Online London 2010, und da wurde auch viel über den Wandel in der Art und Weise wie in Zukunft publiziert wird diskutiert. Die einhellige Meinung war: Peer Review stellt ein kleines Hindernis dar, das ein Artikel überspringen muss, bevor er publiziert werden kann. Um den größten Mist abzuwehren. Nicht mehr und nicht weniger. Schau dir an, was sich alles für Scheiß auf PubMed tummelt. Ich hab schon einige Paper gelesen, die ich niemals durchgelassen hätte, wäre ich der Reviewer gewesen. Die Regeln der Journals besagen, dass Peer Review erstmal nur die Methodik eines eingereichten Manuskripts bewerten soll (und kann). Dass das nachgewiesenerweise (damit gebe ich dir recht) ab und zu nicht so klappt und missbraucht wird ist schlecht und sollte angegangen werden – etwa durch Offenlegen der Reviewer, oder Anonymisierung der Autoren. Peer Review als solches ist aber immer noch die mit Abstand beste Methode die wir haben, um eine minimale Qualität der wissenschaftlichen Artikel sicherzustellen.

  9. #9 Albert Keim
    Oktober 11, 2010

    Der Peer-Review ist für mich ein Rettungsanker. Die innovative Idee ist bekannt, publiziert, aber fällt in weiten Kreisen flach, weil die Möglichkeiten nicht gesehen werden. Dann fahre ich September 2005 zu einem internationalen Symposium, die Gebühr bezahle ich aus eigener Tasche, ich erhalte die Erlaubnis zu einem Vortrag und nach dem Vortrag kommt keine einzige Frage. Die Zuhörer können nichts damit anfangen. Erst nach der Veranstaltung beginnt der Austausch, dann werde ich gefragt, wie ist das? Warum filtrierst du anders?
    Dann reiche ich das MS ein und erhalte wesentliche Vorschläge zur Ergänzung und Verbesserung. Bei der zweiten Rückgabe stellt mir die Redaktion frei, das Paper bei einer anderen Zeitschrift einzureichen. Aber ich will das Hin und Her nicht neu beginnen. Und es erklärt sich der Leiter jenes Symposium tatsächlich bereit, mir zu helfen. Also bleibe ich bei jener Zeitschrift. Sie fragen sogar regelmäßig nach, wie weit ich bin und ob weiter Interesse von meiner Seite aus besteht.
    Es ist nun einmal mühsam, aus einem chaotischen Haufen von Daten das Wesentliche zu ziehen, einen völlig neuen Weg zu suchen, wo ich mich nicht an Vorgängern orientieren kann. Am Ende muss ich erkennen, dass in verschiedenen Zuständen auch unterschiedliche begrenzende Bedingungen herrschen und ich darf maximal fünf Bilder in den Artikel bringen. Aber am Ende schaffe ich es, die Funktionen für zwei alternative Zustände in einem Bild unterzubringen.
    Der Text muss im Umfang stark abgespeckt werden. Mein Reviewer, der Leiter jenes Symposiums empfiehlt mir, seine eigene Publikation aus den Zitaten zu streichen.
    Es wird mir freigestellt, zu den Bildern ergänzende Bemerkungen im Internet darzustellen. Ich denke, das gibt Raum, meine Zweifel an den eigenen Ergebnissen und die Begrenzungen der angesprochenen Hypothesen anhand der Datenlage zu besprechen, zu zeigen, dass noch genauer gearbeitet werden könnte, wenn ein Untersucher sich in seiner Systemanalytik mehr Mühe machen würde.
    In einem eingereichten Paper soll alles schön dargestellt sein, es soll eine Hypothese geprüft werden. Was tue ich aber, wenn die Komplexität des Systems bisher nicht wahr genommen wurde und in meinen Daten erscheinen Unterschiede. Nehme ich aus 5-8 m Tiefe die sieben Messungen, erhalte ich ein 1%-Niveau für den ganzen Datenumfang, nehme ich aus 1-8 m Tiefe die Messungen, habe ich zwei Ausreißer und mit den anderen fünf Messungen ein Ein-Promille-Niveau in der Regression. Darüber kann ich den Kopf schütteln und einfach weitermachen oder darüber nachdenken, dass längst noch nicht alle Begrenzungen und die möglichen alternativen Zustände erfasst sind. Ob es Möglichkeiten zur Weiterarbeit geben wird, weiß ich nicht.

    Leider ist solch ein Austausch mit großer Geduld und Hartnäckigkeit auf beiden Seiten nicht die Regel. Einige Kontaktversuche in der Sache zu Kollegen sind gescheitert. Bitte nicht weiter fragen. Ich werde weiter suchen nach Möglichkeiten zum Austausch über die Sache.

    Soweit – ich habe jetzt die jetzige Version des MS nochmal tagelang regelmäßig durchgesehen, ich hoffe auch die Flüchtigkeitsfehler beseitigt zu haben, und heute soll es raus.