Ein völliges Desaster mit allerdings beachtlichem Unterhaltungswert wurde heute auf dem Wissenschaftsolymp “Science” veröffentlicht. Um seinen sehr schlechten Eindruck von vielen open access Wissenschaftsjournals in der Pharmakologie zu bestätigen, produzierte der Science Journalist John Bohannon ein fake paper mit vermeintlich spektakulären Ergebnissen in der Krebsforschung. Die Fehler waren liebevoll und doch überdeutlich in den Text gestreut, und jeder Erstsemester sollte sie eigentlich bemerken. Trotzdem genügte der Text allen formalen Kriterien eines Papers.

The goal was to create a credible but mundane scientific paper, one with such grave errors that a competent peer reviewer should easily identify it as flawed and unpublishable. Submitting identical papers to hundreds of journals would be asking for trouble. But the papers had to be similar enough that the outcomes between journals could be comparable. So I created a scientific version of Mad Libs.

The paper took this form: Molecule X from lichen species Y inhibits the growth of cancer cell Z. To substitute for those variables, I created a database of molecules, lichens, and cancer cell lines and wrote a computer program to generate hundreds of unique papers. Other than those differences, the scientific content of each paper is identical.

The fictitious authors are affiliated with fictitious African institutions. I generated the authors, such as Ocorrafoo M. L. Cobange, by randomly permuting African first and last names harvested from online databases, and then randomly adding middle initials. For the affiliations, such as the Wassee Institute of Medicine, I randomly combined Swahili words and African names with generic institutional words and African capital cities. My hope was that using developing world authors and institutions would arouse less suspicion if a curious editor were to find nothing about them on the Internet.

Er verschickte danach dieses kleine Meisterwerk an 255 online Journals und bekam das Paper sage und schreibe 157 mal durch. Hier geht es zu der  hübschen Animation aller Journals, die das Paper durchgewunken haben. Da wird sicher so mancher Editor gerade mit dem Kopf gegen die Laborwand schlagen.

 

mapjournal

Bild: Einfach anklicken und man kommt zur Weltkarte der Journals, die das Fake Paper Bohannons ackzeptiert haben. Eine Art modernes Schandmal des Verfalls eines Teils des Wissenschaftsbetriebs.

 

Bohannon zog nach Annahme durch ein Journal den Artikel stets zurück. Und so beendet er seinen wirklich lesenswerten Artikel mit einem der Antwortschreiben, die er daraufhin erhalten hat: ein Antwortschreiben eines Fake-Verantwortlichen eines Fake-Journals an den Fake Autor eines Fake Papers:

After a science-free review process, one of their journals—the International Journal of Cancer and Tumor—accepted the paper. Posing as lead author Alimo Atoa, I requested that it be withdrawn. I received a final message that reads like a surreal love letter from one fictional character to another:

Dear Alimo Atoa,

We fully respect your choice and withdraw your artilce.

If you are ready to publish your paper,please let me know and i will be at your service at any time.

Sincerely yours, Grace Groovy

Kommentare (14)

  1. #1 Dr. Webbaer
    Oktober 4, 2013

    Der Veranstaltungs-Charakter kann natürlich durch letztlich rekursive Rituale nicht geändert werden.

    MFG
    Dr. W

  2. #2 Thilo
    Oktober 4, 2013

    Man bekommt ja inzwischen fast täglich Spam-Mails mit Angeboten irgendwelcher Open-Access-Zeitschriften. (Und jedesmal von einer anderen Zeitschrift.) Muß ein lohnendes Geschäftsmodell sein.

  3. #3 Thilo
    Oktober 4, 2013

    Man bekommt ja inzwischen fast täglich Spam-Mails mit Angeboten irgendwelcher Open-Access-Zeitschriften. (Und jedesmal von einer anderen Zeitschrift.) Muß ein lohnendes Geschäftsmodell sein.

  4. #4 Jürgen Schönstein
    Oktober 4, 2013

    Wobei science in einem Editorial einräumt, dass vermutlich auch einige traditionelle Print-Journale auf den Schwindel reingefallen wären: “Granted, some “traditional” print publications might have fallen for our hoax, too.”

  5. #5 Georg Hoffmann
    Oktober 4, 2013

    @juergen
    Kann sein. Das Problem ist aber doch die oekonomische Basis der Online Journals, wie der Economist meint.

    The publications Dr Bohannon selected for his sting operation were all open-access journals. These make papers available free, and cover their costs by charging authors a fee (typically $1,000-2,000). Policymakers have been keen on such periodicals of late. Since taxpayers already sponsor most academic research, the thinking goes, providing free access to its fruits does not seem unreasonable. But critics of the open-access model have long warned that making authors rather than readers their client risks skewing publishers’ incentives towards tolerating shoddy science.

    https://www.economist.com/news/science-and-technology/21587197-it-seems-dangerously-easy-get-scientific-nonsense-published-sciences-sokal

  6. #6 enbeh
    Oktober 5, 2013

    Beim Lesen von Bohannons Paper standen mir wirklich die Haare zu Berge. Da ist wirklich was faul im Staate Wissenschaftsverlage. Allerdings hat das meines Erachtens nicht so viel mit schlechten Peer Review zu tun. Die meisten Journals, denen Bohannon seine Manuskripte geschickt hat, haben ja gar nicht ernsthaften Peer Review betrieben. Von daher ist für mich die Frage hier weniger, wo es mit dem Peer Review hingeht, sondern wo es mit akademischen Zeitschriften hingeht. Dabei liegt ja auch beim Peer Review Prozess einiges im argen, selbst bei Journals, die Peer Review regelmäßig anwenden, aber darum geht es hier nicht.

  7. #7 Physiker
    Oktober 5, 2013

    Naja, dass die Autoren (bzw. die Universitäten/Institute) für’s publizieren zahlen, ist ja auch kein Alleinstellungsmerkmal der Open-Access-Journale. PRL nahm vor einigen Jahren z.B. 800$ pro 4 Seiten (bin da aber grad’ nicht auf dem laufenden) – und dann war das Paper immer noch hinter einer Pay-Wall. Also ich sehe für dieses verkorkste System schwarz. Nationale Lösungen sind im internationalen Wissenschaftsumfeld sowieso zum Nischendasein oder Scheitern verurteilt. Und aus dem akademischen Umfeld gibt es sowieso keine Motivation irgendetwas zu ändern, solange die Karriere mehr von der Zahl der Publikationen und vom Ansehen der Zeitschriften abhängt als von der Qualität der Arbeit.

  8. #8 Tantal
    Oktober 5, 2013

    Der Bohannon-Hoax demonstriert ziemlich eindeutig die lausige Qualitätskontrolle bei einem hohen Prozentsatz der getesteten Open-Access-Journals, aber fehlt leider der Vergleich zu traditionellen Journals. Ich vermute allerdings, dass ‘open access’ auch im Vergleich schlechter abschneiden würde, einfach weil es weniger wirtschaftlichen Anreiz gibt keinen Scharrn zu publizieren.

  9. #9 wereatheist
    Oktober 5, 2013

    i) was @Physiker, #7, sagte (bis zur Stelle “… Pay-Wall”).
    ii) was @Tantal, #8, sagte. Anders formuliert:
    Open Access/Paywalled und Guter/schlechter(kein) Peer Review korrelieren nicht stark.
    iii) @enbeh: “gar nicht ernsthafter” Peer Review = (extrem) schlechter Peer Review, oder?
    iv) Time will tell. Im Lauf der Zeit werden etliche Open Access Journals eingehen oder weithin sichtbar zu vanity press für schlechte Wissenschaft werden – und identifizierbar via Impact Faktor o. Ä.
    v) an Alle, die Open Access jetzt schlecht reden mögen, dies:
    Rock’n’Roll Is Here to Stay!

  10. #10 wereatheist
    Oktober 5, 2013

    Korrektur:
    RnR Open Access Is Here to Stay!

  11. #11 Adent
    Oktober 8, 2013

    Lol, natürlich darf das International Journal of Integrative Medicine nicht fehlen, die veröffentlichen ja auch jeden Mist aus Hogwarts an der Oder.

  12. #12 axel
    Oktober 8, 2013

    Früher war’s noch anders:

    “Der Weg zur Erkenntnis und zum Nobelpreis war jedoch auch für den Briten Higgs nicht leicht. Eine erste Version seines kurzen Aufsatzes – er umfasst nur knapp eine Seite – nahm das heute eher unbedeutende und am Cern erscheinende Journal Physics Letters nicht zur Veröffentlichung an. “Die Art, mit der die Arbeit abgelehnt wurde, war ziemlich unverschämt! Sie hatten wohl nicht begriffen, worum es ging. Dass das Ganze überhaupt mit Physik zu tun hatte”, sagt Higgs im TV-Interview.

    (Quelle: ZEIT-Online)

    Glückwünsche an Peter Higgs, Englert und die anderen, die nicht geehrt wurden.

  13. #13 kailua
    Oktober 9, 2013

    Axel, komplett falsch: es ist heute genau gleich, auch wenn das nicht in deinen Schädel will.

  14. #14 Gunnar Innerhofer
    Oktober 24, 2013

    Quo vadis peer review?

    gilt freilich auch in der Klimaforschung, insbesondere in der auftragsintensiven “Alarmisten Liga”