Dieser Artikel ist Teil des ScienceBlogs Blog-Schreibwettbewerb 2018. Informationen zum Ablauf gibt es hier. Leserinnen und Leser können die Artikel bewerten und bei der Abstimmung einen Preis gewinnen – Details dazu gibt es hier. Eine Übersicht über alle am Bewerb teilnehmenden Artikel gibt es hier. Informationen zu den Autoren der Wettbewerbsartikel finden sich in den jeweiligen Texten.
——————————————————————————————————————
50 Shades of fucked up Science
von Julia Heuritsch
¡ Achtung, Hände weg von diesem Artikel, falls auch Sie die Wissenschaft gerne als selbstlos und objektiv betrachten, denn leider werde ich von diesem romantischen Bild nicht viel übrig lassen!
Leiden Manifesto for research metrics – 10 principles to guide research evaluation with 15 translations, a video and a blog ((c) David Parkins)
Eigentlich bin ich Astronomin, nun forsche ich jedoch über die Forschung selbst. Ich arbeite also sozusagen in „Meta-Science“. Diese Forschungsrichtung gibt’s tatsächlich, sie heißt eigentlich „Wissenschaftsforschung“ oder „Science and Technology Studies“. Ich habe erst davon erfahren, als ich am Ende meines Masters in Astronomie tief in meiner Identitätskrise steckte.
Seit dem Alter von 5 Jahren hatte ich ein großes Ziel: Ich wollte Astronautin werden und das Weltall erforschen. Ich verschlang alles, was ich über das Universum in die Finger kriegen konnte und sammelte sogar Computer-Spiele und Dokumentationen über den Weltraum. Zu wissen, dass wir Menschen Bewohner* eines kleinen Planeten am Rande einer Galaxie sind, die auch wiederum nur ein kleiner Teil eines größeren Galaxien-Clusters ist, und dass da draußen so viel ist, was wir nicht wissen, hatte mich in den Bann gezogen und nichts fand ich faszinierender.
Mit 19 Jahren habe ich das Ziel, Astronautin zu werden, erstmal auf den Nagel gehängt, als mir bewusst wurde, dass – der Intuition widersprechend – Astronomie dafür nicht das geeignetste Studium wäre. Forschung war mir jedoch wichtiger als den luftleeren Raum selbst zu erleben, also entschloss ich mich für das Astronomie-Studium. Meine Erwartungen an den Inhalt und die Lehre waren astronomisch hoch. Außerdem erwartete ich eine perfekte wissenschaftliche Gemeinschaft, wie man sie von Filmen kennt.
Als Idealistin konnte ich nur enttäuscht werden.
Während meines Bachelors in Wien war ich dermaßen gelangweilt, dass ich entweder während der Vorlesungen eingeschlafen bin oder Nintendo DS gespielt habe, um das Einschlafen zu vermeiden. Nicht, dass der Stoff so leicht gewesen wäre. Nein, er war hart, aber die Art des Unterrichts hatte mich jeglicher Faszination für selbst spannende Themen, wie den Urknall, beraubt. Als ich erfahren habe, dass Professoren einen gewissen Stundensatz lehren müssen, egal ob sie es wollen oder können, jedoch nur für ihre Forschung Ansehen erlangen, verstand ich, warum diese so wenige Bemühungen in ihre Vorlesungen steckten. Statt moderner Computer-Simulationen, bekamen wir 20 Jahre alte Folien vorgesetzt, die kaum leserlich waren. Es war ermüdend.
Noch ermüdender jedoch war es, wissenschaftliche Papers – DAS Produktionsergebnis wissenschaftlicher Leistung – zu lesen. Ich hatte große Probleme, Inhalt und Aussage zu verstehen. Da die Papers auf Englisch geschrieben sind, dachte ich anfangs, meine Verständnisprobleme wären auf eine mögliche Sprachbarriere (trotz meiner guten Englisch-Kenntnisse) zurück zu führen. Als ich dann das letzte Semester meines Bachelors in Australien verbrachte, musste ich mit Erstaunen feststellen, dass meine australischen Kollegen dasselbe Verständnisproblem hatten. Den Grund dafür konnte ich mir erst nach jahrelanger „Feldforschung“ in der Forschung zusammen reimen: Abgesehen davon, dass wir als Bachelor-Kandidaten eigentlich noch „Grünschnäbel“ in der Astronomie waren, und daher wenig von dem hochspezialisierten Inhalt verstanden, ist es auch – der Intuition zuwiderlaufend – nicht das primäre Ziel eines Papers, Verständnis zu vermitteln, sondern als Wissenschaftler Sichtbarkeit und Ansehen zu erlangen. Das wirkt sich auch auf den Schreibstil aus. Sie sind im veralteten linearen Stil verfasst, sprich ohne moderner Technologien, wie Verlinkungen oder expandierenden Stellen, um verwendete Programmiercodes oder Berechnungen hinzufügen zu können. Damit werden viele wichtige Forschungsschritte in der Dokumentation der Ergebnisse ausgelassen, was Nachvollziehbarkeit und Reproduzierbarkeit erschwert und nur den Eindruck gibt, „objektiv“ zu sein, dadurch, dass Zweifel oder Fehlschläge oft ausgelassen werden. Wie faszinierend der Inhalt auch sein mag, der Schreibstil dieser Papers macht sie zur optimalen Schlaftablette.
Die schlimmste Erfahrung, die ich während meines Studiums machen musste, war allerdings die Erkenntnis, dass Wissenschaft überhaupt nicht so funktioniert wie wir es in der Schule oder durch die Populärkultur vermittelt bekommen. Wie man sich Wissenschaft vorstellt, fasst Robert Merton‘s KUDOS treffend zusammen – er war einer der ersten Wissenschaftssoziologen. KUDOS erklärt durch 5 Prinzipien, nach denen sich die Wissenschaft, aus einer rein normativen Perspektive, richten sollte:
- Kommunalismus: Wissenschaftler arbeiten zusammen und teilen Daten und Resultate.
- Universalismus: Wissenschaft ist nicht bestimmten Menschen vorbehalten und wer man ist spielt für die Gültigkeit wissenschaftlicher Gesetzmäßigkeiten keine Rolle.
- Disinterestedness (Uneigennützigkeit): Als Wissenschaftler forscht man nicht nach dem eigenen Nutzen, was insbesondere heißt, dass man nicht abhängig ist von bestimmten Resultaten, sondern rein daran interessiert ist, etwas zu entdecken.
- Originalität: Wissenschaftler entdecken auf kreative Art und Weise Neues und streben nach einem Fortschritt des Wissens.
- Skeptizismus: Wissenschaftler sind kritisch, nicht nur in Betrachtung der eigenen Daten, sondern auch gegenüber den Forschungsergebnissen anderer.
Als Idealistin glaubte ich an diese Werte. Ich glaubte an diese „ideale Gemeinschaft“, dass Wissenschaftler uneingeschränkt Wissen und Resultate miteinander teilen um ein höheres Ziel zu erreichen, wo Wissensproduktion durch Neugier geleitet ist. Ich glaubte, dass Wissenschaft inhärent objektiv und kooperativ sei.
Die Erkenntnis, dass dem nicht so ist, hat mich hart getroffen. Forscher werden nach der Anzahl ihrer Publikationen beurteilt (Publikations-Rate), wie viele Forscher diese zitieren (Zitations-Rate), und wie viel Forschungsgelder (Funding) sie auftreiben können. Kurz gesagt wird die Kompetenz von Forschern und die Qualität ihrer Arbeit an Zahlen festgemacht, den sogenannten Metriken. In diesen Metriken hoch zu punkten ist wichtig, um die Karriereleiter hochzuklettern und in der Forschung bleiben zu können. Das Problem dabei ist, dass sich große Entdeckungen nicht einfach wie eine Pizza bestellen lassen, sondern Forschung das Risiko birgt, in einer Sackgasse zu landen. Keine (gewünschten) Ergebnisse lassen sich schlecht publizieren. Daher pushen sie die Publikations-Rate nicht, was dazu führt, dass Forscher sich weniger an risikoreichere Themen heran wagen. Andere Konsequenzen dieses Systems sind u.a. die vorher erwähnte mangelhafte Lehre, schlecht geschriebene und nicht reproduzierbare Papers und Informationüberladung aufgrund von überholten Papers und manchmal sogar Betrug („fraud“, Ein Beispiel ist der Stapel Fall ).
Ein Meme, das die Relevanz von Metriken in der Beurteilung von Wissenschaft(lern) unterstreicht, aber auch gleichzeitig kritisch hinterfragt. Urheber: mein PhD-Kollege Max Leckert
Wie genau die einzelnen Bewertungskriterien aussehen, hängt natürlich auch vom wissenschaftlichen Feld ab, aber allgemein kann man feststellen, dass in der Realität der Wissenschaft die KUDOS Werte durch die metrikbasierte Bewertung von Forschung und Forschungsergebnissen untergraben werden:
Ad 1) Kommunalismus :
Während es zwar wissenschaftliche Kollaborationen gibt, steht Konkurrenz doch eher an der Tagesordnung. Man steht unter Druck, als Erste(r) über bestimmte Forschungsergebnisse zu publizieren und wird folglich seine Daten nicht hergeben, bevor man sie nicht für das Paper gemolken hat. Kollaborationen werden vor allem dann angestrebt, wenn man etwas von dem Kollaborationspartner (ob einzelner Wissenschaftler oder Forschergruppe) braucht – das können Ressourcen sein (in der Astronomie zum Beispiel Zugang zu Teleskopen) oder aber auch um einen berühmten Namen als Co-Autor zu Papier zu bringen. Womit wir zum nächsten Punkt gelangen.
Ad 2) Universalismus :
Wissenschaft ist objektiv und entdeckt Fakten, ganz egal, wer diese schafft? Falsch gedacht! Es kommt sehr wohl darauf an, „wer“ man ist. Hat man sich durch eine ansehnliche Publikations-Rate, Zitations-Rate und dem Abstauben von prestigeträchtigen Preisen Ansehen verschafft, steigt die Wahrscheinlichkeit, dass die eigene Wissenschaft in einem angesehenen Verlag (Journal) veröffentlicht wird, um ein Vielfaches. Dies wiederum steigert natürlich das eigene Ansehen. Wer hat, dem wird gegeben – dieses Prinzip nennt man den Matthäus-Effekt . Es ist quasi ein Huhn-oder-Ei Problem – wie fängt man an, sich einen Namen zu verschaffen, wenn man, um in angesehenen Journals publizieren zu können, schon einen solchen braucht? Ein berühmter Betreuer oder die Kollaboration mit jemandem, der sich schon einen Namen in der Community gemacht hat, als Co-Autor kann da weiterhelfen.
Ad 3) Uneigennützigkeit :
Um wichtige Drittmittel zu erhalten, um eine Forschungsgruppe zu bilden und Doktoranden anzustellen, muss man Anträge schreiben. Die Akzeptanz-Rate dieser ist extrem niedrig, 10% ist schon viel. Da hilft es natürlich einen Namen zu haben. Vor allem ist es aber wichtig, demonstrieren zu können, was die geplante Forschungsarbeit leisten wird. Das bedeutet nicht nur genau zu wissen, was man vorhat, sondern auch welche Ergebnisse man erwartet. Eine paradoxe Anforderung in der Forschung, wo sie an sich schon riskant und unvorhersehbar ist. Findet man diese erwarteten Ergebnisse nicht, kann oft gar nicht publiziert werden. Zusätzlicher Druck entsteht wenn eine ökonomisch motivierte Erwartung an bestimmte Ergebnisse gestellt ist (in Wissenschaften wie z.B. in der Pharmazie). Nicht selten kommt es vor, dass Ergebnisse „ge-tweakt“ (sprich, frisiert), unerwünschte „Ausreißer“ in den Daten unter den Teppich gekehrt oder – in Einzelfällen – sogar Daten gefälscht werden (fraud).
Ad 4) Originalität :
Das „Publish or Perish“ (sprich, „Publiziere oder stirb“ ) Dogma führt oft dazu, dass Forschungsergebnisse in mehrere Papers aufgeteilt werden, um mehr Publikationen heraus zu bekommen. Dieses Salami Slicing führt natürlich dazu, dass viel Information einfach erneut abgedruckt wird, die nichts Neues zum Wissen beiträgt und so auch den Informationsüberfluss begünstigt. Außerdem wird Kreativität nicht gefördert, riskante Projekte oder Ideen werden eher vermieden, da ja vielleicht nichts (Gewünschtes) publiziert werden kann. Dies führt zu risikoaversivem Verhalten, wobei kaum revolutionäre Gedanken (breakthrough) entstehen können.
Ad 5) Skeptizismus :
Die gefühlte Notwendigkeit, Daten anzupassen, sodass Ergebnisse eher den Wünschen der Geldgeber entsprechen, beeinträchtigt natürlich nicht nur die publizierten Ergebnisse, sondern auch das kritische Denken der Forscher. Dazu kommt, dass wir uns in einer Reproduzierbarkeitskrise befinden. Die Mehrheit der Ergebnisse können nicht reproduziert werden, aufgrund der Informationsüberladung durch die Paper-Flut einerseits, und andererseits weil (wie oben beschrieben) oft die Dokumentierung wichtiger Forschungsprozesse in den Papers ausgelassen wird und daher nicht genügend Informationen zur Reproduktion zur Verfügung stehen. Vor allem die Psychologie steht unter Kritik, nicht nachvollziehbare Studien im Akkord das Licht der Welt erblicken zu lassen, aber auch andere Wissenschaften müssen mehr vor ihrer eigenen Reproduzierbarkeitstüre kehren. Selbst jedoch, wenn Forschungsergebnisse reproduzierbar sind, so sind Bestätigungen von Ergebnissen in der Regel nicht publizierbar, da sie ja keine neue Erkenntnis bringen. Wird ein Ergebnis widerlegt, ist dies zwar theoretisch publizierbar, in der Praxis werden jedoch die überholten Ergebnisse nicht aus dem Verkehr gezogen (was die Informationsüberlastung nur noch verstärkt), und manchmal wird die Widerlegung sogar vom Journal abgelehnt, da dieses mit dem berühmten Professor, der das Ursprungs-Paper geschrieben hat, zusammen arbeitet. Aus diesen Gründen wird kaum Anreiz für Wissenschaftler geschaffen, bekannte Studien zu reproduzieren und diese kritisch zu hinterfragen.
Leider wird über diese Missstände im Alltagsleben der Forscher kaum gesprochen. Lange Zeit dachte ich, meine Probleme mit der Forschung lägen einer persönlichen Schwäche zugrunde. Vielleicht bin ich keine gute Forscherin? Vielleicht bin ich einfach zu dumm? Diese Fragen sind mir tagtäglich durch den Kopf gegangen, während es für mich so ausgesehen hat, als würden alle anderen super mit dem System klar kommen. Gegen Ende meines Masters, den ich in Leiden (Niederlande) gemacht habe, war ich komplett desillusioniert und steckte inmitten einer Identitätskrise – was soll ich mit meinem Leben anfangen, wenn ich nicht Astronomin werde? Es war keine Option, das Spiel länger mitzuspielen, denn das wäre mit dem Verkauf meiner Seele an den „Publish or Perish“-Teufel zu vergleichen gewesen.
Ein Meme, das die Sinnhaftigkeit vom Gleichsetzen von Zitations-Rate mit wissenschaftlicher Exzellenz hinterfragt. Urheber: mein PhD-Kollege Max Leckert
Glücklicherweise fand ich zu dem Zeitpunkt heraus, dass es Wissenschaftler gibt, die die Missstände in der Wissenschaft offen ansprechen, diese erforschen und diese lösen wollen. „Science in Transition“ ist so eine Initiative von niederländischen Universitätsprofessoren ins Leben gerufen, die nach einer Reform in der Wissenschaft streben. Die Probleme, die in deren Position-Paper aufgegriffen werden, nennen sie „Shades of Grey“, was meinen Titel inspiriert hat (nein, natürlich nicht die Buchreihe).
Nicht nur gibt es solche Initiativen, es gibt ein ganzes Feld in der Soziologie, genannt Wissenschaftsforschung (Science and Technology Studies), das diese Meta-Forschung betreibt. Ein Institut dafür, das CWTS (Centre for Science and Technology Studies) lag sogar am anderen Ende der Straße von meinem Astronomie Institut. Als ich davon gehört habe, bin ich buchstäblich am Tag nach meiner Abschluss-Zeremonie bei diesem Institut auf der Matte gestanden und habe mich um einen Job beworben. Was folgt ist eine lange Geschichte, die ihr ab Oktober 2018 in diesem Blog nachlesen könnt, denn dann werde ich eine Serie an Artikeln mit dem Namen „Science Backstage“ posten.
Nur so viel sei schon einmal gesagt; Ich habe am CWTS 2 Jahre lang gearbeitet und arbeite nun an der Humboldt Universität zu Berlin in Kooperation mit dem DZHW (Deutsches Zentrum für Wissenschafts- und Hochschulforschung). In meiner Forschung beschäftige ich mich nun mit der Frage, was wissenschaftliche Qualität in der Astronomie ist und wie das System diese beeinträchtigt. Letztendlich ist es mein Ziel heraus zu finden, wie Bewertungskriterien das Leben der Forscher einfacher und die Wissenschaft besser machen könnten. Um es mit den Worten eines Freundes ausdrücken: Ich mache meinen Doktor über die Frage, warum ich keinen Doktor in der Astronomie machen wollte.
Zum Abschluss möchte ich einwenden, dass ich diesen Artikel bewusst sehr kritisch geschrieben habe. Er mag ein sehr negatives Licht auf die Wissenschaft werfen. Trotzdem ist die Wissenschaft für den Fortschritt unserer Gesellschaft unglaublich wichtig und es wird wertvolles Wissen produziert. Ich finde es jedoch notwendig und an der Zeit, auch über Missstände zu sprechen und zu lernen, wie wir Wissenschaftler fördern können, sodass sie qualitative (und nicht nur unbedingt quantitative) Forschung betreiben, bereits Erforschtes hinterfragen und sich auch in risikoreichere Bereiche wagen können.
PS: Wer gerne mehr über 50 Shades of Fucked Up Research lesen will, dem kann ich noch dieses anekdotische Paper und den „Everything is fucked“ Blog empfehlen.
* Ich finde, dass Gendern das Lesen erschwert, daher schreibe ich in der allgemeinen Form, weise aber darauf hin, dass ich stets alle Geschlechter gleichwertig anspreche.
Kommentare (50)