Startseiterupture de caténaire

Gegen Missstände in der Wissenschaft anschreiben

Von / 1. März 2021 / 7 Kommentare
Mehr

Wissenschaft ist großartig! Allein im letzten Jahr haben wir nicht nur den Ausbruch einer Pandemie erlebt, sondern auch die Entwicklung mehrerer Impfstoffe gegen das auslösende Virus! Und dabei haben eine ganze Reihe von Fragen im Vorfeld gelöst werden müssen: Der genetische Code musste entschlüsselt, die Quantenelektrodynamik erforscht, Restriktionsenzyme gefunden, Foto-Lithographie entwickelt, RNA-Synthese entwickelt und sehr viel mehr wissenschaftliche und ingenieurstechnische Arbeit geleistet werden. Ohne diese bereits jahrzehntealten Entwicklungen wären die Durchbrüche in Virologie und Immunologie nicht denkbar.

Allein das letzte Jahr hat uns großartige Entdeckungen und Methoden geliefert: Strukturvorhersage von Proteinen mit künstlicher Intelligenz eröffnet ungeahnte Möglichkeiten – und sehr viele neue Fragen. Der Chemienobelpreis 2020 an Emmanuelle Charpentier und Jennifer A. Doudna für die Entdeckung des CRISPR/Cas9-Werkzeugs belohnte zwar keine Entdeckung aus dem letzten Jahr, aber die Entdeckungen damit purzelten auch im letzten Jahr. Wir haben uns gefragt, ob es Leben auf der Venus gibt (eher nicht, aber das finde ich egal: Man kann nämlich berechnen wie empfindlich Messinstrumente sein können und dennoch davon fasziniert sein.) Sogar die Entwicklung von “Fleischzucht im Labor” hat große Fortschritte gemacht (Sally le Page bietet eine gute Einschätzung). Und auch dieses Jahr startet großartig.

Das sind alles wunderbar leuchtende Wunderwerke erfolgreicher Wissenschaft und Ingenieurskunst. Wir sollten uns daran freuen. Doch wer aufmerksam liest, z. B. hier auf Scienceblogs, nebenan auf scilogs, bei retraction watch, bestimmten twitter-Kanälen oder einschlägigen Büchern (Beispiel), wird misstrauisch bei allen und jedem Resultat – wissend, dass der wissenschaftliche Fortschritt alles andere als fleckenlos ist.

Die Erkenntnis ist nicht neu, sie hatten schon Andere. Zum Beispiel Charles Babbage, der schon 1830 hoaxing, forging, trimming und cooking als Übel der Wissenschaft beschrieb (Quelle mit “deutscher IP” nicht aufzurufen). Und was brachte die Aufregerei? Ist das nicht eine Förderung der Obskuranten (“Seht her wie beliebig Wissenschaft ist!”, “Ist ja nur eine Studie!”, “Kann man sich ja nicht drauf verlassen!”)?  Oder der Evolutions-, Klimawandel-, Impf- oder Sonstwas-Leugner (“Seht her die lügen und stümpern doch alle in der Wissenschaft!”)?

Ich finde, man muss, man sollte anders denken: Zum einen ist die “Vertrauensbaseline” sehr hoch (das aktuelle Wissenschaftsbarometer zeigt zwar, dass das Vertrauen in “die Wissenschaft” in den letzten Monaten gelitten hat aber mit ca. 60 % der Befragten, die wissenschaftlichen Ergebnissen vertrauen oder eher vertrauen immer noch sehr groß ist). Zugegeben, da ist Luft nach oben, aber zum anderen kann Vertrauen auch beschädigt werden, wenn man hört, das es systemimmanente Probleme gibt und weiß, dass nicht daran gearbeitet wird. Darüber offen zu sprechen wird nicht zu einem dramatischen Vertrauensverlust führen.

Meiner Auffassung nach müssen (wir) WissenschaftlerInnen auch härter für dieses Vertrauen arbeiten. Zwar weiß ich nicht, ob es Forschung zu der Frage gibt, aber ich gehe davon aus, dass das Vertrauen in Wissenschaft durch übertriebene Pressemitteilungen aus der Wissenschaft, reißerische Presseartikel oder Fernsehberichte und auch dumm schwätzende (Ex-)Professoren der Reputation der Wissenschaft weit mehr schaden als jede ernsthafte Diskussion über die Reproduzierbarkeitskrise vermag.

Anlass zur Hoffnung

Die letzten Jahre zeigen, dass das Bewusstsein für die Problematik innerhalb der Wissenschaft gewachsen ist: Initiativen zur Bekämpfung der Reproduzierbarkeitskrise schießen aus dem Boden. Auch hierzulande gibt es beispielsweise unlängst gegründete deutsche “reproducibilitynetwork“, dass sich vor Mitmachwilligen kaum retten kann. Auch gibt es lokale Initiativen wie z. B. das Open Science Centre der LMU (es gibt noch viel mehr Initiativen im deutschsprachigen Raum, aber das hier ist ein Blogbeitrag, kein Buch mit tausend Fußnoten – nicht vergessen sei allerdings der tolle Podcast OpenScienceRadio).

Viel wurde angestoßen: So haben sich viele wissenschaftliche Journale den Richtlinien von COPE (Committee on Publication Ethics) angeschlossen. Bei klinischen Studien wir Preregistrierung immer häufiger Voraussetzung für eine spätere Publikation. Es gibt noch viele weitere und wirkungsvolle Initiativen.

Was kann ein kleiner Blogger beitragen?

Wenig. Der Blogger ist ja nicht eingebildet. Einerseits kann er sich ein wenig Frust von der Seele schreiben, andererseits auch mahnen und zu Verbesserungen anregen. Das hat seine Grenzen –  vielleicht ist ja jemanden die kleine Anspielung in der Bannerzeichnung zur Artikelserie aufgefallen. Regelmäßige LeserInnen von SB und BioinformatikerInnen bilden eine relativ kleine Schnittmenge. Und so ein Blogger hat die Weisheit auch nicht mit Löffeln gefressen. Andererseits ist fraglich was Initiativen und guidelines so bringen werden …

Und wieso IT? IT allgemein steht bei Beachtung der Reproduzierbarkeitskrise nicht im Fokus. Es gibt zwar Konferenzen zur Frage, was Software tun kann, um Probleme in Publikationen aufzudecken oder die Reproduzierbarkeit im Vorfeld der Veröffentlichung zu verbessern. Was ich jedoch meine bezieht sich eher auf den Prozess des Erkenntnisgewinns. Und da habe ich hier einen Fokus auf die Bioinformatik (auch wenn ich anderen computational sciences ständig begegne, bei denen es nicht besser bestellt ist), weil Bioinformatik sich häufig mit medizinischer Grundlagenforschung, angewandter Krebsforschung, Virologie und mehr beschäftigt. Und weil die Bioinformatik wahrlich in keinem guten Zustand befindet. Beispiele gab es im Blog schon ein paar. Noch ein paar Extremfälle gefällig?

  • SIRA-HIV[Raposo et al., 2020] wurde der Best Poster Award der “Bioinformatics”-Konferenz zugesprochen. Herzlichen Glückwunsch! Dieses Stück Software beschäftigt sich mit der Vorhersage von Medikamentenresistenzen des HI-Virus. Es ist eine Webapplikation ohne Quellcoderelease, ohne Lizenz, seit zwei Jahren ohne Wartung und mit der Hoffnung, dass sich mögliche Nutzer das irgendwie selber installieren (Link). Die anderen beiden ausgezeichneten Publikationen zeigen erst gar keine Softwarelinks – jedenfalls habe ich keine finden können. Was wird bei dem Post Award eigentlich beurteilt? Das Layout? Im Zeitalter omnipräsenter Mobiltelefone habe ich noch niemanden URLs bei der Begutachtung von “Poster Awards” testen gesehen …
  • Die Suche nach neuen Wirkstoffen beginnt oft im Computer. Noch im letzten Jahr wird unter dem Titel “Next Generation Pharmacophore Modelling“[Schaller et al., 2020]  ein Workflow angepriesen: Der “Common Hits Approach“, bei dem Pharmacophore Modelling (die elektrostatische Beschreibung einer Bindetasche in einem Protein mit ihrem Wirkstoff zur schnelleren Suche nach anderen Wirkstoffen) mit Molekulardynamiksimulationen kombiniert werden kann. Diese Publikation ist auch erst ein paar Jahre alt, die aufgezählten Webseiten z. T. aber nicht mehr erreichbar, die Methode also nicht mehr so anzuwenden[Wieder et al., 2017]. Mittlerweile bohrt sich die Pharmazeutische Industrie durch die Vernachlässigung des akademischen Sektors mächtig ins Knie: Die übermäßige Kommerzialisierung der relevanten Software verhindert die Ausbildung des Nachwuchses ebenso wie die mangelnde Teilhabe der Universitäten bei modernen Methoden der chemischen Wirkstoffsuche.
  • Oder eine Software, die in der Annotation von Genen relativ häufig zum Einsatz kommt: Maker. So was nimmt gerne auch bei neu zusammengesetzten Genomen. Seit Jahren versprechen den Macher von Maker eine Dokumentation zur Installation online zu stellen – dabei bleibt es. Ich habe das vor drei Jahren mal per Hand gemacht und fürchte den Tag an dem das wieder an mich getragen wird. Warum? Weil es eine fürchterliche Selbstbauparallelisierung hat, die ständig nachfragt ob ein Prozess noch lebt und somit dafür ca. 20% des Systems braucht. Weil das Ding viele Softwaretools benötigt, die z. T. von 1992 (kein Witz) stammen und seit dem unverändert sind. Weil es umständlich in der Anwendung ist mit seinen Myriaden von Zwischenprodukten in Form von Dateien. Ja, es funktioniert. Das nimmt den Druck etwas Besseres zu entwickeln. Aber man kann so eine Software eigentlich nur auf “Privatservern” in Arbeitsgruppen einsetzen, wo es keinen Admin gibt, dem sich die Zehennägel kräuseln.

Und deshalb gilt es eine Lanze für die Reproduzierbarkeit zu brechen und für gute Software zu sorgen. Die Welt akademischer Software, insbesondere in der angewandten Bioinformatik, sieht nämlich so aus: Irgendwelche Software wird irgendwie publiziert, manchmal sogar auf Software basierende Veröffentlichungen ohne Veröffentlichung des Quellcodes, über die Anwendbarkeit macht sich niemand auf Seiten der Journale Gedanken. Ein paar Jahre später kann die Software kaum jemand anwenden und die eigenen Ergebnisse gut reproduzieren. Oft aber ist der Code derartig: Wenn man einen Blick drauf werfen kann, glaubt man den Ergebnissen der Software nicht mehr.

Vielleicht kennt ihr das Gefühl: Wenn man in der Zeitung etwas über einen Zweig der Wissenschaft liest (oder im Fernsehen sieht, oder, oder …), in dem man sich auskennt und da wird Unsinn erzählt … das sät Zweifel zu allen anderen Themen, in denen man sich eben nicht auskennt. Genau so geht es mir bei vielen Veröffentlichungen angewandter Bioinformatik.

Grund genug also dagegen anzuschreiben.

 

 

 

flattr this!

Stichworte: , ,
Mehr

Kommentare (7)

  1. #1 schorsch
    1. März 2021

    Babbages “Reflections on the decline of Science in England” auch unter deutscher IP-Adresse abrufbar: https://archive.org/search.php?query=charles%20babbage%20hoaxing%20forging&sin=TXT

    • #2 Christian Meesters
      1. März 2021

      Oh, schön. Danke.

  2. #3 Structure resaerch
    Hamburg
    11. März 2021

    Hallo,
    irgendwie verstehe ich die Skepsis gegenüber computational chemistry nicht.
    Structure-based drug design gibt es seit Jahrzenten, die Algorithmen wurden in akademischen Forschungsbereich entwickelt un in jedem Detail publiziert und diskutiert. Die Pharmaforschung hat die Methoden übernommen und scheinbar wenig in die Weiterentwicklung gesteckt. Deshalb sind die Methoden aber nicht schlechter geworden.
    Vuielleicht gibt es einfach nicht mehr genug Fachleute, die noch das know-how haben die wissenschaftlichen Grundlagen zu verstehen. Das ist aber nicht dei Schuld der Methoden.
    VG

    • #4 Christian Meesters
      11. März 2021

      Deshalb sind die Methoden aber nicht schlechter geworden.

      Das nicht, aber angefault sind sie z. T. schon: aktuelle Software ist in Teilen nicht für akademische Umgebungen verfügbar (oder zu untragbaren Kosten) und baut auf alte Softwarebestandteile (z. B. PMI) auf, die längst überholt sind. Programme, die freie Lizenzen aufweisen, sind großteils seit Jahren (z. T. > 10 Jahre) nicht mehr gewartet oder schon nach kurzer Zeit (s. Artikellink im Text) nicht mehr funktional.

      Vuielleicht gibt es einfach nicht mehr genug Fachleute, die noch das know-how haben die wissenschaftlichen Grundlagen zu verstehen. Das ist aber nicht dei Schuld der Methoden.

      Hier gibt es zwei Aspekte: Wenn die Universitäten die Ausbildung der Grundlagen versäumen, dann – in der Tat – wäre das ein unglaubliches Versäumnis. Zwar gibt es nicht an jeder Uni die Fachleute, die solche Software entwickeln könnten, aber es gibt sie. Leider ist Softwareentwicklung für bereits gelöste Probleme und bereits publizierte Applikationen so gut wie unmöglich zu beantragen. Wenn also nicht jemand ein Programm pflegt – gewissermaßen als akadem. Hobby weiter wartet – , kann eine publizierte Software nicht unbedingt weiter genutzt werden – davon demnächst mehr im Blog.

      Aber auch auf der Anwenderseite entstehen Schwierigkeiten: Wenn Leute nur in grottigen Workflows denken lernen, ist der Umstieg in eine industrielle Laufbahn, wo das Angebot besteht Software ganz anderer Paradigmen zu nutzen, wenig angenehm – falls sie überhaupt eine Chance auf dem Markt haben. Nicht überall ist die monetäre Ausstattung so mau wie hierzulande. Da wird auch schon mal Geld in die Hand genommen und akadem. AGs werden gut ausgestattet. Die dort ausgebildeten Leute sind heiß gesucht.

      [edit: NB virtual screening von Liganden ist nicht dasselbe wie computational chemistry – aber ich gehe mal davon aus, dass Ersteres damit gemeint war, weil dieses im Blogartikel angesprochen wurde / darauf angespielt wurde.]

      • #5 Christian Meesters
        11. März 2021

        PS und da sind noch die orphaned diseases – Krankheiten, die sich westliche Pharmaunternehmen nicht interessieren. Akadem. Forschung läuft da schon. Da gibt es sehr viele Aspekte, wo es klemmt. Die können wir hier nicht en detail diskutieren, das wäre eine Artikelserie wert. Ein untergeordneter Aspekt ist: Keine gute freie Software und kein Geld für kommerziell gewartete Alternativen.

  3. #6 Victor Venema
    Bonn
    23. März 2021

    That is an interesting problem. I work in climatology and the key complicated pieces of science are typically maintained by research institutes that have to look less at how many papers they write, such as weather services. My impression is that they are in a decent technical shape, but I work more on observations than on modelling.

    I am working on a post-publication peer review system for scientific articles and manuscripts. I hope that this will replace the current system where the quality of one’s work is determined by the journal you publish in.

    How we make that new system also determines what is valued in science. I was thinking of asking reviewers to quantitatively assess papers on three maybe four aspects:

    1. Scientific contribution (new insight)

    2. Societal impact (which funding agencies want to know)

    3. Technical quality (what I hope hiring committees want to know)

    4. Importance of the research program (if someone improves the best method available that is not a large scientific contribution, but the method is important. That could be indicated here.)

    Do you see a way to formulate an assessment criterion so that also tasks like keeping software up to date is also valued? We could also review other things than papers, like software or databases, but I am afraid university rankings and funding agencies may not take that seriously and will stick to only valuing papers. Could you judge software on the same 3 aspects as papers or would that require a new system?

    The system is organized in communities/journals. Every community could determine themselves what “technical quality” means to them.

    • #7 Christian Meesters
      24. März 2021

      I am not familiar with your field and only the related athmospheric physics shows up every now and then with regard to software on my horizon. However, there the state of software development is about as bad or even worse than in the described field of Bioinformatics. As for your criteria question – one could easily rephrase the modest publishing criteria I came up with into reviewing criteria.

      As for your post-publication review system: Sounds interesting, yet I cannot see whether it is a community effort or a one-person endevour? How does it compare to pub-peer?

      BTW Why are you writing in English? You live in Bonn, read German blog articles, most likely have been a member of a German political party (according to a search engine; or still are) …

      [edited: It’s a week of looong course days + “home schooling”, grammar and blog curation do indeed suffer.]