Dies ist Aussage einer Studie. Und in Querdenkerkreisen, auf ServusTV und Youtube wurde die Studie hochgespielt. Nun, ich habe wenig Ahnung von Immunologie. Und schon die “Sciencecops” vom WDR haben sich mit der Frage beschäftigt und der SWR kommentierte genau diese Studie. Lohnt also ein weiterer Blick?
Nun, ich wurde gebeten die Studie anzuschauen und zu kommentieren. Und ich verstehe, dass durch solche Publikationen die Unsicherheit mancher Beobachter noch verschärft wird.
Ich finde es eigentlich immer besser, wenn so etwas vorher erforscht wird, bevor man es der gesamten Menschheit injizieren möchte und mit hohem psychischem Druck eine Impfung durchsetzen möchte.
Das kann ich verstehen – auch wenn ich denke, dass es praktisch unmöglich ist alle Aspekte einer Impfung zu erforschen, bevor man sie in breiter Masse anwendet. Aber diese Aspekte eigentlich schon, oder? Vielleicht ist es also an der Zeit einmal zu erklären, wie ich persönlich mit Studien in einem unbekannten Fach umgehe. Unter WissenschaftlerInnen ist “How to read a scientific paper” in vielen Varianten beliebt. Man bereitet mit derartigen Artikeln Seminare vor und für eine Tätigkeit als GutachterIn sind sie ein guter Startpunkt. Hier gibt es einige aus dem Bereichen Biologie und Medizin. Vor allem bietet solch ein Einstieg auch die Möglichkeit selber nachzuvollziehen was dran ist an bestimmten Aussagen. Wer sich, wie mein Einsender, die Mühe macht die Originalveröffentlichung herunterzuladen und durch ein Übersetzungprogramm zu schicken, möchte wirklich mehr wissen.
Also, der Reihe nach:
Meint der Begriff, der in den Medien steht, dasselbe in der Wissenschaft?
Wenn “Programmierung” in diesem Blog verwendet wird, dann selbstverständlich im Sinne der Entwicklung von Software für Computer. Hier aber geht es um das Immunsystem und wir wissen: Eine Impfung ist dazu da, das Immunsystem zu “programmieren”, damit es schneller auf unbekannten Viren oder Bakterien reagieren und ernsthafte Erkrankungen besser verhindern kann. Das Immunsystem wird laut dem Titel der Veröffentlichung “The BNT162b2 mRNA vaccine against SARS-CoV-2 reprograms both adaptive and innate immune responses” offenbar umprogrammiert. Also kann es nach einer Impfung seine Arbeit nicht mehr so gut machen, oder?
Aber wir wissen ja schon durch den Vergleich: Programmieren und Programmieren kann nicht dasselbe bedeuten. Grund genug also in solchen Fällen tief durch zu atmen und näher hinzuschauen.
Was für eine wissenschaftliche Veröffentlichung habe ich eigentlich vor mir?
Wissenschaftliche Arbeiten kann man in verschiedene Schubladen stecken, die jeweils ihre Besonderheiten haben. Die besonderen Merkmale dieser Studie – ein Mittelding aus Laborstudie und Feldstudie – sind Laborergebnisse gewonnen von Menschen, die eine Anti-SARS-CoV2-Impfung mit einem mRNA-Wirkstoff erhalten haben. Und natürlich die Inpretation, die durch Videos und Kommentare im Internet herumgeistern.
Eine “Studie” ist etwas Anderes als eine Beschreibung experimenteller Ergebnisse. Studienergebnisse überfluten uns ständig und – machen wir uns nichts vor – viele Studien sind schlicht lausig schlecht: Sie betrachten zu wenige Menschen (Probanden) um sich sicher sein zu können, dass sie keine statistischen Artefakte beschreiben. Sie betrachten eine nicht repräsentative Auswahl von Menschen (wenn man z. B. nur eine handvoll von Studenten aus westlichen Ländern betrachtet, darf man dann seine Schlußfolgerung auf alle Menschen weltweit übertragen? – die Erkenntnis, dass dies zu keinen zuverlässigen Studien führt, hat in der Psychologie zur Prägung des Akronyms WEIRD geführt. Studien, die dieses Label erhalten sind meist nicht verlässlich.). Da gibt es noch viel mehr Probleme, die wir hier beschreiben könnten. Um es kurz zu machen: Experimentelle Ergebnisse sind oft sicherer zu interpretieren, da gibt es jeweils andere wichtige Kriterien. Aber hier haben wir es mit einer Studie zu tun, die experimentelle Ergebnisse beschreibt.
Also:
Wie steht es um die Zahl der Probanden?
Zunächst sind da nur 16 angegeben, davon fiel eine Person aus, weil die Autoren ausschließlich die Wirkung der Impfung betrachten wollten und besagte Person über SARS-CoV-2-Antikörper verfügte. Nun sind 15 Probanden zwar wenig, aber 15 eindeutige Ergebnisse wären durchaus ein Ergebnisse, was nicht weg zu diskutieren wäre! Je geringer ein Effekt jedoch ist, desto größer muss eine Stichprobe sein – sonst kann man den Effekt entweder nicht nachweisen oder, schlimmer noch, man hat die Gefahr ein falsch positives Ergebnis in die Welt hinaus zu posaunen.
Mit einer Stichprobengröße von 15 und dem angegebenen Test liegt die sogenannte statistische Trennschärfe bei ca. 20 % (hierbei habe eine Merkmalsstreuung von 0.5 angenommen – nichts Genaues weiß man nicht, dass ist in der Veröffentlichung nicht genau genug beschrieben). Die Wahrscheinlichkeit, dass die Autoren richtige Ergebnisse vermelden können war bereits vor Beginn der Messungen eher mau.
Aber die Autoren vermelden gute “P-Werte”, richtig? Ein P-Wert ist ein statistischer Klimmzug: Ein P-Wert von von < 0.001 (wie er auch in der Veröffentlichung steht) sagt, dass man sich mit einer Wahrscheinlichkeit von > 1:1000 sicher ist, dass ein festgestellter Unterschied nicht falsch vermeldet wird. Also ziemlich gut, oder?
Nun testen die Autoren aber innerhalb für einen Parameter nicht einmal, sondern 8 bis 12 Mal. Es ist ein beliebter Trick an der Stelle P-Werte nicht zu korrigieren. Das müsste man korrekterweise aber: Wer oft testet, kann auch mal durch reinen Zufall einen Treffer vermelden. Deshalb verlangt sauberes Arbeiten auch eine Anpassung der P-Werte (Wikipedia bietet hier einen Einstieg in das Thema) bei mehrfachen Tests.
Ok, das war jetzt sehr technisch. Man kann sich aber auch einfach mal die Graphiken anschauen: Die meisten Graphiken zeigen überhaupt keinen Unterschied zwischen Geimpften und nicht Geimpften bei den verschiedenen Parametern. Und dort wo doch Unterschiede vermeldet werden scheinen es einzelne Datenpunkte zu sein, die den Unterschied ausmachen. Jede Messung hinter einem Datenpunkt ist fehlerbehaftet. Diesen Fehler können die Autoren hier zwar nicht angeben, weil sie ihn nicht kennen. Das liegt an der Messung. Aber wir können uns fragen: Würden mehr Daten gesammelt, würden sich die Ergebnisse halten können?
Das wissen wir natürlich nicht und deshalb sollte man a) von vornherein mehr Daten sammeln, so dass eben die Trennschärfe der statistischen Tests gut ist und b) sollten wir als Leser einer einzigen Studie sowieso nicht allzu viel “Vorschußvertrauen” geben – und lieber mal genau hinschauen.
Und hier sehen wir auch – vielleicht statistisch “signifikant”, vielleicht auch nicht – Unterschiede. Die Unterschiede sind ziemlich klein, relativ zu den Gesamtgrößen. Wir können uns also fragen: Das soll eine “Umprogrammierung” sein, wodurch andere Krankheitserreger weniger gut bekämpft werden? Oder anders: Rechtfertigen die Befunde die Aussagen einer Studie, dieser Studie?
Wie steht es um die Daten?
Es ist immer gut zu schauen, wie es um die Primärdaten steht. Denn dann zeigen Autoren von ihrer Arbeit überzeugt zu sein: “Liebe Kollgen, schaut ruhig drauf. Ihr werdet keine gravierenden Fehler finden und wenn ihr Fehler findet, nehmen wir eure Kritik gerne an.” ist die Botschaft veröffentlichter Daten. Heutzutage ist das Hinterlegen von Daten auf einer frei zugänglichen Datenbank im Internet eine Selbstverständlichkeit. Viele wissenschaftliche Zeitschriften, gerade im medizinischen Bereich, bestehen darauf. Die Autoren vermelden jedoch:
Data from this study are available upon request.
Wer also nachfragt, bekommt die Daten. Nun ja, es handelt sich um ein sogenanntes Preprint – also eine Vorabveröffentlichung, die noch nicht vom Kollegenkreis in Augesschein genommen wurde. Da kann man eigentlich nicht verlangen, dass die Daten bereits öffentlich sind. Vielleicht werden sie noch veröffentlicht.
Wie ist die Arbeit veröffentlicht? Welche Kommentare zieht eine Veröffentlichung auf sich?
Die Arbeit befindet sich noch im Status des Preprint, hat den Weg in eine wissenschaftliche Zeitschrift also noch nicht gefunden. Wenn auch das sogenannte Peer-Reviewverfahren, bei dem zur Qualitätssicherung wissenschaftliche KollegInnen eine Einrichung zu einer Zeitschrift begutachten und Verbesserungsvorschläge einreichen, nicht perfekt ist – hier ist es noch nicht erfolgt. Auch das sollte zur Vorsicht bei der Interpretation anhalten.
In beiden Fällen – auf einem Preprint-Server und bei Zeitschriftenseiten – gibt es inzwischen häufig eine Kommentarspalte. Auch man hineinschauen und sich zu fragen: Wie wird eine Arbeit in der “wissenschaftlichen Community” aufgenommen? Wie gesagt: Ich habe wenig Ahnung vom Immunsystem. Die meisten Mitlesenden ebenfalls nicht. Aber manche der Leute, die in den Kommentarspalten schreiben haben einschlägige Kenntnisse und es ist möglich auch Antworten zu schreiben. Was Autoren von Artikeln manchmal zur Verteidigung machen – oder eben auch nicht.
Ich finde, die Kommentare gehen in eine ähnliche Richtung wie meine Kommentare und sind obendrein ziemlich kritisch.
Fazit
Egal ob Laie oder nicht: Wir alle können ein Blick in eine wissenschaftliche Veröffentlichung werfen und uns die naheliegenden Dinge fragen. Und dann beurteilen, ob ein Hype um eine Veröffentlichung gerechtfertigt ist.
Bei meiner Recherche habe ich gesehen, dass bereits Correctiv über die Angelegenheit geschrieben hat. Ihr Fazit zum Video Clemens Arvays (mRNA-Impfstoffe: Erste Hinweise auf Langzeitfolgen), der wie so oft Zeter und Mordio schreit, wenn es um mRNA-Imfpungen geht:
Da bin ich ja noch kritischer und sage obendrein: Die Autoren sollten zunächst zurück ins Labor und mehr Datenpunkte erheben und außerdem an ihren Formulierungen arbeiten. Interessant ist auch, dass einer der Autoren der Studie dort selber mitteilt, dass die Interpretation der Querdenker völlig überzogen ist.
Machen Sie sich bitte immer klar: Viele WissenschaftlerInnen sind völlig zufrieden damit, dass sie mit ihrer Arbeit einen kleinen Erkenntnisgewinn beisteuern können. So eine Studie, wie diese hier mag Schwächen haben (in der Wissenschaft ist völlig normal darauf hingewiesen zu werden und nachzubessern), aber sie kann auch aufzeigen wo näher hinzuschauen ist. Und nicht jeder Sprachgebrauch wie “reprograms … immune responses” rechtfertigt Alarmismus. Für Zellbiologen ist cleavage ein alltägliches Wort ohne erotische Verbindung, auch ich fluche in commits und überhaupt ist der wissenschaftliche Sprachgebrauch manchmal gewöhnungsbedürftig.
Kommentare (13)