Zu meiner normalen „Literaurroutine“ gehört, daß ich die Titel aller Artikel, die in allen relevanten forensischen, begutachteten Fachzeitschriften und dazu noch einigen weiteren wie Science, Nature, Cell etc. und bei Interesse dann auch noch den Abstract lese. So verpasse ich nichts für mich wichtiges und bleibe auf dem Laufenden. Der Titel der Studie [1] in der eigentlich seriösen Fachzeitschrift Forensic Science International (FSI), in der ich selbst auch schon publiziert habe und der lautete „Individueller menschlicher Geruch als Mittel zur forensischen Identifikation unter Einsatz von Mantrailing“ (Ü: CC) hatte mich nicht interessiert, da er weder meine Forschungsinteressen noch generell forensisch-molekularbiologische Themen betrifft (unter „Mantrailing“ versteht man die Personensuche unter Einsatz von Gebrauchshunden, wofür der Geruchssinn der Hunde genutzt wird). Also las ich den Abstract nicht und vergaß die Studie rasch wieder.
Ein Jahr später las ich den Abstract dann doch, nachdem ich auf diese „merkwürdige“ Studie aufmerksam gemacht worden war und da wurde ich dann stutzig. Da stand wirklich:
„The results of the study suggest that the components contained in axillary sweat, saliva and DNA extracted from whole blood are sufficient, serving as a key stimulus for individualized searches.” (fett von mir)
Ü: Die Ergebnisse der Studie weisen darauf hin, daß die Komponenten, die in Achselschweiß, Speichel und aus Blut extrahierter DNA enthalten sind, ausreichend sind, um als Schlüsselreiz für individualisierte Suchen zu dienen.
Mit anderen Worten: Hunde können DNA riechen? Jetzt wollte ich es genau wissen, lud die Studie aus dem Internet herunter, las sie und warf sie dann auch meinen (Master/PhD)-Studenten in unserem Journal Club zum Fraß vor. Auch diese beiden waren nicht beeindruckt. In der Diskussion der Studie heißt es dann noch deutlicher:
„To our knowledge, this is the first study demonstrating that saliva and DNA samples provides enough information for the dog to search for an individual.”
Ü: Unseres Wissens ist diese die erste Studie, die zeigt, daß Speichel und DNA-Proben ausreichende Information für einen Hund enthalten, um ein Individuum zu suchen.
Die Autoren behaupten hier also in der Tat, daß Hunde anhand des Geruchs von DNA Menschen mit dieser DNA finden und damit identifizieren zu können. Das wäre nicht weniger als eine Sensation und das fand auch die Pressestelle der Uni Leipzig, die den eigentlich eher kleinen Teilbefund der Studie, die sich vorrangig mit der systematischen Untersuchung von „normalem“ Mantrailing (also mit Proben von Schweiß und Speichel) befaßte, aufgriff und schrieb:
Ein Forschungsprojekt der Universität Leipzig geht der Frage nach, wie zuverlässig sogenannte Mantrailer-Hunde die individuelle Geruchsspur eines Menschen unter realen polizeilichen Einsatzbedingungen verfolgen können. […] Ergebnis: es konnte weltweit erstmalig nachgewiesen werden, dass neben Speichel auch isolierte DNA aus Blut als Schlüsselreiz für die Aufnahme einer Geruchsspur durch Hunde geeignet ist.
Das wiederum griffen andere Medien und Boulevardpresse auf und titelten etwa
oder gar
seufz
Die Studie hatte also bereits eine enorme Aufmerksamkeit erregt. Leider hielt sie nicht, was in den Medien versprochen wurde. Genau genommen lieferte die Studie keine Anhaltspunkte, daß Hunde tatsächlich DNA riechen können. Da in Sachsen allerdings bereits einige Gerichte Matrailing-Befunde als Beweismittel anerkennen, sahen wir es als Verpflichtung, unsere Kritik an der Studie und insbesondere eine Warnung davor, sich vor Gericht auf sie zu berufen, aufzuschreiben und unsererseits zu veröffentlichen. Und so geschah es.
Unsere Hauptkritikpunkte waren:
- Das ganze Konzept, die Idee, daß DNA riechbar sein könnte, ist von vornherein extrem unplausibel. Um „riechbar“, d.h. ausreichend volatil zu sein, um als Aerosol durch die Luft zu schweben und auf diese Weise an das Riechepithel einer Nase zu gelangen, muß eine Komponente eine molare Masse von ≤ 450 g/mol aufweisen [2]. Menschliche DNA hingegen liegt in makromolekularen Strukturen mit Millionen von Basenpaaren vor, von denen ein einziges bereits 650 g/mol hat. Doch selbst wenn DNA-Moleküle die Hundenase erreichen könnten, müßten die Riechrezeptoren des Hundes die winzigen Unterschiede (weit unter 1%) zwischen den Genomen zweier unverwandter Menschen auflösen können, um tatsächlich auf Grundlage des „DNA-Geruchs“ zwischen zwei Personen unterschieden zu können und zwar rein anhand der Abfolge von Millionen und Milliarden Nukleotiden. Man kennt keine molekularen Strukturen in der Natur, die das können und daß solche – bisher unentdeckterweise – in der Hundenase existieren sollen, ist absurd unwahrscheinlich.
- Wenn also 1. gilt und hier eine überaus unwahrscheinliche, höchst unplausible Hypothese überprüft werden sollte, so wäre ein Prinzip von Laplace anzuwenden gewesen: „Die Beweiskraft der Evidenz für eine außerordentliche Behauptung sollte proportional zu deren „Seltsamkeit“ sein.“ (Quelle). Oder kürzer mit Carl Sagan: Extraordinary claims require extraordinary evidence. Und genau das ist hier nicht der Fall: die total veraltete Methode, die hier für die DNA-Extraktion eingesetzt wurde, war in einer nicht begutachteten Zeitschrift als eigentlich eine Methode für die DNA-Fällung aus wäßriger Lösung beschrieben worden. Wie ungeeignet sie für den eingesetzten Zweck war, sieht man nicht nur an den, angesichts der großen Blutmenge (100 ml) vergleichsweise geringen DNA-Konzentrationen, die erreicht wurden sondern auch an folgender Bemerkung der Autoren selbst (übersetzt von mir):
Dennoch kann aufgrund der Methode nicht ausgeschlossen werden, daß auch Proteine, Polysaccharide und RNA zusammen mit der DNA ausgefällt wurden und noch in der Probe enthalten waren.
Mit anderen Worten: es könnten durch die ungeeignete Methode noch Substanzen aus dem Blut in den vermeintlichen DNA-Proben enthalten sein, die tatsächlich einen Geruch haben und von Hunden wahrnehmbar sein könnten! Die Methode war also denkbar ungeeignet, um zu beweisen, daß reine, sauber extrahierte und hochmolekulare DNA tatsächlich einen individualspezifischen (d.h. sequenzabhängigen) Geruch hat.
Weitere Kritikpunkte, die eher technischer Natur sind und die man in unserem Original-Kommentar [3] ausführlicher nachlesen kann, betrafen die unzureichende Beschreibung der Probenbehandlung nach der Extraktion z.B. hinsichtlich der Frage, ob und welche Proben mit einem DNA-schneidenden Enzym versetzt worden waren und ob die Proben nun feucht oder getrocknet waren. Außerdem war auch die Auswahl und Anwendung der statistischen Verfahren sowie die Interpretation der damit errechneten Daten zu bemängeln, da nicht ausreichend berücksichtigt wurde, daß auch sehr kleine Effektstärken bei ausreichend geringen p-Werten als „hochsignifikant“ überrepräsentiert werden können (Unterschiede zwischen zwei Verteilungen können zwar mit hoher Wahrscheinlichkeit nicht-zufällig aber doch so gering ausgeprägt sein, daß sie praktisch bedeutungslos sind).
Wir haben dann noch im Sinne einer konstruktiven Kritik Experimente vorgeschlagen, die man machen müßte, um wirklich glaubhafte Belege für die aufgestellte Behauptung zu produzieren: Die DNA aus Blut (und anderen Körperflüssigkeiten; es müßte ja egal sein, woher sie kommt) müßte mittels moderner Verfahren extrahiert, sorgfältig aufgereinigt und am Schluß mittels HPLC o.ä. auf Reinheit (Abwesenheit anderer potentiell volatiler Komponenten) geprüft werden. Wenn auch mittels solcher hochreinen DNA-Proben noch Personen unterschieden werden können, wäre das ganze wesentlich glaubhafter. Alternativ könnten die Autoren ihre eigenen Experimente mit den verblindeten Proben einiger eineiiger Zwillingspaare wiederholen. Man weiß bereits, daß Hunde auch eineiige Zwillinge am Körpergeruch unterscheiden können, diese Unterscheidungsfähigkeit müßte aber verloren gehen, wenn ihr Verfahren tatsächlich geeignet wäre, alles außer der DNA aus den Proben zu entfernen und nur die DNA als Unterscheidungsgrundlage bliebe, da eineiige Zwillinge identische DNA haben.
Unser Fazit lautete, daß die Studie für die von vorneherein höchst unplausible Annahme, daß Hunde Menschen anhand von DNA unterscheiden können, keine Belege hervorgebracht hat, daß ihre Schlußfolgerung, daß Hunde dies können, mithin nicht durch Belege gestützt wird und daß daher diese Studie keinesfalls dafür eingesetzt werden darf, vor Gericht den Einsatz etwaiger DNA-Mantrailing-Beweismittel zu legitimieren!
—
Unser kritischer Kommentar [3] und auch der eines anderen Wissenschaftlers, der sich mit anderen Aspekten der Arbeit befasst und diese kritisiert [4], sind inzwischen bei FSI veröffentlich worden. Leider ist zwischen Erscheinen dieser unseligen Studie und der Kritik daran jedoch einige Zeit vergangen, so daß sogar das ZDF in diesem Zeitraum einen Beitrag produzierte, der die Befunde thematisierte und die Behauptung, Hunde können DNA riechen, die ironischerweise im Beitrag als „eigentlich unmöglich“ bezeichnet wurde, wiederholte. Wir haben das ZDF natürlich inzwischen auf die wissenschaftlich fundierte Kritik (nicht nur von uns [4]) an der Behauptung hingewiesen. Leider fand man es dort nicht notwendig, den Beitrag aus dem Netz zu nehmen oder wenigstens einen schriftlichen Disclaimer zuzusetzen, der auf die Zweifel an den Befunden hinweist. Daß das ZDF damit suggeriert, mit den Behauptungen im Beitrag immer noch einverstanden zu sein, tut es nun bewußt und wider besseres Wissen. „Terra X“ hat wohl auch nicht mehr die höchsten Ansprüche an sich selbst…
Ganz aktuell befasste sich übrigens der Spiegel mit dem Fall, in dessen Artikel vor allem die Vorbehalte unseres Mitkritikers K.-U. Goss zur Sprache kommen.
—
Aber wie konnte so eine Studie überhaupt veröffentlicht werden? Wieso sind die wirklich eklatanten Mängel des Manuskripts niemandem aufgefallen? Zunächst einmal ist FSI keine genetisch orientierte Zeitschrift und forensisch-molekularbiologische Artikel werden eher in deren Schwesterzeitschrift FSI:Genetics veröffentlicht. Das bemerkt man gleich, wenn man sich einmal die Herausgeber (Editorial Board) von FSI ansieht: keiner der Chef-Herausgeber und nur einer der assoziierten Herausgeber (Associate Editors) ist ein Experte für forensische Genetik und/oder DNA-Analytik. Meine persönliche Hypothese ist, daß die Studie über Mantrailing einem Nicht-Genetiker-Editor zur Bearbeitung gegeben wurde, der wiederum wahrscheinlich Nicht-Genetiker als Gutachter für das Manuskript herangezogen hat. Diesen ist die völlig unzulängliche Methode der DNA-Extraktion und die absurd hohe Menge Blutes (100 ml!), aus der die DNA „extrahiert“ wurde, womöglich nicht aufgefallen und blieb so unkritisiert. Ich wage daher auch zu behaupten, daß diese Studie bei FSI:Genetics (für die ich selbst auch regelmäßig als Gutachter tätig bin) nie und nimmer zur Veröffentlichung angenommen worden wäre. Übrigens gibt es am rechtsmedizinischen Institut der Uni Leipzig natürlich auch eine forensische Genetikerin. Es wird seine Gründe haben, daß sie an dieser Publikation nicht beteiligt war.
Hier hat also wirklich das peer review versagt, weil der eigentlich nur einen kleinen Teil der Studie ausmachende DNA-Aspekt sozusagen „unter dem Radar“ des hier nicht ausreichend fachspezifischen peer reviews geblieben, dann aber in den Medien sensationalistisch aufgeblasen und überrepräsentiert worden ist. Das ist natürlich sehr peinlich und ärgerlich ist es auch, daß die Studie so lange unwidersprochen blieb aber hey, wenigstens muß ich meinen Job, Personen anhand von DNA zu identifizieren, nun doch nicht an Kommissar Rex abtreten 😉
___
Nachtrag am 20.06.2019: inzwischen hat zumindest das UK Leipzig seine Pressemeldung korrigiert. Dort heißt es jetzt immerhin:
Die mehrfach in den Medien wiedergegebene Behauptung, “Mantrailerhunde können DNA riechen” entspricht nicht den Ergebnissen der Studie oder der Intention der Autoren.
und
Ein “DNA-Mantrailing” wird es in der polizeilichen Praxis nie geben
Dennoch sollte die Studie in FSI [1] zurückgezogen oder zumindest korrigiert werden und auch Medien, die zuvor unkritisch berichtet haben, sollten Disclaimer neben die immer noch in den Mediatheken verfügbaren Beiträge setzen.
___
Nachtrag am 08.01.2021: Nachdem unser Kollege K.U. Goss noch weitere Probleme der Studie entdeckt hatte, die diesmal die extrem merkwürdige statistische Auswertung der Befunde betrafen [5] und sich Woidtke et al. auf Nachfrage von Forensic Science International (FSI) geweigert hatten, einer unabhängigen Neuanalyse ihrer Daten unter Einbeziehung der von ihnen gefertigten Videoaufnahmen zuzustimmen [6], hat nun FSI offiziell “Bedenken” hinsichtlich der Studie angemeldet [7]:
Therefore, in line with the Committee on Publication Ethics (COPE) guidelines [7], the Editors-in-Chief are issuing this expression of concern and suggest that the study results are taken with care especially for the application to forensic casework. (fett: CC)
Das ist gut, wenn auch nicht genug – eine Retraction ist inzwischen eigentlich überfällig. Wenigstens bestätigt FSI unser dringendes Fazit, daß
diese Studie keinesfalls dafür eingesetzt werden darf, vor Gericht den Einsatz etwaiger DNA-Mantrailing-Beweismittel zu legitimieren.
FSI entschuldigt sich bei seinen Lesern für das Versäumnis:
We apologize to our readership that this and the other issues were not spotted during the peer review process and solved prior to publication.
Den zuständigen Redakteur beim ZDF, der für den o.g. Terra-X-Beitrag verantwortlich ist, hatte ich übrigens auf dem Laufenden gehalten, er kennt unsere Zweifel und weiß inzwischen auch, daß sogar die Uni Leipzig öffentlich von der Behauptung, Hunde können DNA riechen, zurückgetreten ist. Dennoch ist der Terra-X-Film unverändert und ohne Disclaimer weiterhin online (Stand 08.1.21). Wen das genauso ärgert, wie uns, kann ja gerne dem ZDF auch mal einen Brief dazu schreiben.
___
Nachtrag am 03.03.2021: Und es geht weiter bergab mit den keine DNA-riechenden Hunden: inzwischen hat es sich auch zu den Medien herumgesprochen, daß nicht nur die Hunde das nicht können, sondern auch, daß die Daten der Studie womöglich manipuliert worden sind. Der MDR zitiert unseren Kollegen K.-U. Goss (aus [4] und [5]) dazu:
Eine Sache, die ganz wichtig ist: Herr Woidtke hat Ergebnisse verschwinden lassen. Ein Teil der Tests sollte feststellen, wie wahrscheinlich es ist, dass Hunde fälschlicherweise einen Verdächtigen einem Tatort zuordnen. Das wäre natürlich belastend vor Gericht.
Weiter heißt es:
[…] das Rohmaterial der Studie wurde bislang nicht veröffentlicht. Ein Unding im wissenschaftlichen Diskurs.
Auch, daß K.-U. Goss einen offenen Brief an die Rektorin der Uni Leipzig geschrieben hat, wird berichtet. Darin steht u.a.:
Auf den Verdacht der Datenmanipulation hatte ich sowohl die Ombudskommission zu wissenschaftlichem Fehlverhalten der Uni Leipzig als auch die Promotionskommission frühzeitig hingewiesen. Nachdem es zu keiner (konstruktiven) Reaktion kam, legte ich Einspruch ein und informierte auch Sie als Rektorin über die Umstände.
Wir haben ihm uns angeschlossen und der Rektorin ebenfalls einen Brief geschrieben, in dem wir ihr die Sachlage und die Kritik an der Studie aus DNA-Sachverständigensicht darlegen.
Wir sind in dieser Sache an der Seite von Prof. Goss und hoffen, daß sich die Uni Leipzig bald eines besseren besinnen und die die sehr substantiellen Vorwürfe der Datenmanipulation und wissenschaftlichen Fehlverhaltens endlich ernst nehmen wird.
____
Nachtrag am 25.06.2021: Hier gibt es einen sehr gut recherchierten, ausführlichen Radiobeitrag zu der Affaire, in der auch unser Kollege Prof. Goss zu Wort kommt.
___
Referenzen:
[1] Woidtke, L., Dreßler, J., & Babian, C. (2018). Individual human scent as a forensic identifier using mantrailing. Forensic science international, 282, 111-121.
[2] Cuzuel, V. et al. (2017) ‘Origin, Analytical Characterization, and Use of Human Odor in Forensics’, Journal of Forensic Sciences, 62(2), pp. 330–350. doi: 10.1111/1556-4029.13394.
[3] Courts, C., Euteneuer, J., Gosch, A. (2019). There is no evidence that dogs can smell DNA – Comment on “Individual human scent as a forensic identifier using mantrailing” Forensic Science International. doi: 10.1016/j.forsciint.2019.02.013
Hinweis: Wer keinen Zugriff auf die Zeitschrift hat, kann unseren Kommentar auch bei PubPeer nachlesen.
[4] Goss, K. U. (2019). Comment on „Individual human scent as a forensic identifier using mantrailing “. Forensic Science International. doi: 10.1016/j.forsciint.2019.02.024
Hinweis: Wer keinen Zugriff auf die Zeitschrift hat, kann den Kommentar von K.-U. Goss auch bei PubPeer nachlesen.
[5] Goss, K. U., & Schoon, A. (2020). Concerns regarding” Individual human scent as a forensic identifier using mantrailing”, Forensic Science International Volume 282, January 2018, Pages 111-121. Forensic Science International, 110606-110606.
[6] Woidtke, L., Dreßler, J., & Babian, C. (2020). Response to the comment on our publication” Individual human scent as a forensic identifier using mantrailing”(Woidtke et al., 2018). Forensic science international, 110607.
[7] Jackowski, C., Cattaneo, C., Broccard, A., & Duembgen, L. (2020). Expression of concern regarding” Individual human scent as a forensic identifier using mantrailing” by Woidtke L, Dreßler J and Babian C. Forensic Sci Int. 2018 Jan; 282: 111-121.
Kommentare (133)