2) Komplette Daten: Ein Experiment zur Bestimmung des besten Biers von Deutschland nützt nichts, wenn man nur die drei Biersorten aus der lokalen Eckkneipe verkostet. Würde man tatsächlich das beste Bier Deutschlands finden wollen, müsste man auch alle Biersorten verkosten! Vielleicht ist das beste Bier das billige Dosenbier das man bundesweit an jeder Tankstelle kaufen kann. Vielleicht es aber auch das in limitierte Auflage gebraute Bier, dass nur in einem kleinen Gasthaus im hintersten Winkel von Nordfriesland zu finden ist. Wenn man tatsächlich eine Antwort haben will, dann muss man auch alle in Frage kommenden Daten einsammeln. Das wäre beim Bier in Deutschland vermutlich sogar noch möglich – wenn auch ziemlich aufwendig. In der Wissenschaft ist es aber oft viel schwerer. Als die Astronomen die Frage “Wie entstehen Planeten?” beantworten wollten, hatten sie bis vor kurzem nur die Daten zur Verfügung, die sie in unserem Sonnensystem sammeln konnten. Genaugenommen konnten sie also nur die Frage “Wie entstehen Planeten in dem Teil des Sonnensystems, den wir bisher beobachtet haben?” beantworten; genau so wie ich bei meiner Bierverkostung eigentlich nur die Frage “Welches Bier ist das beste von denen, die ich im Supermarkt von Jena gefunden habe?” beantworten kann. 1992 entdeckte man das erste Mal Planeten außerhalb des Sonnensystems und fand heraus, dass sie komplett anders entstanden sind als die in unserem System. Und je mehr wir in den letzten Jahren entdeckt haben, desto mehr verstehen wir auch. Die Antwort auf unsere Fragen hängt von den vorhandenen Daten ab und wenn die Daten nicht komplett vorliegen, ist auch die Antwort nicht komplett. Hier hat es Naturwissenschaft oft schwer, denn wir wissen ja nicht, was wir nicht wissen. Beim Bier ist die Sache einfacher – zumindest so lange wir nicht nach dem “besten Bier des Universums” suchen und dann auch außerirdische Biersorten über deren Existenz wir nichts wissen inkludieren müssten.
3) Ausreichende Daten: Das ist eigentlich selbstverständlich. Wenn ich im Supermarkt eine Flasche Bier kaufe, sie trinke und dann zu dem Schluss komme “Das ist das beste Bier in ganz Deutschland!”, dann ist das alles, nur nicht korrekt. Es mag das Bier sein, das mir von all den Sorten die ich bis jetzt getrunken habe am besten geschmeckt hat. Aber solange ich nicht der letzte Mensch auf der Erde bin, ist mein Urteil weit davon entfernt, allgemeingültig zu sein. Man braucht genügend Daten/Probanden um einerseits für eine vernünftige Statistik zu sorgen. Je mehr Daten, desto geringer die Fehler. Bei der Beobachtung mit einem Teleskop sind es zum Beispiel die zufälligen Variationen in der Atmosphäre, die das Ergebnis verfälschen. Wenn ich nur ein oder zwei Beobachtungen mache, dann weiß ich nicht, wie stark sie mein Ergebnis beeinflusst haben. Mache ich aber hundert Beobachtungen, dann kann man die zufälligen Fehler statistisch rausmitteln. Andererseits sorgt eine ausreichende Datensammlung dafür, dass man nichts relevantes verpasst. Wenn man zum Beispiel herausfinden will, welche politische Partei den Menschen am besten gefällt, dann kann man zwar ein paar Millionen Deutsche befragen – wenn die aber alle über 50 Jahre alt sind, wird man trotzdem keine vernünftigen Aussagen über die Stimmung im gesamten Deutschland machen können. Die Bierverkostung hat mit 5 Leuten stattgefunden – was für ein verläßliches Ergebnis deutlich zu wenig ist!
4) Objektivität/Verblindung: Dieser Punkt wird um so wichtiger, je subjektiver die Fragestellung ist. Hätte ich die Bierverkostung nicht mit Bekannten gemacht, sondern mit den Chefs der jeweiligen Brauereien, dann wäre das Ergebnis wahrscheinlich ziemlich vorhersehbar gewesen: Jeder hätte die eigene Biersorten am besten gefunden. Um so etwas ausschließen zu können, hätte man eine Blindverkostung machen müssen. Die ist aber nicht nur aus so offensichtlichen Gründen nötig. Der Einfluss kann auch viel subtiler sein. Untersuchungen zeigen immer wieder, dass wir nicht so objektiv sind, wie wir gerne wäre. Wissen wir, dass ein Wein teuer war, dann schmeckt er uns auch besser. Wir Menschen leiden unter einer großen Anzahl an kognitiven Verzerrungen und die muss man bei einem guten Experiment berücksichtigen. Hätte ich zum Beispiel bei der Verkostung ein Bier aus der thüringischen Stadt “Schleiz” dabei gehabt, dann hätte meine österreichischen Verkoster vielleicht ganz unbewusst eine Abneigung gegen diese Marke entwickelt, weil das Wort so ähnlich klingt wie “Schlaz”; der österreichische Ausdruck für “Spucke”. In der Medizin ist sowieso offensichtlich, dass hier ein vernünftiger Test nach Möglichkeit verblindet durchgeführt werden muss wenn man den Einfluss des Placebo-Effekts ausschließen muss. Aber auch in anderen Disziplinen macht man sich über eine Verblindung Gedanken. Wenn man zum Beispiel Daten auswertet, die von mehreren Arbeitsgruppen gewonnen wurden, dann sollte man als Versuchsleiter nicht darüber Bescheid wissen, welche Daten von wem stammen. Ansonsten könnte man – bewusst oder unbewusst – die Daten von “sympatischen” Wissenschaftlern anders behandeln/auswerten als die von “unsympathischen” Kollegen. Oft – besonders in der Teilchenphysik – hat man auch das Problem, dass zu viele Daten zur Verfügung stehen und man gar nicht anders kann, als einen bestimmten Datensatz auszuwählen. In diesem Fall nutzt man auch dort eine Verblindung. Ein Teil der Daten, die potentiell interessant sein könnten landen in einer verblindeten “Kiste”, d.h. sie werden gespeichert, ohne das jemand die Daten sehen kann. Den anderen Teil der Daten nutzt man, um die Programme zur Auswertung und Analyse festzulegen. Die werden dann – ohne vorher in die Kiste zu schauen – auf die blinden Daten angewandt. So kommt niemand in die Versuchung, sich nur die “schönen” Daten auszusuchen (hier ist das Prinzip nochmal im Detail erklärt). Macht man das vorsätzlich, dann nennt sich das “cherry picking”; etwas, was Pseudowissenschaftler besonders gerne tun…
2) Komplette Daten: Ein Experiment zur Bestimmung des besten Biers von Deutschland nützt nichts, wenn man nur die drei Biersorten aus der lokalen Eckkneipe verkostet. Würde man tatsächlich das beste...
Kommentare (64)