Es gibt ein paar große Fragen, die die Menschen schon seit Jahrtausenden beschäftigen. Gibt es außerirdisches Leben? Wie ist das Universum entstanden? Warum gibt es etwas und nicht nichts? Und wer braut das beste Bier? Auf die ersten drei Fragen habe ich keine Antwort. Aber die Sache mit dem Bier kann eigentlich nicht so schwer zu klären sein. Deswegen habe ich kürzlich ein kleines Experiment veranstaltet.
In Deutschland werden einige tausend verschiedene Biere gebraut. Viel Auswahl also; als Thüringer gehe ich aber davon aus, dass das beste Bier aus Thüringen kommen muss, was die Anzahl der Kandidaten schon ein wenig einschränkt. Ich habe mich daher im nächstgelegenen Supermarkt umgesehen und 9 Flaschen lokales Bier besorgt. Und zwar:
- Köstritzer Edelpils aus Bad Köstritz
- Apoldaer Glockenhell aus Apolda
- Watzdorfer Burg-Pils aus Bad Blankenburg
- Angerbräu aus Erfurt
- Rosen-Pils aus Pößneck
- Ur-Saalfelder aus Saalfeld
- Braugold-Spezial aus Erfurt (teilweise zumindest)
- Riebeck Premium Pilsner aus Erfurt
- Apoldaer Tafelbier aus Apolda
Damit bin ich nach Österreich gefahren, um mir dort ein paar neutrale und unvoreingenommene Tester zu suchen. Dann wurde das Bier verkostet und bewertet. Ohne großen Schnick-Schnack; einfach nur mit Schulnoten zwischen 1 und 5. Am Ende gab es einen klaren Sieger: Das Apoldaer Glockenhell aus der Kleinstadt Apolda (gleich neben meiner Heimatstadt Jena) ist das beste Bier Deutschlands!
So einfach lässt sich eine der großen Fragen der Menschheit lösen… oder vielleicht doch nicht?
Die Apoldaer werden mit diesem Ergebnis vermutlich zufrieden sein, aber bevor jetzt der Rest von Deutschland über mich herfällt, sollten wir die Sache nochmal genauer betrachten. So eine Bierverkostung macht nämlich nicht nur Spaß, sondern ist auch ein gutes Beispiel um zu erklären, wie ein vernüntiges Experiment aussehen sollte und wie nicht. Wo also liegt der Unterschied zwischen einem echten Experiment und einem Besäufnis? Oder, etwas seriöser formuliert: Wo liegt der Unterschied zwischen echter Wissenschaft mit verlässlichen Ergebnissen und Pseudowissenschaft?
- 1) Die Fragestellung: Jedes gute Experiment braucht eine klar definierte Fragestellung. Man muss vorher genau festlegen, was man wissen will. In diesem Fall lautet die Frage “Wer braut das beste Bier?” und die ist leider nicht sonderlich für Experimente geeignet. Denn “das beste” ist ein ziemlich vager Ausdruck und kann alles oder nichts bedeuten. “Wo gibt es das billigste Bier Deutschlands?” wäre da besser oder meinetwegen auch “Welches ist das dunkelste Bier von Deutschland?”. Das sind Fragen, auf die eine klare Antwort gefunden werden kann. Wenn man schon so ein subjektives Thema wie “das beste” Bier untersucht, dann sollte man zumindest fragen: “Welches Bier schmeckt den Menschen am besten?” Denn auf die Frage: “Schmeckt dir das Bier?” gibt es wenigstens eine – wenn auch subjektive – klare Antwort. Befragt man ausreichend Menschen, dann sollte man am Ende ein Bier finden, dass von der Mehrheit der Leute am wohlschmeckensten eingeschätzt wird. Ob das dann aber auch “das beste” ist, ist eine andere Frage. Geschmack ist eben eine ziemlich individuelle Sache. Die Plörre, die der eine angewiedert ausspuckt, ist das Lieblingsbier der anderen. Physik und Astronomie haben es da leicht, denn sie beschäftigen sich im Allgemeinen mit der unbelebten Natur und da sind die Fragestellungen eigentlich immer objektiv. “Welcher Stern ist am Nachthimmel der hellste?”. “Welcher Planet im Sonnensystem ist am größten?”. Und so weiter. Mit Fragen wie “Welches Sternbild gefällt dir am besten?” müssen wir uns selten herumärgern. Aber es gibt Wissenschaften, die sich über solche subjektiven Effekte ausführlich Gedanken machen. Die Medizin zum Beispiel, wenn neue Medikamente getestet werden. Was dem einen Menschen hilft, kann beim anderen wirkungslos sein. Genau so wie bei der Frage “Welches Bier schmeckt dir am besten?” hängt auch die Antwort auf die Frage “Welches Medikament hilft gegen deine Krankheit?” von vielen individuellen Faktoren ab. Will man wissen, ob ein Medikament überhaupt irgendeine Wirkung hat, muss man also möglichst viele Menschen befragen.
- 2) Komplette Daten: Ein Experiment zur Bestimmung des besten Biers von Deutschland nützt nichts, wenn man nur die drei Biersorten aus der lokalen Eckkneipe verkostet. Würde man tatsächlich das beste Bier Deutschlands finden wollen, müsste man auch alle Biersorten verkosten! Vielleicht ist das beste Bier das billige Dosenbier das man bundesweit an jeder Tankstelle kaufen kann. Vielleicht es aber auch das in limitierte Auflage gebraute Bier, dass nur in einem kleinen Gasthaus im hintersten Winkel von Nordfriesland zu finden ist. Wenn man tatsächlich eine Antwort haben will, dann muss man auch alle in Frage kommenden Daten einsammeln. Das wäre beim Bier in Deutschland vermutlich sogar noch möglich – wenn auch ziemlich aufwendig. In der Wissenschaft ist es aber oft viel schwerer. Als die Astronomen die Frage “Wie entstehen Planeten?” beantworten wollten, hatten sie bis vor kurzem nur die Daten zur Verfügung, die sie in unserem Sonnensystem sammeln konnten. Genaugenommen konnten sie also nur die Frage “Wie entstehen Planeten in dem Teil des Sonnensystems, den wir bisher beobachtet haben?” beantworten; genau so wie ich bei meiner Bierverkostung eigentlich nur die Frage “Welches Bier ist das beste von denen, die ich im Supermarkt von Jena gefunden habe?” beantworten kann. 1992 entdeckte man das erste Mal Planeten außerhalb des Sonnensystems und fand heraus, dass sie komplett anders entstanden sind als die in unserem System. Und je mehr wir in den letzten Jahren entdeckt haben, desto mehr verstehen wir auch. Die Antwort auf unsere Fragen hängt von den vorhandenen Daten ab und wenn die Daten nicht komplett vorliegen, ist auch die Antwort nicht komplett. Hier hat es Naturwissenschaft oft schwer, denn wir wissen ja nicht, was wir nicht wissen. Beim Bier ist die Sache einfacher – zumindest so lange wir nicht nach dem “besten Bier des Universums” suchen und dann auch außerirdische Biersorten über deren Existenz wir nichts wissen inkludieren müssten.
- 3) Ausreichende Daten: Das ist eigentlich selbstverständlich. Wenn ich im Supermarkt eine Flasche Bier kaufe, sie trinke und dann zu dem Schluss komme “Das ist das beste Bier in ganz Deutschland!”, dann ist das alles, nur nicht korrekt. Es mag das Bier sein, das mir von all den Sorten die ich bis jetzt getrunken habe am besten geschmeckt hat. Aber solange ich nicht der letzte Mensch auf der Erde bin, ist mein Urteil weit davon entfernt, allgemeingültig zu sein. Man braucht genügend Daten/Probanden um einerseits für eine vernünftige Statistik zu sorgen. Je mehr Daten, desto geringer die Fehler. Bei der Beobachtung mit einem Teleskop sind es zum Beispiel die zufälligen Variationen in der Atmosphäre, die das Ergebnis verfälschen. Wenn ich nur ein oder zwei Beobachtungen mache, dann weiß ich nicht, wie stark sie mein Ergebnis beeinflusst haben. Mache ich aber hundert Beobachtungen, dann kann man die zufälligen Fehler statistisch rausmitteln. Andererseits sorgt eine ausreichende Datensammlung dafür, dass man nichts relevantes verpasst. Wenn man zum Beispiel herausfinden will, welche politische Partei den Menschen am besten gefällt, dann kann man zwar ein paar Millionen Deutsche befragen – wenn die aber alle über 50 Jahre alt sind, wird man trotzdem keine vernünftigen Aussagen über die Stimmung im gesamten Deutschland machen können. Die Bierverkostung hat mit 5 Leuten stattgefunden – was für ein verläßliches Ergebnis deutlich zu wenig ist!
- 4) Objektivität/Verblindung: Dieser Punkt wird um so wichtiger, je subjektiver die Fragestellung ist. Hätte ich die Bierverkostung nicht mit Bekannten gemacht, sondern mit den Chefs der jeweiligen Brauereien, dann wäre das Ergebnis wahrscheinlich ziemlich vorhersehbar gewesen: Jeder hätte die eigene Biersorten am besten gefunden. Um so etwas ausschließen zu können, hätte man eine Blindverkostung machen müssen. Die ist aber nicht nur aus so offensichtlichen Gründen nötig. Der Einfluss kann auch viel subtiler sein. Untersuchungen zeigen immer wieder, dass wir nicht so objektiv sind, wie wir gerne wäre. Wissen wir, dass ein Wein teuer war, dann schmeckt er uns auch besser. Wir Menschen leiden unter einer großen Anzahl an kognitiven Verzerrungen und die muss man bei einem guten Experiment berücksichtigen. Hätte ich zum Beispiel bei der Verkostung ein Bier aus der thüringischen Stadt “Schleiz” dabei gehabt, dann hätte meine österreichischen Verkoster vielleicht ganz unbewusst eine Abneigung gegen diese Marke entwickelt, weil das Wort so ähnlich klingt wie “Schlaz”; der österreichische Ausdruck für “Spucke”. In der Medizin ist sowieso offensichtlich, dass hier ein vernünftiger Test nach Möglichkeit verblindet durchgeführt werden muss wenn man den Einfluss des Placebo-Effekts ausschließen muss. Aber auch in anderen Disziplinen macht man sich über eine Verblindung Gedanken. Wenn man zum Beispiel Daten auswertet, die von mehreren Arbeitsgruppen gewonnen wurden, dann sollte man als Versuchsleiter nicht darüber Bescheid wissen, welche Daten von wem stammen. Ansonsten könnte man – bewusst oder unbewusst – die Daten von “sympatischen” Wissenschaftlern anders behandeln/auswerten als die von “unsympathischen” Kollegen. Oft – besonders in der Teilchenphysik – hat man auch das Problem, dass zu viele Daten zur Verfügung stehen und man gar nicht anders kann, als einen bestimmten Datensatz auszuwählen. In diesem Fall nutzt man auch dort eine Verblindung. Ein Teil der Daten, die potentiell interessant sein könnten landen in einer verblindeten “Kiste”, d.h. sie werden gespeichert, ohne das jemand die Daten sehen kann. Den anderen Teil der Daten nutzt man, um die Programme zur Auswertung und Analyse festzulegen. Die werden dann – ohne vorher in die Kiste zu schauen – auf die blinden Daten angewandt. So kommt niemand in die Versuchung, sich nur die “schönen” Daten auszusuchen (hier ist das Prinzip nochmal im Detail erklärt). Macht man das vorsätzlich, dann nennt sich das “cherry picking”; etwas, was Pseudowissenschaftler besonders gerne tun…
- 5) Äußere Einflüsse kontrollieren: Auch das ist wichtig. Denn in der realen Welt ist es schwer, immer nur das zu messen, was man messen will. Würde ich bei der Bier-Verkostung zum Beispiel die Hälfte der Biere in die pralle Sonne stellen und die anderen schön kühl servieren, dann würde das definitiv das Ergebnis beeinflussen. Die Temperatur ist ein äußerer Einfluss, der kontrolliert werden muss. Gleiches gilt auch für nicht ganz so offensichtliche Effekte. Jeder Verkoster sollte zum Beispiel das gleiche Trinkgefäß benutzen. Abgesehen davon, dass der Behälter durchaus den Geschmack beeinflussen kann (beispielsweise, weil die Wärme unterschiedlich gut gespeichert wird oder die Kohlensäure unterschiedlich schnell entweichen kann) sind auch subtilere Effekte möglich. Vielleicht hatte irgendein Tester früher mal ein unerfreuliches Erlebnis mit Dosenbier und seither eine instiktive Abneigung gegen jedes Getränk aus der Dose… Bei echten wissenschaftlichen Experimenten ist die Kontrolle der äußeren Einflüsse um so wichtiger. Es nützt nichts, wenn ich sensible Messungen schwacher Erdbeben machen will und mein Meßgerät direkt neben einer Baustelle aufstelle, wo den ganzen Tag die schweren Bagger Radau machen. Und selbst wenn man einen ruhigen Ort gefunden hat, muss man sich Gedanken darüber machen, was die Erde abgesehen von den Erdbeben vielleicht noch bewegen könnte. Ist da vielleicht irgendwo ein Tunnel in der Nähe? Ein Bergwerk? Wie stark sind die Gezeiten, die nicht nur das Meer sondern auch ein bisschen den festen Boden bewegen? Man muss sich Gedanken darüber machen, wie sensibel das Meßgerät ist und welche Effekte theoretisch gemessen werden könnten. Und dann dafür sorgen, dass man die gesuchten von den unerwünschten Effekten trennt. Vor dem Problem standen 1963 auch die beiden Astronomen Arno Penzias und Robert Wilson. Sie wollten ein Radioteleskop in Betrieb nehmen und mussten zuerst einmal sämtliche Störquellen eliminieren. Das taten sie auch – bis auf eine, die einfach nicht verschwinden wollte: Es war die kosmische Hintergrundstrahlung und die beiden bekamen für diese Entdeckung den Nobelpreis.
- 6) Dokumentation: Auch das ist eigentlich selbstverständlich. Denn egal wie sehr man sich anstrengt, ein Experiment sauber und gut durchzuführen: Menschen machen Fehler. Aber wenn man das Experiment möglichst genau dokumentiert und alle relevanten Daten veröffentlicht, dann haben andere Wissenschaftler die Chance, alles zu überprüfen und Fehler zu finden. Abgesehen davon sind Daten oft auch noch interessant, wenn das Experiment schon lange vorbei ist. Ich habe einige Zeit lang für das Virtuelle Observatorium (VO) gearbeitet, wo man sich um genau dieses Problem kümmer. Am VO werden Daten aller Art gespeichert; aufbereitet und zugänglich gemacht. Auch wenn das Experiment oder die Beobachtungskampagne schon längst vorbei ist. Aber vielleicht kommt irgendwann mal jemand auf ne gute Idee und benötigt dafür genau die Daten, die schon im VO gespeichert sind. Vielleicht will eine Wissenschaftshistorikerin in 50 Jahren über eine revolutionäre Entdeckung forschen, von der wir heute noch gar nicht wissen, dass sie revolutionär ist und ist dann froh darüber, dass die Daten nicht weggeworfen wurden. Wenn Wissenschaft ernsthafte Wissenschaft sein woll, dann muss sie so exakt wie möglich dokumentiert werden. Das Motto der britischen “Royal Society”, einer der ältesten wissenschaftlichen Vereinigungen der Welt, heißt nicht umsonst “Nullis in Verba”, also frei übersetzt: “nach niemandes Worten”. Man glaubt nicht einfach irendwelche Worte. Nur weil irgendwer irgendwo irgendwas sagt, muss das noch lang nicht richtig sein. Nur wenn der ganze Kram vernünftig dokumentiert ist und überprüft werden kann, handelt es sich um ernstzunehmende Wissenschaft!
Die Bierverkostung war also ein äußerst schlechtes Experiment. Die Fragestellung war nicht klar, die Auswahl der Daten war nicht komplett, die Zahl der Probanden zu gering und die Probe nicht verblindet. Und wenn auch zumindest einige der externen Variablen kontrolliert werden konnten, war das bei anderen nicht der Fall. Nur die Daten habe ich dokumentiert. Aber nur weil man aufgeschrieben hat, was man getan hat, ist das deswegen noch lange keine Wissenschaft (auch wenn manche das glauben).
Das Glockenhell-Bier aus Apolda hat uns zwar allen gut geschmeckt. Aber – und ich hoffe Jenas Nachbarstadt verzeiht mir das – das beste Bier Deutschlands ist es wohl leider nicht. Aber “das beste” Bier gibt es ja sowieso nicht. Ich hab mich daher entschlossen, das Leipziger Sternburg als “bestes Bier” zu definieren. Immerhin kommt “Stern” im Namen vor und die Stjerneborg war die Sternwarte von Tycho Brahe, einem der ganz großen Astronomen der Geschichte. (Und nein, die Sternburg-Brauerei bezahlt mich nicht für die Aussage – aber wenn jemand von dort mitliest und mir nen Kasten vorbei schicken will, habe ich auch nichts dagegen).
Ich selbst habe ja während meiner Zeit an der Uni hauptsächlich an der Theorie gearbeitet und wenig mit konkreten Experimenten zu tun gehabt. Ich habe daher bei meiner Auflistung sicher auch den einen oder anderen wichtigen Punkt vergessen. In der Biologie, der Chemie oder den statistiklastigen Sozialwissenchaften gibt es sicher noch einige andere Dinge, die man bei Experimente auf jeden Fall berücksichtigen muss. Ich würde mich freuen, wenn ihr einen Kommentar schreibt und meine Liste erweitert. Ihr könnt aber natürlich auch gerne darüber diskutieren, welches Bier am besten schmeckt. Prost!
P.S. Und wer wissen will, was Bier und Astronomie miteinander zu tun haben, der kann am 20. September im brandenburgischen Eberswalde zu meinem Vortrag “Wie viel Astronomie steckt in einer Flasche Bier?” kommen (und ich habe die Hoffnung ja immer noch nicht aufgegeben, auch mal von ner Brauerei für diesen Vortrag engagiert zu werden…)
Kommentare (64)