Schauen wir uns also kurz den Eingangs erwähnten Eintrag an. Der Autor rechnet einfach die Abweichungen für jede Partei von Resultat und Umfrageergebnis für jedes Jahr zusammen und schliesst daraus, dass die Vorhersagegenauigkeit zu wünschen übrig lässt. Dies ist aber eine falsche Messlatte. Hierzu ein Beispiel, dass dies klar machen sollte:
Nehmen wir an, ich gehe mit den KollegInnen von der Arbeit täglich Mittagessen. Wir gehen normalerweise um 13.00 los. Ich sage nun, dass ich täglich plus/minus 5 Minuten um 13.00 unten am Eingang warten werde. Schliesslich muss man manchmal noch einen Satz zu Ende schreiben oder es lohnt sich nichts neues mehr anzufangen. Ich tauche in der ersten Woche folgendermassen auf: Montag: -3 Minuten; Dienstag +4 Minuten; Mittwoch +2 Minuten; Donnerstag -4 Minuten und Freitag +3 Minuten. Es wäre nicht fair wenn mir nun Ende Woche vorgehalten würde, ich würde es mit der Zeit nicht so genau nehmen wäre ich doch über die ganze Woche 16 Minuten falsch gelegen, weit ausserhalb meiner +/-5 Minuten. Es sollte offensichtlich sein, dass ich gemessen an meiner Aussage zumindest, in der betreffenden Woche dem Schweizer Klischee in Sachen Pünktlichkeit voll und ganz gerecht wurde. Ausserdem hätte ich in einer noch besseren Analogie versprochen, dass ich die “plus/minus 5 Minuten bis auf wenige Ausnahmen” einhalten werde (in “95% aller Fälle).
Schaut man sich die Zahlen genauer an, sieht man dann auch, dass das Fazit des Artikels (“Sosolala”) nur mit einer falschen Leseart begründet werden kann. Die Daten stehen netterweise in einem google doc zur Verfügung. Nehmen wir an, die angegebene Fehlerquote liegt überall bei +/-3%. Auf 120 Abweichungen sind nur 14 ausserhalb dieser Fehlerquote (man darf nicht vergessen, dass gewiss Abweichung zu erwarten sind, da die Fehlerquote nur mit einer gewissen Wahrscheinlichkeit korrekt ist).
Was nun wirklich interessant ist an den Zahlen, ist das Jahr 2005. Der Autor weist sogar auf die interessanten Abweichung hin. Leider nicht, weil ihm auffällt, dass dort Erklärungsbedarf besteht, sondern weil es die grössten Abweichungen sind, die darum als Beispiel erhalten müssen, wie daneben die Umfrageinstitute doch liegen. Es lohnt sich einen genaueren Blick auf die Wahl von 2005 zu werfen, speziell die Abweichungen für die CDU/CSU. Sie liegen nämlich für jedes Umfraginstitut ausserhalb der zu erwartenden Abweichung (-6.30% ; -6.80%; -6.80%; -5.80%; -6.80%; -5.80%). Da ist ganz klar etwas schief gelaufen. Aber nicht nur das, der Fehler scheint systematisch zu sein. Er betrifft die selbe Partei, dasselbe Jahr, es handelt sich immer um eine Unterschätzung und noch dazu in ähnlicher Grössenordnung. Die Tatsache, dass die grössten Abweichungen einer anderen Partei bei der auf dem politischen Spektrum verwandten FDP zu finden sind, könnte ein weiterer Hinweis auf das Problem sein. In diesem Fall waren die Resultate nicht nur “Sosolala” sondern klar falsch und es sieht so aus wie es einen guten Grund dafür gab.
Fazit: Die Umfragen haben bis auf das Jahr 2005 eigentlich eine ziemlich gute Trefferquote gehabt, misst man sie an dem, was sie tatsächlich versprechen. Der einzige nicht erklärte Ausreisser waren die Werte für die CDU/CSU im Jahr 2005. Das wäre eine interessante Geschichte gewesen, von der ich gerne mehr gelesen hätte.
Nachtrag: Zufälligerweise wurde gerade auf dem IR Blog von den Kollegen, die ich manchmal ungefähr um 13.00 Uhr zum Mittagessen treffe, etwas zu Umfragen und Prognosen zur Bundestagswahl gepostet (viel detaillierter, kompetenter und technischer als hier). Wer das Thema vertiefen möchte, dem sei der Eintrag wärmstens empfohlen (Englisch).
Kommentare (11)