Ausser man gehört zu den Hikikomori und ist TV frei, ist es wohl in Deutschland im Moment unmöglich zu verpassen, dass Wahlen anstehen. So sicher wie die nichtsagenden Versprechen auf den Wahlplakate kommen, so sicher weiss man, es ist wieder Zeit für Wahlumfragen. Als fast eben so sicher gilt leider auch, dass diese falsch interpretiert werden.

Nicht selten wird in den Medien ein Plus oder ein Rückgang von ein oder zwei Prozentpunkten (oder noch weniger) zu Tode interpretiert. Dass man Umfragen nicht trauen kann, gehört zum politischen Allgemeinwissen wie das “Wissen” darum, dass alle Politikerinnen und Politiker lügen. Wie Süchtige stürzen sich die Medien trotzdem gleich nach dem Naserümpfen wieder auf jede neue Umfrage.

Darum war dieser journalistischer Versuch etwas Klarheit zu schaffen und nachzufragen, wie zuverlässig die Umfragen in den letzten Jahren in Deutschland eigentlich waren, ein lobenswerter Ansatz. Leider verstärkt der Artikel wohl eher viele Missverständnisse, als dass er sie klärt. Leider ist es so, dass der Versuch hier journalistisch unter die Motorhaube zu schauen, um falscher Berichterstattung auf die Sprünge zu helfen, ironischerweise daran scheitert, dass missverstanden wurde, was man unter eben dieser Haube sieht. Der Autor hat zwar nach einer kurzen Diskussion auf Twitter eine Korrektur angebracht, aber ich glaub das Problem bleibt bestehen, da der Eintrag immer noch die falschen Schlussfolgerungen aus den falschen Gründen zieht.

Unter dem Titel Bundestagswahl: Wie gut waren die Vorhersagen der Umfrageinstitute? werden die Umfragen für Deutschland von sechs Umfrageinstituten für die letzten vier Bundestagswahlen mit den effektiven Wahlresultaten abgeglichen. Der Einstiegssatz zeigt auch gleich die Richtung an: “Wie gut sind die Prognosen der Umfrageinstituten? Kurz gesagt: Solala.” Weiter unten liest man: “Durch die Bank weg haben alle der sechs hier betrachteten Umfrageinstitute bei der Wahl in 2005 deutlich daneben gelegen: CDU/CSU sahen alle bei 41 oder 42 Prozent – tatsächlich kamen die auf 35,2 Prozent.”

Bevor ich auf die konkreten Zahlen des Artikels eingehe, möchte kurz zusammenfassen, was diese Umfragen behaupten wiederzugeben (was meistens etwas anderes ist, als was reingelesen wird). Wie der verlinkte Artikel korrekt betont, handelt es sich zuerst einmal nicht um Prognosen, sondern um Momentaufnahmen. Menschen können ihre Meinung aus tausend unterschiedlichen Gründen ändern. Man kann davon ausgehen, dass sich die Volatilität in Grenzen hält, aber das ist schon einmal ein wichtiger Punkt, den man im Hinterkopf behalten muss, wenn man die Umfragewerte mit dem Endresultat vergleicht. Das Wahlresultat ist nichts anderes als eine weitere, spätere Momentaufnahme.

Ein zweiter wichtiger Aspekt hat mit statistischen Methoden zu tun. Ich spare euch die Details (auch weil es da viel kompetentere Leute gibt dafür). Was man dazu wissen muss ist, dass Umfragen immer eine Fehlerquote angeben (und die sollte in den Medien eigentlich auch erwähnt werden). Jede Veränderung oder jeder Unterschied innerhalb von dieser Fehlerquote ist eigentlich nicht diskussionswürdig, weil praktisch bedeutungslos. Nehmen wir an Partei A hat 38% und Partei B 33% und die Fehlerquote ist +/-3% Punkte. Dann heisst das, dass die Partei A irgendwo zwischen 35% und 41% liegt und die Partei B zwischen 30% und 36%. Mehr weiss man nicht und mehr behauptet eine einzelne Umfrage nicht.

Dazu kommt, dass diese Fehlerquote nur mit einer gewissen Wahrscheinlichkeit stimmt. Typischerweise sind das 95%. Das heisst, dass auf 20 Umfragen es zu erwarten ist, dass die angegebene Fehlerquote (hier +/-3%) einmal sogar ausserhalb von diesem Bereich liegen wird. All dies ist unter der Annahme, dass die Gruppe der befragten Wählerinnen und Wähler wirklich repräsentativ ist (respektive repräsentativ gewichtet wurde). Die ganzen Einschränkungen machen natürlich keine knackige Schlagzeile. Mann muss sich aber bewusst sein, dass dies ist, was die Umfraginstitute feststellen. Mehr können sie gar nicht sagen.

Schauen wir uns also kurz den Eingangs erwähnten Eintrag an. Der Autor rechnet einfach die Abweichungen für jede Partei von Resultat und Umfrageergebnis für jedes Jahr zusammen und schliesst daraus, dass die Vorhersagegenauigkeit zu wünschen übrig lässt. Dies ist aber eine falsche Messlatte. Hierzu ein Beispiel, dass dies klar machen sollte:

Nehmen wir an, ich gehe mit den KollegInnen von der Arbeit täglich Mittagessen. Wir gehen normalerweise um 13.00 los. Ich sage nun, dass ich täglich plus/minus 5 Minuten um 13.00 unten am Eingang warten werde. Schliesslich muss man manchmal noch einen Satz zu Ende schreiben oder es lohnt sich nichts neues mehr anzufangen. Ich tauche in der ersten Woche folgendermassen auf: Montag: -3 Minuten; Dienstag +4 Minuten; Mittwoch +2 Minuten; Donnerstag -4 Minuten und Freitag +3 Minuten. Es wäre nicht fair wenn mir nun Ende Woche vorgehalten würde, ich würde es mit der Zeit nicht so genau nehmen wäre ich doch über die ganze Woche 16 Minuten falsch gelegen, weit ausserhalb meiner +/-5 Minuten. Es sollte offensichtlich sein, dass ich gemessen an meiner Aussage zumindest, in der betreffenden Woche dem Schweizer Klischee in Sachen Pünktlichkeit voll und ganz gerecht wurde. Ausserdem hätte ich in einer noch besseren Analogie versprochen, dass ich die “plus/minus 5 Minuten bis auf wenige Ausnahmen” einhalten werde (in “95% aller Fälle).

1 / 2 / Auf einer Seite lesen

Kommentare (9)

  1. #1 Dierk
    August 27, 2013

    Die Methode, alles zusammenzurechnen und daraus dann eine Riesenfehlerquote abzuleiten, ist selbstverständlich Unsinn, aber.

    Der aufgespießte Artikel greift weniger an der zugrundeliegenden Statistik an, als an der [aufgedrängten] Interpretation der Daten. Bekannte, seriöse Medien-Outlets zeigen die Grafiken und Zahlen als Vorhersagen; sie präsentieren, wie du selbst schreibst, kleine Änderungen als großartige gesellschaftliche Verschiebungen, obwohl sie nichts weiter als Hintergrundrauschen sind. Selbst Menschen, die z.B. während eines Studiums mal einen Einführungskurs in Statistik besuchen mussten, glauben diesen Käse.

    Es bleibt schade, dass dort praktisch umgekehrt darauf reingefallen wird.

  2. […] Siehe die Kritik an diesem Beitrag: “Was Wahlumfragen (nicht) sagen” […]

  3. #3 ali
    August 27, 2013

    Kleiner Nachtrag: Hier ist gerade ein guter Post zum Thema Umfragen und Prognosen zur Bundestagswahl veröffentlicht worden. Ich habe den Link auch im Text nachgetragen.

  4. #4 Eheran
    August 30, 2013

    Gestern wurde ich von einem Stand der CDU angesprochen, obwohl ich mich etwa 90° abgewendet hatte beim vorbeigehen.
    Meine Reaktion:
    “Danke, aber ich lasse mich nicht gerne überwachen.”
    Er hat eine Kaffeepulver-probe (kleine Tüte) in der hand gehabt und meinte sinngemäß “Mögen Sie Kaffee?”
    Darauf konnte ich dann nur noch sagen:
    “Das Programm der CDU besteht also aus Kaffeepulver”
    Und damit war die Unterhaltung beendet.

    Wirklich sehr unterhaltsam.
    Was mir die Grünen wohl angedreht hätten?

  5. #5 Das Skar
    August 31, 2013

    Kurze und einfache, aber dennoch gute Zusammenfassung dessen, was die Überschrift verspricht.
    Nur ein Punkt ist gerade im Hinblick auf 2005 zu beachten.
    Die Fragestellung bei den sog. Sonntagsfragen lautet zumeist “Wenn würden Sie wählen?”.
    Nicht vergessen werden dürfen dabei aber taktierende Wähler (http://de.wikipedia.org/wiki/Leihstimme).

    Die Abweichungen 2005 CDU/CSU und FDP sprechen für sich – ca. 50% der der CDU/CSU fehlenden Prozentpunkte entspricht dem Zuwachs bei der FDP.

    Ohne die genauen Abwanderungen zu kennen, sollte dieser Punkt dennoch bei diesem Thema nicht unbeachtet bleiben. Die – gefühlt – ständigen Zweitstimmenkampagnen können und haben die Vorhersagewerte stark beeinflusst.

  6. #6 homecoming dresses kohls
    http://kampusagi.com/index.php?p=blogs/viewstory/204113
    September 6, 2013

    Today, I went to the seashore with our kids. I identified a sea shell and gave that to my own 4 12 months old girl and said You are able to hear the actual ocean in the event you put this for your ear. She place the covering to the woman’s ear and also screamed. There had been a hermit crab inside and it pinched the woman’s ear. She never wants to go back! LoL I know this is completely off matter but I had created to notify someone!

  7. Hello there, i discovered your website by the use of google at the same time as looking for a similar subject, your web site got here up, it seems great. I’ve bookmarked it in my google bookmarks.|

  8. You might have an incredibly great weblog here! Do you need to earn some invite posts on my little website?|

  9. #9 www.maynardlaw.com/contact.html
    http://www.maynardlaw.com/contact.html
    Juni 10, 2015

    There are many approaches to make money online, so do not pigeon gap yourself to only one method. Throw open several ways associated with earnings so that one dehydrating upwards is not going to make you in the lurch. If you intend to be effective on websites, provide social media marketing operations way too, as an example.