Um es direkt auf den Punkt zu bringen – nicht viel bzw. längst nicht so viel, wie die Presse derzeit daraus macht, weshalb ich mich zu einem (leider stark verkürzten, da ich selber heute Abend noch eine Studienauswertung abschließen muss) Blog-Kommentar zu den Erhebungsmethoden veranlasst sehe. Durchgeführt wurden die heute der Presse vorgestellten Befragungen im Rahmen der PEGIDA-Demonstrationen am 22.12.2014 (laut SPIEGEL 15.000 Teilnehmer), am 05.01.2015 (laut DNN 18.000 Teilnehmer) sowie am 12.01.2015 (laut MDR 25.000 Teilnehmer).
Das erste methodische Problem eines solchen Vorgehens lässt sich direkt erahnen: Personen, die an allen drei Demonstrationen teilgenommen haben, hatten eine viel größere Chance, von einem der Befrager angesprochen zu werden bzw. hätten theoretisch auch mehrfach teilnehmen können, ohne dass dies aufgefallen wäre. Darüber hinaus ist es natürlich viel wahrscheinlicher, dass Befrager einen harmlos aussehenden Demonstranten ansprechen, als dass sie ihr Glück mit einem bereits angetrunkenen Hooligan versuchen. Vom Vorliegen einer chancengerechten Zufallsauswahl ist daher meiner Einschätzung nach nicht auszugehen, was den interpretativen Spielraum bereits erheblich (nämlich von quantitativ auf qualitativ) einschränkt.
Sieht man sich die Ergebnisse der Erhebung näher an, so stellt man fest, dass von insgesamt 58.000 Demonstrationsteilnehmern (über alle drei Erhebungstage) lediglich 1.142 Personen angesprochen wurden, von denen ganze 65% (742) jegliche Auskunft verweigerten, so dass letztendlich nur 400 Befragungen abgeschlossen und ausgewertet werden konnten, was 0,68% der 58.000 Demonstrationsteilnehmer entspricht. Selbst unter der großzügigen Annahme, dass die Menge der 25.000 Teilnehmer der letzten Demonstration die 15.000 bzw. 18.000 Teilnehmer der beiden vorangegangenen Demonstrationen vollständig einschließt, und somit nicht mehr als 25.000 potentiell befragbare Demonstranten existieren, deckt die Gruppe der Befragten lediglich 1,6% der Grundgesamtheit ab. Legt man hier nun die Cochran-Formel (zugegebenermaßen nur eines der möglichen Gütekriterien) an, so stellt man fest, dass für repräsentatives Ergebnis zwar schon 1.050 bzw. 1.025 Probanden ausreichend gewesen wären – diese hätten jedoch nicht nur (a) zufällig selektiert werden (unwahrscheinlich), sondern auch noch (b) idealerweise vollständig teilnehmen (und eben nicht zu 65% die Teilnahme verweigern) müssen.
Die hohe Anzahl an Verweigerern ist als zentrales Problem für die Aussagekraft der Ergebnisse zu betrachten, da grundsätzlich nicht davon ausgegangen werden kann, dass Personen, die die Teilnahme an einer Erhebung verweigern, ebenso geantwortet hätten, wie Personen, die zur Teilnahme bereit waren – insbesondere bei einem politisch oder persönlich irgendwie sensiblen Befragungsthema, welches hier eindeutig vorlag. Da nicht ausgeschlossen werden kann (und es vielmehr sogar sehr wahrscheinlich ist), dass die fehlenden 65% einen erheblichen Einfluss auf das Befragungsergebnis ausgeübt hätten, hätte man sie zur Teilnahme verpflichten können, ist es in meinen Augen verwegen, von den verbliebenen 35% Rückschlüsse auf die Gesamtheit (nicht nur der Angesprochenen, sondern der Demonstrationsteilnehmer insgesamt) zu ziehen.
Zusammenfassend lässt sich also feststellen, dass von 58.000 Demonstrationsteilnehmern an drei verschiedenen Tagen (Überlappung der Befragtengruppen, keine saubere Möglichkeit des Ausschlusses von Mehrfachteilnahmen) unter erschwerten Bedingungen (Umstehende können die Antworten mithören, aufgeheizte Stimmung, sensible Befragungsthemen) gerade mal 400 Teilnehmer (bei einer sehr hohen Auskunftsverweigerungsrate von 65%) befragt wurden. Mit Sicherheit ließen sich aus den hier gewonnenen Daten nun qualitativ wertvolle Hypothesen für weiterführende Untersuchungen ableiten – tatsächlich wird aus ihnen aber folgender, äußerst weitreichender Schluss auf die Gesamtheit der PEGIDA-Teilnehmer gezogen:
Der „typische“ PEGIDA-Demonstrant entstammt der Mittelschicht, ist gut ausgebildet, berufstätig, verfügt über ein für sächsische Verhältnisse leicht überdurchschnittliches Nettoeinkommen*, ist 48 Jahre alt, männlich, gehört keiner Konfession an, weist keine Parteiverbundenheit auf und stammt aus Dresden oder Sachsen.
Und das geht nun doch erheblich zu weit, wurde aber dennoch von der Pressestelle der TU Dresden so in die Welt gesetzt und wird derzeit von diversen Presseorganen unhinterfragt übernommen.
Schade.
* Addendum, da die Frage soeben per E-Mail reinkam: Gerade Positiv-Feststellungen sind im Zusammenhang mit einer hohen Verweigererquote höchst verdächtig, da die Wahrscheinlichkeit, dass etwa ein Geringverdiener die Antwort auf eine Frage nach dem Einkommen oder ein Schulabbrecher die Frage nach der formalen Schulbildung verweigert in der Regel sehr viel höher ist, als die Wahrscheinlichkeit, dass ein Mittelschichtler oder Abiturient dies tut.
Addendum II, da ich gerade auf Facebook darauf angesprochen wurde: Ja, es ist auch nicht besonders schön, dass der Fragebogen (oder wenigstens die Fragen) nicht mitveröffentlicht wurden und dass auf dem Foliensatz für die Pressepräsentation (im Gegensatz zur offiziellen Pressemitteilung der TU) wirklich keinerlei Hinweis auf die Verweigererquote oder die Gesamtzahl der Befragten zu finden ist. Mit der Eile, die Ergebnisse möglichst schnell vorstellen zu wollen und unter der Annahme, dass in der noch zu erwartenden Publikation alle wichtigen Angaben enthalten sein werden, halte ich das aber für verzeihlich. Nicht besonders toll, aber verzeihlich.
Addendum III, da ich in diesem Artikel in der LVZ gerade noch über diese Sätze gestolpert bin:
“Von den angesprochenen Pegida-Teilnehmern verweigerten rund 65 Prozent jede Aussage. Zudem sei den Befragern eine teils feindselige Stimmung entgegen gebracht worden. Für manche hätte die Umfrage aber auch fast eine therapeutische Wirkung gehabt. Einige hätten sich gegenüber den Wissenschaftlern ihren ganzen Frust von der Seele geredet.”
Jede einzelne dieser Feststellungen (hohe Verweigererquote, teils feindselige Stimmung gegenüber den Befragern – auf Seiten der Verweigerer, wie man wohl annehmen darf – und teils Teilnehmer, die offenkundig etwas loswerden wollten) ist für sich genommen schon ein Indikator dafür, dass die erhobenen Daten eben nicht generalisierbar sind. Wie man angesichts dessen (im gleichen Artikel) zu der Feststellung gelangen kann, dass “große Verzerrungen nicht zu erwarten seien”, ist mir derzeit wirklich ein Rätsel. Die Gefahr von Verzerrungen scheint mir – gerade im Hinblick auf aggressives Verhalten von Verweigerern – vielmehr sogar sehr hoch zu sein, da ja die Annahme durchaus nahe liegt, dass der Grad an offen gezeigter Aggressivität und die Bereitschaft zur Teilnahme an einer Erhebung mit dem sozialen Status (und damit eben auch mit anderen hier erhobenen Variablen wie Bildung und Einkommen) zusammenhängen.
Addendum IV: Der bekannte Medienjournalist Stefan Niggemeier hat sich ebenfalls mit der Befragung befasst (und auf die ScienceBlogs verlinkt – dafür vielen Dank!) und kommt unter anderem zu dem Schluss:
Die ungewöhnliche Umfragesituation könnte die Antworten vielfältig verzerren, etwa auch, wenn die Befrager als staatlich finanzierte Wissenschaftler als Repräsentanten des „Mainstream“ wahrgenommen werden, der diese Demonstrationen täglich öffentlich verurteilt. Das würde womöglich auch erklären, warum so viele Befragte diffus eine „Unzufriedenheit mit der Politik“ nannten und sich nicht negativ über den Islam äußerten. Man weiß es einfach nicht genau. Auch wenn eine Studie und viele Medien den gegenteiligen Eindruck erwecken.
Dazu kann ich nur sagen: Jau. Am Thema Interessierte sollten sich den Artikel unbedingt anschauen, da Niggemeier anhand zweier Grafiken sehr schön zeigt, wie gut sich hohe Verweigererquoten kaschieren lassen, wenn man einfach alle Angaben nur in Prozentwerten ausgibt, nirgendwo die Zahl der Befragten nennt und die Antwortverweigerung als Option aus der Auswertung streicht.
Addendum V: Die Online-Redaktion der WELT zitiert meine Kritik (und verlinkt ebenfalls auf die ScienceBlogs – vielen Dank dafür!) und gibt auch dem Studienleiter Gelegenheit zum Konter, der einen Großteil meiner Einwände zurückweist, immerhin aber einräumt, dass die Studie keinen Anspruch auf Repräsentativität erhoben hätte (was sicher korrekt ist – genau deshalb hätte man sich aber auf der Pressekonferenz auch nicht in verallgemeinernde Aussagen wie “Der typische PEGIDA-Demonstrant ist…” versteigen dürfen). Ein echtes Highlight für mich als FH-Statistiker: Die WELT befragte auch den Geschäftsführer des bekannten Meinungsforschungsinstituts Forsa zur Pegida-Befragung – und der stimmt meiner Kritik in allen wesentlichen Punkten zu:
“Meinungsforscher Manfred Güllner sieht dies anders. “Es ist sehr schwierig, aus einer Masse eine vernünftige Stichprobe zu ziehen”, sagt der Geschäftsführer des Forsa-Instituts der “Welt”. Bei der Umfrage unter den Pegida-Demonstranten wisse man nicht, wer die Auskunft verweigert hat. Bei der Interpretation der Ergebnisse sei er deshalb äußerst vorsichtig. Denn: “Wir wissen, dass sich Rechtsradikale meistens nicht befragen lassen”, sagt Güllner. Allgemein finde er Straßenumfragen “äußerst kritisch”. Es sei eben sehr schwierig, Pegida-Demonstranten repräsentativ zu befragen.”
Addendum VI: Da die Frage mich nun schon zweifach per E-Mail erreichte: Nein, auch bei einer Verweigerungsrate von 65% müssen die Ergebnisse einer Befragung nicht unbedingt verzerrt sein. Einfaches Beispiel hierzu: Bei einer Befragung nach dem Einkommen kann auch eine Erhebung mit 95% Teilnahmequote verzerrt sein, wenn genau die 5% Millionäre die Teilname verweigert haben. Umgekehrt kann eine Befragung auch mit 50% Teilnahmequote nicht verzerrt sein, wenn die antwortenden 50% sich hinsichtlich der Einkommensverteilung strukturell nicht von den Nichtteilnehmern unterscheiden. Entscheidend ist also letztendlich die Frage, ob die Teilnahmeverweigerung mit dem Untersuchungsgegenstand zusammenhängt (hauptsächlich Millionäre oder Geringverdiener verweigern die Teilnahme) oder zufällig geschieht (Menschen aller Einkommensklassen verweigern zufällig die Teilnahme).
Im Hinblick auf die Pegida-Studie stellt sich somit die Frage, ob eher zu vermuten ist, dass zwischen den 35% Teilnehmern (bei denen die Befragung laut Studienleiter ja teils eine “therapeutische Wirkung” gehabt zu haben schien) und den 65% Verweigerern (die den Befragern ebenfalls laut Studienleiter teils “feindselig entgegenstanden”) ein Unterschied im Antwortverhalten (z.B. im Hinblick auf deren Einstellung gegenüber Flüchtlingen) bestanden hätte. Mir scheint diese Vermutung durchaus plausibel zu sein, während der Leiter der Studie davon ausgeht, dass sich die Nichtteilnehmer im Antwortverhalten nicht wesentlich von den Teilnehmern unterscheiden. Insbesondere vor dem Hintergrund der von Forsa-Chef Güllner im WELT-Interview angesprochenen Erkenntnis, dass Personen mit rechtsradikalen Einstellungen sich bei Befragungen in der Regel überdurchschnittlich häufig verweigern bzw. verschleiert antworten, halte ich es dennoch für sinnvoller, vom Vorliegen einer Verzerrung auszugehen.
Addendum VII: Auch Wissenschaftler der TU Chemnitz, der Uni Bochum und der Uni Frankfurt haben gemeinsam Pegida-Anhänger befragt, beurteilen die Aussagekraft von Vor-Ort-Befragungen von Demonstranten aber sehr viel realistischer:
“Auf der Pressekonferenz stellen die Forscher ihre Beobachtungen sowie einige Ergebnisse der Online-Befragung vor. Zugleich warnt Dieter Rucht: „Mit einer Befragung erreicht man wohl kaum den harten Kern von Pegida. Auf dieser Grundlage generelle Aussagen darüber zu treffen, wer der typische Pegida-Anhänger ist, wäre voreilig und falsch.“ Auf der Pressekonferenz wird daher auch das methodische Vorgehen bei einer solchen Befragung problematisiert.”
Addendum VIII: Mit den Ergänzungen zum Artikel soll nun langsam auch wieder Schluss sein, bevor der Text hier unlesbar lang wird. Zwei wichtige Hinweise habe ich aber noch. Erstens: Auf der Seite der TU Dresden gibt es hier eine lesenswerte Stellungnahme der Studienleitung, in der unter anderem darauf hingewiesen wird, dass die Befragten zufällig ausgewählt wurden, was ich weiter oben ja angezweifelt hatte*. Trotz der hohen Verweigerungsrate sind die Organisatoren übrigens der Ansicht, dass die Ergebnisse “quasi-repräsentativ” (mangels einer besseren Umschreibung) seien. Wer also die Kritik an der Studieninterpretation gelesen hat, sollte sich allein schon der Ausgewogenheit halber auf jeden Fall auch mit der Antwort befassen.
Weiterhin hinweisen möchte ich auf dieses Foto (Vorsicht – Link geht zu PI-News) eines Fragebogens, der angeblich auf der letzten Pegida-Demo in Dresden durch die Uni Göttingen verteilt wurde (Das wäre dann übrigens die dritte Erhebung, die am gleichen Tag und auf der gleichen Demo stattgefunden hat, was methodisch betrachtet ebenfalls nicht unkritisch ist). Abgefragt wird der Grad der Zustimmung zu verschiedenen Aussagen, wobei z.B. Nr. 14 lautet:
“Im nationalen Interesse ist unter bestimmten Umständen eine Diktatur die bessere Staatsform.”
Heraus sticht auch Aussage 15:
“Wir sollten einen Führer haben, der Deutschland zum Wohle aller mit starker Hand regiert.”
Nun bin ich natürlich kein Sozialwissenschaftler, möchte aber doch stark bezweifeln, dass die meisten Anhänger einer politischen Bewegung, die den Medien grundsätzlich misstraut und die immer wieder betont, kein rechtsradikales Gedankengut zu verbreiten, derartigen Aussagen zustimmen würden – ganz egal, ob sie diese persönlich für richtig oder unsinnig halten. Jedem einigermaßen klar denkenden Probanden springt doch die Schlagzeile “Pegida-Anhänger wünschen sich mehrheitlich den Führer zurück!” aus diesen Fragen schon entgegen…
* Zur grundsätzlichen “Zufälligkeit” zufälliger Straßenansprachen sei hier ergänzend noch auf diesen Kommentar verwiesen.
Addendum IX: Der Ökonom Hannes Hemker kommentiert die Studie in den DNN:
“Das sehen nicht alle so: „Schließlich ist es mehr als wahrscheinlich, dass es die radikaleren zwei Drittel der Demonstranten waren, die die Umfrage mit dem ‚Establishment’ verweigerten – so wie sie auch regelmäßig Interviews mit der ‚Lügenpresse’ verweigern. Dieses Artefakt der selektiven Nichtbeantwortung erklärt wahrscheinlich auch, warum Pegida in der Umfrage demographisch so ‚normal’ aussieht“, meint der Ökonom Hannes Hemker. Auch Vorländers Mitarbeiter hatten berichtet, dass die Stimmung ihnen gegenüber teils ablehnend bis feindselig gewesen sei.”
Addendum X: Verwiesen sei noch auf dieses Interview mit dem Studienleiter in der WiWo.
Zur Befragungssituation: “Unsere Interviewer standen an den Zugängen zur Kundgebung. Die Menschen strömten in Massen an ihnen vorbei, häufig in Gruppen. Viele wollten in diesem Kontext nicht stehenbleiben. Außerdem gab es eine grundlegende Skepsis gegenüber Interviews im Allgemeinen.”
Zu den Verweigerern: “Es war keine homogene Gruppe. Doch wir wissen nicht, warum sie nicht antworten wollten. Über diese Leute können wir nichts sagen.”
Beide Aussagen unterstreichen, dass die Kritik an der weitreichenden Interpretation der Studie gerechtfertigt bleibt. Wenn sich über die Gruppe der Verweigerer nichts aussagen lässt, kann weder ausgeschlossen werden, dass es sich (zumindest bezüglich der Antworten auf bestimmte Fragen) um eine homogene oder weitgehend homogene Gruppe handelt, noch halte ich unter diesen Rahmenbedingungen die erfolgte Schlussfolgerung für statthaft, man wisse nun, wer der “typische” Pegida-Demonstrant sei und was ihn motiviere. Auch die Charakterisierung der Auswahl als “strenges Zufallsprinzip” ist zu hinterfragen – sie mag ja mehr oder weniger zufällig erfolgt sein, eine Auswahl nach strengem Zufallsprinzip hätte jedoch dazu geführt, dass jede Person die gleiche Chance hatte, angesprochen zu werden. Dies ist bei einer Straßenauswahl (zumal zu unterschiedlichen Terminen mit überlappenden Gruppen) nicht realisierbar.
Addendum XI: Als finaler Anhang dieses überlangen Artikels folgt abschließend noch eine Linkliste mit Hinweisen auf Presseartikel und Blogs, die sich kritisch mit der Studie befassen.
- Tobias Raff: Die erste Pegida-Studie
- Der Freitag: Ansatz einer Differenzierung
- Hannes Hemker: Wer geht eigentlich zu Pegida?
- Wirtschaftswoche: Professor verteidigt Pegida-Studie
- Dierk Haasis: Ungebildet schreiben – gebildet sein: PEGIDA
- WELT: Wie fremdenfeindlich sind Pegida-Anhänger wirklich?
- LVZ: Wissenschaftler üben Kritik an Pegida-Studie der TU Dresden
- Netzwerk gegen Islamfeindlichkeit und Rassismus: Stellungnahme des NIR zur Pegida-Studie der TU Dresden
- Stefan Niggemeier: Studie über Pegida-Demonstranten zeigt: Pegida-Demonstranten lehnen Teilnahme an Studie ab
- Blogade21: Überdurchschnittlich gut situierte Konfessionslose marschieren gegen die Ausbeutung des Sozialsystems und für christliche Werte
Kommentare (131)