Im kommenden Semester werde ich nach längerer Zeit endlich wieder das Vergnügen haben, einen Statistik-Grundlagenkurs an der Hochschule Harz zu unterrichten. Eine der Grundregeln, die ich Studierenden in solchen Veranstaltungen immer mit ganz besonderem Nachdruck zu vermitteln versuche, lautet, dass nicht jede Erhebung “repräsentativ” und nicht jedes Ergebnis “signifikant” sein muss – auch wenn der Erwartungsdruck durch Kunden oder Kollegen einen möglicherweise zur unbedachten Verwendung dieser Adjektive verleiten könnte.
Ein passendes Beispiel liefert uns heute die Harzer Volksstimme, die unter der Überschrift “Uni-Absolventen auf dem Sprung” über eine im Auftrag der Zeitarbeitsagentur STUDITEMPS durchgeführte Erhebung unter Studierenden berichtet, welche zu dem Ergebnis gelangt, dass kein Bundesland auf Hochschulabsolventen unattraktiver wirke als Sachsen-Anhalt:
Deutschlandweit haben Experten der Universität Maastricht Studenten gefragt, in welchem Bundesland sie gern arbeiten würden. Auftraggeber war die Kölner Zeitarbeitsfirma Studitemps. Das Ergebnis: Auf die größte Akademikerabwanderung muss sich Sachsen-Anhalt einstellen. Zu- und Wegzugswünsche ergeben unter dem Strich ein Minus von 70 Prozent. „Darüber müssen sich die Wirtschaft, das Land und die Kommunen dringend Gedanken machen“, mahnt Studitemps-Sprecher Stephan Hartmann. 25.000 Studenten haben sich nach Studitemps-Angaben an der Befragung beteiligt – „das ist repräsentativ“, betont Hartmann. Allerdings: Vorgesetzt bekamen den Online-Fragebogen ausschließlich jene, die bei Studitemps angemeldet sind, die also nach einem Job suchen oder einmal gesucht haben.
Während die Ergebnisse dieser Erhebung für sich genommen – verstanden als mit großem Aufwand und hohen Fallzahlen betriebene qualitative Vorstudie – sicher durchaus interessant sind, stellen sich mir angesichts der Verwendung des Wortes “repräsentativ” hier leider die Nackenhaare auf. Auf das größte Problem weist Volksstimme-Redakteur Hagen Eichler dankenswerterweise gleich selbst hin:
- Nur Studierende, die auf dem Online-Portal von STUDITEMPS – einer Agentur zur Vermittlung von Studierenden in Zeitarbeit – registriert sind, konnten überhaupt an der Erhebung teilnehmen. Studierende, die keinen Bedarf (genug klassische Studentenjobs, ausreichende finanzielle Mittel etc.) oder kein Interesse an Zeitarbeit haben, fallen also ebenso aus wie Studierende, denen das Portal gar nicht bekannt ist oder die sich aus Gründen des Datenschutzes oder eigener Überzeugungen (Zeitarbeit) nicht registrieren würden. Auch alle Studierenden, die sich generell nicht für Online-Jobportale interessieren (etwa weil sie sich nach dem Abschluss selbständig machen wollen, im Unternehmen der Eltern einsteigen oder eine Karriere im öffentlichen Dienst anstreben), werden kaum bei STUDITEMPS registriert sein. Vor diesem Hintergrund wirkt die Annahme, dass die verbleibende Subgruppe der potentiellen STUDITEMPS-Nutzer – und innerhalb derer wiederum die Subgruppe der tatsächlichen Nutzer – im Hinblick auf Karriereziele und Mobilität auch nur näherungsweise repräsentativ für die Gesamtheit aller deutschen Studierenden stehen könnte, bei näherer Betrachtung mehr als abenteuerlich.
Der Blick auf die STUDITEMPS-Webseite offenbart jedoch noch mehrere weitere Probleme:
- Bei STUDITEMPS sind offenbar rund 300.000 Studierende registriert, von denen wiederum 25.000 (8,3%) befragt wurden – eine für eine Erhebung per Zufallsstichprobe auffallend hohe Zahl. Legt man an dieser Stelle die Cochran-Formel mit üblichen Schätz- und Genauigkeitswerten zugrunde, hätte eine Stichprobe von 1065 Studierenden bei dieser Grundgesamtheit schon für eine repräsentative Aussage (über Karriereziele und Mobilität der STUDITEMPS-Nutzer, nicht der Studierendenschaft insgesamt) ausgereicht. Der Umstand, dass weit mehr Studierende befragt worden, lässt vermuten, dass der Erhebung gar keine Zufallsauswahl zugrunde lag, sondern vielmehr alle registrierten Nutzer zur Teilnahme aufgefordert wurden. Zur ersten Stufe der Selbstselektion (Wer meldet sich bei STUDITEMPS an?) käme somit noch eine zweite Stufe (Wer meldet sich für die Befragung?) hinzu, die es wahrscheinlich erscheinen lässt, dass die Ergebnisse nicht einmal für die Grundgesamtheit der STUDITEMPS-Nutzer repräsentativ sind.
- Die bei STUDITEMPS registrierten Nutzer stammen aus 140 Studiengängen – das Portal studieren.de erfasst aber alleine in Deutschland fast 7.300 angebotene Studiengänge. Selbst wenn man davon ausgeht, dass diese sich erheblich verdichten lassen (etwa indem man Studiengänge wie “Accounting and Finance”, “Accounting and Taxation” und “Accounting and Controlling” zusammenführt), so ist doch offensichtlich, dass hier nicht alle Studienrichtungen in gleichem Maße abgebildet sein dürften und insofern keine Strukturidentität zwischen der Grundgesamtheit aller Studierenden und der Subgruppe der STUDITEMPS-Nutzer zu erwarten ist. Insbesondere geisteswissenschaftliche Studienrichtungen sowie solche, die auf eine Beschäftigung im öffentlichen Dienst abzielen, dürften unterrepräsentiert sein – was bei einer Zeitarbeits-Agentur für Studentenjobs auch durchaus zu erwarten ist und insofern den – qualitativen – Erkenntnisgewinn einer entsprechenden Befragung nicht schmälert.
- Auch auf das Argument, die Erhebung sei schon aufgrund der hohen Zahl an Probanden – immerhin 25.000 – repräsentativ, soll an dieser Stelle noch kurz eingegangen werden. Tatsächlich wäre eine Zufallsauswahl von 25.000 Personen für die Grundgesamtheit der 300.000 STUDITEMPS-Nutzer mit Sicherheit repräsentativ – und auch für repräsentative Aussagen über die Studierendenschaft insgesamt wäre die Probandenzahl – wiederum nach Cochran geschätzt – groß genug. Die Betonung liegt aber in beiden Fällen auf der Zufallsauswahl, die hier offensichtlich nicht vorliegt (Studierendenschaft) bzw. nicht zu vermuten ist (Nutzerschaft). Dem Gesetz der großen Zahl folgend, wird fälschlicherweise häufig davon ausgegangen, dass eine sehr große Zahl an Teilnehmern – insbesondere bei Online-Befragungen – geradezu ein Garant für die Aussagekraft der Ergebnisse ist. Dies ist jedoch nur dann der Fall, wenn eine saubere Definition der Grundgesamtheit sowie eine echte Zufallsauswahl durchgeführt wurden – liegt einer Erhebung dagegen ein selbstselektives Verfahren zugrunde, kann eine werbewirksam hohe Teilnehmerzahl vielmehr zu schwersten Fehlschlüssen führen – ein Effekt, der in der Wahlforschung bereits seit dem “Literary Digest Desaster” von 1936 bestenes bekannt ist.
Ganz grundsätzlich – und völlig losgelöst vom STUDITEMPS-Beispiel – ist festzustellen, dass die schleichende Erosion der Bedeutung von Begriffen wie “repräsentativ” und “signifikant” die Ergebnisqualität in der Markt- und Meinungsforschung meiner Auffassung nach bereits erkennbar beschädigt hat und ständig weiter schädigt. Markt- und Meinungsforscher sollten wieder lernen, sich dem Zwang zu wiedersetzen, die Label “repräsentativ” oder “signifikant” unabhängig von der Erfüllung der eigentlichen methodischen sowie auch mathematischen Voraussetzungen überall draufzupappen, weil Ergebnisse ohne diese Label schon gar nicht mehr ernst genommen oder gar als fehlerhaft betrachtet werden. Mit diesem Verhalten wertet man nicht nur den reichhaltigen Methodenkoffer der qualitativen Forschung ab, die auch ohne Repräsentativität oder Signifikanz wertvolle Ergebnisse erbringen kann, sondern man sorgt auch für eine ständige Konfusion pseudo-repräsentativer und pseudo-signifikanter Ergebnisse mit tatsächlich repräsentativen und signifikanten Ergebnissen und trägt somit letztendlich dazu bei, dass die Begriffe außerhalb der Wissenschaft irgendwann gar keine Bedeutung und gar keine Aussagekraft mehr besitzen.
In diesem Sinne: Don’t do it! Und danke an alle Medienvertreter, die solche Aussagen nicht unkommentiert übernehmen (wie es mit der aktuellen STUDITEMPS-Erhebung sicher wieder viele Presseorgane tun werden).
Update: Die Berliner Zeitung (BZ) berichtete schon vor drei Wochen über die Umfrage, ohne dabei die Repräsentativität der Ergebnisse zu hinterfragen. Aus dem BZ-Artikel geht allerdings deutlich hervor, dass – wie oben bereits vermutet – alle 300.000 STUDITEMPS-Mitglieder zur Teilnahme an der Erhebung aufgefordert wurden. Da mit 25.000 nur rund 8% diesem Aufruf folgten, liegt anstelle einer Zufallsstichprobe also dem Anschein nach eine (angesichts der Rücklaufquote mehr oder minder gescheiterte) Vollerhebung mit hoher Selbstselektivität vor.
Kommentare (21)