Heute wurde vom Finanzministerium eine Studie freigegeben auf die das Land schon lange gewartet hat: Die Auftragsforschung aus dem Jahr 2017 schlägt Wellen und musste im Zuge von Aktenlieferungen an den Untersuchungsausschuss des Parlamentes veröffentlicht werden. Zugänglich ist dieses Konvolut an Sonderlichkeiten über die Homepage des österreichischen Finanzministeriums: Link zur Studie. Hier auf dem Sociokommunikativ-Scienceblog ist wieder Zeit für eine kleine Studienanalyse. Beinschab ist die Markt- und Meinungsforscherin, deren Firma dieses Dokument produziert hat.
Die wissenschaftliche Redlichkeit bei der Beauftragung durch österreichische Institutionen scheint ja nicht immer im Fokus zu stehen und war in der Vergangenheit schon öfter Thema in diesem Scienceblog. Ein weiteres Beispiel wurde heute endlich öffentlich zugänglich. Die Studien wurden, und das ist einer der Skandale an dem sich die österreichische Öffentlichkeit derzeit abarbeiten muss, beauftragt um dem damaligen Noch-Nicht-Kanzler Kurz zu helfen. Dieser hatte damals noch kein Budget via seiner Partei der ÖVP, da er noch nicht deren Obmann war. Vermutet wird – die Prozesse laufen noch und es gilt die Unschuldsvermutung – dass diese Studien im Finanzministerium beauftragt wurden, um die Grundlage für die weiteren politischen Schritte zu schaffen. Kurz war bekanntlich immer sehr an Meinungsumfragen und Ähnlichem interessiert. Und da gerade die Zeit der Beurteilung von Bachelor- und Masterarbeiten ist, passt es gut das etwas genauer anzusehen.
Was sticht ins Auge?
Layout und Format: Die Gestaltung des Konvolutes hat mit einer Studie nichts zu tun. Das “Produkt” besteht hauptsächlich aus zusammengestellten PowerPoint-Folien. Ob die schlechte Kopie Absicht ist oder die Erstversion schon so ausgesehen hat, lässt sich nicht sagen. Der erste Fließtext findet sich auf Seite 39, ist aber nur 2 Seiten lang. Dann beginnen wiederum weitere Folien, dazwischen finden sich Tabellen, dann wiederum weitere Folien.
Inhalte: Das Dokument besteht aus mehreren Teilen. Die ersten 40 Seiten sind die “Ergebnisse qualitative Studie: Wirtschafts- und Budgetpolitik”. Die nächsten 28 Seiten sind mit “Aktuellen Themen” aus dem Jänner und April 2017 gefüllt und bestehen hauptsächlich aus Tabellen ohne jegliche Erklärungen. Die restlichen Inhalte ab Seite 69 sind mit einer weiteren PowerPoint-Präsentation zum Thema “Ergebnisse Antraglose Arbeitnehmerveranlagung” gefüllt. Darauf folgt ab Seite 87 eine sehr kurze PowerPoint mit nur 4 Slides zum Thema “Ergebnisse Zufriedenheit mit der Finanzverwaltung”.
Methodik der quantitativen Anteile: Alle Inhalte ab Seite 28 beziehen sich auf Onlinebefragungen. Die Stichprobengröße ist angegeben. Auffällig ist, dass es keinerlei Texte gibt. Beim Abschnitt ab Seite 69 gibt es zumindest Grafiken, die die Ergebnisse darstellen. Als sehr ungewöhnlich können die Seiten 41 bis 68 bezeichnet werden. Ungewöhnlich ist schon unkommentiert Tabellen mit Zahlenmaterial aus Befragungen zu verwenden und diese auf Folien zu stellen. Dies dann als Studie zu abzugeben entspricht in keinem Fall einer guten, wissenschaftlichen Praxis.
Beispielseite aus dem quantitativen Teil der “Studie” – S. 45
Sämtliche dargestellten Daten in diesen Teilen sind rein deskriptive Übersichten in Tabellenform. Eine weitergehende statistische Auswertung, die Darstellung von Zusammenhängen und die Interpretation der Daten, existieren in den Unterlagen nicht. Diese bräuchte es aber, um eine Einordnung der Ergebnisse transparent zu machen. Um dies zu kontextualisieren: Jede Bachelorarbeit muss sich zumindest inferenzstatistisch mit dem Datenmaterial auseinandersetzen. Dies heißt in Alltagssprache übersetzt, dass Zusammenhänge zwischen Variablen (Korrelationen) berechnet werden müssen und auch geschaut werden muss, ob diese Zusammenhänge zufällig oder aber systematisch (und damit überzufällig, d.h. signifikant) sind. Erst dies lässt tatsächliche Aussagen über das Material und eine Dateninterpretation zu. Reine Deskription kann keine tatsächlichen Aussagen treffen, wird aber zur Darstellung von Stichprobe und Ergebnissen natürlich in Studien gemacht, um an den Auftraggeber:innen einen Eindruck zur Erhebung zu vermitteln. Üblicherweise werden auch Kreuztabellierungen verwendet, um Unterschiede im Datenmaterial sichtbar zu machen.
Die Teile ab S 69 enthalten zwar keine Tabellen sondern diverse Grafiken, bewegen sich aber ebenso rein auf einer deskriptiven Ebene. Dies ist zwar etwas übersichtlicher, und damit für die Auftraggeber:innen besser nachvollziehbar als einfache Tabellen, bringt aber außer Beschreibung auch keine weiteren Einordungen. Hier gilt genau das Gleiche, wie im Absatz zuvor beschrieben.
Zumindest bei einem dieser Studienteile (57 und 58) wurde das Instrument angehängt. Eigentlich ist dies immer bei allen Studien unabdingbar, dass die genutzten Erhebungsinstrumente in den Anhang inkludiert werden.
Methodik der qualitativen Anteile: Besonders originell, eine andere Bezeichnung fällt mir dazu nicht ein, ist der Teil zu Beginn des Dokuments. Bezeichnet als “Ergebnisse qualitative Studie: Wirtschafts- und Budgetpolitik” wird darauf verwiesen, dass 3 Gruppendiskussionen und 10 “Tiefeninterviews” durchgeführt wurden.
Zu den Gruppendiskussionen: Angegeben wird, dass mit “leitenden Angestellten”, “Freiberuflern” und “EPUs” gesprochen wurde und an welchen Tagen die Gruppendiskussionen durchgeführt wurden. Nicht angegeben wurde die Rekrutierungsstrategie, d.h. wie gesampelt wurde, und vor allem aber wie viele Personen an den Diskussionen teilgenommen haben. Spannend sind die drei genannten Gruppen, da alle 3 den üblichen Zielgruppen einer Partei, der ÖVP, entsprechen. Warum genau die Auswahl auf diese Berufsgruppen fiel, wird nicht argumentiert.
Auch geht aus der Darstellung nicht hervor welche Art von Gruppendiskussion dies waren. Methodisch unterscheiden wir selbstläufige Gruppendiskussionen mit einleitendem Impuls oder halbstrukturierte Diskussionen, die mehr Gruppeninterviews entsprechen, mit vorbereiteten Fragen. Dies hat nämlich auf die in diesen Seiten überhaupt nicht erwähnte Form der Auswertung einen Einfluss. Während selbstläufige Formate meist mit einer interpretativen Auswertung analysiert werden, greift man bei semi-strukturierten Verfahren auf Inhaltsanalysen als Instrument zurück. Dass nicht angegeben wurde wie ausgewertet wurde, passt ins Bild. Absolut nicht nachvollziehbar ist, wie diese Studie zu ihren Ergebnissen kommt – etwas das bei den dargestellten Inhalten noch lustig wird.
Zu den Tiefeninterviews: Wie einer meiner Professoren damals während des Studiums immer wieder gerne, und polemisch, anmerkte, sind sogenannten Tiefeninterviews ein besonders witziges Instrument. Sinngemäß meinte er: Da sagen die Leut’ dann sie machen Tiefeninterviews und glauben sie sprechen einfach mit wem und fragen bsonders tief. Daran muss ich immer denken, wenn ich diesen Begriff lese. In den Sozialwissenschaften werden halbstrukturierte Formen von Interviews von selbstläufigen, erzählgenerierenden unterschieden. Erstere haben als Basis einen Leitfaden, dieser wird der guten wissenschaftlichen Praxis folgend in den Anhang aufgenommen. Selbstläufige Interviews gibt es in unterschiedlichen Formen, eines der geläufigsten ist das narrative Interview das mit einem Gesprächsimpuls beginnt. Zusätzlich gibt es Interviewformen mit spezifischer Ausrichtung, dazu gehören biograpische, problemzentrierte und einige anderen Formen von Interviews. (Der Vollständigkeit halber: Strukturierte Interviews gibt es auch, diese werden auf Basis eines Fragebogens durchgeführt. Die Markt- und Meinungsforschung bezeichnet diese meist als Telefoninterviews.)
Hier gilt genauso wie bei Gruppendiskussionen: Die Form des Interviews zieht eine spezifische Form der Auswertung nach sich. Jede Erhebungsmethode braucht eine Methodik zur Auswertung und Analyse. Dies muss in einer Studie, wissenschaftlichen Arbeit oder auch Qualifizierungsarbeit transparent gemacht werden. In den heute veröffentlichten Unterlagen gibt es keinerlei Hinweis darauf.
Fazit zum qualitativen Teil: Wie die Ergebnisse zustande kommen, ist unklar. Weder gibt es einen Verweis auf die Form der Erhebung und die Erhebungssituation, noch wird transparent gemacht wie ausgewertet wurde. Transkripte aus den Interviews und Gruppendiskussionen sind nicht angeführt. Diese müssen zwar nicht in einer wissenschaftlichen Arbeit zur Gänze in den Anhang aufgenommen werden, weil dies oft den Rahmen sprengen würde, aber es braucht zumindest eine Übersicht über die Materialen und eine Bezeichnung für jedes Transkript. Üblich ist auch aus den Transkriptionen zu zitieren und damit den Proband:innen mittels verwendeter Zitate eine Stimme zu geben. Deshalb braucht es eine eindeutige Bezeichnung für jedes Interview bzw. Gruppendiskussion und die Angabe der Zeilen aus dem das Zitat stammt.
Um hier einen Einblick in die Praxis an Unis und FHs zu geben: Wir verlangen von unseren Studierenden im Anhang eine genaue Auflistung aller Materialien, der Bezeichnungen der Transkripte, wann die Erhebungen stattgefunden haben und sonstige Angaben zur Nachvollziehbarkeit. Aus den Materialen muss zur Veranschaulichung und aus Gründen der Transparenz zitiert werden. Um dies überprüfen zu können, müssen die Studierenden ihre Transkripte zugänglich machen. Bei der Beurteilung überprüfen wir dann, ob die angeführten Zitate auffindbar sind und können so auch die Interpretationsschritte nachvollziehen. Auch in den Angang gehören natürlich Materialien, um die Auswertung transparent zu machen. Dazu gehören Kategorienschemata, Netzwerke aus Analysen, Maps und – immer abhängig vom Auswertungsverfahren – andere Elemente, die der Nachvollziehbarkeit der Arbeit dienen.
Die Inhalte der Studie: Nun kommen wir zum unterhaltsamen Teil der heute veröffentlichen Seiten. Alles ab Seite 38 sind Tabellen bzw. Grafiken und Deskription. Darauf braucht nicht weiter eingegangen werden als weiter oben schon getan. Lustig ist der erste Teil der “Studie”. Wie auch immer die Ergebnisse, wie schon ausgeführt, entstanden sind, sie zeigen worum es geht. Deshalb hier einige Beispiele aus dem Dokument.
Beispielseite aus dem qualitativen Teil der “Studie” – S. 9
Cherrypicking aus den Erhebungen: Die ersten Seiten sind aus den Interviews und Gruppendiskussionen aus gewählte Aussagen. Einer Überprüfung halten diese nicht stand. Der Eindruck entsteht, dass diese willkürlich ausgewählt wurden.
Ab Seite 9 werden Informationen zu österreichischen Parteien dargestellt, jeweils eingeleitet durch “spontane Aussagen” zur jeweiligen Partei. Interessant ist mit welcher Partei begonnen wird. Die bzw. der Leser:in wird schon erraten haben, dass natürlich die ÖVP zuallererst angeführt wird.
Auf zusammengetragene “Werte und Inhalte” zur Partei, folgt eine Übersicht welche Persönlichkeiten der Partei erwähnt wurden. Das (vermutete, die Untersuchungen laufen noch) Ziel dahinter war die ÖVP unter Reinhold Mitterlehner in einem negativen Licht dazustellen, um die Basis für einen Wechsel an der Parteispitze herzustellen. Dafür wurden Aussagen zur ÖVP zusammengetragen. Nicht nachvollziehbar ist woher diese Aussagen stammen.
Warum auch immer folgt darauf “Die ÖVP als Automarke” mit Aussagen wie “fährt nicht so schnell, eher schön langsam” und “VW steckt durch Skandale auch in der Krise – gleich wie die ÖVP” plus zwei weitere Aussagen. Dies wiederholt sich auch für die anderen Parteien SPÖ, FPÖ, Grüne und Neos. Diese Parteien werden mit den Automarken Puch, Tesla, VW Bus, Skoda, VW Golf, Ford bzw. Opel illustriert.
Auf Seite 20 folgt ein “projektives Verfahren” zur “Familienbildung/Relation der einzelnen Parteien zueinander”. Wie diese Analyse entstanden ist, kann nicht nachvollzogen werden. Für die Erhebung gibt es einen Hinweis. Die Teilnehmer:innen der Gruppendiskussionen wurde gebeten sich die Parteien als Familie vorzustellen, um “Aufschluss über Abhängigkeitsverhältnisse innerhalb einer Gruppe, Beziehungen und Umgang untereinander” zu geben.
Der Text erinnert an einen Schulaufsatz in dem eine Familie beschrieben wird. Wenig überraschend wird als erstes die ÖVP als “Vater, teilweise als Großvater” erwähnt und alle anderen Parteien in Relation dazu beschrieben. In einer interpretativen Analyse wäre dies eine Stelle an der die erste generative Frage mit der Adressierung einer patriarchalen Struktur formuliert wird. Der SPÖ wird die Rolle als Mutter zugeteilt, den Grünen jene der Tochter und die FPÖ wird “teilweise als Sohn, der gerade aus der Pubertät kommt, gesehen”. Manchmal aber “auch als ‘bösen’ Onkel bzw. als ‘schwarzes’ Schaf”. Für die Neos bleibt die Rolle als Hausfreund, Nichte oder des Vaters der auf Dienstreise ist, oder aber auch als “kleines Kind”. Was auch immer mit diesen Zeilen bezweckt wurde, drängt sich die Vermutung auf, dass diese mehr das Mindset der Autor:innen zeigt als auf tatsächliche Analysen oder Transkripte zu verweisen.
Beispielseite aus dem qualitativen Teil der “Studie” – S. 21
Ohne Frage der skurrilste Teil folgt ab Seite 21: Hier werden Parteichefs und Politiker von ÖVP, SPÖ, FPÖ und Neos als Tiere dargestellt. Angeführt wird, dass die Teilnehmer:innen der Gruppendiskussionen gebeten wurden “sich unterschiedliche Politiker als Tiere” vorzustellen. Das Ziel dieser “Übung” war es “Aufschluss über die Wahrnehmung von Politikern in Hinblick auf unterschiedliche Eigenschaften, sowie deren Stellung in der Partei” zu geben.
Interessant ist, dass nur Männer untersucht wurden. Weibliche Politikerinnen kommen in der Analyse nicht vor. Eine Begründung für die Auswahl wird nicht geliefert. Interpretativ ist dies allerdings interessant. Vor dem Hintergrund des Wissens wie diese “Studien” beauftragt wurden und dass diese (vermutlich) Sebastian Kurz nutzen sollten, ist eine (mögliche) Erklärung jene der potentiellen Konkurrenten. Alle angeführten Personen können als solche bezeichnet werden. Politker:innen der Grünen, mit denen Kurz später eine Koalition eingegangen ist, gehörten scheinbar damals nicht dazu – diese Zeilen sind reine Vermutung, und könnten wahrscheinlich nach den Befragungen vor dem Untersuchungsausschuss beantwortet werden.
Interessant ist, dass mit Christian Kern (SPÖ) gestartet wird. Er wird als “eitler Pfau”, “Hirsch” und “Fuchs” bezeichnet. Hier findet sich auch ein Satz zur Analyse: “Christian Kern wird mit schlauen, machtorientierten Tieren, die sich gerne in Szene setzen, in Verbindung gebracht”. Als zweite Person wird Reinhold Mitterlehner (ÖVP) angeführt, jener Parteichef der von Sebastian Kurz ersetzt wurde. Mitterlehner wird als “als eher zurückhaltendes Tier, das gegebenenfalls rabiat werden kann, gesehen”. Zur Imagebildung werden Hase, Affe, Hyäne und Maulwurf dargestellt. Bei beiden Personen gehen sämtliche Aussagen in eine negative Richtung. Ein Indikator, der darauf verweist in welche Richtung die Analyse ausgerichtet ist.
Beispielseite aus dem qualitativen Teil der “Studie” – S. 22
Als nächste werden Hans Peter Doskozil (SPÖ) und Sebastian Kurz (ÖVP, damals Außenminister) angeführt. Bei Kurz gibt es die erste rein positive Aussage “sieht süß aus” neben dem Photo eines Eichhörnchens und die Analyse “wird mit schlauen, zielstrebigen Tieren in Verbindung gebracht”. Nach diesen beiden werden noch damalige Finanzminister Hans Jörg Schelling, der ehemalige FPÖ Parteichef Heinz Christian Strache und der damalige Neos-Parteichef Matthias Strolz als Tiere dargestellt. Bei Schelling, damals Minister im beauftragenden Ministerium, finden sich positive Aussagen wie “hat den Überblick” und “ein Tier, das nicht so offensichtlich ist, aber alles mitbekommt”. Strache und Strolz werden Aussagen mit negativer Richtung zugeschrieben.
Im Anschluss an die Tierdarstellung werden Aussagen bezüglich unterschiedlicher Inhalte ausgeführt und analysiert. Auch hier wiederum: Wie diese Analysen zustande kamen, ist nicht nachvollziehbar. Kategorien, wie die “Verständlichkeit/Inhalt”, “Zuordnung zu Parteien/Politiker”, “Glaubwürdigkeit” und “Fazit” werden dargestellt. Auf den folgenden Seiten werden Inhalte rund um Finanzen, Arbeitslosigkeit, Steuergeld, u.ä. ausgeführt – alles Themen, die von der ÖVP bzw. Kurz zu späteren Zeitpunkte aufgegriffen wurden. Der letzte Abschnitt bietet einen Ausblick und beschäftigt sich mit Wirtschaftsthemen, Zukunftsthemen, Arbeitszeitverkürzung, Leistung, Mindestsicherung und Strategien, wie z.B. “Wir müssen weg von Ankündigungen hin zu Resultaten kommen”. Aussagen, die an Wahlkampfslogans aus vergangenen Wahlkämpfen erinnern. Dann werden nach politischen Wahrnehmungen der Gruppen in den Gruppendiskussionen – Unternehmer und leitende Angestellte – die Wahrnehmungen zu Parteien angeführt. Warum letzteres für das die Studie finanzierende Finanzministerium relevant sein sollte, erschließt sich nicht.
Ab Seite 39 folgt der einzige Fließtext: Hier wird zu Beginn auf das Studiendesign eingegangen. Interessant ist, dass die Aussagen aus den Folien zu Beginn des Dokuments den Angaben auf S. 39 widersprechen. Zu Beginn, auf S. 3, wird von 3 Gruppendiskussionen und 10 Tiefeninterviews gesprochen. Am Ende dieses Abschnittes ist allerdings nur mehr von Tiefeninterviews die Rede, die Gruppendiskussionen werden nicht mehr erwähnt. Hier wird nun geschrieben, dass “25 BürgerInnen, gestreut nach Alter und Geschlecht, sowie 10 Unternehmer befragt” wurden. Hier wird nun auch die Länge der Interviews mit “ca. 45 Minuten” und der Erhebungszeitraum mit 14.8.-25.8. angegeben, wie auch auf eine darauf aufbauende Onlinebefragung verwiesen.
Diese Inkonsistenz wirft die Frage auf, ob die Gruppendiskussionen und Interviews stattgefunden haben. Dass die Angaben über die Erhebungen auseinandergehen, ist ungewöhnlich. Nachdem – im Regelfall – solche Studien eine intensive Auseinandersetzung mit dem empirischen Material erfordern, vergessen die beteiligten Wissenschafter:innen wohl kaum wie gearbeitet wurde. Zum Abschluss gibt es noch einen Abschnitt mit Empfehlungen – interessant wäre es diese mit dann in späteren Wahlkämpfen getätigten Aussagen zu vergleichen.
Fazit zum Dokument: In Summe wurden 155.940 € ab Steuergeldern für “Studien” ausgegeben, die keinen wissenschaftlichen Grundlagen entsprechen. Weder ist transparent wie die Erhebungen gestaltet wurden, noch in welcher Form ausgewertet und analysiert wurde. Selbst wenn man eher lockere Standards anlegen würde, wie dies der Markt- und Meinungsforschung manchmal nachgesagt wird, unterschreitet diese Dokument auch jene Kriterien. Offen bleibt warum das Finanzministerium Aussagen über Parteien und Politiker:innen benötigt. Die Vermutung, dass Ziel und Zweck der “Studien” die Generierung von Materialien zur medialen Verwertung, erscheint plausibel. Wie auch bei den Studien zu den Islamkindergärten, wird Wissenschaft instrumentalisiert, um tendentiösen Aussagen eine seriösen Anstrich zu geben. Und wie auch bei den Studien zu Islamkindergärten besteht ein Zusammenhang zu Sebastian Kurz. Eine Erklärung dafür und Aufklärung über die Hintergründe werden die österreichischen Steuerzahler:innen – hoffentlich – im nächsten Untersuchungsausschuss bekommen. Dringend notwendig wäre dies.
Ergänzung: Mein Fokus hier liegt am methodischen Design und der Durchführung der “Studie”. Den Tabellen und darin enthaltenen Zahlen bin ich nicht nachgegangen. Wäre aber spannend zu prüfen, ob die behauptete Repräsentativität stimmt. Sprich: Dass die gezogene Stichprobe in ihren Merkmalen tatsächlich der Grundgesamtheit, d.h. der Bevölkerung von Österreich, entspricht.
Links:
Link zur Studie: auf der Website des Finanzministeriums
Artikel auf orf.at zum Thema: Beinschab-Studien nun öffentlich
Kommentare (10)