Heute wurde vom Finanzministerium eine Studie freigegeben auf die das Land schon lange gewartet hat: Die Auftragsforschung aus dem Jahr 2017 schlägt Wellen und musste im Zuge von Aktenlieferungen an den Untersuchungsausschuss des Parlamentes veröffentlicht werden. Zugänglich ist dieses Konvolut an Sonderlichkeiten über die Homepage des österreichischen Finanzministeriums: Link zur Studie. Hier auf dem Sociokommunikativ-Scienceblog ist wieder Zeit für eine kleine Studienanalyse. Beinschab ist die Markt- und Meinungsforscherin, deren Firma dieses Dokument produziert hat.
Die wissenschaftliche Redlichkeit bei der Beauftragung durch österreichische Institutionen scheint ja nicht immer im Fokus zu stehen und war in der Vergangenheit schon öfter Thema in diesem Scienceblog. Ein weiteres Beispiel wurde heute endlich öffentlich zugänglich. Die Studien wurden, und das ist einer der Skandale an dem sich die österreichische Öffentlichkeit derzeit abarbeiten muss, beauftragt um dem damaligen Noch-Nicht-Kanzler Kurz zu helfen. Dieser hatte damals noch kein Budget via seiner Partei der ÖVP, da er noch nicht deren Obmann war. Vermutet wird – die Prozesse laufen noch und es gilt die Unschuldsvermutung – dass diese Studien im Finanzministerium beauftragt wurden, um die Grundlage für die weiteren politischen Schritte zu schaffen. Kurz war bekanntlich immer sehr an Meinungsumfragen und Ähnlichem interessiert. Und da gerade die Zeit der Beurteilung von Bachelor- und Masterarbeiten ist, passt es gut das etwas genauer anzusehen.
Was sticht ins Auge?
Layout und Format: Die Gestaltung des Konvolutes hat mit einer Studie nichts zu tun. Das “Produkt” besteht hauptsächlich aus zusammengestellten PowerPoint-Folien. Ob die schlechte Kopie Absicht ist oder die Erstversion schon so ausgesehen hat, lässt sich nicht sagen. Der erste Fließtext findet sich auf Seite 39, ist aber nur 2 Seiten lang. Dann beginnen wiederum weitere Folien, dazwischen finden sich Tabellen, dann wiederum weitere Folien.
Inhalte: Das Dokument besteht aus mehreren Teilen. Die ersten 40 Seiten sind die “Ergebnisse qualitative Studie: Wirtschafts- und Budgetpolitik”. Die nächsten 28 Seiten sind mit “Aktuellen Themen” aus dem Jänner und April 2017 gefüllt und bestehen hauptsächlich aus Tabellen ohne jegliche Erklärungen. Die restlichen Inhalte ab Seite 69 sind mit einer weiteren PowerPoint-Präsentation zum Thema “Ergebnisse Antraglose Arbeitnehmerveranlagung” gefüllt. Darauf folgt ab Seite 87 eine sehr kurze PowerPoint mit nur 4 Slides zum Thema “Ergebnisse Zufriedenheit mit der Finanzverwaltung”.
Methodik der quantitativen Anteile: Alle Inhalte ab Seite 28 beziehen sich auf Onlinebefragungen. Die Stichprobengröße ist angegeben. Auffällig ist, dass es keinerlei Texte gibt. Beim Abschnitt ab Seite 69 gibt es zumindest Grafiken, die die Ergebnisse darstellen. Als sehr ungewöhnlich können die Seiten 41 bis 68 bezeichnet werden. Ungewöhnlich ist schon unkommentiert Tabellen mit Zahlenmaterial aus Befragungen zu verwenden und diese auf Folien zu stellen. Dies dann als Studie zu abzugeben entspricht in keinem Fall einer guten, wissenschaftlichen Praxis.
Beispielseite aus dem quantitativen Teil der “Studie” – S. 45
Sämtliche dargestellten Daten in diesen Teilen sind rein deskriptive Übersichten in Tabellenform. Eine weitergehende statistische Auswertung, die Darstellung von Zusammenhängen und die Interpretation der Daten, existieren in den Unterlagen nicht. Diese bräuchte es aber, um eine Einordnung der Ergebnisse transparent zu machen. Um dies zu kontextualisieren: Jede Bachelorarbeit muss sich zumindest inferenzstatistisch mit dem Datenmaterial auseinandersetzen. Dies heißt in Alltagssprache übersetzt, dass Zusammenhänge zwischen Variablen (Korrelationen) berechnet werden müssen und auch geschaut werden muss, ob diese Zusammenhänge zufällig oder aber systematisch (und damit überzufällig, d.h. signifikant) sind. Erst dies lässt tatsächliche Aussagen über das Material und eine Dateninterpretation zu. Reine Deskription kann keine tatsächlichen Aussagen treffen, wird aber zur Darstellung von Stichprobe und Ergebnissen natürlich in Studien gemacht, um an den Auftraggeber:innen einen Eindruck zur Erhebung zu vermitteln. Üblicherweise werden auch Kreuztabellierungen verwendet, um Unterschiede im Datenmaterial sichtbar zu machen.
Die Teile ab S 69 enthalten zwar keine Tabellen sondern diverse Grafiken, bewegen sich aber ebenso rein auf einer deskriptiven Ebene. Dies ist zwar etwas übersichtlicher, und damit für die Auftraggeber:innen besser nachvollziehbar als einfache Tabellen, bringt aber außer Beschreibung auch keine weiteren Einordungen. Hier gilt genau das Gleiche, wie im Absatz zuvor beschrieben.
Kommentare (10)