Zumindest bei einem dieser Studienteile (57 und 58) wurde das Instrument angehängt. Eigentlich ist dies immer bei allen Studien unabdingbar, dass die genutzten Erhebungsinstrumente in den Anhang inkludiert werden.

Methodik der qualitativen Anteile: Besonders originell, eine andere Bezeichnung fällt mir dazu nicht ein, ist der Teil zu Beginn des Dokuments. Bezeichnet als “Ergebnisse qualitative Studie: Wirtschafts- und Budgetpolitik” wird darauf verwiesen, dass 3 Gruppendiskussionen und 10 “Tiefeninterviews” durchgeführt wurden.

Zu den Gruppendiskussionen: Angegeben wird, dass mit “leitenden Angestellten”, “Freiberuflern” und “EPUs” gesprochen wurde und an welchen Tagen die Gruppendiskussionen durchgeführt wurden. Nicht angegeben wurde die Rekrutierungsstrategie, d.h. wie gesampelt wurde, und vor allem aber wie viele Personen an den Diskussionen teilgenommen haben. Spannend sind die drei genannten Gruppen, da alle 3 den üblichen Zielgruppen einer Partei, der ÖVP, entsprechen. Warum genau die Auswahl auf diese Berufsgruppen fiel, wird nicht argumentiert.

Auch geht aus der Darstellung nicht hervor welche Art von Gruppendiskussion dies waren. Methodisch unterscheiden wir selbstläufige Gruppendiskussionen mit einleitendem Impuls oder halbstrukturierte Diskussionen, die mehr Gruppeninterviews entsprechen, mit vorbereiteten Fragen. Dies hat nämlich auf die in diesen Seiten überhaupt nicht erwähnte Form der Auswertung einen Einfluss. Während selbstläufige Formate meist mit einer interpretativen Auswertung analysiert werden, greift man bei semi-strukturierten Verfahren auf Inhaltsanalysen als Instrument zurück. Dass nicht angegeben wurde wie ausgewertet wurde, passt ins Bild. Absolut nicht nachvollziehbar ist, wie diese Studie zu ihren Ergebnissen kommt – etwas das bei den dargestellten Inhalten noch lustig wird.

Zu den Tiefeninterviews: Wie einer meiner Professoren damals während des Studiums immer wieder gerne, und polemisch, anmerkte, sind sogenannten Tiefeninterviews ein besonders witziges Instrument. Sinngemäß meinte er: Da sagen die Leut’ dann sie machen Tiefeninterviews und glauben sie sprechen einfach mit wem und fragen bsonders tief. Daran muss ich immer denken, wenn ich diesen Begriff lese. In den Sozialwissenschaften werden halbstrukturierte Formen von Interviews von selbstläufigen, erzählgenerierenden unterschieden. Erstere haben als Basis einen Leitfaden, dieser wird der guten wissenschaftlichen Praxis folgend in den Anhang aufgenommen. Selbstläufige Interviews gibt es in unterschiedlichen Formen, eines der geläufigsten ist das narrative Interview das mit einem Gesprächsimpuls beginnt. Zusätzlich gibt es Interviewformen mit spezifischer Ausrichtung, dazu gehören biograpische, problemzentrierte und einige anderen Formen von Interviews. (Der Vollständigkeit halber: Strukturierte Interviews gibt es auch, diese werden auf Basis eines Fragebogens durchgeführt. Die Markt- und Meinungsforschung bezeichnet diese meist als Telefoninterviews.)

Hier gilt genauso wie bei Gruppendiskussionen: Die Form des Interviews zieht eine spezifische Form der Auswertung nach sich. Jede Erhebungsmethode braucht eine Methodik zur Auswertung und Analyse. Dies muss in einer Studie, wissenschaftlichen Arbeit oder auch Qualifizierungsarbeit transparent gemacht werden. In den heute veröffentlichten Unterlagen gibt es keinerlei Hinweis darauf.

Fazit zum qualitativen Teil: Wie die Ergebnisse zustande kommen, ist unklar. Weder gibt es einen Verweis auf die Form der Erhebung und die Erhebungssituation, noch wird transparent gemacht wie ausgewertet wurde. Transkripte aus den Interviews und Gruppendiskussionen sind nicht angeführt. Diese müssen zwar nicht in einer wissenschaftlichen Arbeit zur Gänze in den Anhang aufgenommen werden, weil dies oft den Rahmen sprengen würde, aber es braucht zumindest eine Übersicht über die Materialen und eine Bezeichnung für jedes Transkript. Üblich ist auch aus den Transkriptionen zu zitieren und damit den Proband:innen mittels verwendeter Zitate eine Stimme zu geben. Deshalb braucht es eine eindeutige Bezeichnung für jedes Interview bzw. Gruppendiskussion und die Angabe der Zeilen aus dem das Zitat stammt.

Um hier einen Einblick in die Praxis an Unis und FHs zu geben: Wir verlangen von unseren Studierenden im Anhang eine genaue Auflistung aller Materialien, der Bezeichnungen der Transkripte, wann die Erhebungen stattgefunden haben und sonstige Angaben zur Nachvollziehbarkeit. Aus den Materialen muss zur Veranschaulichung und aus Gründen der Transparenz zitiert werden. Um dies überprüfen zu können, müssen die Studierenden ihre Transkripte zugänglich machen. Bei der Beurteilung überprüfen wir dann, ob die angeführten Zitate auffindbar sind und können so auch die Interpretationsschritte nachvollziehen. Auch in den Angang gehören natürlich Materialien, um die Auswertung transparent zu machen. Dazu gehören Kategorienschemata, Netzwerke aus Analysen, Maps und – immer abhängig vom Auswertungsverfahren – andere Elemente, die der Nachvollziehbarkeit der Arbeit dienen.

1 / 2 / 3 / 4 / 5

Kommentare (10)

  1. #1 Daniel Eckert
    Graz
    Januar 27, 2022

    Man sollte vielleicht ergänzen, dass ein Teil der methodologischen Defizite nachfrageseitig bedingt sind. So interessieren sich Auftraggeber oft nur für einen “Executive summary” und dessen Präsentation, was die Darstellungsform miterklären könnte.

    • #2 Andrea Schaffar
      Januar 27, 2022

      Klar. Aber selbst wenn das so ist – hatte ich auch schon in der Vergangenheit – fügt man die Eckdaten zu Stichprobe bzw. Sampling, Erhebungsmethode, Auswertungsmethode etc. an. Kommt aber in den Seiten alles nicht vor.

  2. #3 Markus R.
    Wien
    Januar 27, 2022

    Also wenn diese Bewertung nach Wissenschaftlichen Kriterien stimmt und davon gehe ich nach dem (sehr gut und verständlich argumentierten) Artikel aus, würde mich interessieren, was in einem üblichen Fall normalerweise weiter passieren würde. Wenn Sie Fr. Schaffar einen solchen Artikel abliefern bei einem Auftaggeber abgeben würden (sehr hypothetisch gefragt, da ich nicht an ihrem Wissenschaftlichen Vorgehen zweifeln möchte), welche Möglichkeiten hat er (der Auftraggeber) hier, wenn an der Wissenschaftlichkeit gezweifelt würde?

    • #4 Andrea Schaffar
      Januar 27, 2022

      Komm darauf an ob es Auftragsforschung ist oder nicht. Bei Auftragsforschung kann natürlich einfach die Leistung zurückgewiesen werden. Entweder eine Überarbeitung verlangt oder nicht bezahlt werden, weil die Leistung nicht erbracht wurde. Gibt ja viel Auftragsforschung, die nie veröffentlicht wird.

      Bei öffentlichen Aufträgen ist das imho noch wichtiger da draufzuschauen. Sprich da muss noch viel genauer geprüft werden, ob das Ergebnis passt. Wenn Auftraggeber:innen dafür nicht die Skills haben – etwas das immer wieder vorkommt – dann kommt man als Wissenschafter:in schon mal schnell in die paradoxe Situation die Auftraggeber:innen belehren zu müssen. (Nix Angenehmenes, auch schon x Mal gehabt leider.) Aber im Endeffekt: Wenn’s so wenig passt, und das auch für Laien eindeutig zu sehen ist, wie in dem Fall, dann darf so eine Arbeit nicht abgenommen werden. Auch um die Institution zu schützen. Ist so wie bei jedem anderen, nicht-wissenschaftlichen Projekt auch. Wenn die Leistung nicht passt, wird nicht bezahlt und nicht abgenommen.

      Bei dem Konvolut liegt ja die Vermutung nahe, dass nie geplant war das zu veröffenltichen. 😉

  3. #5 Bernhard Kleinschmidt
    München
    Januar 27, 2022

    Mir scheint, die Defizite erklären sich daraus, dass dieses Machwerk ohnehin nur als Propagandainstrument (kontra Mitterlehner, pro Kurz) gedacht war. Das heißt, das Ergebnis der Studie sollte von Anfang an den gewünschten Kriterein entsprechen. Ein fundiertes Vorgehen hätte das vermutlich nicht erbracht.

    • #6 Andrea Schaffar
      Januar 27, 2022

      Ganz sicher. Und die Vorstellung, dass jetzt so einige ordentlich schwitzen, hat schon auch was. 😉

  4. #7 Matthias
    SC, USA
    Januar 27, 2022

    Da wird der Florian Freistetter ja bald zu seinem “Aschbacher-Update” noch das “Beinschab-Update” dazunehmen muessen… 🙂

  5. #8 Klaus Klein
    Bogota
    Januar 27, 2022

    Sehr geehrte Frau Schaffar,

    vielen Dank für Ihre Bemühungen und der Aufarbeitung dieses “Prunkstückes” aus der österreichischen Politik.
    Folgender Absatz von Seite 25 gefällt mir besonders:
    Die Quelle allen Geldes sind die Bürger. Daher hat der sorgsame Umgang mit dem Steuergeld für mich oberste Priorität.
    Wäre ich noch Steuerzahler in Österreich, würde ich eine Sammelklage auf Rückzahlung anstreben.

  6. #9 Joseph Kuhn
    Januar 27, 2022

    Im Moment ist die Studienseite nicht aufrufbar, vielleicht überlastet.