Seit einem Jahr wird medial diskutiert wer die Zivilgesellschaft ist: Wer sind die Menschen, die sich engagieren? Wie setzt sich die Zivilgesellschaft zusammen und was umfasst der Begriff überhaupt? Dieses Thema habe ich zum Inhalt einer Lehrveranstaltung mit dem Titel Forman, Forschungsmanagement, gemacht. Entstanden ist daraus ein Forschungsinstitut und ein Fragebogenprojekt zur Zivilgesellschaft. Wir freuen uns über Teilnahme und vor allem über Verbreitung. Umso besser der Rücklauf ist, umso valider können wir die gestellte Frage beantworten!

Dieser Blogbeitrag hier ist mal etwas anderes: Keine Methodenreflexion oder Studienkritik, sondern eine kleine Schilderung über eine Lehrveranstaltung an der Publizistik der Universität Wien aus der zuerst ein Projekt und dann sogar ein – derzeit im Aufbau befindliches – Forschungsinstitut entstanden ist. Auch darin enthalten die Erzählung wie ein Fragebogenprojekt entsteht.

Am Anfang des Wintersemesters 2015/16 standen die Flüchtlingsbewegungen. Ein Ereignis an dem niemand vorbei konnte, so präsent war es sowohl im Alltag, als auch medial. Einer meiner Lehraufträge in dem Semester lautete Forschungmanagement und ich gestalte Lehre ja sehr gerne möglichst praxisnah. Sonst umfasst das Format ein Forschungsplanspiel mit Review- und Begutachtungsprozess – didaktische Gestaltungen und Lehrdesign sind Steckenpferde mit denen ich (wirklich gern) viel Zeit verbringe. In dem Wintersemester allerdings waren die Eindrücke bzgl. der Flüchtlingsbewegungen, der Grenzen, der vielen Menschen und der Hilfe, die geleistet wurde, intensiv. Sozialwissenschaftlich spannend waren die vielen Bilder, die von den helfenden Menschen gezeichnet wurden. Noch bevor es Begriffe wie Bahnhofsklatscher gab, wurden medial diverse Stereotypen gemalt. Entweder waren es nur Studierende, die sonst nichts besseres zu tun hatten oder die “Gutmenschen” oder Arbeitslose. Die Liste könnte noch recht lange ergänzt werden. Trotzdem diverse Institutionen, wie z.B. auch “meine” Uni Wien, MitarbeiterInnen Zeit für Hilfsleistungen zur Verfügung stellte, hielten sich die Stereotypen und Vorurteile hartnäckig.

Eine – sozialwissenschaftlich fundierte – Anwort auf die Frage wer die Zivilgesellschaft eigentlich ist und wie sich diese zusammensetzt, gab es nicht und gibt es bis heute nicht. Aus einem Planspiel in der Lehrveranstaltung wurde deshalb ein konkretes Projekt. Die Studierenden leisteten die Vorarbeit, recherchierten und entwarfen Fragen. Das erste Mal startete ich den Versuch ein Gesamtprojekt mit allen Aspekten eines Forschungsprojekts in einer Großgruppe von 20 Leuten umzusetzen. Zugegeben ein bisserl ein Drahtseilakt, weil es nie klar sein kann, wie engagiert oder interessiert die Gruppe und ihre Teile sind. Aber es ging gut. Wir entwarfen in einem intensiven Prozess ein gemeinsames Erkenntnisinteresse, erarbeiteten die Grundlagen, wälzten methodische Überlegungen, frischten langvergessenes Wissen auf – und am Ende des Semesters hatten die Gruppen ein tatsächliches, quantitatives Forschungsprojekt – zum Teil – miterlebt.

Warum zum Teil? Endergebnisse, wie bei einem Forschungsprojekt mit einem eingespielten Team, können aus Lehrveranstaltungen nicht erwartet werden. Aus der Lehrveranstaltung gingen, als Semesterabschluss, mehrere Gruppenarbeiten hervor. Dies war der Startschuss für die Weiterarbeit. Vier der Studierenden blieben, wir arbeiteten im Sommersemester, neben den sonstigen Tätigkeiten, weiter. Viel wurde umgestellt und der Fragebogen wuchs. Um dem ganzen Projekt, und v.a. auch den Daten, einen rechtlichen Rahmen zu geben, gründeten wir einen Verein: FiZ – Forschungsinstitut Zivilgesellschaft.

Methodisch gesehen versucht der Fragebogen vor allem eins: Einen Teilbereich der Gesellschaft zu erfassen und Daten über seine Zusammensetzung zu liefern. Die gewählten Perspektiven sind möglichst vielfältig. Neben soziodemographischen Daten fragen wir nach der Mediennutzung – naheliegend als kommunikationswissenschaftliches Projekt – aber auch Privacy, politische und ehrenamtliche Tätigkeiten und das Engagement werden abgefragt. Ziel ist es grundsätzlich zu erfahren, wie sich die Zivilgesellschaft zusammensetzt, was die helfenden Menschen selbst darunter zu verstehen und damit die Basis für weitere Forschungen zu legen.

Fragebögen unterliegen vielen Einschränkungen. Sie sind schnell zu lang und umfangreich. Das Instrument ist keines, dass Menschen fesselt und fasziniert. Einen Ausgleich zwischen den notwendigen und sinnvollen Fragen und dem Umfang, d.h. diesen in einer halbwegs erträglichen Balance zu halten, ist dabei die Herausforderung. Interessant ist auch, dass vor allem und wie viel Zeit in die Formulierung der Fragestellungen und Antwortmöglichkeiten fließt. Mehrere Teamsitzungen lang haben wir über einzelne Fragen diskutiert bis endlich alles gepasst hat – wobei es ein endgültig so gut wie nie gibt. 😉 Die methodische Herausforderung ist, nichts mehr ändern zu können. Nach dem Pretest bleibt alles fix, etwaige Fehler ebenso. Fragebögen sind sehr abstrakte methodische Instrumente und das Design aufwändig. Für eine Fragestellung, wie die hier geschilderte, kommt allerdings nur dieser Zugang in Frage. Deskription können quantitative Ansätze einfach sehr gut. Sobald der Erhebungsprozess beendet ist – wir stecken derzeit mitten in der Distribution – werden wir über die Ergebnisse berichten.

Kommentare (12)

  1. #1 user unknown
    https://demystifikation.wordpress.com/2016/02/24/deutsche-geselligkeit/
    September 20, 2016

    Ihre Angabe hat nicht das erwartete Format.

    Solche Hinweise sind wenig hilfreich. Welches Format wird denn erwartet? Bei welcher Frage überhaupt?
    Erst dachte ich bei der Postleitzahl. Bin farbenblind (wie ca. 5% der männlichen, europ. Bevölkerung), da ist orange und rot eine schlechte Kombination. Blau/Rot wäre hilfreich.

    5. Wie lautet die Postleitzahl Ihrer Wohnadresse?
    Falls Sie nicht aus Österreich kommen, geben Sie bitte zusätzlich das Autokennzeichen für Ihr Land an.

    In Frage 4 wurde man schon gefragt, welches Land.

    18. Wie würden Sie die Stimmung / Diskussionsklima zu den Flüchtlingsbewegungen 2015/16 in Ihrem Social Media-Feed, z.B. der Facebook-Timeline, beschreiben?

    Also die Stimmung der anderen kenne ich nicht. Eine Scala von traurig bis fröhlich entnehme ich den Icons als mögliche Antwort.
    Abgesehen davon, dass das Diskussionsklima in verschiedenen Kanälen und Gruppen nicht einheitlich ist beschreiben die Gesichtsausdrücke auch nicht das Diskussionsklima. Sie meinen nicht zufällig, wie zufrieden ich mit dem Diskussionsklima bin?

    42. Wie oft überprüfen Sie Ihre Privatsphäre-Einstellungen im Netz?

    Was soll die Frage? Ich habe meine Browsereinstellungen und weiß, wo sich dieser automatisch einloggt, weil ich das abgenickt habe – was gibt es da zu überprüfen? Und das noch oft?

    • #2 Andrea Schaffar
      September 20, 2016

      > Ihre Angabe hat nicht das erwartete Format.

      > Solche Hinweise sind wenig hilfreich. Welches Format wird denn erwartet? Bei welcher Frage überhaupt?
      > Erst dachte ich bei der Postleitzahl. Bin farbenblind (wie ca. 5% der männlichen, europ. Bevölkerung), da ist orange und rot eine schlechte Kombination. Blau/Rot wäre hilfreich.

      Das Tool (Soscisurvey) haben nicht wir entworfen. 😉

      > In Frage 4 wurde man schon gefragt, welches Land.

      Wir können nicht davon ausgehen, dass alle die Postleitzahl angeben werden, daher die Absicherungen mit beiden Fragen.

      > 18. Wie würden Sie die Stimmung / Diskussionsklima zu den Flüchtlingsbewegungen 2015/16 in Ihrem Social Media-Feed, z.B. der Facebook-Timeline, beschreiben?

      > Also die Stimmung der anderen kenne ich nicht. Eine Scala von traurig bis fröhlich entnehme ich den Icons als mögliche Antwort.

      Deshalt steht in der Frage ja auch “Ihrem Social-Media-Feed”.
      Die Antwortmöglichkeiten ist ein Kompromiss um halbwegs zur Stimmung hinzukommen. Ist nicht ideal, aber Fragebogen machen, heißt immer gewissen Kompromisse eingehen zu müssen.

      > 42. Wie oft überprüfen Sie Ihre Privatsphäre-Einstellungen im Netz?

      > Was soll die Frage? Ich habe meine Browsereinstellungen und weiß, wo sich dieser automatisch einloggt, weil ich das abgenickt habe – was gibt es da zu überprüfen? Und das noch oft?

      Dann ist die Antwort wohl nie oder selten. 😉 Facebook und andere Social Media Plattformen ändern die Privacyeinstellungen immer wieder mal bzw setzen sie zurück. Deshalb wird empfohlen diese regelmässig zu überprüfen. Ob die Leut dies wissen bzw. tun, darauf zielt die Frage ab.

      lg Andrea Schaffar

  2. #3 user unknown
    https://demystifikation.wordpress.com/2016/09/20/streichelbauernhof/
    September 21, 2016

    Das Tool (Soscisurvey) haben nicht wir entworfen.

    Habe ich auch nicht behauptet. Ihr habt es eingesetzt und seid dafür verantwortlich.

    > In Frage 4 wurde man schon gefragt, welches Land.

    Wir können nicht davon ausgehen, dass alle die Postleitzahl angeben werden, daher die Absicherungen mit beiden Fragen.

    Das Land ist verpflichtend. Wieso muss man das Land nochmal eingeben, war die Frage, nicht die Postleitzahl.

    Deshalt steht in der Frage ja auch “Ihrem Social-Media-Feed”.

    Ich habe mehrere Social-Media-Feeds.

    Die Antwortmöglichkeiten ist ein Kompromiss um halbwegs zur Stimmung hinzukommen.

    Und jetzt angenommen die Stimmung dort ist gereizt-aggressiv bis empört. Welches Icon soll das abbilden?

    Oder, um die Frage zu wiederholen, ist meine Bewertung der Stimmung gefragt, also ob ich die empörte Stimmung oder das giftige Diskussionsklima belustigt wahrnehme oder betrauere?

    Ist nicht ideal, aber Fragebogen machen, heißt immer gewissen Kompromisse eingehen zu müssen.

    Ich bin dann mal auf die Auswertung der Frage gespannt.

    Dann ist die Antwort wohl nie oder selten. Facebook und andere Social Media Plattformen ändern die Privacyeinstellungen immer wieder mal bzw setzen sie zurück.

    Die, die ich nutze, bisher nicht.

    • #4 Andrea Schaffar
      September 21, 2016

      Fragebögen sind mit Vorsicht zu genießende Instrumente. All die Fragen dokumentieren das. Bei Fragestellungen muss man ab und an Kompromisse eingehen – jene mit den Smilies als Antwortmöglichkeit ist so einer, wie eh geschrieben. Es geht um eine allgemeine Einschätzung, ein Eindruck der Stimmung im persönlichen/individuellen SM-Feed (Facebook, Twitter etc.), nicht um Konnotationen oder Interpretationen bzgl. Stimmung oder Diskussionsklima.

      Und bzgl. Land: Macht Sinn in Fragebögen auch Kontrollmöglichkeiten einzubauen. Einer der Schritte nachdem die Daten vorliegen, ist sie zu sichten. Kontrollfragen sind da ein wichtiges Element.

      > Das Land ist verpflichtend. Wieso muss man das Land nochmal eingeben, war die Frage, nicht die Postleitzahl.

      Wenn jemand die Postleitzahl ohne das Land eingibt… Macht Sinn die Info zu haben, auch im Sinne des obigen.

      Btw.: Der Fragebogen war – eh klar – intensiv im Pretest. Aber das Instrument an sich hat gewisse Einschränkungen. Ich arbeit zwar immer wiedermal auch quanti, hat aber viele Gründe – siehe die Fragen oben – warum ich in Richtung quali und interpretativ gegangen bin. lg Andrea Schaffar

  3. #5 Dr. Webbaer
    September 21, 2016

    Ist es möglich den Fragebogen so bereit zu zustellen, dass nicht geantwortet werden muss?
    Oder steht dieser bereits bereit, falls ja, wo?

    MFG
    Dr. Webbaer

    • #6 Andrea Schaffar
      September 21, 2016

      Leider nein. Geht vom Tool aus in der Pretestphase, aber nicht wenn schon alles online ist. lg Andrea Schaffar

  4. #7 Laie
    September 21, 2016

    @Dr. Webbaer,
    es gäbe eine einfache Lösung, die Testfragen einfach falsch zu beantworten, und trotzdem die Fragen über den Test zu bekommen.

    Dies wäre jedoch nicht ganz politisch (oder ähnlich) korrekt! 🙂

    Was mich bei Fragebögen ganz allgemein immer etwas wundert (jetzt nicht dieser hier speziell angesprochen) ist, dass es immer Wieder Fragen gibt, der Art
    “Welche Temperatur ist gut?”.

    die nicht beantwortbar sind, da sich nicht nur die Temperatur ändert, sondern viele Parameter, die zur Beantwortung einer Frage notwendig wären, gar nicht mitgefragt werden, und somit die Aussagekraft solcher Bögen mir nicht verständlich ist.

    Möglicherweise sind solche (auf dem ersten Blick unsinnige) Fragen auch ein Spass der Psychologen, die Welt der Befragten absichtlich zu reduzieren, um sie in ein ihnen passendes Analyseschema zu pressen?

    • #8 Andrea Schaffar
      September 22, 2016

      Im Sinne der Forschung ist das halt absolut nicht sinnvoll. 😉

      Die Beiträge zeigen ja alle sehr schön die Krux mit Fragebögen: Sie reduzieren die Wirklichkeit auf Eindimensionaliäten bzw. auf eindimensionale Zusammenhänge zwischen Variablen. Das machts so schwierig sie zu entwerfen. Ob PsychologInnen darin Spaß haben? Mir ist noch keine/r begegnet. 😉 Witzig find ich immer noch und immer wieder, dass es so viele gibt, die meinen Fragebögen wären die leichteste Methode – v.a. bei Studierenden ein gern verbreiteter Irrglaube. Imho ist das das komplexeste Instrument mit der höchsten Fehleranfälligkeit.

  5. #9 user unknown
    https://demystifikation.wordpress.com/2016/09/22/bnd-gesetz/
    September 22, 2016

    Es geht um eine allgemeine Einschätzung, ein Eindruck der Stimmung im persönlichen/individuellen SM-Feed (Facebook, Twitter etc.), nicht um Konnotationen oder Interpretationen bzgl. Stimmung oder Diskussionsklima.

    Tja, man muss aber doch sehr suggestibel sein, um die komplexen Stimmungen diverser Feeds auf ein simples Mundwinkel mehr-oder-weniger-hoch-oder-runter abzubilden.
    Und es steht niemand daneben, beim Ausfüllen, den man fragen kann.
    Was der Unterschied zwischen einem Eindruck der Stimmung und der Interpretation der Stimmung ist leuchtet mir nicht ein. Von Konnotationen war bei mir gar nicht die Rede und ich weiß auch nicht, was die Konnotation einer Stimmung oder eines Klimas sein soll, aber das war ja auch nicht gefragt.

    > Das Land ist verpflichtend. Wieso muss man das Land nochmal eingeben, war die Frage, nicht die Postleitzahl.

    Wenn jemand die Postleitzahl ohne das Land eingibt… Macht Sinn die Info zu haben, auch im Sinne des obigen.

    Ich drücke mich wohl umständlich aus. Zuerst kommt das Land, das muss man eingeben, sonst verweigert die Software das Weitergehen auf die nächste Seite.

    Meine Frage war nicht, wieso man, bevor man bei der Postleitzahl das Autokennzeichen eingeben soll, so man nicht in Österreich wohnt, das Land eingeben muss, sondern umgekehrt, wieso man, nachdem man das Land schon eingegeben hat, es bei der Postleitzahl erneut eingeben soll.

    Die Antwort “Kontrollmöglichkeit” könnte darauf passen – und was macht man dann, als Auswerter? Wirft den Fragebogen weg, weil der, der geantwortet hat, offenbar unzuverlässig ist? Betrachtet man beide Antworten als ungültig, weil man nicht weiß, welche jetzt stimmt? Versucht man einen Plausibilitätstest (gibt es in Land a oder b diese Postleitzahl) und korrigiert manuell?

    Ich bin auf die Frage gestoßen weil ich im Irrtum war über die falsch formatierte Antwort und überlegte, ob Sie nun D-12345 erwarten, wie im Postverkehr eine Zeitlang üblich, oder 12345D, wie man es aus der Reihenfolge der Aufzählung der Elemente in der Frage ableiten könnte, oder 12345 D, wie man vielleicht aus ästhetischen Gründen schreiben wollte. Es hat sich aber dann gezeigt, dass es das Geburtsjahr, z.B. 81 war, das nicht akzeptiert wurde, weil das ja 1881 oder 2081 bedeuten könnte. 🙂

    Schlechte Ergonomie verärgert die Befragten und erhöht vielleicht das Risiko eines Abbruchs, dazu gehören auch redundante Fragen, deswegen schreibe ich das.

    Überrascht war ich aber, als man später bei den persönlichen Fragen nicht mehr zur Antwort gezwungen war, sondern diese verweigern konnte. Das hat mir erst gefallen.
    Beim zweiten Nachdenken finde ich es aber doch eher unsportlich. Wenn man so weit mitgearbeitet hat, will man es auch zu Ende bringen. Wer bis dahin schon die Erfahrung gemacht hat, dass er nicht weiterblättern kann, wenn es unvollständig ist, kommt vielleicht nicht auf die Idee es nochmal zu probieren.
    Üblich ist ja oft, ein extra Feld “keine Angabe” vorzugeben, was unachtsames Danebenklicken abfängt aber auch transparent macht, dass man nicht antworten muss.

    • #10 Andrea Schaffar
      September 23, 2016

      Letzte Meldung meinerseits, sonst zieht sich das zu lang – zerlegen könnt ma so einen Fragebogen bis zur Unendlichkeit 😉 :

      Einschätzung ist genau so gemeint: Einfach ein Eindruck, möglichst spontan und ohne zu viele Gedanken.

      Bzgl. Land: Als Auswertende schaut man sich so was genau an. Die Daten werden ja vor der Auswertung überprüft. Wenn ein Datensatz z.B. bei Land und PLZ nicht übereinstimmt, werden andere Variablen untersucht, um zu einer Entscheidung zu kommen, ob der Datensatz drin bleibt oder rausfliegt – im Zweifelsfall immer zweiteres. Grad bei Online-Frabos ist die Wahrscheinlichkeit, dass jemand zum Spaß oder zum Frabo-anschaun irgendwas oder Muster oder… ausfüllt, recht hoch.

      Das mit den persönlichen Fragen erklärt sich aus unserem Erkennntisinteresse: Uns gehts v.a. um die Dokumentation der Zivilgesellschaft. Wenn wir die soziodemgraphischen Daten plus das was uns dabei noch wichtig ist, haben, passts. Wir sind auch davon ausgegangen, dass die meisten die so lang durchgehalten haben – zeigt sich auch an der Statistik beim Rücklauf – dann auch noch weitermachen. Aber grad bei Religion etc. wollten wir nicht zwingen.

      Keine Angabe reinzunehmen oder nicht ist btw. auch immer ein Thema das diskutiert wird. Hat seine Pro und Cons. Pro wäre, dass was Sie schreiben. Con wäre, dass es immer wieder Leut gibt, die dann immer k.A. auswählen, was dann im Gesamten bzgl. Datensatz sehr sinnlos ist. 😉

  6. #11 Laie
    September 22, 2016

    @Andrea Schaffar
    Ja, das kann ich mir gut vorstellen. Und umgekehrt lässt man inzwischen Techniker keine Gebrauchsanleitungen mehr schreiben, da diese nur Techniker lesen könnten! 🙂

    Würde es helfen zu jeder gestellten Frage zusätzlich eine Skala anzugeben, bei der der Befragte die empfundene Sinnhaftigkeit der jeweiligen Frage mitbeantworten könnte.

    • #12 Andrea Schaffar
      September 23, 2016

      Ich glaub dann wär die Wahrscheinlichkeit, dass Leute Fragebögen ausfüllen noch viel geringer. Ist schon spannend zu beobachten, dass mit dem Auftauchen der Onlinefragebögen die Bereitschaft an so was teilzunehmen merklich gesunken ist – eh klar, die werden teils von Studis inflationär verwendet und die meisten sind auch noch grottenschlecht. 😉

      Fragebögen sind einfach eine unglaubliche Realitätsreduktion und hatschen, wie wir in Wien sagen würden, einfach immer. Mir ist noch keiner begegnet – und ich sammel die aus Interesse seit vielen Jahren – der nicht irgendwo einen Hacker hätte. Sie sind einfach imho die kompliziertesten Instrumente, wenn sie treffsicher sein sollen. Selbst die an tausenden validierten Fragebögen, die in der Psychologie zum Einsatz kommen, haben immer irgendwo einen Teil wo man sich denk “mhhh…”. 😉