Interview: Tipps zum erfolgreichen Fragebogen

Marktforschung.de: Ihre Idee zur Veröffentlichung des Buchs „Machen wir doch einen Fragebogen“ ist aus einem Forschungsprojekt zum Studierverhalten im Zeitraum von 1995-1996 in ihrer Zeit an der Universität in Dortmund entstanden.

Was genau wollten Sie mit der Befragung herausfinden, was war ihre Forschungsfrage?

Sabine Kirchhoff: Wir wollten herausfinden, ob es Unterschiede im Studierverhalten zwischen verschiedenen Studierendengruppen gibt: Zwischen Studierenden in Ost und West, zwischen Studierenden unterschiedlicher Fachkulturen (Wirtschaft, Sozialpädagogik und Maschinenbau), zwischen Fachhochschulen und Universitäten, zwischen den Geschlechtern bzw. ob die soziale Herkunft das Studierverhalten beeinflusst und wenn ja wie.

Marktforschung.de: In Ihrem Buch schreiben Sie: „Der Glaube, ein Fragebogen sei im Nu gestrickt, ist ein Irrtum.“

Welche Aufgabenbereiche werden von Einsteigern bei dem Thema „Fragebogen erstellen“ meist unterschätzt?

Sonja Kuhnt:

Unterschätzt wird zunächst das Formulieren von Fragen, die tatsächlich auf Anhieb von den Befragten verstanden und beantwortet werden können. Auch ist es nicht einfach, Fragen zu formulieren, mit denen wir das messen, was wir messen wollen. Es benötigt sehr viel Zeit und Hirnschmalz, um dieses Gütekriterium der Validität zu erreichen.

Soll zum Beispiel der Studienerfolg gemessen werden, muss zunächst klar definiert werden, was mit Studienerfolg gemeint ist: Selbstverwirklichung während der Studienzeit, Abschluss in wenigen Semester oder etwa Bestnoten? Von der unserer Definition hängt ab, welche Fragen geeignet sind, um den Studienerfolg zu ermitteln.

Marktforschung.de: Sie haben Ihr erstes Buch „Machen wir doch einen Fragebogen“ 2000 veröffentlich, zehn Jahre später ist es in der 5. Auflage mit dem Titel „Der Fragebogen: Datenbasis, Konstruktion und Auswertung“ erschienen.

Was ist in diesem Zeitraum Bedeutsames hinzugekommen bei der Erstellung eines Fragebogens und gibt es noch wichtige Ergänzungen bis heute?

Sabine Kirchhoff: Die allgemeinen Herausforderungen sind die gleichen geblieben. Allerdings ist es seither üblich, Befragungen mit Online-Tools durchzuführen, was vieles erleichtert. Wir hatten z. B. damals mehrere Umzugskartons, in denen die gedruckten Fragebogen angeliefert wurden und die wir per Hand verteilen mussten.

Marktforschung.de: Im Vorwort Ihres Buches sprechen Sie die „vielen Pannen in veröffentlichten Fragebögen“ an.

Was empfehlen Sie Einsteigern besonders bei der Formulierung von Fragen, um diese zu vermeiden?

Sonja Kuhnt: Das Wichtigste ist, den Fokus einzugrenzen, gut zu recherchieren und bei einem Großteil der Fragen auf Fragen zurückgreifen, die bereits in anderen Fragebogen veröffentlicht wurden (wenn das urheberrechtlich möglich ist). Das erleichtert nicht nur die Vergleichbarkeit der Ergebnisse. Unsere Forschungsfragen zeigen, dass wir nach zu vielen Antworten auf einmal gesucht haben. Jede Frage muss Wort für Wort genau überlegt werden. Es empfiehlt sich, alle Fragen mit mehreren Personen zu diskutieren und in Pretests zu überprüfen. 

Was sind in Ihren Augen entscheidende Kriterien beim Aufbau und der Konstruktion eines Fragebogens?

Sabine Kirchhoff: 

Die Begrenzung des Inhalts auf das Wesentliche ist unserer Meinung nach das Wichtigste. Und dann gilt im Grunde das Gleiche wie beim Verfassen guter Texte: Es braucht einen roten Faden, so ist es z.B. sinnvoll vom Allgemeinen zum Besonderen vorzugehen und möglichst viele geschlossene Fragen zu stellen. Sensible Fragen müssen behutsam eingeleitet werden und sollten eher am Ende des Fragebogens stehen.

Wie können zufällige Stichproben aus der Untersuchungsgruppe der Befragten gewonnen werden, die ein möglichst getreues Abbild der Grundgesamtheit geben?

Sonja Kuhnt: Vorab ist zunächst klar festzulegen, über welche Personengruppen der Fragebogen überhaupt Informationen liefern soll, d. h. was die Grundgesamtheit ist. Sind dies beispielweise Studierende aller Fachrichtungen oder nur eines bestimmten Faches? Die Ziehung einer zufälligen Stichprobe aus der Grundgesamtheit ist dann eine Frage des verwendeten Auswahlverfahrens. Bei einer einfachen Zufallsstichprobe hat jede Person der Grundgesamtheit die gleiche Wahrscheinlichkeit in der Stichprobe zu landen. Liegt der Datensatz dann vor, kann geschaut werden, ob die Anteile von Merkmalen wie Studienfach, Geschlechterverteilung, Semesteranzahl ungefähr denjenigen in der Grundgesamtheit entsprechen.

Marktforschung.de: Pretests sind eine wichtige Überprüfung, um im Vorfeld der Erhebung Ungereimtheiten ausräumen zu können.

Was gilt es ihrer Erfahrung nach zu Bedenken, wenn Pretests ausgewertet werden?

Sabine Kirchhoff: In Pretests sollten nicht nur die Fragen und ihre Formulierungen geprüft werden, sondern auch die Kodierung und die möglichst einfache und fehlerfreie Übertragbarkeit der Ergebnisse in die zur Datenanalyse verwendeten Software. Je mehr Sorgfalt auf die Durchführung und Auswertung der Pretests gelegt wird, desto weniger Probleme treten im späteren Verlauf der Befragung auf.

Marktforschung.de: Die Rücklaufquote einer Umfrage entspricht oft nicht den eigentlichen Erwartungen.

Wie sind Daten bei unvollständigen Rückläufen zu bewerten und zu handhaben?

Sonja Kuhnt: 

Der Fragebogen und die Befragung an sich tragen selbst zur Höhe der Rücklaufquote bei. Deshalb benötigt ein Fragebogen ein ansprechendes Design, ein motivierendes Anschreiben, sowie eindeutige Anweisungen zum Ausfüllen des Fragebogens. Auch dürfen Angaben zur benötigten Zeit zum Ausfüllen des Fragebogens nicht fehlen. Wer die Geduld der Befragten überstrapaziert, riskiert eine geringere Rücklaufquote bzw. lückenhaft ausgefüllte Fragebogen.

Die tatsächlich erzielte Rücklaufquote muss deutlich dokumentiert werden.

Welche wesentlichen Erfahrungen und Tipps können Sie Novizen aus Ihrem Projekt „Fragebogen Studierverhalten Ost und West“ zum Erstellen eines Fragebogens mitgeben?

Sabine Kirchhoff: Überlegen Sie sich genau, was Sie herausfinden wollen. Grenzen Sie Ihre Forschungsfrage ein. Arbeiten Sie, wenn möglich, im Team – mehrere Augenpaare sehen mehr. Das Wichtigste ist: Weniger ist mehr!