Grundlagen der Fragebogenentwicklung

Rolf Porst

Von Rolf Porst

Es war einmal … eine Zeit, in der man geglaubt hat, die Konstruktion von Fragebogen für sozialwissenschaftliche Befragungen oder für Befragungen in der Marktforschung sei eine "Kunstlehre" (Payne 1951), etwas, dessen Gelingen ausschließlich oder doch überwiegend von persönlichen Fähigkeiten der Fragebogenkonstrukteure abhängig sei, als da wären Erfahrungen, Einfallskraft, kritische Überlegungen oder persönliches Geschick. Kein Wunder, dass die Konstruktion eines Fragebogens denn auch gelegentlich "samstagsnachmittags beim Kaffeetrinken" vorgenommen wurde (zu dieser doch etwas polemischen Diskussion siehe Porst 2014: 11ff).

In jüngerer Zeit setzt sich dagegen immer mehr die Ansicht durch, dass neben solchen individuellen Fähigkeiten die Rezeption und Umsetzung wissenschaftlicher Erkenntnisse, insbesondere aus der kognitionspsychologischen Forschung, zur Optimierung von Fragebogen beitragen. Aus der Erforschung der kognitiven und kommunikativen Prozesse, die der Befragungssituation zugrunde liegen, leiten Umfrageforscher und kognitive Psychologen konkrete Empfehlungen für die Gestaltung von Fragebogen ab. Damit hat sich das Forschungs- und Arbeitsgebiet "Fragebogenentwicklung" zu einer eigenständigen wissenschaftlichen Teildisziplin entwickelt.

Die Konstruktion eines Fragebogens als wissenschaftlicher Leistung setzt Wissen darüber voraus, welche Wahrnehmungs- und Denkprozesse sich beim Beantworten von Fragen wie auswirken. Die zentrale Frage lautet: Was müssen Personen, die an einer Befragung teilnehmen, beim Beantworten der Fragen eigentlich leisten? (Anm.: Bei dem Beitrag handelt es sich um ein e verkürzte Zusammenfassung von Kapitel 2 aus Porst (2014))

Personen, die an einer Befragung teilnehmen, haben mehrere Aufgaben zu lösen (vgl. Strack & Martin 1987:124ff oder Sudman et al. 1996, Kap. 3). Sie müssen…

• die gestellte Frage verstehen,
• relevante Informationen zur Beantwortung der Frage aus dem Gedächtnis abrufen,
• auf der Basis dieser Informationen ein Urteil bilden,
• dieses Urteil ggfs. in ein Antwortformat einpassen und
• ihr "privates" Urteil vor der Weitergabe an Interviewer oder Fragebogen ggfs. "editieren"

Schauen wir uns diese fünf Schritte etwa näher an.

1. Die gestellte Frage verstehen

Wenn wir eine Frage konstruieren, ist es von entscheidender Bedeutung, dass die potenziellen Befragungspersonen die Frage so verstehen werden, wie wir möchten, dass sie sie verstehen. Verständnis hat zwei Dimensionen, semantisches Verständnis und pragmatisches Verständnis. Beim semantischen Verständnis geht es darum, was eine Frage oder ein Begriff in einer Frage "heißen" soll, beim pragmatischen Verständnis geht es darum, was die Forscherin/der Forscher – oder die sie repräsentierenden InterviewerIn (oder der Fragebogen) eigentlich "wissen" will.

Probleme mit dem semantischen Verständnis treten dann auf, wenn…

• Begriffe in Fragen unbekannt sind,
• Fragen oder Begriffe unklar formuliert sind,
• Fragen zu schwierig formuliert sind,
• Begriffe in Fragen mehrdeutig sind,
• Begriffe verwendet werden, die legitimer Weise von jeder Befragungsperson unterschiedlich interpretiert werden können oder
• Begriffe verwandt werden, die von unterschiedlichen Befragungsgruppen unterschiedlich verstanden werden können.

Aber selbst wenn eine Frage von der Semantik her völlig eindeutig ist, kann es sein, dass bei Befragungspersonen Probleme mit dem pragmatischen Verständnis auftreten: "Was wollen die Forscherin/der Forscher wohl wissen, wenn sie die Frage stellen?". Um sich selbst darüber Klarheit zu verschaffen, versuchen Befragungspersonen, bei unklarer Pragmatik die pragmatische Bedeutung einer Frage zu erschließen. Dabei greifen sie auf Regeln der Alltagskonversation zurück.

In Anlehnung an die vier Grundregeln der kooperativen Kommunikation von Grice (1975) versucht der Sprecher in einer Kommunikationssituation informativ und eindeutig zu sein, der Wahrheit zu folgen und gesprächsrelevante Beiträge zu leisten. Der Zuhörer interpretiert die Äußerungen des Sprechers so, als ob dieser versucht, den genannten Prinzipien zu folgen.

Was bedeutet das für die Befragung?

Befragungspersonen – das ist für das Verständnis von Befragungen ganz entscheidend - gehen davon aus, dass man sie keine unsinnigen Dinge fragt. Sie unterstellen bei Fragen und Antwortvorgaben grundsätzlich einen Sinn, und wenn sie den Sinn nicht sofort und unmittelbar erkennen, müssen sie nach dem Sinn suchen. Bei der Suche nach Sinn loten Befragungspersonen den Kontext aus bzw. nutzen den Kontext, um Unsicherheit zu reduzieren.

2. Informationen aus dem Gedächtnis abrufen

Wenn Befragungspersonen den Sinn eine Frage erkannt oder sich im Zweifel den Sinn erschlossen haben, müssen sie zum Beantworten der Frage Informationen aus dem Gedächtnis abrufen. Der Idealfall – Befragungspersonen haben die Antwort sofort und ohne langes Nachdenken verfügbar – ist leider eher die Ausnahme denn die Regel.

Normalerweise müssen Personen in der Befragungssituation erst nach relevanten Informationen "suchen", um eine angemessene Antwort auf eine Frage zu generieren. Bei Einstellungsfragen geht es darum, sich der persönlichen Erfahrungen mit dem Gegenstand der Frage ebenso zu erinnern wie der Erfahrungen Dritter und der Behandlung des Einstellungsgegenstands in den Medien oder einer eher kollektiven Vorstellung über den Fragegegenstand. Bei Verhaltensfragen gilt es, für die Beantwortung einer Frage relevante Ereignisse zu erinnern, sie ggfs. zu datieren, die Zahl der Ereignisse zu berechnen oder ggfs. schätzen.

In beiden Fällen – bei Einstellungs- und Verhaltensfragen – fordern wir den Befragungspersonen Erinnerungsleistungen ab, die umso schwieriger zu erbringen sind, je weniger festgefahren die abgefragte Einstellung ist oder je weniger markant ein bestimmtes Verhalten in der Vergangenheit war. Ziel dieser Erinnerungsleistung ist es, genug Informationen zu erinnern, um mit hinreichender subjektiver Sicherheit ein Urteil bilden zu können.

3. Ein Urteil bilden

Auf der Basis der erinnerten Informationen bilden sich Befragungspersonen bei Einstellungsfragen ein Urteil über den fraglichen Sachverhalt, bei Verhaltensfragen rekonstruieren sie ihr (mutmaßliches) Verhalten und nutzen die dabei gewonnen Informationen zur Urteilsbildung.

4. Das Urteil in ein Antwortformat einpassen

Das Urteil, das sich die Befragungspersonen gebildet haben, muss dann an den Interviewer/die Interviewerin oder den Fragebogen kommuniziert werden. Bei offenen Fragen, bei denen es keine vorgegebenen Antwortformate gibt, machen die Befragungspersonen dies in ihren eigenen Worten. Bei geschlossenen, kategorisierten Fragen müssen die Personen ihr Urteil in ein Antwortformat einpassen, z.B. in eine Skala oder in ein Set vorgegebener Antwortkategorien. Sie geben also genau genommen nicht ihr eigentliches Urteil weiter, sondern einen Wert aus dem Fragebogen, der ihr Urteil ihrer Ansicht nach am besten repräsentiert.

Dabei "definieren" die Antwortvorgaben oder die Skala aus Sicht der Befragungspersonen das Interesse der Forscher: Was nicht vorgegeben wird, wird von den Befragungspersonen als für die Forscher nicht interessant wahrgenommen und beim Beantworten einer Frage entsprechend interpretiert (genaugenommen: vernachlässigt oder nicht berücksichtigt).

5. Das Urteil editieren

Ganz am Ende des gesamten Prozesses der Fragenbeantwortung, beim Einpassen des Urteils in ein Antwortformat, müssen Befragungspersonen ihr "privates" Urteil an die Forscher bzw. die Interviewerin/den Interviewer oder an den Fragebogen übermitteln. Dabei können – vor allem bei Interviewer-basierten Befragungsmodi – Erwägungen der sozialen Wünschbarkeit zu einer "Editierung" der Antwort führen, d.h. Befragungspersonen sehen "gute Gründe" dafür, nicht das wahre Resultat ihrer Urteilsbildung zu kommunizieren, sondern vom "wahren Wert" abzuweichen – und tun dies bei ihrer Antwort auch.

Bei sozialer Wünschbarkeit, die sich auf das Antwortverhalten von Befragungspersonen im Sinne einer "Editierung" auswirken kann, unterscheiden wir zwischen Befragungssituations-spezifischen Aspekten und allgemeinen Wünschbarkeitsaspekten. Zu den situationsspezifischen Aspekten gehört alles, was im Zusammenhang mit der konkreten Diade InterviewerIn-Befragungsperson und mit der konkreten Befragungssituation steht; zu den allgemeinen Wünschbarkeitsaspekten gehört alles, was Befragungspersonen als gesellschaftlich akzeptiert oder nicht akzeptiert oder als gesellschaftlich erwünscht oder eben nicht erwünscht interpretieren.

In Befragungssituationen werden häufig beide Aspekte aktualisiert und dadurch relevant. Allerdings wirken sich situationsspezifische Einflüsse der Befragten-InterviewerIn-Diade (wie z.B. äußere Merkmale der Interviewerin/des Interviewers) stärker auf das Antwortverhalten aus als von Befragungspersonen wahrgenommene allgemeine Erwünschtheit einer Position zum Befragungsgegenstand in der Gesellschaft oder in für die Befragungspersonen relevanten Teilen davon.

Und man kann Umfrageforschung eigentlich nur dann betreiben, wenn man bereit ist zu akzeptieren, dass auf jeden, der sein Urteil in der Antwort "nach oben" editiert, jemand folgt, der sein Urteil in der Antwort "nach unten" editiert. Oder anders ausgedrückt: dass die Summe alle durch Editionen von Antworten bedingter Abweichungen vom "wahren Wert" über die große Zahl hinweg gegen Null tendiert.

Was lernen wir aus den gerade in aller Kürze beschriebenen kognitionspsychologischen Grundlagen der Befragung? Wir müssen bei der Konstruktion eines Fragebogens nicht nur wissen, welche unterschiedlichen Bestandteile es gibt, sondern wir müssen auch darauf achten, prognostizieren und ggfs. vorab testen, wie Befragungspersonen auf jeden Aspekt und Baustein des Fragebogens reagieren (könnten). Unter anderem sind bei der Konstruktion eines Fragebogens folgende Fragen zu beantworten:

• Welche Arten von Fragen gibt es, und wie könnte sich die sich die Entscheidung für die eine oder andere davon auf das Antwortverhalten von Befragungspersonen auswirken?
• Welche Arten von Skalen gibt es, und welche Vor- und Nacheile sind mit unterschiedlichen Skalen verbunden?
• Wie müssen Fragen und Antwortvorgaben im Fragebogen formuliert werden, damit Befragungspersonen sie so verstehen, wie es von uns intendiert ist?
• Wie muss ein Fragebogen aufgebaut sein, worauf ist bei der Sukzession von Fragen und Antwortvorgaben zu achten?

Und schließlich auch:

• Wie können wir unter Anwendung des Wissens um die kognitionspsychologischen Aspekte des Befragtenverhaltens unsere Fragebogen in (systematischen) kognitiven Pretests im Vorfeld der Befragung abtesten und damit besser machen?

Literatur:

Porst, Rolf (2014): Fragebogen. Ein Arbeitsbuch. 4., erweiterte Auflage. Wiesbaden: Springer VS (Buch auf Amazon)

Payne, Stanley L. (1951): The Art of Asking Questions. Princeton: University Press (Buch auf Amazon)

Strack, Fritz/Martin, Leonard L. (1987): Thinking, Judging, and Communicating: A Process Account of Context Effects in Attitude Surveys. In: Hippler/Schwarz/Sudman, Hrsg, (1987): 123–148.

Sudman, Seymour/Bradburn, Norman M./Schwarz, Norbert (1996): Thinking About Answers. The Application of Cognitive Processes to Survey Methodology. San Francisco: Jossey-Bass (Buch auf Amazon)