Applied Science Wie lang darf mein Fragebogen eigentlich sein?

Überlange Fragebögen machen müde und führen zu bewussten und unbewussten Falschangaben. In dieser Ausgabe von "Applied Science" erfahren Sie, was Wissenschaftler dazu herausgefunden haben, wie die Aufmerksamkeit von Probanden hochgehalten werden kann. (Bild: picture alliance / Bildagentur-online/Tetra-Images/Jamie Grill)  

Eine Frage, so alt wie die Marktforschung selbst 

Die in der Marktforschung verwendeten Fragebögen sind oft lang. Die meisten sind so lang, weil sie viele verschiedene Themen und Variablen berücksichtigen sollen. Es gibt aber auch Fragebögen, die nur wenige oder sogar nur ein einziges, aber sehr breites und komplexes Konstrukt messen wollen. So umfasst z.B. allein das NEO Personality Inventar von Costa & McCrae (1992), ein “Vorläufer” des bekannten BIG 5 Persönlichkeitstests, mehrere Hundert Fragen. Die Länge führt jedenfalls oftmals zu einem Dilemma für Markforschende:  

Einerseits wollen sie ihre Forschungsfragen valide und vollumfänglich abbilden und auswerten können, andererseits vermuten sie zurecht einen negativen Zusammenhang zwischen der Länge und wissentlichen und unwissentlichen Falschangaben.  

Zwar wurde sich schon vor über 40 Jahren mit dem Effekt der Fragebogenlänge auf die Qualität der Antworten auseinandergesetzt, jedoch bleiben noch einige Fragen unbeantwortet: Ab wie vielen Fragen wird das unkonzentrierte und zunehmend gleichgültige Antworten zum Problem? Und was können Marktforschende tun, um die Probanden anzureizen, während der gesamten Bearbeitungszeit des Fragebogens aufmerksam zu bleiben? Diese und weitere Fragen beantworten Bowling et al. in ihrer neuen Studie “Will the Questions Ever End?”, erschienen im Oktober letzten Jahres in der renommierten Fachzeitschrift Organizational Research Methods. 

Die methodische Herangehensweise 

In ihrer ersten Studie befragten die ForscherInnen über 400 Studierende einer US-amerikanischen Hochschule. Jede/r Studierende wurde dabei zufällig einer von zwei Gruppen zugeordnet: (1) der “Warnung”-Gruppe, in der die Studierenden vor dem Ausfüllen gewarnt wurden, dass ihre Antworten von den Dozierenden auf gewissenhaftes und konzentriertes Ausfüllen hin untersucht werden und ggf. Sanktionen im Sinne von Credit-Point-Abzug drohen; und (2) der Kontrollgruppe, in der es diese explizite Warnung nicht gab. Um sicherzustellen, dass die Manipulation in der “Warnung”-Gruppe auch wirklich wirkte, wurden im Nachgang die Antworten auf Statements wie “Der Dozent hat mir mitgeteilt, dass ich meine Credit Points für diesen Kurs verliere, wenn ich nicht genaue und durchdachte Antworten im Rahmen der heutigen Befragung gebe.” miteinander verglichen.  

Damit nur die Position einer Frage (also z.B. Frage Nr. 4 oder Nr. 387) und nicht die Frage selbst einen Effekt auf das Antwortverhalten ausüben kann, wurden die Fragen für jede/n einzelnen Probanden randomisiert. Der zu bearbeitende Fragebogen enthielt insgesamt 500 Fragen auf 25 Seiten, davon 484 Fragen bewährter Persönlichkeitstests und 16 Kontrollfragen, die ein unkonzentriertes und gleichgültiges Antwortverhalten messen, z.B. “Ich habe mir noch nie die Zähne geputzt” oder “Ich schlafe weniger als eine Stunde pro Nacht”. Alle Fragen wurden auf einer 7-stufigen-Likertskala beantwortet. In Studie 2 wurde das Vorgehen von Studie 1 exakt repliziert mit Ausnahme des Settings: Studie 2 fand in kontrolliertem Umfeld im Universitätslabor unter Aufsicht eines Forschers statt (N = 129). 

Die Ergebnisse

Das Autorenteam um Bowling et al. wertete gleichgültiges Antwortverhalten auf drei Arten aus: (1) die Antworten auf die 16 o.g. Kontrollfragen, (2) die Bearbeitungsdauer pro Fragebogenseite und (3) das Ausmaß des “Durchkreuzens” mittels eines sog. Longstring Indizes. Alle drei Metriken korrelierten untereinander zu über 0.5, was als Zeichen der konvergenten Validität der jeweiligen Messungen gedeutet werden kann. Verschiedene Regressionsmodelle zeigten dann den Einfluss der unabhängigen Variablen Frageposition und Warnung Ja/Nein auf die drei Metriken. Tatsächlich zeigten die Teilnehmenden ein erhöhtes Maß an gleichgültigem Antwortverhalten, je weiter sie im Fragebogen fortgeschritten waren. Die Probanden in der “Warnung”-Gruppe wurden zwar erst später unkonzentriert beim Ausfüllen, zeigten dann aber ein vergleichbares Ausmaß an beliebigem Antwortverhalten. 

Um die Gretchenfrage nach der exakten Anzahl an “erlaubten Fragen”, bevor die Teilnehmenden unkonzentriert werden, zu untersuchen, haben die Autoren eine latente Schätzfunktion für die “Warnung”- und Kontrollgruppe berechnet. Die Ergebnisse wurden wiederum nach Setting “Online” vs. “Labor” unterschieden und sind in nachfolgender Tabelle aufgeführt: 

In den Spalten der Tabelle findet sich die Rate der unkonzentrierten, beliebigen Antworten. Diese wurde für verschiedene Ausprägungen von 1% bis 20% berechnet. Wenn man sich zum Beispiel dafür interessiert, wie viele Fragen man maximal in einem Online-Fragebogen ohne Möglichkeit des Ausspruchs einer glaubhaften Warnung an die Probandem stellen sollte (Zeile 1) und bereit ist 5% unkonzentrierte, beliebige Antworten zu akzeptieren (Spalte 2), ergeben sich aus der Tabelle 79 Fragen (gelb hervorgehoben). Wichtig ist abschließend noch der Hinweis, dass sich die 5% beliebigen Antworten nur auf 90% der Stichprobe beziehen, da die in der Tabelle zusammengetragen Werte ja “lediglich” - sehr plausible und robuste - Schätzwerte sind, die auf Wahrscheinlichkeitsrechnungen beruhen.  

Zusammenfassung: The magic number 79 oder doch 33? 

Beginnen wir mit dem Offensichtlichen: Die Motivation eines Teilnehmers, einen Fragebogen von Anfang bis Ende “pflichtgemäß”, konzentriert und reflektiert auszufüllen, hat einen entscheidenden Anteil daran, ab wann bzw. wie vielen Fragen zunehmend beliebig “gekreuzt” wird. Die Motivation kann einerseits intrinsisch, durch ein besonderes Interesse an den Inhalten der Fragebogenstudie, oder positiv-extrinsisch durch dingliche Anreize wie Gutscheine, Geld oder Gewinnspiele gesteigert werden.  

Es gibt aber einen gewissen Punkt, ab dem die Motivation trotzdem schwindet und es zum sog. “beliebigen Antworten” kommt. Diese Erkenntnisse sind nicht neu, sondern gehören in der Marktforschung zum State of the Art. Ergänzend dazu können vor allem zwei neue Insights aus den Studienergebnissen von Bowling et al. gewonnen werden: 

• Auch negativ-extrinsische Anreize wie glaubhafte Warnungen und explizite Aufforderungen zum konzentrierten Antwortverhalten führen zu größerem “Durchhaltevermögen” bei den Teilnehmenden einer Fragebogenstudie. 

• Die Präsenz eines Forschers / einer Forscherin beim Ausfüllen eines Fragebogens hat einen großen Effekt auf die Anzahl der Fragen, die konzentriert beantwortet werden. Für das plausibelste Szenario (5% unkonzentrierte Antworten werden akzeptiert, keine glaubhafte Warnung gewünscht/möglich) ergibt sich sogar ein doppelt so großer Effekt für das Labor- im Vergleich zum Online-Fragebogen-Setting. Während in einer kontrollierten Laborsituation 162 Fragen pflichtbewusst und konzentriert beantwortet werden, sind es Online nur 79! 

Abschließend sei noch die Frage aufgeworfen, wie schlimm denn 5% beliebiger Antworten überhaupt sind. Antwort: Das hängt ganz davon ab, mit welchen Skalen gearbeitet wird und inwiefern dort die Möglichkeit besteht, hinreichend große Ausreißer-Werte zu produzieren. Denn tatsächlich reicht schon ein einziger Extremwert aus, um die Ergebnisse einer Regression komplett zu verzerren (Exkurs dazu).  

Vor diesem Hintergrund erscheinen 5% Akzeptanzrate beliebiger Antworten doch plötzlich viel. Mit einer Senkung der Rate auf 1% darf man allerdings Online, ohne “Überwachung” und ohne Warnhinweis nur noch mit 33 konzentriert beantworteten Fragen rechnen (vgl. Zelle 1 in obiger Tabelle). Ab der 34. wird’s dann schon schwierig…In diesem Sinne unser Take-Away für Sie, egal ob Sie sich mit der 79 oder der 33 besser fühlen: Keep it short and - im Zweifel - noch kürzer!