Datenqualität in der Online-Marktforschung Vermeidung von Antworttendenzen bei Online-Befragungen

Zahlen des Arbeitskreises Deutscher Markt- und Sozialforschungsinstitute e. V. zeigen, dass 2019 das sechste Jahr in Folge ist, in dem die Online-Befragung die im Rahmen quantitativer Studien meistgenutzte Befragungsart darstellt [1]. Hierzulande wird jedes zweite Interview per Browser oder per Mobile App durchgeführt, Tendenz steigend [1].

Die zunehmend breite Anwendung von Online-Befragungen lässt kritische Stimmen gegenüber der Qualität im Internet erhobener Daten nicht leiser werden. Eine bedeutsame Fehlerquelle dieser Befragungsart liegt darin, dass Befragte unter Umständen nicht die Antwortoptionen, die am besten auf sie zutrifft, wählen, sondern ein konstantes Antwortmuster aufweisen [2, 9]. Die daraus resultierende Abweichung der berichteten von den tatsächlichen Werten schadet der angestrebten Validität von Studien in hohem Maße [2].

Entstehungsgründe und Typen von Antworttendenzen

Die Beantwortung bestimmter Survey-Fragen, darunter retrospektiver und Rankingfragen, ist zweifelsohne kognitiv anspruchsvoll [4]. Der dabei erforderliche Aufwand wird ggf. von Befragten nicht bereitwillig in Kauf genommen, sondern gezielt reduziert, indem sie z. B. die gestellten Fragen nur oberflächlich interpretieren und sich keine Mühe beim Abruf relevanter Informationen aus dem Gedächtnis geben [4]. Des Weiteren finden sie sich schnell mit einer aus ihrer Sicht akzeptablen Antwort ab, die ohne großes Überlegen getätigt werden kann, statt zu durchdenken, welche die auf sie zutreffendste darstellt [4].

Ein solches Antwortverhalten ruft unterschiedliche Antworttendenzen seitens Befragter hervor [4]. Folgende Abbildung liefert einen Überblick über häufig thematisierte Tendenzen in Verbindung mit Fragetypen.

Bestimmte Fragetypen sind anfälliger für Antworttendenzen als andere. (Bild: Truong T. Hieu Nguyen)

Die Wahrscheinlichkeit, dass Befragte Antworttendenzen aufweisen, steht in einem negativen Verhältnis zu ihren Vorkenntnissen zum abgefragten Thema sowie zu ihrer Motivation, während sie positiv mit der Frageschwierigkeit zusammenhängt [4]. Dementsprechend variiert die Inzidenz genannter Tendenzen von Studie zu Studie. Roßmann zog ein Online-Tracking in Betracht und stellte u. a. fest, dass sich ca. jeder zehnte Panellist als „straightliner“ einordnen lässt [10]. Daten meiner Masterarbeit, die anhand eines Feldexperiments im Kontext der Online-Marktforschung (n = 432) erhoben wurden, zeigen einen beachtlichen Anteil von Probanden, die eine Tendenz zur Zustimmung (40  Prozent) oder zur willkürlichen Auswahl einer Antwortkategorie (16 Prozent) feststellen lassen.

Handlungsempfehlungen zur Verminderung von Antworttendenzen

Die festgestellte Inzidenz verschiedener Antworttendenzen signalisiert kontinuierlichen Handlungsbedarf seitens Marktforschender. Hinsichtlich der oben genannten Einflussgrößen bestehen für sie folgende Möglichkeiten, Antworttendenzen zu vermindern:

• Auswahl der Befragten anhand ihrer Vorkenntnisse zum Umfragethema, beispielsweise nur Markenkenner: Allerdings ist eine derartige Eingrenzung nicht immer umsetzbar, u. a., weil sie nicht im Einklang mit den Studieninteressen steht.
   
• Steigerung der Motivation der Befragten: Maßnahmen, die bisher zu diesem Zweck entwickelt wurden, wirken empirisch nur sehr begrenzt gegen Antworttendenzen (siehe z. B. [11]). Das Feldexperiment im Rahmen meiner Masterarbeit zeigt, dass Befragte keine schwächeren Antworttendenzen aufweisen, wenn sie eine leistungsbedingte Incentivierung erhalten, sich verpflichten sollen, sorgfältig an der Umfrage teilzunehmen oder ihnen die Konsequenzen des sorglosen Antwortverhaltens für Unternehmen sowie für sich selbst als Konsumenten salient dargestellt werden.
   
• Reduzierung der Frageschwierigkeit: Die Verständlichkeit von Fragen, die u. a. durch eine Vermeidung von wenig geläufigen und mehrdeutigen Begriffen erhöht werden kann, kann das Auftreten von Antworttendenzen verringern [5]. Einen Überblick über grundsätzliche Regeln bei der Formulierung von Fragen bietet z. B. der Beitrag von Lenzner und Menold [7].

Täglicher Newsletter der Insightsbranche

News +++ Jobs +++ Whitepaper +++ Webinare

Newsletter abonnieren

Wir beliefern täglich mehr als 9.000 Abonnenten

Datenschutz

Identifizierung von Antworttendenzen mit Index-Wert

Neben den beschriebenen Maßnahmen zur Verminderung von Antworttendenzen kann eine konsequente Datenbereinigung als unerlässlich in dem Bemühen eingestuft werden, Befragte mit einem problematischen Antwortverhalten zu erkennen. Relativ überschaubar gestaltet sich die Feststellung nichtsubstanzieller bzw. qualitativ minderwertiger Angaben zu offenen Fragen. Abgesehen davon ist es allerdings weniger eindeutig, welche Interviewfälle im Falle von geschlossenen Fragen Antworttendenzen aufweisen. Hier kommen folgende Handlungsmöglichkeiten in Frage:

• Es ist empfehlenswert, inhaltlich gegensätzliche Itempaare in den Fragebogen einzubauen [3]. Befragte mit widersprüchlichen Antworten weisen eine Tendenz zur Zustimmung auf.
   
• Kontrollitems (z. B. „Bitte wählen Sie hier die Antwortmöglichkeit ‚trifft eher zu‘ aus.“) sollen ebenfalls genutzt werden [8]. Damit lässt sich die Tendenz zur willkürlichen Auswahl einer Antwortkategorie identifizieren.
   
• Zwecks Erfassung weiterer Antworttendenzen ist die Berechnung eines entsprechenden Index-Wertes für jede(n) Befragte(n) vonnöten:

Truong Trung Hieu Nguyen hat seinen Master im Fachbereich Kommunikationswissenschaft und Medienforschung an der Universität Hohenheim absolviert. Der vorliegende Fachartikel baut auf dieser Masterarbeit und eigenen weiteren Recherchen auf. Als Werkstudent/Praktikant sammelte er bei Ipsos, 1&1 und GfK erste Erfahrungen in der Marktforschung. Seit Februar 2021 ist Herr Nguyen als Research Assistant im Bereich Consumer Research bei der Gruppe Nymphenburg Consult AG in München angestellt. Er freut sich auf neue Kontakte und spannende Diskussionen LinkedIn / Xing

Literaturverzeichnis

[1] Arbeitskreis Deutscher Markt- und Sozialforschungsinstitute e.V. (2021). Die Marktforschung in Zahlen. www.adm-ev.de/die-branche/mafo-zahlen/

[2] Bogner, K., & Landrock, U. (2015). Antworttendenzen in standardisierten Umfragen (GESIS Survey Guidelines). GESIS – Leibniz-Institut für Sozialwissenschaften. doi.org/10.15465/GESIS-SG_016

[3] DeSimone, J. A., Harms, P. D., & DeSimone, A. J. (2015). Best practice recommendations for data screening. Journal of Organizational Behavior, 36(2), 171–181. doi.org/10.1002/job.1962

[4] Krosnick, J. A. (1991). Response strategies for coping with the cognitive demands of attitude measures in surveys. Applied Cognitive Psychology, 5(3), 213–236. doi.org/10.1002/acp.2350050305

[5] Lenzner, T. (2012). Effects of survey question comprehensibility on response quality. Field Methods, 24(4), 409–428. doi.org/10.1177/1525822X12448166

[6] Lenzner, T., Kaczmirek, L., & Lenzner, A. (2010). Cognitive burden of survey questions and response times: A psycholinguistic experiment. Applied Cognitive Psychology, 24(7), 1003–1020. doi.org/10.1002/acp.1602

[7] Lenzner, T., & Menold, N. (2015). Frageformulierung (GESIS Survey Guidelines). GESIS – Leibniz-Institut für Sozialwissenschaften. doi.org/10.15465/GESIS-SG_017

[8] Meade, A. W., & Craig, S. B. (2012). Identifying careless responses in survey data. Psychological Methods, 17(3), 437–455. doi.org/10.1037/a0028085

[9] Pospeschill, M. (2010). Testtheorie, Testkonstruktion, Testevaluation. Ernst Reinhardt.

[10] Roßmann, J. (2017). Satisficing in Befragungen: Theorie, Messung und Erklärung. Schriftenreihe der ASI - Arbeitsgemeinschaft Sozialwissenschaftlicher Institute. Springer VS. doi.org/10.1007/978-3-658-16668-7

[11] Ward, M. K., & Meade, A. W. (2018). Applying social psychology to prevent careless responding during online surveys. Applied Psychology, 67(2), 231–263. doi.org/10.1111/apps.12118