BVM-Fachtagung Die Qualität von Online-Befragungen muss besser werden. Aber wie?

Wie ist es um die Qualität von Online-Umfragen bestellt? Der Beantwortung dieser Frage widmete sich u. a. die BVM Fachtagung letze Woche. (Bild: picture alliance / Zoonar | CH. HORZ)

Die Qualität von Online-Umfragen steht heutzutage vielerorts unter Kritik. Dabei erfreuten sich Online-Befragungen zuletzt - vielleicht jedoch nur notgedrungen durch Corona - sehr großer Beliebtheit. Als meist gewählte Erhebungsmethode unter Marktforschenden bestimmt sie maßgeblich die Qualität der Umfrageforschung, welche aus jeglicher Sicht in jüngster Vergangenheit zu bröckeln scheint und deshalb dringendst unter die Lupe genommen werden sollte.

Fachkolleginnen und -kollegen aus der Branche widmeten sich der Thematik vor diesem Hintergrund bei der BVM Fachtagung „Qualität von Online-Umfragen beurteilen und sichern“ und beleuchteten die Sicht der verschiedenen betroffenen Akteure.

Stimmungskiller & Frustrationsfaktoren

Unter den Panelteilnehmenden, so berichtet André Führer von Dynata, können drei wesentliche Störfaktoren identifiziert werden, die die Befragten demotivieren, an Online-Umfragen teilzunehmen:

1. Screenouts und Quota-Fulls
Knapp die Hälfte der Panelteilnehmenden qualifizieren sich erst gar nicht als Zielgruppe und werden frühzeitig „ausgescreent“, was den Großteil frustriert. Abhilfe schafft laut Oliver Frangakos von Dynata der Einsatz von Routern, die Panelteilnehmende per Ausschlussverfahren den richtigen Umfragen zuordnen.

2. Länge der Umfragen
Befragungen, die länger als 30 Minuten sind, würden schon längst nicht mehr in Betracht gezogen werden.

3. Technische Fehlfunktionen
Dabei sei vor allem die oftmals mangelnde Mobilkompatibilität besorgniserregend. Denn diese ist u. a. für eine 2,8fach höhere Abbruchrate als bei Interviews am Rechner verantwortlich. Dr. Jessica Daikeler von GESIS appelliert an die Branche, auf ein mobil-optimiertes Design zu setzen:

Mobile First sollte unsere Devise sein (Jessica Daikeler, GESIS)

Dazu sollten Mobil-Fragebögen jedoch weder von komplexen Statement-Batterien oder Matrizes noch von horizontalem Scrolling oder Smartphone-unfreundlichen Gamification-Elementen geprägt sein. Die Option, die Umfrage zu einem späteren Zeitpunkt weiterzuführen (Split-Questions), würde die Qualität der Antworten zusätzlich deutlich verbessern.

Demotivierend und vor allem abschreckend wirken daneben außerdem unzählige E-Mails oder Anrufe, mit der Aufforderung, erneut an Umfragen teilzunehmen. Hier gilt Fingerspitzengefühl, um die Panelisten nicht zu vertreiben.

Menschen sind betrügerisch unterwegs

Incentive-Jäger und betrügerische Menschen bzw. Institute, die von Beginn an nicht die Intention haben, hochwertige Daten zu liefern, müssen überführt und aus Panels aussortiert werden. Da sind sich alle Expertinnen und Experten einig.

Eva Wittman von Ipsos liefert mit diversen Qualitätschecks einen Ansatz für das Problem. Passive, im Hintergrund ablaufende Qualitätschecks wie Bot-Detection, Digital Fingerprinting oder Geo-Checks helfen beispielsweise, Bots zu identifizieren sowie Menschen, die über verschiedene Endgeräte oder IP-Adressen mehrmals an einer Umfrage teilnehmen.

Man solle mehrere individualisierte Checks direkt im Fragebogen an unterschiedlichen Stellen einbauen. Offene Fragen sowie gehäuft unwahrscheinliche Fragen sollen Aufschluss über Betrügerinnen und Betrüger geben. Ebenso wie widersprüchliche Statements, die noch dazu diejenigen, die nicht richtig lesen, identifizieren. Offensichtliche Checks wie, "Wir bitten dich, die richtige Antwort anzukreuzen", seien hingegen ein No-Go.

Wenn wir Fragebogengestaltung richtig hinbekommen, können wir einen großen Schritt in der Qualitätssicherung gehen (Eva Wittman, Ipsos)

Bauchschmerzen bereiten der Marktforschung allerdings momentan automatisch generierte Antworten, die bisher durch keinen Check eindeutig identifizierbar sind.

Es fängt bei der Rekrutierung an

Qualitätschecks sollten bereits bei der Rekrutierung der Panelteilnehmenden vorgenommen werden. So können Pilotenprojekte und Welcome-Surveys schon vorab erste Informationen zur Qualität eines Teilnehmenden liefern. Auch während der Feldphase sollten Klickverhalten, Umfragedauer etc. überprüft werden, um die Datenqualität langfristig zu gewährleisten. Oliver Frangakos unterstreicht ebenfalls den Einsatz von Machine Learning, um das tatsächliche Antwortverhalten mit dem erwarteten abzugleichen.

Online-Panels haben ihre Grenzen

Medienunternehmen nutzen Online-Panel-Daten u. a., um ihre Kunden über Reichweiten und Nutzungsverhalten aufzuklären. Doch gerade für die Messung von Reichweiten, so sagt Johanna Teichmann von der SevenOne Media GmbH, eignen sich Online-Panels eher weniger, da hier mit einer grundsätzlichen Überschätzung zu rechnen ist. Sinnvoller eingesetzt würden die Daten hingegen vor allem, wenn es um Relationen und Korrelationen ginge, also dort, wo Zusammenhänge herausgestellt werden wie z. B. in Werbemitteltest.

Und nun?

Letztlich stimmen alle Anwesenden dem BVM zu: Die Qualität von Online-Befragungen muss besser werden. Aber wie? Was ist das wichtigste?
Dazu abschließend einige Zitate von der Fachtagung:

Otto Hellwig (Bilendi & respondi): Das Wichtigste ist, dass wir uns neben Kontrollmechanismen auch über Motivationsmechanismen unterhalten müssen - und das auf Seiten des Panelbetreibers, aber auch auf Seiten der Kunden!

Michael Schiller (PAYBACK): Wir müssen noch mehr Leute sensibilisieren. Das Thema Schulung und noch mehr Transparenz bei dem Thema Qualität wäre ein ganz wichtiger Schritt für die Zukunft.

Herbert Höckel (moweb): Unser Kernwert sind die Menschen, die Teilnehmer, die Meinungen, die wir erfragen und ich finde wir sollten achtsam, wertschätzend sein. Und das völlig unabhängig von der Befragungsmethode. Dann kommt dabei auch gute Qualität raus.

Jessica Daikeler (GESIS): Man kann gewichten, wie man will, wenn man am Ende einfach bestimmte Personen nicht mehr bekommt. Für mich ist deswegen die richtige Richtung, dass wir Beobachtungsdaten nutzen und manche Sachen überhaupt nicht mehr in ewig langen Fragebatterien erfragen.

Andre Führer (Dynata): Wichtig ist, dass wir die offene, transparente Kommunikation fortführen. Im Alltag erlebe ich durchaus noch häufiger, dass mir ein Kunde sagt, „das kann ich meinen Endkunden auf keinen Fall vermitteln.“

Arne Thurich (comdirect): Auf allen Seiten liegt eine große Bereitschaft, darüber zu sprechen. Wichtig ist es diese Offenheit weiterzutragen. Der Wahrheit ins Auge blicken. Dann kann man vielleicht zu einer neuen Realität kommen.

Fazit

Letzlich bleibt genau das aus: ein Fazit. So sind sich zwar alle einig, dass die Qualität von Online-Umfragen größtenteils berechtigterweise unter Kritik steht, doch an welcher Schraube es jetzt genau zu drehen gilt, bleibt unausgesprochen.

Spannende Inisghts, aber unkonkrete Zukunftsempfehlungen!

Täglicher Newsletter der Insightsbranche

News +++ Jobs +++ Whitepaper +++ Webinare

Newsletter abonnieren

Wir beliefern täglich mehr als 9.000 Abonnenten

Datenschutz