BVM-Fachtagung Die Qualität von Online-Befragungen muss besser werden. Aber wie?

Die Qualität von Online-Umfragen wurde zuletzt vermehrt in Frage gestellt. Genau deshalb trafen sich Ende März Experten aus der Marktforschungsbranche bei der BVM Fachtagung. Es wurden Pain Points herausgestellt und diskutiert, was zur Qualitätssicherung beitragen kann. Zu welchen Erkenntnissen sind sie gekommen?

Wie ist es um die Qualität von Online-Umfragen bestellt? Der Beantwortung dieser Frage widmete sich u. a. die BVM Fachtagung letze Woche. (Bild: picture alliance / Zoonar | CH. HORZ)

Die Qualität von Online-Umfragen steht heutzutage vielerorts unter Kritik. Dabei erfreuten sich Online-Befragungen zuletzt - vielleicht jedoch nur notgedrungen durch Corona - sehr großer Beliebtheit. Als meist gewählte Erhebungsmethode unter Marktforschenden bestimmt sie maßgeblich die Qualität der Umfrageforschung, welche aus jeglicher Sicht in jüngster Vergangenheit zu bröckeln scheint und deshalb dringendst unter die Lupe genommen werden sollte.

Fachkolleginnen und -kollegen aus der Branche widmeten sich der Thematik vor diesem Hintergrund bei der BVM Fachtagung „Qualität von Online-Umfragen beurteilen und sichern“ und beleuchteten die Sicht der verschiedenen betroffenen Akteure.

Stimmungskiller & Frustrationsfaktoren

Unter den Panelteilnehmenden, so berichtet André Führer von Dynata, können drei wesentliche Störfaktoren identifiziert werden, die die Befragten demotivieren, an Online-Umfragen teilzunehmen:

1. Screenouts und Quota-Fulls
Knapp die Hälfte der Panelteilnehmenden qualifizieren sich erst gar nicht als Zielgruppe und werden frühzeitig „ausgescreent“, was den Großteil frustriert. Abhilfe schafft laut Oliver Frangakos von Dynata der Einsatz von Routern, die Panelteilnehmende per Ausschlussverfahren den richtigen Umfragen zuordnen.

2. Länge der Umfragen
Befragungen, die länger als 30 Minuten sind, würden schon längst nicht mehr in Betracht gezogen werden.

3. Technische Fehlfunktionen
Dabei sei vor allem die oftmals mangelnde Mobilkompatibilität besorgniserregend. Denn diese ist u. a. für eine 2,8fach höhere Abbruchrate als bei Interviews am Rechner verantwortlich. Dr. Jessica Daikeler von GESIS appelliert an die Branche, auf ein mobil-optimiertes Design zu setzen:

Mobile First sollte unsere Devise sein (Jessica Daikeler, GESIS)

Dazu sollten Mobil-Fragebögen jedoch weder von komplexen Statement-Batterien oder Matrizes noch von horizontalem Scrolling oder Smartphone-unfreundlichen Gamification-Elementen geprägt sein. Die Option, die Umfrage zu einem späteren Zeitpunkt weiterzuführen (Split-Questions), würde die Qualität der Antworten zusätzlich deutlich verbessern.

Demotivierend und vor allem abschreckend wirken daneben außerdem unzählige E-Mails oder Anrufe, mit der Aufforderung, erneut an Umfragen teilzunehmen. Hier gilt Fingerspitzengefühl, um die Panelisten nicht zu vertreiben.

Menschen sind betrügerisch unterwegs

Incentive-Jäger und betrügerische Menschen bzw. Institute, die von Beginn an nicht die Intention haben, hochwertige Daten zu liefern, müssen überführt und aus Panels aussortiert werden. Da sind sich alle Expertinnen und Experten einig.

Eva Wittman von Ipsos liefert mit diversen Qualitätschecks einen Ansatz für das Problem. Passive, im Hintergrund ablaufende Qualitätschecks wie Bot-Detection, Digital Fingerprinting oder Geo-Checks helfen beispielsweise, Bots zu identifizieren sowie Menschen, die über verschiedene Endgeräte oder IP-Adressen mehrmals an einer Umfrage teilnehmen.

Man solle mehrere individualisierte Checks direkt im Fragebogen an unterschiedlichen Stellen einbauen. Offene Fragen sowie gehäuft unwahrscheinliche Fragen sollen Aufschluss über Betrügerinnen und Betrüger geben. Ebenso wie widersprüchliche Statements, die noch dazu diejenigen, die nicht richtig lesen, identifizieren. Offensichtliche Checks wie, "Wir bitten dich, die richtige Antwort anzukreuzen", seien hingegen ein No-Go.

Wenn wir Fragebogengestaltung richtig hinbekommen, können wir einen großen Schritt in der Qualitätssicherung gehen (Eva Wittman, Ipsos)

Bauchschmerzen bereiten der Marktforschung allerdings momentan automatisch generierte Antworten, die bisher durch keinen Check eindeutig identifizierbar sind.

Es fängt bei der Rekrutierung an

Qualitätschecks sollten bereits bei der Rekrutierung der Panelteilnehmenden vorgenommen werden. So können Pilotenprojekte und Welcome-Surveys schon vorab erste Informationen zur Qualität eines Teilnehmenden liefern. Auch während der Feldphase sollten Klickverhalten, Umfragedauer etc. überprüft werden, um die Datenqualität langfristig zu gewährleisten. Oliver Frangakos unterstreicht ebenfalls den Einsatz von Machine Learning, um das tatsächliche Antwortverhalten mit dem erwarteten abzugleichen.

Online-Panels haben ihre Grenzen

Medienunternehmen nutzen Online-Panel-Daten u. a., um ihre Kunden über Reichweiten und Nutzungsverhalten aufzuklären. Doch gerade für die Messung von Reichweiten, so sagt Johanna Teichmann von der SevenOne Media GmbH, eignen sich Online-Panels eher weniger, da hier mit einer grundsätzlichen Überschätzung zu rechnen ist. Sinnvoller eingesetzt würden die Daten hingegen vor allem, wenn es um Relationen und Korrelationen ginge, also dort, wo Zusammenhänge herausgestellt werden wie z. B. in Werbemitteltest.

Und nun?

Letztlich stimmen alle Anwesenden dem BVM zu: Die Qualität von Online-Befragungen muss besser werden. Aber wie? Was ist das wichtigste?
Dazu abschließend einige Zitate von der Fachtagung:

Otto Hellwig (Bilendi & respondi): Das Wichtigste ist, dass wir uns neben Kontrollmechanismen auch über Motivationsmechanismen unterhalten müssen - und das auf Seiten des Panelbetreibers, aber auch auf Seiten der Kunden!

Michael Schiller (PAYBACK): Wir müssen noch mehr Leute sensibilisieren. Das Thema Schulung und noch mehr Transparenz bei dem Thema Qualität wäre ein ganz wichtiger Schritt für die Zukunft.

Herbert Höckel (moweb): Unser Kernwert sind die Menschen, die Teilnehmer, die Meinungen, die wir erfragen und ich finde wir sollten achtsam, wertschätzend sein. Und das völlig unabhängig von der Befragungsmethode. Dann kommt dabei auch gute Qualität raus.

Jessica Daikeler (GESIS): Man kann gewichten, wie man will, wenn man am Ende einfach bestimmte Personen nicht mehr bekommt. Für mich ist deswegen die richtige Richtung, dass wir Beobachtungsdaten nutzen und manche Sachen überhaupt nicht mehr in ewig langen Fragebatterien erfragen.

Andre Führer (Dynata): Wichtig ist, dass wir die offene, transparente Kommunikation fortführen. Im Alltag erlebe ich durchaus noch häufiger, dass mir ein Kunde sagt, „das kann ich meinen Endkunden auf keinen Fall vermitteln.“

Arne Thurich (comdirect): Auf allen Seiten liegt eine große Bereitschaft, darüber zu sprechen. Wichtig ist es diese Offenheit weiterzutragen. Der Wahrheit ins Auge blicken. Dann kann man vielleicht zu einer neuen Realität kommen.

Fazit

Letzlich bleibt genau das aus: ein Fazit. So sind sich zwar alle einig, dass die Qualität von Online-Umfragen größtenteils berechtigterweise unter Kritik steht, doch an welcher Schraube es jetzt genau zu drehen gilt, bleibt unausgesprochen.

Spannende Inisghts, aber unkonkrete Zukunftsempfehlungen!

Täglicher Newsletter der Insightsbranche

News +++ Jobs +++ Whitepaper +++ Webinare
Wir beliefern täglich mehr als 9.000 Abonnenten
 

Weitere Informationen zum Unternehmen auf marktforschung.de:

PREMIUM

Dynata

Frankfurt

Dynata

Dynata zählt zu den weltweit führenden Anbietern, die First-Party-Daten aus mitgliederbasierten Opt-in-Panels, intern verwaltet und…
EXKLUSIV

moweb research

Düsseldorf

moweb research

17

moweb ist ein Markforschungsinstitut. Seit 2004 inhabergeführt und unabhängig. moweb macht Marktforschung Von der Bedarfsanalyse…
EXKLUSIV

Ipsos

Hamburg

Ipsos

ca. 700

Nie war der Bedarf an verlässlichen Informationen als Grundlage für sichere Entscheidungen größer als heute, in unserer Welt des…
EXKLUSIV

Bilendi GmbH

Berlin

Bilendi GmbH

24

Mit eigenen Panels in zwölf europäischen Ländern und Zugang zu über 2 Mio. Teilnehmern ist Bilendi führender Access-Panel-Anbieter.…

Diskutieren Sie mit!     

  1. Rhona Biswal am 06.04.2022
    Transparenz ist hier ein wichtiger Faktor, und das auf allen Seiten.
    Andre Führer und Arne Thurich treffen den Nagel auf dem Kopf. Es ist wichtig die Endkunden mit ins Boot zu holen und neue Wege auszuloten. Nur dann können wir auf allen Seiten erfolgreich sein.
    Gerade bei spezialisierten Panels hat sich, genau wie bei der Arbeitsmarktsituation, das Blatt gewendet. Wir müssen „dankbar“ für jeden neuen Panelteilnehmer sein. Die Wertschätzung wie es Herbert Höckel beschreibt ist das sehr wichtig. Und auch das muss auf allen Ebenen kommuniziert werden.
  2. Andreas Voigt am 06.04.2022
    Alle Kommentare der KollegInnen haben ihre Berechtigung. Denn letztendlich kann nur die Summe aus einem "Mobile First Survey Design" Ansatz mit kurzen und knackigen Inhalten, smartem Sampling und einer minimalistischen Quotensteuerung, gepaart mit modernsten technischen Pre-und In-Survey Checks (automatisierte Bot-Detection, automatisierte Checks der Offenen Antworten, etc.) eine gute Datenqualität garantieren. Wir bei Kantar verfolgen diesen holistischen Ansatz...auch wenn es da an manchen Stellen sicher noch viel zu tun gibt. Dinge nicht länger abzufragen, die wir schon wissen gehört auch zweifelsfrei dazu!
  3. Herbert Kämpf am 06.04.2022
    Wichtig ist für die Qualität bei Online Befragungen, dass man nicht nur aufzeigt wie man idealerweise vorgehen sollte oder auf mögliche Problempunkte hinweist.
    Entscheidend ist, sich kritisch mit den tatsächlichen Problemen auseinanderzusetzen und, wie Herr Thurich richtig sagt, der 'Wahrheit ins Auge zu blicken', auch wenn's weh tut.
    Man macht es sich auch zu einfach auf die Teilnehmer zu zeigen und die Panelqualität in Frage zu stellen. Ich gebe Herrn Höckel vollkommen Recht, Wertschätzung ist auch wichtig.
    Die Mängelliste ist lang und beginnt schon beim Auftraggeber. Gerade im Pharmabereich sind wir laufend mit diffizilen Screenings mit 15 und mehr Fragen konfrontiert. Man möchte auf Kundenseite einerseits handverlesene Teilnehmer, hat aber andererseits Vorstellungen von irrealen Fallzahlen. Und wenn man auf solche Widersprüche hinweist hören wir leider immer wieder 'der Kunde will das so'.
    Das nur als Beispiel, denn die Ansatzpunkte zur Qualitätsverbesserung sind vielfältig.
  4. Volker Wohlert am 23.04.2022
    Ich rätsle weiterhin, wie man bei Panels für 10 Eurocent die Minute Führungskräfte aller Coleur bekommt, um einen ellenlangen Fragebogen auszufüllen.
    Bei der Incentivierung scheint es ja nur im Pharma-/Medizinsektor höhere Minutenpreise zu geben.

    Das Bundling von Onlinefragenbogen und Sampling als DIY-Service erzeugt noch mehr den Eindruck, die Probanden stehen im Lagerregal jederzeit abrufbereit.

    Überraschend ist immer wieder, wie oft Onlinefragebögen mit Panelrouting einen Abbruch produzieren, wenn Adblocker und Scriptblocker im Browser aktiv sind. Die Abbruchquoten durch technische Mängel wären auch mal einen genaueren Blick wert.

    Gefühlt lehnen sich die Panels mit Erfüllung von Zielgruppenwünschen nicht mehr ganz so weit aus dem Fenster. Zumindest bei B2B-Studien scheint das so zu sein. Da wäre vor einigen Jahren noch ein Angebot abgegeben worden.

Um unsere Kommentarfunktion nutzen zu können müssen Sie sich anmelden.

Anmelden

Weitere Highlights auf marktforschung.de