Peter Müller-Lessmann, Director, Panel Solutions and Allocation Dynata Qualität von Online-Samples – die neue Dynamik

Seit Jahren bemüht sich die Insights-Branche, einen schier unersättlichen Appetit auf Daten zu stillen. Gleichzeitig hat sich die Bereitschaft der Konsumenten zur Bereitstellung von Daten nach zwei Jahrzehnten der Personalisierung und Digitalisierung von Waren und Dienstleistungen deutlich gewandelt. Diese Entwicklung stellt auch die Online-Datenerhebungsansätze vor neue Herausforderungen.

Gleichzeitig sind neue Technologien entstanden, mit denen sich Daten effektiver erheben lassen. Diese verschiedenen Faktoren, die auch den Handel mit Onlinestichproben verändern und beispielsweise einen DIY Ansatz erst möglich gemacht haben, bleiben jedoch meist im Hintergrund verborgen. Dynata ist angetreten, die aktuelle Sampling-Landschaft zu beleuchten, um damit bessere und bewusstere Entscheidungen beim Einkauf von Online Samples zu ermöglichen.

Um die wesentlichen Herausforderungen dieser sich verändernden Marktdynamik näher zu beleuchten ein kurzer Überblick der Einflussfaktoren:

• Die Nachfrage nach Marktforschungsdaten steht in keinem Verhältnis zu der Zeit, die Verbraucher in Umfragen investieren können. Beschleunigt durch die Pandemie, konkurriert die Teilnahme an einer Online-Umfrage mit zahllosen weiteren Online-Aktivitäten, um die Aufmerksamkeit des Konsumenten.
• Die Verbraucher haben sich an den Trade-Off gewöhnt, persönliche Daten zu „veräußern“ für den Erhalt von personalisierten Dienstleistungen. Gleichzeitig hat sich damit auch ein Bewusstsein für den Wert der eigenen Daten entwickelt. Datenschutzbedenken spielen gerade trotz der grundsätzlich vorhandenen Bereitschaft zur Weitergabe von Daten eine viel höhere Rolle. Konsumenten sind im Laufe der Zeit deutlich sensibler geworden und agieren selektiv, wenn es um die Weitergabe Ihrer Daten geht.
• Mit der zunehmenden Digitalisierung nehmen auch Betrugsversuche im Einzelhandel, bei Loyalty-Programmen und auch in der Marktforschung zu. Imperium, einer der führenden Lösungsanbieter für Datenqualität, hat im vergangenen Jahr 2020 einen Anstieg von Betrugsversuchen um 200 Prozent festgestellt. Dies umfasst z.B. die potenzielle Mehrfachanmeldung bei Umfragen oder Loyalty Anbietern bis hin zur bot-basierten Umfrageteilnahme.

Was bedeutet das für die Datenqualität und das Sampling der Stichprobe?

Wir bewegen uns in einem immer komplexeren Marktumfeld, in dem Stichproben für Marktforschungszwecke bereitgestellt werden. In zahlreichen wichtigen Aspekten gibt es wesentliche Unterschiede zwischen den Ansätzen, z.B. bei den Rekrutierungsverfahren, bei der Kontaktaufnahme mit potenziellen Befragungsteilnehmern, die nur noch in geringem Anteil per E-Mail stattfindet, bis hin zur Allokation des Befragungsteilnehmers zur passenden Umfrage.

Umfragen stehen in Konkurrenz zu anderen, sehr attraktiven Online-Erlebnissen. Um ein möglichst hohes Involvement und Engagement zu erreichen, müssen Umfragen nicht nur ansprechender werden, sondern den Teilnehmern mehr Kontrolle und Wahlmöglichkeiten bieten. Die Verbindung zwischen Teilnehmererlebnis und Datenqualität ist seit Langem bekannt, wird aber umso kritischer, je weniger Zeit für Umfragen zur Verfügung steht.

Stattdessen wird die Qualität der Teilnahme an Umfragen häufig reduziert auf die Kontrolle der Aufmerksamkeit der Befragten durch Kontrollfragen, und diese binär bewertet. Die Aufmerksamkeit von Befragten ist wie im realen Leben aber kein lineares Konstrukt, sondern starken Schwankungen unterworfen. Und akribische Erwartung an die Genauigkeit nach dem Motto „Suche den Fehler“ führt unweigerlich dazu, dass relevante Stimmen ungehört bleiben, weil nur überdurchschnittlich aufmerksame Teilnehmer einer Befragung als qualitativ hochwertige Interviews gezählt werden. Die dadurch entstehende Verzerrung kann durchaus zu Fehlentscheidungen führen. Restriktive Qualitätskontrollen müssen daher gegen Reichweite und Repräsentativität abgewogen werden. Fragen, die die Aufmerksamkeit der Antwortenden prüfen, sollten daher niemals alleinstehend zur Qualitätsbeurteilung herangezogen werden, sondern sollten immer in Kombination mit anderen Faktoren auftreten.

Betrügerische Teilnahmen an Umfragen

„Echte“ Betrugsfälle in einer Online-Stichprobe lassen sich durch neue technologische Möglichkeiten immer besser addressieren – stehen aber auch vor der Herausforderung, dass „die Gegenseite“ ebenfalls immer raffiniertere Methoden anwendet.

Bei Face-to-Face- und Telefoninterviews gilt es zu verhindern, dass Interviewer Daten verfälschen oder fingieren. Anders beim Online-Sampling: Hier rücken falsche Angaben durch Teilnehmer ins Zentrum der Betrugsbekämpfung.  Das Motiv ist fast immer die Prämie: Es wird getrickst, um an möglichst vielen Panels und Umfragen teilzunehmen – und entsprechend viel Geld zu verdienen.

Neben herkömmlichen Methoden werden dabei auch vermehrt Machine-Learning-Verfahren für eine effiziente wie wirksame Qualitätskontrolle eingesetzt. Hierbei kommen auch externe Partner zum Einsatz, um bei der Rekrutierung, sowie innerhalb des „Lifecycle“ des Panelisten mit geeigneten Technologien, Tools und Metriken die Datenqualität hoch zu halten.

Unsere Strategie liegt darin, bei jeder einzelnen Interaktion mit einem Teilnehmer, bei jedem Touchpoint, umfassende Daten zur Prüfung der Reputation zu erheben. Zur Identitätskontrolle und Erkennung auffälliger Verhaltensmuster nutzen wir bei der Registrierung zahlreiche Datenpunkte:

Neben den technischen Parametern des digitalen Fingerabdrucks kommen dabei auch Techniken zur Verifizierung der Identität und zur Prüfung der Logik sowie Konsistenz der Antworten bei der Registrierung zum Einsatz, inklusive Prüfung des Antwortenverhaltens auch bei offenen Fragestellungen durch Ansätze basierend auf maschinellem Lernen.

Während des Lebenszyklus werden die bei der Registrierung durchgeführten Kontrollen bei der Einladung zu neuen Befragungen wiederholt, ergänzt widerum um digitales Fingerprinting und die Bestimmung der Geokoordinaten.

Während einer Umfrage analysiert der Quality Score die Performance und das Verhalten während einer Umfrage. Zur Vermeidung von Fraud werden die Links zur Umfrage sowie die Exit-Links verschlüsselt, sodass die betrügerische Teilnahme erheblich erschwert wird.

Unser gegenwärtiges Hauptaugenmerk liegt auf der Erhebung und Auswertung von Interaktionsdaten – in Echtzeit wie auch prognostischer Art – vor und während einer Umfrage. Zentrale Elemente sind Verhaltensanalysen schon beim Beitritt zu einem Panel, so auch offene Fragen zur Vorabvalidierung, und der neu entwickelte Ansatz Imperium Quality Score, der während einer Umfrage Aspekte wie den Umgang mit offenen Fragen, Speeding und Straightlining analysiert und für jeden einzelnen Teilnehmer einen Engagement-Score in Echtzeit generiert.

Je mehr Daten uns vorliegen, desto besser lassen sich Engagement und Qualität auf Basis dieser Maßnahmen prognostizieren und desto effektiver können wir die Qualität der Teilnahmen beobachten sowie auch gegen Betrug vorgehen.

Optimale Teilnehmererlebnisse

Datenqualität und attraktive, dynamische Teilnehmererlebnisse gehen Hand in Hand. Dies beginnt bei der Rekrutierung – mit dem richtigen Kommunikationsstil, um Interessenten zu überzeugen und langfristig zu motivieren. Alle teilnehmerseitigen Screens wurden von erfahrenen Webdesignern neu durchdacht und dabei panel- und ortsspezifisch angepasst.

Videos erläutern, was während einer Umfrage geschieht und zur laufenden Unterstützung stehen Chatbots bereit. Wir bieten humorvolle Meilensteine und wichtige Beiträge der Teilnehmer werden gebührend herausgestellt.

Umfrageteilnehmer erwarten in zunehmendem Maß Transparenz und Kontrolle – wie wir alle in unseren Beziehungen zu Marken. Zur Steigerung der Datenqualität müssen wir ihnen unsere Erwartungen klar und umfassend erläutern. Wichtig sind auch Handlungsspielräume in Form verschiedener Optionen bei jeder einzelnen Interaktion.

So wie wir in Apps für Mitfahrgelegenheiten den Fahrzeugtyp, die Wartezeit und die Fahrerbewertung vorgeben können, sollten auch Umfrageteilnehmer in der Lage sein, ihre Daten auf eine ihnen angenehme Weise und in der ihnen verfügbaren Zeit zu teilen. Doch können allzu viele Optionen nicht die Daten selber beeinträchtigen? In diesem Bereich stellt Dynata derzeit wichtige Experimente an. Wir sind überzeugt: Indem wir die Erwartungen der Dateneinkäufer einerseits, der teilnehmenden Verbraucher andererseits in Einklang bringen, können wir ein wahrhaft solides und zukunftsfähiges Modell für Teilnehmerengagement und Datenqualität schaffen.

Zielkonflikte – was ist „gut genug“?

Diese Frage gewinnt an Bedeutung, da strenge Qualitätskontrollen potenzielle Teilnehmer abschrecken können. So werden personenbezogene Daten zum Identitätsnachweis nur noch sehr zögerlich angegeben. Vor diesem Hintergrund könnten allgemeine Studien, die vorwiegend auf Reichweite und Repräsentativität abzielen, durchaus mit weniger Kontrollen auskommen. Wichtiger sind hier unkomplizierte, reibungslose Teilnehmererlebnisse durch kurze und prägnate Frageformulierungen und kurze Interviewdauern. Bei B2B-Zielgruppen mit geringer Inzidenz bleiben Kontrollen hingegen angebracht. Nur so lässt sich gewährleisten, dass das spezifische Fachwissen, um das es geht, tatsächlich vorhanden ist.

Qualitätssicherung – gewusst wie

Diskussionen über Datenqualität kreisen meist um Betrug. Dabei können unzureichende Screener oder Fragebögen eine weitaus größere Bedrohung darstellen. Wirklich jeder Teilnehmer einer Stichprobe kann minderwertige Daten liefern, sofern das Screening die Zielgruppe nicht korrekt eingrenzt oder die Umfrage unklar formuliert ist. Die Steigerung der Qualität umfasst zahlreiche Aspekte:

1. Sample-Rekrutierung speziell im Hinblick auf die Repräsentativität der Zielgruppe
2. Betrugsverhinderung an allen Touchpoints durch maschinelles Lernen und künstliche Intelligenz
3. Attraktive Teilnehmerlebnisse schon bei der Rekrutierung, aber auch in der Umsetzung der Befragungen
4. Angemessene Entschädigung des Zeitaufwands
5. Präzise Screeningfragen
6. Eine unkomplizierte, mit Mobilgeräten kompatible Umfrage, die Spaß macht und nicht zu langwierig ist

Fazit

Die Gestaltung der Umfrage und des Screenings, die Sample-Quelle, der Stichprobenplan und nicht zuletzt das Teilnehmererlebnis sind ebenso wichtig wie die Verhinderung von Betrug, wenn es um verlässliche Daten für Ihre Marktforschungsziele geht.

In der heutigen Marktforschung können sich Zielkonflikte zwischen Qualität und Reichweite ergeben. Allzu strikte Qualitätskontrollen laufen Gefahr, durchaus valide Antworten von Teilnehmern auszuschliessen und damit die Aussagekraft der Ergebnisse zu beeinträchtigen. Gerade bei Studien, die sich an die Gesamtbevölkerung richten, ist der Einfluss des Umfragedesigns – (die Usability, die Dauer der Befragung und vor allem die Verständlichkeit des Fragebogens über alle Altersgruppen und Bildungsgrade hinweg) deutlich wichtiger als bei Fokussierung auf spitze Zielgruppen, die sich auch viel intensiver mit den Inhalten befassen als es der gemeine Konsument tut.

Die Qualitätssicherung beim Sampling, ein komplexes Anliegen, unterliegt seit einigen Jahren drastischen Veränderungen. Dynatas Ziel ist klar: Wir möchten Marktforschern alle nötigen Informationen an die Hand geben, um im Hinblick auf Datenqualität bessere und bewusstere Entscheidungen zu treffen.

Täglicher Newsletter der Insightsbranche

News +++ Jobs +++ Whitepaper +++ Webinare

Newsletter abonnieren

Wir beliefern täglich mehr als 9.000 Abonnenten

Datenschutz

/jj