Qualität von Online-Samples – die neue Dynamik

Peter Müller-Lessmann, Director, Panel Solutions and Allocation Dynata

Die Digitalisierung von immer mehr Lebensbereichen führt auch zu einem komplexeren Marktumfeld für die Umfrageforschung. Dynata, die globale Plattform für digitale Insights, nimmt die Sampling-Landschaft sowie die mit der veränderten Marktdynamik einhergehenden Herausforderungen in diesem Artikel genauer unter die Lupe.

Frau am Laptop (Bild: iStock) | marktforschung.de
Die Nachfrage nach Marktforschungsdaten übersteigt die Zeit, die Konsumten und Konsumentinnen für Online-Umfragen aufbringen können bzw. wollen, deutlich. (Bild: iStock)

Seit Jahren bemüht sich die Insights-Branche, einen schier unersättlichen Appetit auf Daten zu stillen. Gleichzeitig hat sich die Bereitschaft der Konsumenten zur Bereitstellung von Daten nach zwei Jahrzehnten der Personalisierung und Digitalisierung von Waren und Dienstleistungen deutlich gewandelt. Diese Entwicklung stellt auch die Online-Datenerhebungsansätze vor neue Herausforderungen.

Gleichzeitig sind neue Technologien entstanden, mit denen sich Daten effektiver erheben lassen. Diese verschiedenen Faktoren, die auch den Handel mit Onlinestichproben verändern und beispielsweise einen DIY Ansatz erst möglich gemacht haben, bleiben jedoch meist im Hintergrund verborgen. Dynata ist angetreten, die aktuelle Sampling-Landschaft zu beleuchten, um damit bessere und bewusstere Entscheidungen beim Einkauf von Online Samples zu ermöglichen.

Um die wesentlichen Herausforderungen dieser sich verändernden Marktdynamik näher zu beleuchten ein kurzer Überblick der Einflussfaktoren:

  • Die Nachfrage nach Marktforschungsdaten steht in keinem Verhältnis zu der Zeit, die Verbraucher in Umfragen investieren können. Beschleunigt durch die Pandemie, konkurriert die Teilnahme an einer Online-Umfrage mit zahllosen weiteren Online-Aktivitäten, um die Aufmerksamkeit des Konsumenten.
  • Die Verbraucher haben sich an den Trade-Off gewöhnt, persönliche Daten zu „veräußern“ für den Erhalt von personalisierten Dienstleistungen. Gleichzeitig hat sich damit auch ein Bewusstsein für den Wert der eigenen Daten entwickelt. Datenschutzbedenken spielen gerade trotz der grundsätzlich vorhandenen Bereitschaft zur Weitergabe von Daten eine viel höhere Rolle. Konsumenten sind im Laufe der Zeit deutlich sensibler geworden und agieren selektiv, wenn es um die Weitergabe Ihrer Daten geht.
  • Mit der zunehmenden Digitalisierung nehmen auch Betrugsversuche im Einzelhandel, bei Loyalty-Programmen und auch in der Marktforschung zu. Imperium, einer der führenden Lösungsanbieter für Datenqualität, hat im vergangenen Jahr 2020 einen Anstieg von Betrugsversuchen um 200 Prozent festgestellt. Dies umfasst z.B. die potenzielle Mehrfachanmeldung bei Umfragen oder Loyalty Anbietern bis hin zur bot-basierten Umfrageteilnahme.

Was bedeutet das für die Datenqualität und das Sampling der Stichprobe?

Wir bewegen uns in einem immer komplexeren Marktumfeld, in dem Stichproben für Marktforschungszwecke bereitgestellt werden. In zahlreichen wichtigen Aspekten gibt es wesentliche Unterschiede zwischen den Ansätzen, z.B. bei den Rekrutierungsverfahren, bei der Kontaktaufnahme mit potenziellen Befragungsteilnehmern, die nur noch in geringem Anteil per E-Mail stattfindet, bis hin zur Allokation des Befragungsteilnehmers zur passenden Umfrage.

Umfragen stehen in Konkurrenz zu anderen, sehr attraktiven Online-Erlebnissen. Um ein möglichst hohes Involvement und Engagement zu erreichen, müssen Umfragen nicht nur ansprechender werden, sondern den Teilnehmern mehr Kontrolle und Wahlmöglichkeiten bieten. Die Verbindung zwischen Teilnehmererlebnis und Datenqualität ist seit Langem bekannt, wird aber umso kritischer, je weniger Zeit für Umfragen zur Verfügung steht.

Stattdessen wird die Qualität der Teilnahme an Umfragen häufig reduziert auf die Kontrolle der Aufmerksamkeit der Befragten durch Kontrollfragen, und diese binär bewertet. Die Aufmerksamkeit von Befragten ist wie im realen Leben aber kein lineares Konstrukt, sondern starken Schwankungen unterworfen. Und akribische Erwartung an die Genauigkeit nach dem Motto „Suche den Fehler“ führt unweigerlich dazu, dass relevante Stimmen ungehört bleiben, weil nur überdurchschnittlich aufmerksame Teilnehmer einer Befragung als qualitativ hochwertige Interviews gezählt werden. Die dadurch entstehende Verzerrung kann durchaus zu Fehlentscheidungen führen. Restriktive Qualitätskontrollen müssen daher gegen Reichweite und Repräsentativität abgewogen werden. Fragen, die die Aufmerksamkeit der Antwortenden prüfen, sollten daher niemals alleinstehend zur Qualitätsbeurteilung herangezogen werden, sondern sollten immer in Kombination mit anderen Faktoren auftreten.

Betrügerische Teilnahmen an Umfragen

„Echte“ Betrugsfälle in einer Online-Stichprobe lassen sich durch neue technologische Möglichkeiten immer besser addressieren – stehen aber auch vor der Herausforderung, dass „die Gegenseite“ ebenfalls immer raffiniertere Methoden anwendet.

Bei Face-to-Face- und Telefoninterviews gilt es zu verhindern, dass Interviewer Daten verfälschen oder fingieren. Anders beim Online-Sampling: Hier rücken falsche Angaben durch Teilnehmer ins Zentrum der Betrugsbekämpfung.  Das Motiv ist fast immer die Prämie: Es wird getrickst, um an möglichst vielen Panels und Umfragen teilzunehmen – und entsprechend viel Geld zu verdienen.

Neben herkömmlichen Methoden werden dabei auch vermehrt Machine-Learning-Verfahren für eine effiziente wie wirksame Qualitätskontrolle eingesetzt. Hierbei kommen auch externe Partner zum Einsatz, um bei der Rekrutierung, sowie innerhalb des „Lifecycle“ des Panelisten mit geeigneten Technologien, Tools und Metriken die Datenqualität hoch zu halten.

Unsere Strategie liegt darin, bei jeder einzelnen Interaktion mit einem Teilnehmer, bei jedem Touchpoint, umfassende Daten zur Prüfung der Reputation zu erheben. Zur Identitätskontrolle und Erkennung auffälliger Verhaltensmuster nutzen wir bei der Registrierung zahlreiche Datenpunkte:

Neben den technischen Parametern des digitalen Fingerabdrucks kommen dabei auch Techniken zur Verifizierung der Identität und zur Prüfung der Logik sowie Konsistenz der Antworten bei der Registrierung zum Einsatz, inklusive Prüfung des Antwortenverhaltens auch bei offenen Fragestellungen durch Ansätze basierend auf maschinellem Lernen.

Während des Lebenszyklus werden die bei der Registrierung durchgeführten Kontrollen bei der Einladung zu neuen Befragungen wiederholt, ergänzt widerum um digitales Fingerprinting und die Bestimmung der Geokoordinaten.

Während einer Umfrage analysiert der Quality Score die Performance und das Verhalten während einer Umfrage. Zur Vermeidung von Fraud werden die Links zur Umfrage sowie die Exit-Links verschlüsselt, sodass die betrügerische Teilnahme erheblich erschwert wird.

Unser gegenwärtiges Hauptaugenmerk liegt auf der Erhebung und Auswertung von Interaktionsdaten – in Echtzeit wie auch prognostischer Art – vor und während einer Umfrage. Zentrale Elemente sind Verhaltensanalysen schon beim Beitritt zu einem Panel, so auch offene Fragen zur Vorabvalidierung, und der neu entwickelte Ansatz Imperium Quality Score, der während einer Umfrage Aspekte wie den Umgang mit offenen Fragen, Speeding und Straightlining analysiert und für jeden einzelnen Teilnehmer einen Engagement-Score in Echtzeit generiert.

Je mehr Daten uns vorliegen, desto besser lassen sich Engagement und Qualität auf Basis dieser Maßnahmen prognostizieren und desto effektiver können wir die Qualität der Teilnahmen beobachten sowie auch gegen Betrug vorgehen.

Optimale Teilnehmererlebnisse

Datenqualität und attraktive, dynamische Teilnehmererlebnisse gehen Hand in Hand. Dies beginnt bei der Rekrutierung – mit dem richtigen Kommunikationsstil, um Interessenten zu überzeugen und langfristig zu motivieren. Alle teilnehmerseitigen Screens wurden von erfahrenen Webdesignern neu durchdacht und dabei panel- und ortsspezifisch angepasst.

Videos erläutern, was während einer Umfrage geschieht und zur laufenden Unterstützung stehen Chatbots bereit. Wir bieten humorvolle Meilensteine und wichtige Beiträge der Teilnehmer werden gebührend herausgestellt.

Umfrageteilnehmer erwarten in zunehmendem Maß Transparenz und Kontrolle – wie wir alle in unseren Beziehungen zu Marken. Zur Steigerung der Datenqualität müssen wir ihnen unsere Erwartungen klar und umfassend erläutern. Wichtig sind auch Handlungsspielräume in Form verschiedener Optionen bei jeder einzelnen Interaktion.

So wie wir in Apps für Mitfahrgelegenheiten den Fahrzeugtyp, die Wartezeit und die Fahrerbewertung vorgeben können, sollten auch Umfrageteilnehmer in der Lage sein, ihre Daten auf eine ihnen angenehme Weise und in der ihnen verfügbaren Zeit zu teilen. Doch können allzu viele Optionen nicht die Daten selber beeinträchtigen? In diesem Bereich stellt Dynata derzeit wichtige Experimente an. Wir sind überzeugt: Indem wir die Erwartungen der Dateneinkäufer einerseits, der teilnehmenden Verbraucher andererseits in Einklang bringen, können wir ein wahrhaft solides und zukunftsfähiges Modell für Teilnehmerengagement und Datenqualität schaffen.

Zielkonflikte – was ist „gut genug“?

Diese Frage gewinnt an Bedeutung, da strenge Qualitätskontrollen potenzielle Teilnehmer abschrecken können. So werden personenbezogene Daten zum Identitätsnachweis nur noch sehr zögerlich angegeben. Vor diesem Hintergrund könnten allgemeine Studien, die vorwiegend auf Reichweite und Repräsentativität abzielen, durchaus mit weniger Kontrollen auskommen. Wichtiger sind hier unkomplizierte, reibungslose Teilnehmererlebnisse durch kurze und prägnate Frageformulierungen und kurze Interviewdauern. Bei B2B-Zielgruppen mit geringer Inzidenz bleiben Kontrollen hingegen angebracht. Nur so lässt sich gewährleisten, dass das spezifische Fachwissen, um das es geht, tatsächlich vorhanden ist.

Qualitätssicherung – gewusst wie

Diskussionen über Datenqualität kreisen meist um Betrug. Dabei können unzureichende Screener oder Fragebögen eine weitaus größere Bedrohung darstellen. Wirklich jeder Teilnehmer einer Stichprobe kann minderwertige Daten liefern, sofern das Screening die Zielgruppe nicht korrekt eingrenzt oder die Umfrage unklar formuliert ist. Die Steigerung der Qualität umfasst zahlreiche Aspekte:

  1. Sample-Rekrutierung speziell im Hinblick auf die Repräsentativität der Zielgruppe
  2. Betrugsverhinderung an allen Touchpoints durch maschinelles Lernen und künstliche Intelligenz
  3. Attraktive Teilnehmerlebnisse schon bei der Rekrutierung, aber auch in der Umsetzung der Befragungen
  4. Angemessene Entschädigung des Zeitaufwands
  5. Präzise Screeningfragen
  6. Eine unkomplizierte, mit Mobilgeräten kompatible Umfrage, die Spaß macht und nicht zu langwierig ist

Fazit

Die Gestaltung der Umfrage und des Screenings, die Sample-Quelle, der Stichprobenplan und nicht zuletzt das Teilnehmererlebnis sind ebenso wichtig wie die Verhinderung von Betrug, wenn es um verlässliche Daten für Ihre Marktforschungsziele geht.

In der heutigen Marktforschung können sich Zielkonflikte zwischen Qualität und Reichweite ergeben. Allzu strikte Qualitätskontrollen laufen Gefahr, durchaus valide Antworten von Teilnehmern auszuschliessen und damit die Aussagekraft der Ergebnisse zu beeinträchtigen. Gerade bei Studien, die sich an die Gesamtbevölkerung richten, ist der Einfluss des Umfragedesigns – (die Usability, die Dauer der Befragung und vor allem die Verständlichkeit des Fragebogens über alle Altersgruppen und Bildungsgrade hinweg) deutlich wichtiger als bei Fokussierung auf spitze Zielgruppen, die sich auch viel intensiver mit den Inhalten befassen als es der gemeine Konsument tut.

Die Qualitätssicherung beim Sampling, ein komplexes Anliegen, unterliegt seit einigen Jahren drastischen Veränderungen. Dynatas Ziel ist klar: Wir möchten Marktforschern alle nötigen Informationen an die Hand geben, um im Hinblick auf Datenqualität bessere und bewusstere Entscheidungen zu treffen.

12 Schritte zur Qualitätssteigerung

  1. Bringen Sie in Erfahrung, wie Ihr Sample-Anbieter Teilnehmer rekrutiert und zu Umfragen einlädt.
  2. Prüfen Sie eventuelle Zielkonflikte (Qualität/Reichweite/Preis) mit Ihrem Anbieter.
  3. Gestalten Sie den Screener genauso sorgfältig wie die Umfrage selbst. Von schlecht ausgewählten Personen können keine nützlichen Daten kommen.
  4. Nutzen Sie verfügbare demografische und geografische Informationen. So können Sie unnötige Fragen vermeiden.
  5. Überwachen Sie Abbrecherquoten und besprechen Sie Auffälligkeiten mit dem Sample-Anbieter.
  6. Achten Sie auf Kompatibilität mit Mobilgeräten.
  7. Belassen Sie es bei 15 bis maximal 20 Minuten. Nach dieser Zeitspanne nimmt die Datenqualität spürbar ab.
  8. Testen Sie Umfragen immer auch außerhalb Ihres unmittelbaren Marktforschungsteams. Sammeln Sie Feedback und arbeiten Sie dieses ein.
  9. Überfordern Sie Ihre Teilnehmer nicht. Ansonsten kann es zu wilden Vermutungen kommen.
  10. Vermeiden Sie „Klassiker“ wie überlappende Skalen, affirmative Fragen und wortreiche Formulierungen.
  11. Weniger ist mehr: Belassen Sie es bei Fragen, die für Ihren Forschungszweck wirklich wichtig sind.
  12. Integrieren Sie Fragen zur Qualitätskontrolle.

Peter Müller-Lessmann, Dynata
Peter Müller-Lessmann arbeitet seit 12 Jahren in der Marktforschung und hat Erfahrungen in den Bereichen Projekt Management, Methodologie Management, Procurement, Product Management und strategische Planung. In seiner derzeitigen Funktion als Director, Panel Solutions and Allocation bei Dynata fungiert Herr Müller-Lessmann als Schnittstelle zwischen Vertrieb und Projekt Management auf der einen und Data Quality, Fraud Prevention, Panel Engagement und Panel Profiling auf der anderen Seite. Herr Müller-Lessmann hat schon zahlreiche strategische und cross-funktionale interne Projekte geleitet.

Der Newsletter der Consultingbranche

News +++ Jobs +++ Whitepaper +++ Webinare

/jj

Über marktforschung.de

Branchenwissen an zentraler Stelle bündeln und abrufbar machen – das ist das Hauptanliegen von marktforschung.de. Unser breites Informationsangebot rund um die Marktforschung richtet sich sowohl an Marktforschungsinstitute, Felddienstleister, Panelbetreiber und Herausgeber von Studien, Marktdaten sowie Marktanalysen als auch an deren Kunden aus Industrie, Handel und Dienstleistungsgewerbe.

facebook twitter xing linkedin