Robin Spicer, Operations & Site Director, Bilendi Qualitätssicherung in Online-Access-Panels

© Robin Spicer, Bilendi

Leider war im Newsletter vom 6. Februar 2019 ein falscher Link.

Lesen Sie hier den Beitrag:

Ist es möglich, Gemüse zu Rockstars zu machen?  

Artikel Marktforschung

Mit Kritik an der Methode Online-Befragung im weiteren Sinne und an Online-Panels im Speziellen wurde nicht gespart. Dies ist bis dato durchaus ein Glücksfall für die Panelbranche gewesen, da berechtigte Kritik bei vielen Anbietern zu einer systematischen Umsetzung von Qualitätsstandards führte.

Eines möchte ich vorwegschicken, das für jedermann in jeder Branche relevant ist: Qualitätsprüfungen und die daraus resultierende Qualität sind eine "never-ending Story". Das mag auf den ersten Blick negativ klingen. Doch wir leben in einer Zeit, die stark von technologischen Innovationen geprägt ist. Dynamik und Weiterentwicklung sind allgegenwärtig.  Als Online-Access- Panel Anbieter sind wir mittendrin und setzen uns tagtäglich mit den Veränderungen in der Online-Welt auseinander. Wir überwachen kontinuierlich das Verhalten unserer Panelisten hinsichtlich ihrer Interaktivität mit unseren Panels und Datenerhebungsplattformen. Unsere "never-ending Story" verlangt eine permanente Überprüfung unserer bisherigen Prozesse, als auch selbstverständlich die Anpassung an neue Vorgehensweisen. Die Philosophie hinter dem Qualitätsbewusstsein ist die ständige Evaluierung von bisher Erreichtem und die Suche nach Optimierung oder neuen Ansätzen und Lösungen. Und schon bekommt das Pflicht-Thema "Qualität in der Marktforschung" einen mehr als spannenden wie herausfordernden Aspekt und ist keinesfalls als negativ zu betrachten.

Chronologisch betrachtet fängt bei uns der Qualitätsprozess bereits bei der Rekrutierung von geeigneten Panelisten an. Generell gilt es das Spannungsfeld zwischen "alten" und "neuen" Panelisten in unseren gesamten Panels und in jeder Befragung zugunsten der Qualität immer wieder aufs Neue auszutarieren. Die Rekrutierung von Panelisten sollte von einer Vielzahl von unterschiedlichen Quellen (Display, E-Mail, Social-Networks, Native Ads, Affliliates, et cetera) stammen, um ein möglichst breites Spektrum der Online-Welt abzudecken. Diese Quellen werden laufend überprüft, sowohl aus Qualitäts- wie auch aus betriebswirtschaftlichen Gesichtspunkten. Danach – unabhängig der Quellen – greift der Double-Opt-In-Prozess. Denn ab hier gilt es, möglichst viele relevante Informationen über den neuen Teilnehmer in Erfahrung zu bringen. Selbstverständlich werden hier generische oder Sammel-E-Mail-Adressen (info@, contact@) aussortiert und blacklisted, Domäne geblockt. Und sollte die E-Mailadresse dieser ersten Überprüfung standhalten, wird im zweiten Schritt ein De-Duplizierungsprozess angestoßen, um eine einmalige Registrierung zu gewährleisten.

Ein registrierter Panelist hat dann bei uns eine eigene ID, die uns erlaubt, sein Verhalten während seines Panellebens zu beobachten und zu kontrollieren, bei Bedarf zu streichen, zu maßregeln oder bei Missachtung der Regeln auch aus dem Panel zu entfernen. Das hört sich etwas Orwellesque an, ist aber absolut zeitgemäß in unserer Online-Welt. Teilnehmer, die sich auffällig verhalten beispielweise durch "speeding", "straight-lining" oder die Verwendung von Schimpfwörtern bei offene Antworten, werden identifiziert, und Wiederholungstäter bekommen ihre Panel-Mitgliedschaft entzogen.

Ergänzend zu seinen Stammdaten kann ein Panelist (und nicht nur bei seiner ursprünglichen Anmeldung) zusätzlich weitere Information in 13 Kategorien abgeben. Diese circa 300 Fragen, sogenannte Profildaten, erlauben uns,  auch kleinere potentielle Zielgruppen auf Knopfdruck zu identifizieren und zu geeigneten Studien einzuladen. Somit verbessern wir auch für den Panelisten den Teilnahmeerfolg und optimieren so sein Panel-Erlebnis.

Die Kombination einer Double-Opt in-Anmeldung mit Stammdaten wie auch die Angabe weiterer Profildaten sehen wir als Online-Access-Panel-Anbieter als eine der wesentlichen Vorteile gegenüber einfachen E-Maillisten oder River Samplings. Denn wir wissen wirklich, wer an unseren Befragungen teilnimmt und sind dadurch in der Lage, zielgerichtet einzuladen und Teilnehmer für mehrstufige Projekt Designs (IHUT oder Diaries) definieren zu können. Dadurch können im Umkehrschluss bei Trackingstudien auch Teilnehmer aus einer früheren Welle ausgeschlossen werden.

Auf der Makro-Ebene messen wir eine ganze Reihe von Indikatoren, um kontinuierlich die Qualität des Panels zu beurteilen und entsprechende Maßnahmen einzuleiten. Ganz wichtig ist die Aktivitätsrate. Nur aktive Panelisten werden zu Studien eingeladen. Inaktive werden nach nicht erfolgreichen Reaktivierungsmaßnahmen aus dem Panel entfernt.

Die Erhebung selbst ist die nächste Station auf der Qualitätsreise, denn es gilt: Keine Qualität für unsere Kunden ohne Qualität für unsere Teilnehmer. Auch diese Seite gilt es permanent zu optimieren, um das beste Befragungserlebnis für unsere Teilnehmer zu gewährleisten. In der Einladung werden die ausgewählten Teilnehmer über die Dauer der Befragung und die Höhe des Incentives informiert. Dazu gehört auch, dass Teilnehmer für ihren Beitrag entsprechend honoriert werden. Auch der technische Ablauf muss getestet werden, damit keine unnötigen Barrieren entstehen. Die Befragung selbst - das Herzstück - wird auf ihre Dauer und Inhalte getestet. "Mobile first" ist ein relevantes Schlagwort, das man häufig in der Branche hört. Aber nicht alle Befragungen sind aufgrund der Dauer als auch der verwendeten Fragetypen mobil-fähig. Hier gilt es klar zu trennen und dafür zu sorgen, dass bereits in der Einladung und innerhalb unserer Systeme auf die Verwendung eines Mobile Device hingewiesen wird oder mit einem kompatiblen Gerät (Laptop/PC) ebenfalls die Befragung durchgeführt werden kann. Darüber hinaus stellen wir sicher, dass weder Gesetze noch Standesregeln gebrochen werden, denn wir haben eine Verpflichtung gegenüber unseren Teilnehmern, Kunden als auch der Branche.

Bei einem Online-Access-Panel ist die Stichprobe, die uns zur Verfügung steht, wesentlicher Faktor für den Erfolg einer Studie. Bereits bei der Anfrage wird das verfügbare Sample identifiziert. Hierbei werden alle relevanten Merkmale, wie Zielgruppenmerkmale, Inzidenzraten, Quoten, Feldzeiten et cetera, als auch die gewünschte Samplegröße über unser eigenes Tool abgefragt. Das Ergebnis berücksichtigt die Teilnahmeraten auf Individualebene. Diese Teilnahmeraten werden täglich aktualisiert. Genau dieses Tool wird auch bei der Beauftragung verwendet, damit der Project Manager seinem Sample entsprechend einladen kann.

Ein weiterer wichtiger Baustein im Qualitätsmanagement ist die Programmierung der Fragebögen, mit der wir während des Datenerhebungsprozesses unser definiertes Qualitätsniveau gewährleisten. Programmierte Fragebögen können mit einer ganzen Reihe von Techniken ausgestattet werden, um die Qualität während des Befragungsvorgangs zu testen und gegebenenfalls die Interviews automatisch zu beenden beziehungsweise als eventuell problematisch festzuhalten und damit die Post-Erhebungsphase effizient anzulegen. Qualitätsprüfungen an dieser Stelle bestehen typischerweise aus dem Identifizieren von Mehrfachteilnahmen (zum Beispiel wenn ein Partner-Panel eingebunden wird), "Speedern" (Teilnehmer, die entweder den gesamten Fragebogen oder Teilbereiche zu schnell beantworten) oder "Straight-linern" (Teilnehmer, die ein monotones Antworterhalten besitzen) oder "Happy-clicker" (Teilnehmer, die ein inkonsistentes Antwortverhalten aufweisen). Dies sind allesamt Indikatoren für Qualitätsmängel, wobei Fehler wie ein "Verklicken" berücksichtigt werden. Hier gilt es mit erfahrenem Blick und Expertise qualitativ hochwertige Datensätze zu liefern, um die Entscheidungsgrundlagen für unsere Kunden in bestmöglicher Qualität zu generieren. Zusätzliche automatische Kontrollen können unter anderem das Identifizieren von unerwünschten Texten zum Beispiel Schimpfwörter bei offenen Antworten sein. Eine solche Kontrolle wird aktuell durch Mensch und Maschine durchgeführt, die Maschine identifiziert solche Texte und unsere lokalen Project Management-Teams treffen die finale Entscheidung. Noch kann der Mensch am besten entscheiden, ob beispielsweise das Schimpfwort lediglich benutzt wird, um eine Ausdrucksweise zu stärken.

Ebenfalls sehr "menschlich" ist immer noch unser Panel-Management. Wir verstehen es als eine übergreifende Aufgabe, die sich primär aus der Kommunikation mit unseren Teilnehmern und dem Kümmern um deren Anliegen zusammensetzt. Denn hier liegt im positiven Sinne das Frühwarnsystem für unser Panel – auf Projektebene, als auch ganz grundsätzlich. Unsere Panel-Management-Teams kümmern sich gemeinsam mit unseren Projekt-Management-Teams um unsere Ausschlussdatenbanken. Hier werden auffällige Teilnehmer gesammelt, beobachtet und – je nach Schwere des Vergehens –  auch von weiteren Teilnahmen ausgeschlossen. Wie bei unseren Projekt-Management-Teams haben wir lokale Muttersprachler im Einsatz für jede einzelne Sprache unserer Panels. Neben dem geplanten, regelmäßigen Austausch können sich die Panelisten über unterschiedliche Kanäle auch direkt an uns wenden.

Wir sind davon überzeugt, dass die Kombination von eigens entwickelter Software mit lokalen Ansprechpartnern, ob im Vertrieb, Recruitment, Projekt oder auch Panel-Management der Schlüssel zu einem erfolgreichen Qualitätsmanagement ist. Und dabei ist unsere "never-ending Story" ein stetiger Zyklus aus Überprüfungen, Hinterfragen und Anpassungen, um unser Angebot immer zu verbessern. Die "Akte Marktforschung" hat damit ein Gutes: Die Branche diskutiert über die Unabdingbarkeit von Qualität in der Datenerhebung – zu gerne wurde und wird hier die Preisschraube angesetzt. Denn eines ist doch offensichtlich: Wer hier spart, startet auf einem niedrigeren Qualitätslevel, akzeptiert stillschweigend Mängel und Fehler, die sich durch das gesamte Projekt durchziehen und letztendlich als Basis für strategische Entscheidungen herangezogen werden.

Der Autor:

Robin Spicer ist Operations and Site Director in Berlin und seit März 2016 im Unternehmen. Er ist sowohl für die Projekte in der DACH-Region verantwortlich als auch für die Leitung der Niederlassung in Berlin. Zusammen mit Andreas Knappstein leitet er das deutsche Geschäft. Robin Spicer ist seit fast 20 Jahren in der Marktforschung tätig, als Director Data Technologies bei Icon Added Value sowie zuletzt als Technical Director (CTO) der Conoscenti GmbH.