CONSULTING.de
PERSONALintern.de
Digitale Transformation Digitale Transformation und Kundenerlebnis: Ein Blick auf verschiedene Branchen
veröffentlicht am
- marktforschung.de
- Marktforschung
- „KIs wie ChatGPT stellen eine Herausforderung für die Qualität von Marktforschungsdaten dar“
Oliver Frangakos, Dynata „KIs wie ChatGPT stellen eine Herausforderung für die Qualität von Marktforschungsdaten dar“
veröffentlicht am
// jj
Warum stellen KIs wie ChatGPT eine Herausforderung für die Qualität von Marktforschungsdaten dar?
Oliver Frangakos: KIs wie ChatGPT stellen eine Herausforderung für die Qualität von Marktforschungsdaten dar, da sie natürliche Sprache verstehen und produzieren können. Wenn wir diese KIs in Marktforschungsstudien einsetzen, können sie möglicherweise die Art und Weise beeinflussen, wie Menschen auf Fragen antworten oder ihre Meinung ausdrücken. Aufgrund der Fähigkeit von KIs, Sprache in verschiedenen Kontexten zu verstehen und zu interpretieren, besteht auch die Gefahr von Verzerrungen oder Fehlern in den Ergebnissen. Darüber hinaus können KIs, wenn sie nicht sorgfältig trainiert oder kalibriert werden, unerwartete oder unerwünschte Ergebnisse liefern, die sich auf die Qualität der Marktforschungsdaten auswirken können. Aus diesem Grund ist es wichtig, bei der Verwendung von KIs in der Marktforschung sicherzustellen, dass sie sorgfältig integriert und validiert werden, um sicherzustellen, dass die Ergebnisse genau und zuverlässig sind.
Ist die Datenqualität nicht schon immer mehr oder weniger ein Problem in der Branche? Oder würden Sie sagen, dass wir vor KIs ein Rezept für gute Datenqualität hatten?
Oliver Frangakos: Die Datenqualität war und ist natürlich von zentraler Bedeutung für die Marktforschungsbranche. Und es gab schon immer Herausforderungen bei der Gewinnung von qualitativ hochwertigen Daten. Die Stichprobenziehung, die Fragebogenformulierung, Interviewereffekte, Selbstselektion und so weiter können die Ergebnisse beeinflussen. Auch das Phänomen der Incentivejäger hat sich durch Bots und Clickfarmen massiv verschärft. Qualitätsmaßnahmen müssen daher über den gesamten Prozess hinweg erfolgen, von der Auswahl der Rekrutierungsquellen bis hin zur individuellen Befragungsteilnahme.
Dies sind Herausforderungen für die gesamte Industrie - so haben wir beispielsweise bereits zu Beginn letzten Jahres das Problem der sogenannten Ghost Completes oder Jumper (d. h. betrügerische Teilnehmende, die sich Zugriff zu einer Studie verschaffen und ohne ein Interview abzuschliessen als vermeintliche Completes auftauchen) in Partnerschaft mit verschiedenen nationalen und internationalen Anbietern von Programmierlösungen addressiert. Diese Maßnahmen erfordern eine übergreifende Kooperation aller am Prozess Beteiligten: unserer Kunden, der Softwareanbieter und Paneldienstleister. Dass dies erfolgreich gelingt, zeigt auch wie ernst die Herausforderungen von allen Marktteilnehmern genommen werden, um gemeinsam den berechtigten, hohen Qualitätsansprüchen im Markt gerecht zu werden.
KIs haben auf der einen Seite das Potenzial, diese Herausforderungen zu verschärfen.
Da KIs menschliche Sprache verstehen und interpretieren können, lassen sie sich für eine betrügerische Teilnahme missbrauchen und können dadurch Verzerrungen oder Fehler in den Ergebnissen verursachen.
Auf der anderen Seite können KIs auch dazu beitragen, Datenqualitätsprobleme zu identifizieren, indem sie beispielsweise die Art und Weise, wie Daten gesammelt und analysiert werden, optimieren. Wenn KIs beispielsweise dazu verwendet werden, die Qualität von Daten zu überwachen und die Stichprobe zu optimieren, wie im Beispiel unseres Webinars, können sie dazu beitragen, die Datenqualität zu erhöhen.
Sehen Sie sich jetzt die kostenlose Aufzeichnung des Webinars an!
Insgesamt ist die Datenqualität ein fortlaufendes Thema in der Branche, und KIs haben das Potenzial, sowohl zur Lösung als auch zur Verschärfung von Datenqualitätsproblemen beizutragen.
Mehr zum Thema
Es gibt so manchen, der vor der Benutzung von ChatGPT warnt, weil die KI zum Beispiel noch so neu ist. Wie stehen Sie dazu?
Oliver Frangakos: Nicht nur in der Marktforschung sondern auch gesellschaftlich wird die rasante Entwicklung von KI Technologien sicherlich auch große Herausforderungen mit sich bringen, ähnlich wie bereits die Verbreitung und Nutzung von Social-Media-Plattformen. Aber um bei unserer Branche zu bleiben – die Auseinandersetzung mit Chancen und Risiken künstlicher Intelligenz beim Einsatz in der Marktforschung halte ich für elementar. Nicht nur in der Qualitätsprüfung wird der Einsatz von KI Technologien neue Möglichkeiten für die Marktforschung eröffnen.
Sie sprechen in Ihrer Eventbeschreibung davon, Datenqualität neu zu erfinden. Was meinen Sie damit?
Oliver Frangakos: Diese Frage, ob wir die Datenqualität „neu erfinden“ müssen, haben wir natürlich bewußt etwas provokativ in den Raum geworfen – was genau gemeint ist, lässt sich am besten in der Aufzeichnung des Webinars nachvollziehen.
Sehen Sie sich jetzt die kostenlose Aufzeichnung des Webinars an!
Warum machen so viele Umfragen den Teilnehmenden so wenig Spaß? Fängt da nicht das eigentliche Problem an, dass Fragebögen zu langatmig sind?
Oliver Frangakos: Erstmal möchte ich hier eine Lanze brechen für die Branche und unsere Kunden, die in den letzten Jahren das Design und die Mobilfähigkeit der Umfragen enorm verbessert haben. Klar, nicht jedes Umfragedesign lässt sich mobil adaptiv umsetzen – und manche methodischen Ansätzen sind zumindest noch nicht so zukunftsfest, um zum Beispiel eine rein mobile Teilnahme zu ermöglichen.
Aber grundsätzlich gibt es mehrere Gründe, warum Umfragen den Teilnehmenden wenig Spaß machen.
Einer der Hauptgründe ist, dass viele Fragebögen zu langatmig und zeitaufwändig sind, was dazu führt, dass Teilnehmende das Interesse verlieren und die Umfrage nicht zu Ende führen, oder im Verlauf der Befragung sich die Antwortqualität vermindert.
Ein weiterer Grund kann darin liegen, dass Fragen zum Beispiel unklar oder mehrdeutig gestellt sind, was zu Verwirrung und Frustration bei den Teilnehmenden führen kann. Außerdem können die Fragen voreingenommen oder suggestiv sein, was zu unzuverlässigen und verzerrten Ergebnissen führen kann.
Auch das Design der Umfrage kann einen großen Einfluss darauf haben, wieviel Spaß die Teilnehmenden bei der Teilnahme empfinden. Wenn das Layout und die Formatierung der Umfrage unübersichtlich und unattraktiv sind, kann es schwieriger sein, die Teilnehmenden zu motivieren, an der Umfrage teilzunehmen. Umfragen sollten kurz, präzise und klar gestaltet sein, um den Teilnehmenden ein angenehmes und positives Erlebnis zu bieten. Es ist auch wichtig, die Teilnehmenden über den Zweck und die Ziele der Umfrage zu informieren und ihnen zu zeigen, dass ihre Meinung geschätzt und für sinnvolle Zwecke verwendet wird. Letztendlich müssen Umfragen so gestaltet werden, dass sie für Teilnehmenden attraktiv und ansprechend sind, damit die Teilnehmenden motiviert bleiben und fundierte Antworten geben können.
Wie haben Sie es bislang geschafft, dass Kunden in Ihre Daten und die daraus gewonnenen Erkenntnisse vertraut haben? Was müssten Sie daran zukünftig ändern?
Oliver Frangakos:
Betrügerische Teilnahmen sind ein Problem, dass sich nicht nur in der Marktforschungsbranche auswirkt – ähnliche Herausforderungen existieren beispielsweise in der Online-Videogame-Branche oder auch der Onlinewerbung.
Das heißt, es handelt sich in der digitalen Welt um ein verbreitetes Phänomen, von dem auch wir nicht verschont geblieben sind. Wir investieren seit Jahren kontinuierlich in unsere Systeme zur Verhinderung von betrügerischen Teilnahmen, haben einen durchgängigen Qualitätsprüfungsprozess von der Rekrutierung bis zur Incentivierung der Teilnehmenden, der von der ersten Willkommens-Studie bis zur wiederholten Teilnahme regelmäßige Feedbackschleifen beinhaltet. Fällt uns anhand der Daten zum Beispiel eine Häufung von Qualitätsmängeln der Teilnahme auf, die sich auf einen bestimmten Rekrutierungspartner zurückführen lassen, so beenden wir die Kooperation – und auch auf individueller Ebene der Teilnehmenden wird projektübergreifend die Teilnahmequalität nachverfolgt. Wer zu oft auffällig wird, kann dann nicht mehr an weiteren Studien teilnehmen.
Hierbei unterstützt uns der beschriebene und von uns entwickelte Machine Learning basierte Ansatz QualityScore. Er ermöglicht eine systematische, konsistente Vorgehensweise, die projektspezifische Aspekte berücksichtigt und gleichzeitig die Datenqualität projektübergreifend kontinuierlich prüft und verbessert.
Die Basis, warum uns Kunden in der Vergangenheit und – wie ich hoffe – auch zukünftig bei auftretenden Qualitätsproblemen vertrauen, ist unsere Transparenz – sobald sich Auffälligkeiten zeigen, die auf Qualitätsmängel in einer Studie hinweisen, beginnen wir sofort mit einer umfassenden Analyse: über welche Rekrutierungskanäle haben wir diese auffälligen Interviews rekrutiert? Handelt es sich um einzelne Teilnehmenden, die einfach nur unaufmerksam waren, oder sind über mehrere Interviews hinweg Muster erkennbar, die auf eine betrügerische Absicht hinweisen? Gleichzeitig werden wir natürlich entsprechend auffällige Interviews ersetzen, und den Kunden umfassend informieren beziehungsweise bei fraglichen Fällen auch in die Entscheidung einbinden, ob ein Interview aus dem Datensatz entfernt werden sollte. Eine Analyse der Fehlerquellen umfasst dabei auch immer eine Überprüfung des Fragebogens und Fragebogenscreeners. Etwaige Unschärfen bei der Formulierung von Screenerfragen, gerade wenn es um spitze Zielgruppen geht, kann dazu führen, dass ungewollt die falsche Zielgruppe befragt wird – hier unterstützen wir unsere Kunden aber auch bereits vor dem Feldstart, um möglichst schon im Vorfeld fragebogeninduzierte Fehlerquellen zu vermeiden.
Wer sollte die Aufzeichnung Ihres Webinars nicht verpassen?
Oliver Frangakos: Die Datenqualität ist oftmals aus Nutzersicht eine Blackbox in der Marktforschung. Wir geben in dem Webinar einen Einblick in die Möglichkeiten KI-basierter Qualitätsprüfung und wie wir vorgehen, um qualitativ gute Interviews, sowie unaufmerksame und betrügerische Teilnehmende zu identifizieren und diese Erkenntnisse projektübergreifend für die fortlaufende Verbesserung der Panelqualität zu nutzen. Sofern Sie unser Webinar verpasst haben, bekommen Sie hier einen Einblick in die Herausforderungen und Lösungen für die Sicherstellung einer hohen Datenqualität.
Sehen Sie sich jetzt die kostenlose Aufzeichnung des Webinars an!
Über die Person
Oliver Frangakos, Country Manager bei Dynata, ist seit 20 Jahren in der Online-Marktforschung tätig. Er leitet das Dynata-Team in der Region und berät Kunden in Deutschland, Österreich, Schweiz und Osteuropa. Schwerpunkte sind internationale Konsumentenforschung, B2B-Zielgruppen, Health Care Professionals sowie digitale Messmethoden wie AdTracking und Metering.
Kommentare (0)
Noch keine Kommentare zu diesem Artikel. Machen Sie gerne den Anfang!
Um unsere Kommentarfunktion nutzen zu können müssen Sie sich anmelden.
Anmelden