Applied Science Digitale Daten und Machine Learning vs. Surveydaten und Messtheorie

Ist neu wirklich immer besser oder sollte man auch mal auf bewährte Erhebungs- und Analyseverfahren oder gar bereits vorhandene Datensätze setzen? (Bild: picture alliance / PantherMedia | Pichet Wissawapipat)

Schafft sich die Marketing-Forschung ab? 

Wenn man heute einen Blick in die Hörsäle deutscher Hochschulen wirft und sich anschaut, was dort im Fach Marketingforschung/Markt- und Konsumentenforschung unterrichtet wird, wird man feststellen, dass fast überall ein großer Schwerpunkt auf der Erhebung, Aufbereitung und Analyse von Befragungsdaten liegt. Diese (Über-)Betonung der Umfrageforschung in der Marketingausbildung könnte die Marketingforschung möglicherweise bald obsolet machen, mutmaßen prominente Vertreter des Fachs. Es deute sich an, dass die Computerwissenschaften die Rolle der Marketingforschung bald übernehmen werden. Solche und ähnliche Aussagen, die gerne häufig auf großen Marketingkonferenzen geäußert werden, lassen die Frage aufkommen, ob die traditionelle, hypothesen- und messtheoriegesteuerte wissenschaftliche Methode in der Marktforschung eigentlich noch gebraucht wird. Zwei der renommiertesten empirischen Marketing-Wissenschaftler, Joseph F. Hair Jr. aus Alabama und Marko Sarstedt aus München, haben zu dieser Diskussion Anfang des Jahres eine im Journal of Marketing Theory and Practice erschienene Studie veröffentlicht, deren wichtigsten Punkte wir im Folgenden kurz zusammenfassen wollen.

Von der Primärdaten- zur digitalen Sekundärdatenforschung 

Ein Blick über die Grenzen der Marketing-Disziplin hinaus zeigt, dass ähnliche Diskussionen auch in anderen Fachbereichen stattgefunden haben. Die Methoden der Künstlichen Intelligenz und des maschinellen Lernens wurden dort teilweise schneller adaptiert und weiterentwickelt, wie z. B. in der Informatik, der Biologie oder der Ingenieurwissenschaft. 

Die Forschung der Marketingwissenschaftler hingegen stützt sich seit mittlerweile über 60 Jahren fast ausschließlich auf Umfragedaten. Auch in der Marketingpraxis bzw. Markt- und Konsumentenforschung finden sich ähnlich hohe Quoten der Verwendung von Surveydaten. Während moderne Survey-Plattformen wie Qualtrics, Google Survey, Mechanical Turk oder Survey Monkey schnellen Zugang zu einer Vielzahl an Panelisten bieten, hat die Forschung einige Bedenken hinsichtlich ihrer Datenqualität geäußert (Praktikerlink – Theoretikerlink).  

Auch deswegen wird sich im nächsten Jahrzehnt die Art der Daten, die in Marketing-Studien zum Einsatz kommt, verstärkt in Richtung digitaler Sekundärdaten entwickeln – d.h. Daten, die zuvor von anderen Forschern oder Devices gesammelt wurden und die sich für eine systematische Untersuchung eignen. In der Tat sind für das Marketing verwertbare digitale Daten zunehmend in verschiedenen Formen verfügbar. Beispiele sind Website-Tracking-Daten, Social-Media-Daten, Geodaten und Sensordaten sowie mittels Methoden wie Web Scraping erhobene Daten.  

Zweifellos bringen digitale Daten enorme Vorteile mit sich, ihre Nutzung ist aber auch mit erheblichen Herausforderungen für die Anwender verbunden. Diese beziehen sich auf die (1) Datenqualität, (2) ihre Eignung zur Messung unbeobachteter Phänomene und die (3) Umwandlung unstrukturierter in strukturierte Daten.

(1) Datenqualität 

Da die mit Methoden des maschinellen Lernens (ML) und der Künstlichen Intelligenz (KI) erzeugten Lösungen immer nur so gut wie die ihnen zugrunde liegenden Trainingsdaten sein können, ist die Datenqualität oftmals ein grundlegendes und ernsthaftes Problem bei ihrer Anwendung. Mangelnde Datenqualität äußert sich in verschiedenen Formen: Darunter fallen beispielsweise fehlende, unvollständige, inkonsistente, ungenaue, doppelte oder veraltete Werte.  

So enthalten z.B. Daten zu Netflix-Filmbewertungen Millionen von Dateneinträgen, die aber lückenhaft sind (Problem durch „Missing Data“), entscheidende Variablen nicht erfassen (Gefahr sog. „unbeobachtbarer Heterogenität“) und einer Stichprobenverzerrung unterliegen, da jeder Nutzer im Vergleich zu der großen Anzahl verfügbarer Filme nur ein begrenztes Budget an Aufmerksamkeit und Zeit hat (Verzerrung durch „Selbstselektion“). Ähnlich verhält es sich mit dem Empfehlungssystem eines Online-Retailers, bei dem ein Kunde in der Regel für sich selbst einkauft, gelegentlich aber auch für Dritte.  

Die Notwendigkeit, die Datenqualität genau zu überprüfen, wird noch wichtiger, wenn mehrere unterschiedliche Datenquellen für eine einzelne Analyse kombiniert und harmonisiert werden müssen – was häufig bei digitalen Daten der Fall ist. Unterschiede in der Behandlung der einzelnen Datensätze, z.B. bei der Erkennung und Beseitigung von Ausreißern, der Imputation fehlender Werte oder der Transformation wichtiger Variablen können sich negativ auf die Vorhersagegüte des Analysemodells auswirken. Das Prinzip "Garbage in – Garbage out" gilt zwar für den gesamten Bereich der Datenanalyse, scheinbar gibt es aber bei Marketingforschern, die auf Methoden des maschinellen Lernens setzen, deutlich weniger Bedenken und Diskussionen um die Qualität der Daten.

(2) Eignung zur Messung unbeobachteter Phänomene 

Digitale Daten werden häufig über Cookies, Wearables, Sensoren oder IoT-Geräte erhoben. Als solche sind diese Daten besonders gut für Tracking und Performance-Messungen geeignet. Gerade für die Vorhersage zukünftigen Konsumentenverhaltens ist die Beobachtung vergangenen Verhaltens essentiell, aber was anhand der Verwertung und Interpretation digitaler Daten oftmals nicht möglich ist, ist die Entwicklung eines umfassenden Verständnisses der psychologischen Mechanismen, die das beobachtete Verhalten auch erklären können. Um diese psychologischen Mechanismen zu verstehen, müssen Konsumentenforscher umfangreiche theoretische Konzepte erheben, die „unsichtbare“, d.h. latente Einstellungen, Wahrnehmungen oder Absichten messen. Da diese Konzepte nicht direkt beobachtbar sind, werden sie im Allgemeinen mit standardisierten Skalen gemessen, die aus einem Set von Mess-Items bestehen. Im Zusammenspiel messen diese sorgsam ausgewählten und verprobten Items indirekt die Ausprägung des relevanten Konstrukts, z.B. Brand Equity, Customer Engagement oder Unternehmensreputation  (Literaturtipp an dieser Stelle zum größten Fundus an bewährten Marketing-Skalen: Handbook of Marketing Scales).  

Messungen digitaler Daten entsprechen selten den strengen Annahmen der Messtheorie. Marktforscher können zwar eine Skala oder einen Index anhand der verfügbaren Variablen erstellen, aber von einem solchen Index kann nur selten erwartet werden, dass er eine getreue, d.h. objektive, reliable und valide Darstellung eines theoretischen Konzepts abbildet, geschweige denn die empirischen Standards der Messtheorie erfüllt. Bestenfalls kann eine solche Messung als grober Näherungswert für das zugrundeliegende Konzept betrachtet werden, weswegen die darauf basierenden Analyseergebnisse stets mit Vorsicht zu interpretieren sind (Anmerkung der Kolumnisten: Denken Sie z.B. einmal kurz darüber nach, inwieweit Sie es als möglich erachten, nur aus digitalen Datensignalen abzulesen, ob ein Konsument Ihre Marke wirklich liebt und entsprechend mit ihr „durch dick und dünn“ gehen würde – bis auf grobe Proxys wie Warenkorbgröße, Kauffrequenz, Logins, Likes, Visits usw. haben Sie in der Regel keinerlei Indikatoren, um das doch recht komplexe Konstrukt „Markenliebe“ vernünftig zu messen. Wie komplex so eine Messung bei einem multi-dimensionalen und facettenreichen Konstrukt ist, erfahren Sie in einem unserer früheren Beiträge zum Thema Markenliebe).  

Verfahren wie Emotionserkennung durch Facial Coding, Sentiment-Analysen oder indirekte, passive Messverfahren über die Auswertung von Online-Gaming-Daten sind zwar als Erfolge der Verwertung digitaler Daten hervorzuheben, sie alleine bilden aber auch nur einen Teil aller potentiell relevanter Konzepte zur vollständigen Messung, Erklärung und Vorhersage von Konsumentenverhalten ab. Vor dem Hintergrund dieser Limitationen wäre es für Marketing-Theorie und -Praxis zu früh, auf die Erhebung und Analyse von Survey-Daten und damit auf das Wissen von jahrzehntelanger psychometrischer Forschung zu verzichten. 

Täglicher Newsletter der Insightsbranche

News +++ Jobs +++ Whitepaper +++ Webinare

Newsletter abonnieren

Wir beliefern täglich mehr als 9.000 Abonnenten

Datenschutz

(3) Die Umwandlung unstrukturierter in strukturierte Daten 

Ein recht großer Teil von Informationen – Expertenschätzungen gehen von 80 bis 90 Prozent aus – kommt in Form unstrukturierter Daten daher. Beispiele wären Audio- und Videofiles, Fotos, Blogeinträge oder Textdateien. Viele dieser Daten wurden in der Vergangenheit unternehmensseitig nicht genutzt, da der Aufwand sie zu strukturieren und zu verwerten größer war als der erwartbare Nutzen. Das hat sich mit dem Aufkommen neuer Machine Learning Verfahren geändert. Insbesondere die Extraktion von Informationen aus Texten hat in den letzten Jahrzehnten große Fortschritte gemacht. Zum Beispiel ist es mittlerweile möglich, mittels Texterkennung deskriptive Entitäten zu extrahieren (z.B. Schlüsselwörter), um so Texte automatisch zusammenzufassen, Fragen dazu zu beantworten oder Texte zu übersetzen. Andere Verfahren ermöglichen das Analysieren kontextueller Eigenschaften von Textdokumenten oder sind darauf trainiert, spezifische Ereignisse zu erkennen, z.B. um Bewegungen und Trends in den sozialen Medien frühzeitig zu erkennen. Entsprechend wird die Informationsextraktion aus Texten zunehmend im Marketing eingesetzt, um die Bedeutung und zugrundeliegende Stimmung von Social-Media-Posts zu analysieren. Mittlerweile ist es für Maschinen sogar möglich, Sarkasmus als solchen zu erkennen (siehe die aktuelle Studie von Sarsam et al. im International Journal of Market Research). Moderne Bildklassifizierung stützt sich in der Regel auf Convolutional Neural Networks (CNNs), ein Deep Learning Verfahren. CNNs eignen sich auch für die Extraktion von Audio-Informationen und weitere Anwendungsbereiche. Song et al. (2020) z.B. verwenden CNNs, um die optimale Position von In-Stream-Videowerbung zu ermitteln und damit einen möglichst reibungslosen Übergang zwischen Werbe- und Video-Content herzustellen. 

Trotz der immensen Fortschritte stellt die Transformation der unzähligen Formate unstrukturierter Daten immer noch eine enorme Herausforderung für Marketingforscher dar. Die schiere Menge, die hohe Dimensionalität, die Vielfalt und die Heterogenität unstrukturierter Daten erfordern erhebliche Rechenleistung, die oftmals eine schnelle Entscheidungsunterstützung behindern. Dazu kommt der „Black-Box-Charakter“, der zur Aufbereitung und Verwertung eingesetzten Methoden des maschinellen Lernens. Selbst wenn die zugrundeliegenden mathematischen Prinzipien klar definiert sind, fehlt den Modellen oft eine explizite, beschreibende Wissensdarstellung, was ein Verstehen der zugrunde liegenden Erklärungsstrukturen erschwert bzw. teilweise unmöglich macht.

Fazit 

Marketingforscher sollten nicht vorschnell methodische Verfahren aufgeben, die in Jahrhunderten philosophischen und wissenschaftlichen Denkens verfeinert wurden.

Mit diesem Zitat der beiden Autoren Hair und Sarstedt lässt sich unser Beitrag treffend zusammenfassen. Ja, digitale Daten sind neu, spannend und nicht-reaktiv, d.h. passiv erhoben. Sie sind aber eben auch nicht zu Forschungszwecken erhoben worden und daher oft unvollständig, verzerrt und ungeeignet, um messtheoretisch „sauber“ definierte und konzeptualisierte Konstrukte bzw. Marketing-KPIs wie Kundenzufriedenheit, Loyalität, Vertrauen, Faszination, Markenliebe oder Reputation zu erfassen. Neu ist eben nicht immer besser und je nach Use Case sollten Sie daher mit bestem Wissen und Gewissen auf bewährte, fragebogenbasierte Erhebungs- und Analyseverfahren setzen. Häufig lohnt es sich auch, einen zweiten Blick in bereits vorhandene Datensätze zu werfen und diese mit neu-erhobenen Daten zu kombinieren und zu re-analysieren. Auch hier unterliegen viele Marketeers und Marktforscher dem Irrglauben, dass ein einmal analysierter Datensatz „fertig analysiert“ sei.  Long story short: Das hier ist kein Aufruf zum „Weiter so“, aber ein Hinweis zu möglichen Nebenwirkungen digitaler Daten und immer neuer Methoden.   

Über die Autoren