Dr. Jan Olzem & Sören Spiegel, Ipsos KI-gesteuertes dynamisches Kundenfeedback

Dr. Jan Olzem & Sören Spiegel, Ipsos

Unternehmen, die das Feedback ihrer Kunden erhalten möchten, stehen oft vor einem Dilemma: In der klassischen Marktforschung wird die Kundenmeinung über standardisierte Item-Batterien ermittelt, Bewertungen mit skalierten Fragen erhoben. Dies ist zwar hilfreich, wenn in Trackings Entwicklungen gemessen oder über Treiberanalysen kritische Stellhebel identifiziert werden sollen. Der Nachteil dabei: eine schnelle Reaktion auf Kritik wird erschwert – ganz zu schweigen von der Möglichkeit einer direkten Reaktion auf den individuellen Kunden.

Trend zum direkten Kundenfeedback

Daher sind in den vergangenen Jahren viele Unternehmen dazu übergegangen, Feedback direkt nach dem Kundenkontakt einzuholen (Stichwort Enterprise Feedback Management Systeme – kurz EFM). Aber auch in regelmäßigen Kundenbefragungen – also ohne einen vorherigen direkten Kontakt zwischen Kunden und Unternehmen – gibt es eine Tendenz weg von langen und standardisierten Befragungen hin zum direkten und offenen Kundenfeedback. Neben den Vorteilen eines authentischen Feedbacks und der Möglichkeit einer schnellen Reaktion auf aktuelle Themen, hat dieses Vorgehen aber leider auch einige Nachteile.

Treiberanalysen, die dem Unternehmen Erkenntnisse über strategische Prioritätensetzungen zur Kundenbindung oder auch zur Abwägung von Aufwand und zu erwartendem Einfluss von Maßnahmen erlauben, sind auf der Basis offener Antworten kaum möglich. Der Grund: während die standardisierten Befragungen alle Aspekte der Kundenbeziehung abdecken, bezieht sich das direkte Kundenfeedback – egal ob über EFM Systeme oder Befragungen mit offenen Fragen – meist nur auf einen Aspekt.

Die naheliegende Idee, nach einer ersten Antwort über Nachfragen weiteres Feedback zu erhalten, birgt einige Tücken: unspezifisches Nachfragen bringt oft nicht die gewünschten zusätzlichen Informationen, Nachfragen zu bestimmten Aspekten kann zu Irritation oder Frustration beim Kunden führen, wenn diese Themen schon Gegenstand des ersten Feedbacks waren.

KI als Problemlöser

Wir möchten Ihnen im Folgenden einen Weg aufzeigen, wie wir mit Hilfe des Einsatzes von Künstlicher Intelligenz das beschriebene Dilemma lösen können. Derartige Ansätze können nicht nur eine größere Themenbandbreite beim Kundenfeedback erreichen, sondern auch dabei helfen, angesprochene Themen weiter zu vertiefen. Unsere Lösung besteht darin, bereits während der Befragung zu ermitteln, ob die Antworten die erwünschte bzw. erforderliche Information tatsächlich enthalten. Ist dies nicht der Fall, kann gezielt nachgefragt werden. Im Idealfall geschieht dies in einer Weise, die den Fluss der Befragung nicht beeinträchtigt, so dass die Befragten die Dynamik des Interviews nicht bemerken oder als störend empfinden.

In der Praxis sieht es so aus, dass die Online-Umfragesoftware  die Antworten unmittelbar nach der Eingabe an ein Backend übermittelt, das für die Evaluierung zuständig ist. Hierzu verwendet es einen Textklassifizierungs-Algorithmus, der die einzelnen Antworttexte jeweils in eine Reihe fest definierter Kategorien einsortiert. Solch eine Kategorie kann beispielsweise die Zufriedenheit mit einer bestimmten Produkteigenschaft wiederspiegeln. Stellt sich dabei heraus, dass keine der Antworten auf die relevanten Fragen in diese Kategorie fällt, die zugehörige Produkteigenschaft aber von besonderem Interesse ist, übermittelt das Backend eine entsprechend vorbereitete Zusatzfrage, die nun von der Umfragesoftware direkt ausgesteuert wird. Prinzipiell können auf diese Weise mehrere verschiedene Kategorien gleichzeitig überwacht und bei Bedarf flexibel nachgefragt werden.

KI hat eine Sekunde zum Entscheiden

Besondere Anforderungen bestehen an die Geschwindigkeit eines solchen Systems. Die Entscheidung, ob eine Zusatzfrage gestellt wird und nach welcher Information konkret gefragt werden soll, sollte spätestens etwa eine Sekunde nach dem Eintreffen beim Backend vorliegen. Ansonsten kann es zu Unterbrechungen im Fluss der Befragung oder im ungünstigsten Fall sogar zu thematischen Sprüngen kommen. Dies schränkt die Auswahl der möglichen technischen Lösungen deutlich ein, insbesondere scheiden komplexe regelbasierte Systeme häufig aus. Benötigt werden Algorithmen, die zum Zeitpunkt der Entscheidung eine hohe Verdichtung relevanter Information bereithalten und somit schnell entscheiden können. Hierzu gehören KI-Algorithmen wie z.B. Neuronale Netze.

Eine weitere wichtige Anforderung ist eine geringe Fehlerquote bei der Evaluierung der Antworten. Es ist problematisch, wenn z.B. ein Befragter angibt, ein bestimmtes Produkt gar nicht zu nutzen, daraufhin aber gefragt wird, weshalb ihm gerade dieses Produkt so sehr zusagt. Hilfreich für diese Problemstellung sind Algorithmen, die zusammen mit der Entscheidung auch die Konfidenz ermitteln, also eine Einschätzung der Wahrscheinlichkeit, dass die getroffene Entscheidung tatsächlich richtig ist.

Künstliche neuronale Netze brauchen viel Input zum Lernen

Für die technische Umsetzung der Problemlösung lassen sich künstliche neuronale Netze gut einsetzen, da sie eine schnelle Analyse ermöglichen und darüber hinaus eine Konfidenz für jede Entscheidung ausgeben. Allerdings benötigen neuronale Netze und andere KI-Algorithmen Trainingsdaten – und am besten eine ganze Menge davon. Gerade bei komplexen Aufgaben, wie dem Auswerten von Texten, ist eine große Trainingsvielfalt für den Erfolg des Modells entscheidend. Damit das neuronale Netz erlernen kann, die Antworttexte korrekt in Kategorien zu klassifizieren, wird eine Wahrheit benötigt. Daher müssen die Antworttexte für das Training bereits kodiert worden sein.

Des Weiteren können neuronale Netze und andere KI-Algorithmen keine unbearbeiteten Texte verarbeiten. Diese müssen numerisch dargestellt werden. Eine verbreitete und bereits bewährte Methode ist das Word Embedding. Hierbei wird jedes einzelne Wort durch einen mehrdimensionalen Vektor repräsentiert und erhält somit eine tiefere Bedeutung.

Ein Antworttext, repräsentiert durch Wortvektoren, kann mit verschiedenen künstlichen neuronalen Netzen klassifiziert werden. Bewährt haben sich Long-Short-Term Memory und Convolutional Neuronale Netze. Long-Short-Term Memory Netze arbeiten mit einer Art von Gedächtnis und sind daher besonders gut für längere Texte geeignet. Convolutional Neuronale Netze haben hingegen die Bilderkennung revolutioniert, da sie mit vielen verschiedenen Filtern Informationen unterschiedlichster Natur herausziehen können. Diese Eigenschaft kann auch für die Textklassifizierung genutzt werden, bei der eine Vielzahl unterschiedlicher Filter Informationen aus dem Antworttext ziehen. Darauf aufbauend ordnet das neuronale Netz den Antworttext einer Kategorie zu.

Ein erfolgreich trainiertes Modell, das Antworttexte korrekt klassifiziert und dazugehörige Nachfragen auswählt, allein reicht jedoch nicht für die praktische Anwendung. Es muss sichergestellt werden, dass über die Online-Umfragesoftware eine geeignete Schnittstelle zur Befragung geschaffen werden kann. Der Antworttext des Befragten muss aus der Befragung über eine API durch das Neuronale Netz klassifiziert werden und eine passende Nachfrage zurückgespielt werden können. Hier ist ein einfacherer und vor allem schneller Zugang für den produktiven Einsatz des dynamischen Nachfragens nötig.

KI-Klassifizierungen eignen sich auch für andere Bereiche

Die möglichen Anwendungen solcher Klassifizierungssysteme gehen weit über dynamische Befragungen hinaus. So können z.B. in bestimmten Fällen automatische Alarme generiert werden, etwa bei signifikanter Abnahme der Kundenzufriedenheit oder bei Nennung sicherheitsrelevanter Probleme. Darüber hinaus kann KI-Textklassifizierung die Kodierung großer Textmengen erheblich erleichtern, indem nur diejenigen Antworten manuell bearbeitet werden müssen, die für den Algorithmus zu schwierig – d.h. mit geringer Konfidenz – klassifizierbar sind.

Erste Tests in einem großen Kundenprojekt haben zu sehr vielversprechenden Ergebnissen geführt, so dass wir bei Ipsos die Weiterentwicklung dieses Ansatzes vorantreiben.

Zu den Autoren: Dr. Jan Olzem ist Physiker und beschäftigt sich schwerpunktmäßig mit der Verknüpfung und Analyse großer Datenmengen, maschinellem Lernen, künstlicher Intelligenz sowie der Visualisierung komplexer Daten und Zusammenhänge. Bei Ipsos leitet er den Bereich Data Science. Sören Spiegel ist dualer Student der Wirtschaftsinformatik und arbeitet bei Ipsos u.a. im Bereich Textanalyse mit Hilfe künstlich intelligenter Algorithmen.