Pascal de Buren, Mitbegründer von Caplena Sentiment-Analyse für die Marktforschung – eine emotionslose Betrachtung

Genau genommen braucht es zusätzlich zur Polarität noch eine Intensität, auch Magnitude genannt. Diese beschreibt, wie emotional der Text ist. In der Praxis wird die Magnitude jedoch oft ignoriert.

Einmal reinzoomen bitte!

«Der Akku hält lange, aber der Bildschirm ist nicht besonders gut.» Aussagen mit gemischtem Sentiment wie diese hier kommen im Marktforschungsumfeld sehr häufig vor. Im Normalfall beschränkt sich die Sentiment-Analyse jedoch darauf, die Polarität über den ganzen Text hinweg zu bestimmen. Die Information, dass die gesamte vorliegende Aussage eine neutrale Polarität hat, ist zwar nicht nutzlos, aber lässt viel Wert in der Aussagekraft liegen. Im Gegensatz dazu bietet das Sentiment auf Aspekt-Ebene den nötigen Detaillierungsgrad, um Aussagen dazu treffen zu können, welches Sentiment gegenüber welchem Aspekt vorherrscht. Eigentlich ist das genau das, was bei der Codierung offener Nennungen in der Marktforschung und humanitären Wissenschaften oft gemacht wird, auch wenn die Terminologie anders ist. Das Sentiment, in diesem Beispiel negativ, gegenüber dem Aspekt, hier Bildschirm, findet sich als Kombination «Bildschirm - negativ» im Codebuch wieder. Die meisten Anwendungen, wie etwa die Analyse von Kundenstimmen, bedürfen einer Sentiment-Analyse auf Aspekt-Ebene. Für andere Anwendungen, beispielsweise Social Listening, kann das Dokument-Ebenen-Sentiment ausreichen, da oft nur eine Marke pro Tweet oder anderweitigem Social Post vorkommt.

Schlecht oder nicht schlecht?

Sentiment 100% zuverlässig und vollautomatisch zu bestimmen, ist immer noch ein heiliger Gral der Text-Analyse. Doch über die Jahre sind wir immer näher an dieses Ziel herangekommen. Einer der ersten Ansätze, der zum Teil heute noch in Gebrauch ist, war es mit Lexika zu arbeiten, wie zum Beispiel der «SentimentWortschatz» der Uni Leipzig. Dabei wird mittels verschiedener Methoden jedem relevanten Wort ein Wert zwischen -1 und 1 zugeordnet, basierend darauf, wie negativ/positiv Menschen Sätze mit diesen Wörtern empfinden. Zum Beispiel erhält das Wort Absturz einen Wert von -0.47, wunderbar kommt hingegen auf +0.72. Um das Sentiment eines Satzes oder eines Dokuments zu bestimmen, kann der Wert für jedes vorkommende Wort aufaddiert werden. Dieser Gesamtwert gibt je nach Vorzeichen bekannt, welches Sentiment vorherrscht. Dies funktioniert gut für sehr einfache Aussagen, aber scheitert schon nur an der Negation nicht schlecht, da das Zusammenspiel zwischen Wörtern nicht berücksichtigt wird. Im Verlauf der 2000er-Jahre wurden verschiedene Strategien entwickelt, um diese Problematik zu beheben, jedoch scheiterten im Grunde alle daran, dass keine dieser Methoden den Kontext richtig berücksichtigen konnte. Und wie schon Bill Gates sagte: «Context is King/Queen». Schon bei simplen Beispielen, wie «das Brot ist trocken» und «heute bleibt es trocken» wird klar, dass Wörter und sogar Sätze andere Bedeutungen haben, je nach dem, auf was sie sich beziehen.

Was hat die Sesamstrasse mit Sentiment-Analyse zu tun?

Spezielle Formen der künstlichen Intelligenz, Deep Learning und insbesondere sogenannte Transformer haben dies erst in der letzten Dekade fundamental geändert. Ein bedeutender Schritt dabei war BERT, Charakter der Sesam-Strasse, aber auch Acronym für Bidirectional Encoder Representations from Transformers, der zum ersten Mal Kontext richtig gut berücksichtigen konnte. Dies wurde erzielt, indem der KI sehr viele einfache Aufgaben zu Millionen von Textdokumenten aus dem Internet gestellt wurden. Eine dieser Aufgaben bestand darin, aus Text zufällig gelöschte Wörter rekonstruieren zu können. Aus der Schule kennen wir dies als Lückentext. Ähnlich wie wir kann die KI dann mit der Zeit immer besser aus dem Kontext erraten, welches Wort in der Lücke fehlt. So lernt die Maschine Kontext. Für die Sentiment-Analyse werden danach der KI noch spezifische Text-Beispiele gefüttert, die händisch einer der drei Polaritäten zugeordnet wurden. Verwendet werden dafür meist öffentlich verfügbare Daten wie Tweets und Amazon Reviews. Durch dieses Feinjustieren von BERT auf Sentiment wurde erstmals im Jahre 2018 eine menschenähnliche Genauigkeit erzielt. Da diese Transformer gut mit Kontext umgehen können, ist es nun auch zum ersten Mal möglich, das Sentiment auf Ebene von beliebigen Aspekten zuverlässig zu analysieren.

Seither wurden darauf aufbauend verschiedenste Verbesserungen vorgenommen, wie RoBERTa, ALBERT, BigBird und viele weitere, deren Eigenheiten zu weit gehen, um hier erklärt zu werden. Eines ist allerdings ein offensichtlicher Trend: KIs werden stetig komplexer und auf immer mehr Daten trainiert, sodass es zunehmend schwierig und teuer wird, eine KI von Grund auf als mittelgrosse bis grosse Firma aufzubauen.

In der Praxis entwickeln die wenigsten Firmen ihre eigene KI, sondern verwenden entweder kommerzielle Anbieter oder Open-Source-Bibliotheken. Die Qualität der Analyse und der Detaillierungsgrad unterscheiden sich dabei von Tool zu Tool. So bietet beispielsweise die eher generalistische Google Cloud Natural Language API sowohl Sentiment auf Dokument- als auch Aspekt-Ebene inklusive Magnitude, allerdings sind die möglichen Aspekte von Google vordefiniert. Eine automatische Sentiment-Analyse auf nutzerdefinierten Aspekten schaffen nur sehr wenige Anbieter, Caplena ist einer davon. Zusätzlich bieten manche Lösungen eine Feinjustierung der KI an, mit der die Genauigkeit auf der spezifischen Industrie und Fragestellung deutlich verbessert werden kann. Dies erfolgt je nach Lösung entweder durch eine händische Überprüfung einiger Sentiment-Zuweisungen oder durch Einpflegen zusätzlicher Regeln und Schlüsselwörtern.

Sarkasmus und Bias als weiterhin bestehende Herausforderungen

Selbst die besten Systeme schaffen es nicht, Sarkasmus zuverlässig korrekt zu interpretieren. Eine der Hauptschwierigkeiten besteht darin, dass Sarkasmus sehr kontextabhängig ist. So kann der Satz «Ich musste nur 30 Minuten warten, effiziente Erledigung!» negativ oder positiv sein, abhängig davon, um was für eine Dienstleistung es sich handelt. Nur Systeme, die sich speziell für eine Domäne adaptieren lassen, können mit solchen Feinheiten umgehen, wenn sie dafür auch mehr Hilfe vom Menschen benötigen.

Bias, zu Deutsch Voreingenommenheit, ist ein anderes, immer noch bestehendes Problem. So fanden Forscher des National Research Council Canada im Jahre 2018, dass 75% Prozent der Systeme in der Sentiment-Analyse konsistent ein Geschlecht anders gewertet haben als ein anderes, ohne dass der effektive Inhalt der Aussage geändert wurde. Hierzu wird aber glücklicherweise viel geforscht. Auch wenn Systeme zur Sentiment-Analyse noch nicht 100% akkurat sind, so kommen sie der menschlichen Qualität sehr nahe, sind um ein Vielfaches schneller, werden nicht müde und verstehen mehr Sprachen, als ein Mensch jemals lernen kann.

Verwandle Freitexte in Erkenntnisse mit Caplena.com

Caplena nutzt Augmented Intelligence, um den Zeitaufwand für die Analyse großer Mengen von Freitext aus Bewertungen oder Antworten auf offene Fragen drastisch zu reduzieren.

Innerhalb von Minuten identifiziert Caplena Themen und kennzeichnet automatisch deinen gesamten Datensatz und befreit dich von der mühsamen manuellen Kategorisierung. Konzentriere dich auf das, was wirklich wichtig ist - tiefere und aussagekräftigere Erkenntnisse zu gewinnen.

LinkedIn | Twitter | Instagram | Facebook