Bastian Verdel, StraightONE „ChatGPT hat gewisse Ähnlichkeiten mit dem System 1“

Marktforschung gibt es ja nun nicht erst seit gestern. Warum gibt es immer wieder Studien, die keine handlungsrelevanten Erkenntnisse liefern und Unternehmen voranbringen?

Bastian Verdel: „Keine handlungsrelevanten Ergebnisse“ ist natürlich eine sehr absolute Beschreibung, das dürfte ja hoffentlich sehr selten sein. Dennoch ist der Transfer von Insights in Marketingmaßnahmen oftmals nicht trivial. Um hier eine Brücke zu bauen, haben wir den Customer Thinking Ansatz entwickelt, dieser verbindet Design Thinking Elemente wie z. B. Prototyping Workshops, um den Transfer von den Insights in der Maßnahmenumsetzung zu erleichtern. Wir nutzen aber vor allem die Behavioral Economics Perspektive, um die Zusammenhänge zwischen den Bedürfnissen und Entscheidungsheuristiken der Zielgruppe und der Reaktion dieser auf Marketingmaßnahmen zu dechiffrieren.

Wenn man die Treiber des Verhaltens kennt, fällt es auch leichter, darauf basierend Marketingmaßnahmen abzuleiten.

Sie haben ChatGPT, KI und Verhaltensökonomie in Ihren Forschungsansatz eingebunden. Seit wann arbeiten Sie mit KI?

Bastian Verdel: KI nutzen wir sicherlich schon einige Jahre – allerdings eher als Unterstützung bei der Bewältigung arbeitsintensiver Prozesse, wie Codierung offener Antworten, Transkriptionen und Übersetzungen von qualitativen Interviews. Wir haben im letzten Jahr angefangen, uns mit den Möglichkeiten von Open.AI zu befassen. Das war aber zunächst eher spielerisch. In diesem Jahr hat sich das dann grundlegend geändert, insbesondere als wir Möglichkeiten erschlossen haben, damit eigene Daten zu analysieren und dadurch eine Unterstützung auf der Inhaltsebene möglich wurde. D. h. wir können die KI nicht nur nutzen, um Interviews zusammenzufassen, sondern auch als Assistent, der uns bei der inhaltlichen Analyse zuarbeitet. Dadurch sind Möglichkeiten entstanden, die KI auch für die verhaltenspsychologische Analyse zu nutzen. So können wir zum Beispiel analysieren, welche Hinweise sich auf die Nutzung bestimmter Entscheidungs- und Bewertungsheuristiken aus den Interviews ergeben.

Hier geht es zur kostenlosen Webinar-Anmeldung!

Was macht Ihren neuen hybriden Forschungsansatz aus? Wenn Sie in Ihrer Eventbeschreibung sagen, dass der Mensch in der Erkenntnisgewinnung nach wie vor eine zentrale Rolle spielt,  was übernimmt dann die KI für Aufgaben bei Ihnen?

Bastian Verdel: Der Kern des Ansatzes besteht darin, dass wir die KI nicht als Projektmanagement-Unterstützung nutzen, sondern für die Inhaltsebene der Studien. Hybrid deshalb, weil wir der KI nicht die vollständige Beantwortung von Forschungsfragen überlassen, sondern wir als Experten die Deutungshoheit über die Daten behalten.

Wir nutzen die KI aber da, wo sie besser ist als wir Menschen.

Besser bedeutet z. B., dass sie viel schneller Transkripte lesen kann und beispielsweise Zitate zu einem bestimmten Thema finden kann. Besser bedeutet auch, dass sie sich viel besser grundlegende Marketingerkenntnisse „merken kann“, da sie letztlich über das freiverfügbare Fachwissen der Welt verfügt. Besser bedeutet aber z. T. auch, dass sie durch das Sprachmodell auch Bedürfnisse in der Sprache zumindest recht konsistent erkennen kann. Allerdings neigt die KI auch mal zum halluzinieren, sodass die Bewertung der Ergebnisse unbedingt die Prüfung eines Expertens bedarf.

Letztlich bedeutet diese Kombination aus KI und menschlicher Expertise, dass wir Studien gerade im qualitativen Bereich schneller und effizienter durchführen können, ohne dass dabei die Qualität leidet – sondern sie eher noch besser wird.

Gerade bei internationalen Studien sehen wir z. B., dass wir bessere Erkenntnisse erzielen, wenn wir Transkripte nicht übersetzen, sondern in der KI mit der Originalsprache arbeiten. Insgesamt machen sich die Vorteile besonders bei etwas größeren Studien mit einer höheren Fallzahl oder mehreren Ländern bemerkbar. Wenn ich n=8 UX-Interviews mache, dann sind diese auch klassisch schnell ausgewertet. Wenn ich aber z. B. n=24 Tiefeninterviews habe – und das vielleicht noch in zwei bis drei Ländern, reduziert sich der Zeitaufwand wesentlich. Hierdurch werden qualitative Studien mit größeren Fallzahlen als Ersatz für Qual-Quan-Studiensetups denkbar, da ab einem bestimmten Punkt die Anzahl der Interviews kaum noch Einfluss auf den Analyseaufwand hat.

Welche Hürden gab es bei der Entwicklung?

Bastian Verdel: Hürden gab es da gleich einige: Zunächst ist die Kapazität von ChatGPT pro Anfrage begrenzt – bei GPT 4.0 ist das zwar besser, reicht aber gerade mal für eine halbe Stunde Interview. Dann möchte man natürlich auch keine persönlichen Daten mit der AI teilen, d. h. wir mussten sicherstellen, dass die Transkripte keine persönlichen Daten enthalten. Auch möchten wir natürlich nicht, dass unsere Daten und vor allem Erkenntnisse genutzt werden, um das Language Modell zu trainieren und diese Erkenntnisse dann im schlimmsten – sicherlich etwas theoretischen Fall –anderen ChatGPT-Nutzern zur Verfügung gestellt werden. Dann hat man noch kleinere Hürden, was die Datenvorbereitung angeht, damit sie sinnvoll strukturiert und von den entsprechenden Tools verarbeitet werden können.

Die größte Herausforderung, die aber auch am spannendsten ist, ist das Prompt Writing. Denn ChatGPT zu bitten, ein Interview zusammenzufassen, ist i. d. R. wenig zielführend – sondern das Tool soll uns helfen, gerade die weniger vordergründigen Aspekte zu Tage zu bringen. Zum Beispiel nutzen wir ein Basic Needmodell und analysieren, welche Grundbedürfnisse sich in den Antworten unserer Befragten wiederspiegeln, oder wir möchten identifizieren, welche kognitiven Verzerrungen die Befragten in einem bestimmten Kontext nutzen. Das sind Dinge, die kann man die AI nicht direkt fragen, sondern man muss ihr das Handwerkzeugs mitgeben bzw. den Prompt so formulieren, dass sie sich das Handwerkzeug holt (z. B. wenn es sich um in Büchern bzw. Studien beschriebene Modelle oder Phänomene handelt). Damit entsteht dann gleich die nächste Herausforderung, nämlich einen Weg zu finden, wie man diese Prompts im Team verfügbar macht – da sind wir beispielsweise gerade dabei.

Täglicher Newsletter der Insightsbranche

News +++ Jobs +++ Whitepaper +++ Webinare

Newsletter abonnieren

Wir beliefern täglich mehr als 9.000 Abonnenten

Datenschutz

Einige Marktforschende warnen vor der vorschnellen Integration von Tools wie ChatGPT, da die KI alles andere als fehlerfrei sei. Wie stehen Sie dazu?

Bastian Verdel: Wesentlich ist, wie ich die KI nutze und welche Erwartungshaltung ich habe.

Die KI ist aktuell nicht in der Lage, auf Basis der Interviews einer qualitativen Studie einen Bericht oder auch nur eine halbwegs sinnvolle Management Summary zu schreiben.

Allerdings hat die KI wie vorhin gesagt auch einige wesentlichen Vorteile gegenüber uns Menschen. Man kann das ein bisschen vergleichen mit der Zwei Systemtheorie von Kahnemann. Da gibt es das System 1, das unheimlich schnell und mit einer mächtigen Verarbeitungskapazität versehen ist, uns aber weitgehend unbewusst ist – und das System 2, das wesentlich langsamer ist, das aber sehr bewusst die Impulse des System 1 reflektieren und oftmals auch korrigieren kann. Erst das Zusammenspiel beider Systeme ermöglicht uns, unser Leben zu führen und unsere Entscheidungen für uns – zumeist sinnvoll – zu treffen.

Ein AI language model wie ChatGPT hat so gesehen gewisse Ähnlichkeiten mit dem System 1 – denn es bleibt uns „unbewusst“, wie es genau funktioniert, es ist sehr schnell, aber auch sehr unreflektiert.

Der Mensch in seiner Rolle als Forschungsexperte nimmt die Rolle des System 2 ein – der die Ergebnisse reflektiert, hinterfragt und letztlich entscheidet, welche Ergebnisse der KI er weiterverwendet und welche nicht.

Zudem kommt uns Marktforschern eine entscheidende Rolle zu. Denn Language Models wie ChatGPT sind zwar sehr gut darin, grundsätzliches Wissen vorzuhalten. Wenn ich beispielsweise ChatGPT nach den Entscheidungskriterien von Menschen bei der Wahl eines Girokontos frage – dann kommen da durchaus die Dimensionen, die wir auch in unseren Studien sehen. Wenn ich aber nun wissen möchte, wie eine bestimmte Marke damit umgehen kann oder auch nur wissen möchte, wie die Entscheidungskriterien einer bestimmten Zielgruppe aussehen, dann fehlt dem Modell dazu das Detail- bzw. kontextuelle Wissen. Diese Lücke schließen wir mit unseren auf das jeweilige Thema maßgeschneiderten Studien.

Mehr zum Thema

WdM2023 Das war die vierte Woche der Marktforschung in Zahlen

Fachangestellte für Markt- und Sozialforschung „Wir waren von Anfang an Fans dieser fachlichen Ausbildung“

Interview zum Deal zwischen management consult und rc - research & consulting "Die Fundamentaltreiber der Branche sind positiv"

Fachangestellten für Markt- und Sozialforschung "Ein Unternehmen ohne FAMS – No Way"

Es ist bekannt, dass KIs noch oft daran scheitern, Emotionen zu erfassen. Generell ist die Messung von Emotionen ein harter Brocken. Was muss passieren, damit es uns endlich gelingt? Vielleicht auch mit einer KI gelingt?

Bastian Verdel: Wenn es darum geht, das reine Sentiment zu erfassen, stimmt das durchaus. Allerdings ist das in unserem Alltag selten ein Problem. Denn bei quantitativen Umfragen haben wir Emotionsmessungen, die unabhängig von den offenen Fragen sind und in der qualitativen Analyse ergibt sich vieles aus dem Kontext der Sprache heraus. Die Inhaltsebene mit ihrem emotionalen Kontext ist hier für unsere Analyse entscheidender als die losgelöste Emotion. Wir möchten wissen, was Menschen begeistert oder ggf. was zu einer Irritation führt, oder ob die Irritation so groß ist, dass jemand z. B. enttäuscht ist – das lässt sich durchaus identifizieren.

Schlussendlich benötigen wir gerade in der qualitativen Forschung aber auch keine genaue Auszählung, wieviel positive oder negative Emotionen es gab.

Wer darf Ihr Webinar nicht verpassen?

Bastian Verdel: Ich würde sagen jede Person, die sich damit auseinandersetzt, was KI für unsere Arbeit als Marktforschende bedeuten kann. Insbesondere betrieblich Marktforschende, die sich einerseits einen Überblick verschaffen möchten, was jetzt schon möglich ist und wo aber auch die Grenzen sind.

Hier geht es zur kostenlosen Webinar-Anmeldung!

Vielen Dank an die Woche der Marktforschung - Sponsoren: