Phillip Baumann-Sury, UBS und Reto Lämmler, TestingTime "Generative KI kann (noch) nicht besser, was unsere UX-Researcher können"

Vielen Dank an die Sponsoren

In Ihrem Webinar am 23.08.2023 beleuchten Sie u.a. die Integration von ChatGPT in UX-Projekten. Wie wirkt sich die KI auf die Effizienz der UX-Forschung aus? Können Sie konkrete Beispiele nennen? 

Philipp Baumann-Sury: In der Vergangenheit hatten wir in jedem Experience Test einen UX-Researcher als Moderator und einen UX-Researcher als Protokollant. Die Menge neuer Produkte und Experiences zwang uns in den meisten Fällen, diese Best Practice aufzugeben. Heute ist der Moderator gleichzeitig auch Protokollant. 

Voice to Text erlaubt uns automatisch Transkripte zu erstellen. Der Moderator muss nicht selbst Notizen machen sondern kann sich auf das Interview konzentrieren. Eine Erschwernis gibt es jedoch: Voice to Text geht bis jetzt erst für Englisch und Hochdeutsch, nicht aber für Schweizerdeutsch. 

Die Text Analysis beantwortet Fragen nach einem geeigneten Kategoriensystem und Kategorieninhalten (Fragen nach Pain Points oder Dinge, welche die Testpersonen besonders mochten, usw.). Wichtig ist, dies wenden wir nur in Studien an, wo ein UX-Researcher selbst moderiert. Bei unmoderierten Studien wird die Text Analysis nicht angewendet.

Reto Lämmler: Das Schreiben eines guten Fragebogen benötigt gutes Handwerk und viel Erfahrung. ChatGPT kann helfen, gute Fragen zu schreiben. Bei TestingTime nutzen wir ChatGPT, um Screener Fragen für die Rekrutierung zu schreiben.  Wir denken, das gleiche Prinzip kann auch problemlos für Online-Umfragen oder Interview-Leitfaden angewendet werden.   

Welche Vorteile bietet die Verwendung von ChatGPT für die Planung, Durchführung und Analyse von UX-Forschungsstudien im Vergleich zu herkömmlichen Methoden? 

Philipp Baumann-Sury: Ein Vorteil ist die Effizienzsteigerung. Wir gehen in einer ersten Schätzung von 20 Prozent weniger Aufwand pro Experience Test aus. Wir müssen noch mehr Datenmaterial sammeln, um zu prüfen, wie viel schneller wir werden. Der Geist wird definitiv aus der Flasche sein, wenn generative Künstliche Intelligenz (KI) auch brauchbare Reports in Powerpoint erstellt. Ein UX-Researcher müsste die Reports immer noch bearbeiten, aber zumindest den ersten Wurf im Rahmen unserer Berichtsstruktur könnte eine KI machen. 

Hier geht es zur kostenfreien Webinar-Anmeldung!

Inwiefern ermöglicht ChatGPT eine verbesserte Kategorisierung und Analyse der Ergebnisse von UX-Forschungsstudien? Können Sie einige Möglichkeiten oder Techniken aufzeigen, wie dies erreicht werden kann? 

Philipp Baumann-Sury: Die Frage beruht auf einer falschen Annahme – Generative KI kann (noch) nicht besser, was unsere UX-Researcher können. Sie kann es maximal gleich gut, aber schneller. Der Vorteil liegt darin, dass sie einer hoch qualifizierten Fachkraft Arbeit abnimmt, damit diese mehr Zeit zum Nachdenken hat. Die Fachkraft muss immer auch kritisch hinterfragen, was die KI produziert – deshalb lassen wir KI keine unmoderierten Tests analysieren.

Reto Lämmler: Es gibt aber diverse Tool-Anbieter, die eine automatische Analyse und Kategorisierung von unmoderierten Resultaten anbieten (z.B. Userbrain, Caplena, Condens, Survalyzer, etc.). Es kann gut sein, dass in Zukunft dieser Teil auch komplett automatisiert werden kann.  

Philipp Baumann-Sury: Wir denken auch darüber nach, was wir mit dem Einsatz von KI verlieren. Die Notwendigkeit, selbst nicht mehr Notizen schreiben zu müssen, ist sehr bequem, aber beim Notizen schreiben denkt der Human Observer natürlich auch darüber nach, was er soeben gesehen, gehört und erlebt hat. 

Schauen wir etwas über den Tellerrand des Webinars heraus. Wie schafft man Ihrer Meinung nach eine gute User-Experience und haben Sie ein Best Practice Beispiel für uns? 

Philipp Baumann-Sury:Trotz des Einsatzes von KI hat sich der klassische Weg zum Erfolg nicht verändert: Es ist immer noch essenziell, die "Jobs to be done" der Kunden zu verstehen, um sicherzustellen, dass das neue Produkt einen Wert bietet und ein Problem löst. Anschließend unterstützt uns unser UX Design System dabei, die neue Erfahrung so umzusetzen, dass sie unseren Anforderungen und UBS-Qualitätsstandards entspricht.

Reto Lämmler: Im Gegensatz zur UBS, sind wir ein kleines und überschaubares Team bei TestingTime. Wir legen viel Wert auf eine gelebte UX-Kultur, über alle Teams/Positionen hinweg. Jede Person im Unternehmen muss sich bewusst sein, dass Interaktionen intern (Mitarbeiter) sowie extern (Kunden, Partner) immer mit einem Erlebnis (UX) verbunden sind. Das aktive Optimieren dieser Erlebnisse (UX) überträgt sich automatisch auch auf das Produkt / Service. 

Wie sehen Sie die zukünftige Bedeutung von UX für die Branchen und Marken auf dem deutschen und internationalen Markt? 

Philipp Baumann-Sury: UX wird immer eine wichtige Bedeutung haben, solange Menschen konsumieren. Das war schon früher so, damals wurde dies einfach nicht UX genannt. Heute kann es sich kein namenhaftes Unternehmen erlauben, nicht in UX zu investieren, Start-ups schon gar nicht. 

Spannend wird zu sehen sein, wie sich UX unter dem Einfluss von AI verändern wird, denn nicht nur Unternehmen werden AI einsetzen, sondern Kunde selbst auch. Jacob Nielsen hat in diesem Zusammenhang gesagt, die dritte UI-Evolution sei das „intention based UI“ und wir können uns noch kaum vorstellen, was dies alles für Folgen haben wird. 

Die Wahrnehmung der UX durch Kunden oder User ist oft subjektiv. Wie gehen Sie damit um und vor welche Herausforderungen stellt Sie dieser Umstand? 

Philipp Baumann-Sury: Damit subjektive Meinungen kritisch hinterfragt und entsprechend gewichtet werden, richten wir uns nach der wissenschaftlichen Literatur in unserem Fachgebiet und setzen wann immer möglich standardisierte Testverfahren ein: UEQ, IsoNorm, usw. Wir verschränken gezielt qualitatives mit quantitativem Research, um mit der entsprechenden Datenbasis trittsicher argumentieren zu können. 

Hier geht es zur kostenfreien Webinar-Anmeldung!