Das Interview zum Webinar am 13. Juni 2019, 11 Uhr: Christina Willert (Dynata) und Martin Degen (Factworks) "Der Clou dabei ist, dass der Algorithmus die Bewertung der Konzepte automatisch ermittelt"

marktforschung.de: Frau Willert, Herr Degen, ich bin kein gelernter Marktforscher, daher erst einmal den Telekolleg-Einschub für Dummies: Was ist ein monadischer Test? Und warum schicken Sie in der Ankündigung diese Gattung in den Bereich des Goldstandards für Produkt- und Namenstests?

Martin Degen: Vorweg möchte ich kurz ausholen, warum wir überhaupt über das Thema sprechen: Wir befinden uns in einer Zeit, in der Produkt- und Innovationszyklen immer kürzer werden, Unternehmen also immer stärker unter Druck stehen, ihren Kunden neue Produkte und Services zu präsentieren. Dabei ist es entscheidender denn je auf die Kundenbedürfnisse zu hören, um nicht am Markt vorbei zu innovieren. Hier kommen wir als Marktforscher ins Spiel, um belastbare und fundierte Ergebnisse für Produktentscheidungen zu liefern.

Der monadische Test ist dabei eine Befragungsform, bei der Umfrageteilnehmer lediglich zu einem von potentiell mehreren möglichen Themengebieten befragt werden. Will ein Kunde also beispielsweise ein neues Produktdesign einführen oder für ein neues Produkt den passenden Namen finden, dann hat er meist mehrere potentielle Alternativen im Kopf. Anstatt nun jedem einzelnen Umfrageteilnehmer all diese Alternativen zu präsentieren, wählt man je Umfrageteilnehmer zufallsgesteuert lediglich eine Alternative aus. In einer Umfrage mit insgesamt 1000 Befragten würde man bei 4 möglichen Produktnamen also jeweils 250 Befragten eine dieser Alternativen präsentieren.

Großer Vorteil von monadischen Tests ist die Nähe zur Realität. Nehmen wir mal ein ganz plastisches Beispiel: Ein Kunde steht im Supermarkt. Hier bekommt er auch nicht fünf verschiedene Produktverpackungen desselben Produktes präsentiert, sondern kann sich lediglich für oder gegen ein einzelnes Produkt entscheiden. Insofern ist die externe Validität der Ergebnisse solcher monadischer Tests höher als bei Abfrage aller Alternativen pro Befragten. Deshalb haben wir das monadische Design auch als Goldstandard für Produkt- und Namenstests deklariert. Einziger Wermutstropen ist, dass monadische Studien in der Regel sehr kosten- und zeitintensiv sind, da jeder Proband nur jeweils ein Produkt/Namen bewertet. Wir haben genau hier angesetzt und uns gedacht – das geht doch effizienter. Jeder redet zwar heute über Machine Learning, aber selten bekommt man mal ein konkretes Beispiel in der Marktforschung zu Gesicht. Wir haben uns auf das Terrain gewagt und einen selbstlernenden Algorithmus entwickelt. Dieser setzt auf die Vorteile von monadischen Tests und macht Produkt- und Namenstests gleichzeitig effizienter. 

marktforschung.de: Ich bin froh, dass wir das geklärt haben, denn schon taucht die nächste grundsätzliche Fragestellung auf: Dieser selbstlernende Algorithmus, was macht der eigentlich und was passiert da genau? Sie sprechen im Webinar ja auch von einem – ich zitiere die Ankündigung - Sample, das noch während des Feldes gesteuert werden kann, so dass vielversprechende Konzepte schneller identifiziert werden können. Kompliziert, was Sie da machen, oder nicht? 

Martin Degen: Ganz einfach ausgedrückt schauen wir nach jedem Befragten, wie sich denn die Bewertungen der einzelnen Konzeptalternativen über alle Befragten hinweg unterscheiden. Lassen sich dabei jeweils Konzepte identifizieren, die z.B. besonders schlecht abschneiden, also vom Kunden in der Realität also höchstwahrscheinlich nicht in Betracht gezogen werden, depriorisieren wir dieses Konzept im weiteren Sampling-Verlauf, d.h., das Konzept wird weniger häufig angezeigt als ein besonders gutes Konzept. Mal an einem Beispiel illustriert. Wir haben 1000 Befragte, und vier potentielle Konzepte oder Namen oder auch Produkte. Im monadischen Design würde jedes dieser Konzepte 250 Befragten gezeigt. In unserem Fall würden wir nun beispielsweise nach 100 Befragten - also 25 Bewertungen pro Konzept -  schon mal schauen, ob es bessere bzw. schlechtere Konzepte gibt. Wenn dem so ist, wird das bessere Konzept zukünftig vielleicht 35 Prozent des weiteren Samples bekommen, das schlechteste Konzept nur z.B. 15 Prozent.

Der Clou dabei ist jedoch, dass wir uns das nicht manuell nach jedem Befragten anschauen müssen, sondern der Algorithmus a) die Bewertung der Konzepte automatisch ermittelt und b) auf dieser Basis dann auch das Sample effizient zuteilt.

Am Ende haben wir also nach wie vor unsere 1000 Befragten, aber das "Verliererkonzept" wurde ggf. nur von 150 Befragten gesehen, während das Gewinnerkonzept von z.B. 350 Befragten gesehen wurde. Das ist natürlich wichtig, da der Kunde gerade für die vielversprechenden Gewinnerkonzepte noch mehr Detailanalysen bekommen möchte (z.B. Aufsplittung nach bestimmten Kundensegmenten), für die natürlich eine gewisse Fallzahl vonnöten ist.

marktforschung.de: Nun haben Sie den entwickelten Algorithmus in Deutschland und im Vereinigten Königreich getestet, was kam dabei heraus?

Christina Willert: Ganz genau, wir haben uns angeschaut, ob der Algorithmus wirklich das hält, was er zunächst verspricht. Hierfür haben wir einen Namenstest mit knapp 3000 Teilnehmern durchgeführt, indem wir die Ergebnisse des selbstlernenden Algorithmus mit den Ergebnissen des klassischen monadischen Ansatzes verglichen. Für den Test überlegten wir uns fünf Namen für eine fiktive Wissens-App, die wir einzeln in der Studie abtesten wollten. Der Vergleich Algorithmus vs. klassisch Monadisch brachte spannende Ergebnisse ans Licht: Vor allem konnten wir zeigen, dass unser Algorithmus tatsächlich effizienter als der klassische monadische Ansatz war. Wären wir nur an den bestbewertetsten Namen interessiert gewesen, hätten wir unsere gewünschte Fallzahl für diese Namen schneller erreicht. 

Letztlich ist es uns durch den Algorithmus also möglich, die Machbarkeit von Produkt- und Namenstests zu steigern, was besonders dann wichtig ist, wenn wir eine spitze und schwer zu erreichende Zielgruppe haben (z.B. im B2B-Kontext häufig der Fall). 

Nicht zuletzt ermöglicht uns der Algorithmus, tiefergehende Analysen der vielversprechenden Namen durchzuführen. Interessiert uns beispielsweise, was junge Frauen mit Hochschulabschluss zu dem Top-Namen sagen, haben wir dank des Algorithmus eine größere Fallzahl zur Hand. Auch können über unsere Methode mehr Namen, Konzepte oder Produkte gleichzeitig abgetestet werden, da nur die  vielversprechenden mit viel Sample versehen und Verlierer-Namen relativ schnell „disqualifiziert“ werden. Selbst wenn man also mal 20 Namen testen will, kann das mit unserem Algorithmus gut bewerkstelligt werden. Auf weitere Ergebnisse und Vorteile gehen wir dann im Webinar näher ein, sonst haben wir ja am 13. Juni kaum noch was zu erzählen. 

marktforschung.de: Stimmt, man sollte nicht alles verraten. Es gibt ja zahlreiche Verfahren, Verbraucher besser zu verstehen. Monadische Tests, Vergleichstests mit mehreren Produkten, dann Studiotests, Inhome-Tests oder auch virtuelle Testverfahren, um nur einige zu nennen. Von was hängt es ab, ob Tests gute und valide Ergebnisse bringen? Hat das nur etwas mit Produktgruppen zu tun? Sie sprechen davon, dass der Algorithmus für Produkt- und Namenstests entwickelt wurde. Sind darüber hinaus noch Anwendungsfälle vorstellbar, in denen der Algorithmus behilflich sein könnte?

Martin Degen: Ja klar, der Algorithmus an sich ist sehr flexibel. Wir haben ihn an einem Konzepttest ausprobiert, da dies ein plausibler Anwendungsfall für viele Kunden ist. Man hat viele Namen, Konzepte, Produkte, die man testen möchte, aber gerade bei vielen Optionen ist das in der Regel sehr zeit- und kostenintensiv. Mit Machine Learning kann man hier effizienter vorgehen. Ich kann mir auch viele weitere Anwendungsfälle für den entwickelten Algorithmus vorstellen. Man kann ihn im Prinzip überall dort einsetzen, wo dynamische Entscheidungen während des Feldes getroffen werden sollen - ganz ohne manuelle Eingriffe und vollautomatisiert.

marktforschung.de: Wir warten gespannt auf den 13. Juni, vielen Dank für das Gespräch!

Hier geht es zur Anmeldung

Das Interview führte Tilman Strobel