Ich verrate Ihnen, wie ich mit einem DIY-Projekt mal so richtig gescheitert bin.

Das Projekt war keines meiner DIY-Heimwerkerprojekte, da ich meine limitierten handwerklichen Fähigkeiten durchaus realistisch einschätzen kann. Aber es gibt ja glücklicherweise für alles Tutorials bei YouTube.

Nein, es war ein DIY-Marktforschungsprojekt, was so richtig an die Wand gefahren ist.

Aber von Anfang an.

Ich bin seit einigen Jahren Lehrbeauftragter im Master-Studiengang „Markt- und Medienforschung“ an der TH Köln. Immer im dritten Semester findet das „Projekt der angewandten Marktforschung“ statt. Es geht darum, dass Studierende ein konkretes Projekt innerhalb eines Semesters für einen Auftraggeber durchführen. Sie werden dabei vom Dozenten betreut, der in einer Doppelfunktion oft auch der Auftraggeber ist und das Briefing vorgibt. Für die Studierenden ist das eine sehr praktische Übung, in der sie das anwenden und vertiefen können, was sie in den ersten beiden Semestern über Markt- und Medienforschung gelernt haben. Sie können dann zumeist schon Fragebögen und Leitfäden entwerfen, wissen über Stichproben Bescheid, haben sich durch Statistik gequält und das Programmieren von Online-Fragebögen und vieles mehr gelernt. Gute Voraussetzungen, um ein Projekt durchzuführen. Dazu später mehr.

Was ist DIY-Research?

Kommen wir zunächst zum Thema DIY-Research. „Mach Dein eigenes Ding“ oder „Do-it-yourself“ – diese Phrase bezeichnet Tätigkeiten, die von Amateuren ohne professionelle Hilfe ausgeführt werden. Im Kontext der Marktforschung geht es darum, dass eine Marktforschungsstudie mittels entsprechender Software durch den „Auftraggeber“ selbst durchgeführt wird.

Und diese Veränderungen werden, so Philipps weiter, nicht nur auf Seiten der Institute stattfinden, sondern vor allem auch auf Seite der Marktforschenden und Insights Manager in Unternehmen.

DIY und die früheren Auftraggeber

Schon heute hat sich die Arbeitswelt betrieblicher Marktforschender stark verändert. War das Durchführen einer Umfrage früher die Ausnahme, so ist es heute die Regel. Die teure CX-Software, mit der auch Umfragen einfach programmiert werden können, soll ja auch genutzt werden. Und da die Ausschreibeverfahren und SAP-Bestellprozesse in großen Unternehmen heute aufwendig und komplex geworden sind, die Unternehmen aber immer agiler und schneller sein möchten, spricht im Zweifelsfall viel dafür, eine Studie hausintern zu realisieren.

Mein persönliches DIY-Waterloo

Es lag nicht an der studentischen Projektgruppe, dass unser Conjoint-Projekt nicht erfolgreich war. Die Gruppe war hoch motiviert bis zum Ende. Das Projekt wurde vom Briefing bis zur Ergebnispräsentation einwandfrei durchgeführt. Ich steckte deutlich mehr Zeit und Aufwand als gewöhnlich in den Lehrauftrag. Zusätzlich gewann ich eine frühere Kollegin, die uns bezüglich des Themas Conjoint schulte. Die Fallzahl war ausreichend hoch, die Stichprobe repräsentativ für unsere Leserschaft.

Es lag auch nicht an der DIY-Software, die letztlich genau das tat, was sie versprach: Vergleichsweise unerfahrene Studierende konnten damit einen Conjoint-Fragebogen programmieren und auswerten. Nicht ganz so einfach und reibungslos wie in der Werbung versprochen, aber die Software funktionierte einwandfrei.

Dennoch konnten wir am Ende mit den Ergebnissen überhaupt nichts anfangen. Es war erwartbar, dass wir mit einem Paid-Modell keine Begeisterungsstürme bei unseren Lesern hervorrufen würden. Es war vorher klar, dass der niedrigste Preis am besten ankommt. Aber in der Summe brachten uns die Ergebnisse keinen Schritt vorwärts, sondern eher drei zurück. Man hatte den Eindruck, dass sich alle Befragten gemeinsam gegen ein Paid-Modell verschworen hätten und gemeinsam strategisch antworten würden.

Könnte es nicht sein, dass die Ergebnisse richtig sind, so wie sie sind?

Ja, kann schon sein. Aber ich bin mittlerweile davon überzeugt, dass wir das Projekt von vorneherein falsch angegangen sind. Die Operationalisierung war falsch, der Ansatz nicht gut gewählt. Conjoint-Experten hätten diese Studie so erst gar nicht für uns durchgeführt.

Die eigentliche Herausforderung in diesem Projekt lag vor der Programmierung der Conjoint-Analyse, sogar vor der Konzeption des Fragebogens.

Keine DIY-Software, keine KI-Schnittstelle und kein Youtube-Tutorial hätten dieses Projekt retten können. Aber ein auf Conjoint spezialisiertes Institut mit guten Beratern hätte uns geholfen, in unserer Entscheidung weiterzukommen.

Dann besser gar nicht DIY-Research?

Nein, das ist nicht die Botschaft, die ich aussenden möchte. Ganz im Gegenteil. Die Marktforschungswelt hat sich verändert, es gibt großartige Tools und Softwarelösungen, mit denen ganz wunderbar Umfragen und Studien realisiert werden können. Die Eventtage unseres dossier.PLUS am 26. September, am 9. und 12. Oktober werden das eindrucksvoll belegen.

Aber die beste Software kann immer nur so intelligent sein wie der Nutzer, der sie bedient.

Und KI hilft bislang nur dann, wenn man mit Sinn und Verstand nochmal auf die produzierten Texte, Bilder, Antworten und Analysen schaut.

Bei einfachen Aufgabenstellungen reicht vielleicht auch mal ein Prompt wie

„Kannst Du mir bitte einen Fragebogen machen, mit ich meine Kunden befragen kann? Es soll um die Zufriedenheit mit unserem Service und unseren Erreichbarkeiten gehen“.

Aber bei komplexen Themen sind manchmal zwanzig Jahre Institutserfahrung und eine Gruppe hoch motivierter Studierenden zu wenig, um mit der besten verfügbaren DIY-Software vernünftige Ergebnisse zu erzielen.