Ein Fazit von Hartmut Scheffler Eine Erfolgsgeschichte mit einem unbenannten Vierten und zwei Vergessenen

So wie eine einzige rote Socke eine ganze Wäscheladung einfärben kann, so kann ein kleiner Fehler in einem DIY-Projekt dazu führen, dass die Ergebnisse unbrauchbar werden (Bild: picture alliance / Shotshop | Monkey Business 2)

Gekommen, um zu bleiben

DIY, später dann DIT und übergeordnet auch die Automatisierung beschäftigen die Markt- und Sozialforschung seit Jahren. Selten ist so wie in diesem Dossier deutlich geworden, welche Qualität und Quantität an Angeboten mittlerweile entwickelt und genutzt wird. Susanne Schöttmer bringt es auf den Punkt: „DIY ist erwachsen geworden“.

Wurde vor wenigen Jahren – und ich selbst war einer der Skeptiker – noch darüber diskutiert, ob DIY überhaupt ein relevanter Teil der Markt- und Sozialforschung werden könne oder nicht lediglich ein Nischendasein fristen wird, so stellen sich diese Fragen heutzutage nicht mehr.

Es ist, wie Wolfgang Best mit Recht feststellt, mittlerweile ein vollständiges Kontinuum entstanden von (Dank DIY) alles selbst machen (können) bis hin zu der kompletten Studienvergabe durch Institute. Zu ergänzen ist, dass es auch ein Kontinuum gibt von alles individuell/customized bis alles standardisiert/automatisch.

Was bist Du groß geworden

Das Kind ist erwachsen geworden. Ist alles gut? Ausbildung und Erziehung gelungen?

Das Dossier liefert hierzu ein in zweierlei Hinsicht eindeutiges Bild: zum einen sind die Vielzahl der Angebote, Tools, Anbieter beeindruckend. Zum anderen ist bei der großen Mehrzahl der Anbieter und Diskutanten aber auch verstanden und immer wieder betont worden,

• dass DIY Wissen und Expertise bei den Anwendenden voraussetzt,
• dass DIY Kompetenz verlangt,
• dass die enorm gewachsenen Anwendungsmöglichkeiten und Chancen bei inkompetenter Anwendung ein gleichfalls gewachsenes Ausmaß an Risiken mit sich bringen.

Ich hoffe, dass diese vor einigen Jahren noch fehlende und jetzt erkennbare Reflektion dem Thema und der Branche erhalten bleibt.

Es geht nicht ohne Vorwissen

Und ich hoffe, dass Statements der Art, dass durch DIY auch marktforschungsferne Gruppen wie Agenturleute und Werber Zugang zur Marktforschung finden können, nicht mehr erscheinen. Hier steht nämlich ganz dick zwischen den Zeilen: DIY – Anwendung verlangt kein oder wenig Vorwissen.

Keiner Aussage im gesamten Dossier widerspreche ich so vehement wie dieser – und allein in DIT sehe ich auch keine Lösung (dazu später). Um es mit Herbert Höckel zu sagen: „Marktforschung muss professionell bleiben“…und das ist keine Aussage gegen DIY, sondern gegen Naivität und Dummheit.

Ein kurzer Abriss der Chancen und Risiken

Die Angebotspakete werden, was Programmierung und Nutzung betrifft, immer besser, selbsterklärender, leichter anwendbar. Die Palette angebotener Themen deckt mittlerweile viele Felder der Marktforschung ab. Es gibt völlig offene DIY-Angebote, in denen nichts vorgegeben ist. Es gibt Angebote mit vorgegebenen oder wählbaren einzelnen Fragen. Es gibt fertige Tools von Ideation über Konzepttests, Packungstests, Pretests, Produkttests, Preistests bis hin zu CX und UX-Anwendungen. Und wie sehr die Entwicklung auch den qualitativen Bereich erreicht hat, zeigt unter anderem der Artikel von Andreas Knappstein.

Leichter anwendbar, schneller, oft auch kostengünstiger. Diese Entwicklung ermöglicht damit in der Tat die immer wieder behauptete Demokratisierung und senkt die Hemmschwelle zu forschen. Wer einen Überblick über all diese Chancen sucht und sich die – sinnvoll investierte – Zeit nimmt, wird über die Artikel und Webinare des Dossiers bestens bedient.

Schon ein einziger Fehler

Das alles verlangt aber mehr denn je, die Ansätze und Tools qua Wissen und Kompetenz einschätzen zu können, kompetent im Hinblick auf die Stichprobenthematik Fragenformulierung, Methodenwahl und weiteres zu sein. Thomas Schäfer hat in seinem Webinar anhand von denkbaren Fehlern bei der Frageformulierung aufgezeigt, wie mit ganz einfachen Fehlern nicht valide Fragen formuliert werden. Und damit Untersuchungen zu falschen Ergebnissen führen.

An vielen weiteren Stellen ist darauf hingewiesen worden, dass im gesamten Prozess ein Fehler reicht (das Bild vom schwächsten Glied der Forschungsprozesskette). Wenn die Stichprobe dem Untersuchungsproblem nicht angemessen gewählt wurde, hilft auch der beste Fragebogen nicht (vice versa). Wenn handwerkliche Fehler in der Analyse gemacht werden, helfen die besten Daten nichts….

Wie erkenne ich selbst, wo ich zu wenig weiß?

Die Branche hat eine Teilantwort selbst entwickelt: DIT, das heißt „Do it together“ also die Kombination von DIY-Vorteilen inklusive Beratung seitens des Anbieters.

Dies ist ein guter, ein richtiger, ein wichtiger Weg, der aber ein Problem und damit Risiko weiterhin unterschätzt: wenn ich Beratung benötige, muss ich erkennen, wo genau ich zu wenig weiß.

Wenn aber immer noch vereinzelt suggeriert wird, Marktforschung sei in wenigen Stunden zu erlernen (nämlich über das Handhaben von DIY-Angeboten), dann fehlt möglicherweise gerade bei solchen Anwendenden die für DIT entscheidende Erkenntnis notwendiger externer Beratung.

Die Geister, die ich rief

Chancen und Risiken: eine der beiden sehr guten programmatischen Podiumsdiskussionen hat es unter dem Titel „Die Geister, die ich rief – Was ist die Kehrseite von DIY-Research?“ auf den Punkt gebracht. Neben den unbestrittenen Vorteilen wurde auf die wichtigsten Risiken hingewiesen. Nicht, um DIY/DIT kategorisch abzulehnen, sondern um mit Hinweis auf diese Risiken besser zu werden.

Hier exemplarisch nur fünf der angesprochenen Aspekte, aus denen die Bandbreite der qualitätsrelevanten Parameter deutlich wird:

• das Risiko von Schlampigkeit und Fehlern (siehe oben Thomas Schäfer)
• die Risiken auf der Datenseite (Panelqualität)
• das Risiko sinkender Antwortbereitschaft in Panels durch abschreckende, schlechte Frageformulierungen
• ein Agilitätswahn nach dem Motto „alles geht, Hauptsache neu“
• schließlich der Hinweis auf den unsichtbaren Vierten am Tisch: KI und die Kombination von DIY und Automatisierung mit KI.

Das Dossier liefert einen guten Überblick über beides: über die Chancen und über die Risiken. Und dafür ist den Autoren und Autorinnen zu danken.

Künstliche Intelligenz - Der unbenannte Vierte

Die Dossierüberschrift beinhaltet „nur“ DIY, DIT, Automatisierung. Die allermeisten Artikel und Webinare beinhalten als Viertes KI – sei es als Hilfsmittel innerhalb der angebotenen DIY-Lösungen oder als KI-DIY-Angebot (ohne erneute Befragung). Dazu gab es eine zweite programmatische Podiumsdiskussion unter dem Titel „Wie viel KI ist gesund in DIY-Software?“.

Diese Podiumsdiskussion hat die Breite der KI-Einsatzfelder im Forschungsprozess (unter anderem neben der generativen KI bei Coding, Voice to Text, Sentimentanalyse, Kategorisierung, Übersetzungen, Emotionsmessung, Unterstützung der Moderation im qualitativen Prozess, in Auswertung und Analyse (bis hin zu Segmentierung und Predictive Analytics), zu Reporting, beim Formulieren von Fragen (Screener und Fragebogen), aber auch in der Qualitätssicherung während der Feldarbeit (z.B. durch die Redem) angesprochen.

Exkurs: Und ganz am Rande natürlich auch das Thema der synthetischen Befragten. Wer DIY und KI sagt, ist recht schnell auch bei diesem Thema, das in diesem Dossier nur angerissen wurde (eine für mich zunächst einmal erschreckende Einzelmeinung in der Podiumsdiskussion: „die Königsdisziplin“), dass die Branche aber mit Sicherheit in Zukunft nicht zuletzt auch unter ethischen Gesichtspunkten beschäftigen wird.

Je komplexer, desto unbrauchbarer ist menschliche Intelligenz schon immer gewesen.

Wenn DIY und KI immer häufiger miteinander verbunden werden, dann sind die Herausforderungen in Richtung Kompetenz und Transparenz als Voraussetzung sinnvoller Nutzung noch evidenter. Wer DIY oder KI anbietet oder nutzt, übernimmt deshalb Verantwortung. Anbieter und Nutzer sind da im gleichen Boot. Wie viel Zündstoff im Thema der KI allein und vor allem dann auch in Kombination von KI und DIY steckt, wird versteckt in einem Artikel deutlich – ich zitiere aus Christoph Kwiatkowski und Thomas Schäfer – KI und DIY – jetzt geht’s erst richtig los:

Herbert Höckel schreibt: „Denn je neuer, komplexer oder sensibler ein Thema ist, desto eher brauchen wir menschliche Intelligenz.“ Wir glauben das Gegenteil: je komplexer, desto unbrauchbarer ist menschliche Intelligenz schon immer gewesen.

Was Thomas Schäfer betrifft, eigentlich eine überraschende Aussage, zeigt er doch zu Recht in seinem Beitrag und Webinar die Notwendigkeit von Wissen und Kompetenz auf, um DIY und damit natürlich auch die Kombination aus DIY und KI richtig zu nutzen.

DIY und KI als sinnvolle Hilfsmittel

Diese wenigen Zeilen – und dies macht oft die Dossiers von marktforschung.de aus – eröffnen eine zukunftsweisende Diskussion. Ich bin da übrigens ganz bei Herbert Höckel, der die Grenzen der KI dann sieht, wenn psychologisches Verständnis, Sensibilität und Empathie gefragt, eine hohe Komplexität von Problem und Zielstellung der Forschung gegeben sind. Und ich hoffe, dass ich diese Meinung nicht in ein paar Jahren ändern muss.

Wenn DIY auf KI trifft, dann können sich im ungünstigsten Fall Unwissenheit und Ignoranz zu einer gefährlichen Mischung multiplizieren. Im günstigsten Fall aber Qualität und Nutzwert zu einem sehr wichtigen neuen Element der Markt- und Sozialforschung addieren.

Früher übernahmen Forschende den gesamten Forschungsprozess. Jetzt könnten DIY und/oder KI den gesamten Forschungsprozess übernehmen. Mein Votum wird von der Vielzahl der Artikel und Präsentationen unterstützt: Forscher nutzen DIY und KI als sinnvolle Hilfsmittel im weiterhin von ihnen verantworteten Forschungsprozess.

Die zwei Vergessenen

In der Überschrift dieses Artikels war von „zwei Vergessenen“ die Rede. DIY braucht Daten.

Hinter jedem DIY-Angebot stecken entweder (gerade bei quantitativen Untersuchungen) Teilnehmende in Access Panels oder dahinter steckt eine KI, die ebenfalls mit Daten trainiert werden muss.

Zu den Panels:

Was auch immer DIY/DIT/Automatisierung versprechen: Aussagekraft und Qualität definieren sich über die dahinterstehenden Stichproben. Davon ist leider in Artikeln und Webinaren (fast) keine Rede gewesen.

Wie und wo (Quellen!) werden Panelteilnehmende rekrutiert, wie wird deren Performance über die Zeit kontrolliert, wie werden Antworten auf Befragungen kontrolliert? Dies sind die drei entscheidenden Qualitätskriterien eines Panels als Basis allen DIYs: Rekrutierung und Zusammensetzung, (nachlassende?) Performance im Laufe langjähriger Mitgliedschaft, Fälschung und Betrug bei den Antworten.

Um hier Qualität zu kontrollieren, wird übrigens ebenfalls zunehmend KI eingesetzt! Heißt: professionelle Betrüger nutzen KI für den Betrug … und um Ihnen auf die Spur zu kommen, bedarf es ebenfalls intelligenter KI, wie sie zum Beispiel das Start-up Redem einsetzt. Dies ist ein eigenes Thema, vielleicht ein Dossierthema. Für mich trotzdem bedauerlich, dass bei aller DIY/DIT/Automatisierungseuphorie die ganz entscheidende Qualität der Daten(-quellen) vernachlässigt wurde.

KI everywhere.

Und seien wir ehrlich, dies führt manchmal auch zu einer gewissen unkritischen „Besoffenheit“. Dabei wissen wir doch alle längst, dass jede KI nur so schlau sein kann wie es die Trainingsdaten hergeben. Warum erfahren wir eigentlich fast nirgendwo – auch nicht im Dossier – mit welchen Trainingsdaten eine angebotene/genutzte KI gefüttert wurde, woher diese Daten kommen, wofür sie stehen und damit aussagekräftig sind? Warum erfahren wir nicht, wie Trainingsdaten aktualisiert werden, wie Biases in und durch die Trainingsdaten vermieden werden?

Mehr zum Thema

Hartmut Scheffler „Beratung plus“ oder das besondere Etwas der Marktforschung

Hartmut Scheffler, Berater für Marktforschung und Markenführung Von Mythen, Experten, KI und einem Schirm

Kolumne von Christoph Kwiatkowski und Thomas Schäfer KI & DIY – jetzt geht’s erst richtig los

Hartmut Scheffler, Berater für Marktforschung und Markenführung Von steilen Thesen, Branded-Solutions, Vertrauen, Werten, KI, menschlichem Fit und Transparenz - Ein konstruktiver Widerspruch

Ohne Transparenz nur ein Versprechen

Das DIY-Versprechen ist ohne die Antwort auf die Panelfragen nur ein Versprechen. Das KI-Versprechen ist ohne Transparenz bzgl. der Trainingsdaten, der Aktualisierung etc. nur ein KI-Versprechen.

Bitte richtig verstehen: dies ist kein Argument gegen die vielen sinnvollen und guten Anwendungsmöglichkeiten von DIY und KI. Es ist ganz einfach neben der mehrfach formulierten Forderung nach (Daten-)Kompetenz und Wissen die Forderung nach umfassender Transparenz der Datenquellen und Strukturen hinter den Angeboten.

Resümee

DIY, DIT und Automatisierung sind erwachsen geworden und beeindrucken durch eine breite Palette unterschiedlicher Angebote. Die sind schon jetzt und werden in Zukunft oft nicht ohne die direkte Verbindung mit KI zu denken sein.

Sie ersetzen menschliche Intelligenz, Wissen und Kompetenz nicht, sondern sie sind für Wissende sinnvolles Werkzeug, für Unwissende aber gefährlich. Die Qualität der Paneldaten einerseits, die Herkunft der Trainingsdaten bei KI andererseits und die dazu gelieferte Transparenz sind (neben Fragen der Ethik und des Datenschutzes bei KI) die zentralen Herausforderungen. Kompetenz der Anwendenden und Transparenz der Angebote müssen zum entscheidenden Auswahl-, Qualitäts- und damit Erfolgskriterium werden.

Täglicher Newsletter der Insightsbranche

News +++ Jobs +++ Whitepaper +++ Webinare

Newsletter abonnieren

Wir beliefern täglich mehr als 9.000 Abonnenten

Datenschutz