Birgit Maier, mafokonzept Wie die Demokratisierung der Marktforschung die Qualitätswahrnehmung beeinflusst

Verschiedene Entwicklungen der vergangenen Jahre wie die Online-Forschung und Big Data haben in der Marktforschung ihre Spuren hinterlassen und die Marktforschung positiv beeinflusst. Ob dies bei DIY ebenso der Fall sein wird, hängt unter anderem davon ab, inwiefern es gelingt, hohe Ansprüche an die Qualität von Umfragen auch über die Branche hinaus in den Köpfen zu verankern.

Detektiv bei einer Beobachtung (Bild: picture-alliance / dpa/dpaweb | epa Martial Trezzini)

Wie wird die Qualität von Marktforschung wahrgenommen? Ein kritischer Blick auf DIY-Studien ist wichtig, um die Qualität sicherzustellen. (Bild: picture-alliance / dpa/dpaweb | epa Martial Trezzini)

Nach den Anfängen der Online-Forschung in den Nullerjahren und dem Aufkommen von Big Data ungefähr zehn Jahre später, erlebt die Branche mit DIY und Automatisierung die dritte Welle der großen Veränderungen in diesem noch jungen Jahrtausend. Und die Entwicklung geht weiter, ohne dass eine Stelle in der Marktforschung gestrichen wurde. Denn die Veränderungen sind selten Umbrüche, das Neue steht neben dem Alten und ergänzt es oft. Das sieht man recht gut an der vierten bahnbrechenden Veränderung: die Digitalisierung der qualitativen Forschung. Teststudios, die früher Tempel der Face-to-face-Gruppendiskussionen waren, führen diese nun online durch, und sind als Rekrutierungs- und Organisations-Spezialisten so gefragt wie zuvor.

Ich persönlich begrüße diese Entwicklungen. Unsere Welt ist zwar komplexer, aber auch unendlich viel spannender geworden.

Der 125ste Pretest? Kann schnell und kostengünstig über die DIY-Plattform mit angeschlossenem Panel abgewickelt werden. Ein anlassbezogener Net Promoter Score? Erledigt das interne CX System und liefert die Benchmarks gleich mit dazu. Dabei profitieren alle von standardisierten und vielfach erprobten Fragebögen und leicht erreichbaren Zielgruppen. So verstanden nehmen DIY und Automatisierung uns viel Arbeit ab, so dass wir mehr Zeit für Datenintegration, Analyse und Interpretation haben.

Forschung kann jeder – oder doch nicht?

Was mich jedoch stört, ist dass der „Forscher“ aus unserer Berufsbezeichnung zunehmend verschwindet. Dieser herrliche Begriff, der impliziert: Bei dem Job brauchst du ein entsprechendes Rüstzeug.

DIY suggeriert, dass jeder problemlos forschen kann und wirbt mit der Demokratisierung der Marktforschung. Aber in der Realität müssen nach wie vor Methodendesigns, Stichproben, Fragebögen, Auswertungen und Visualisierung wissenschaftlichen Ansprüchen genügen.

Und diese Ansprüche verschwinden ja nicht, wenn man auf standardisierte Fragebögen, Panels und automatisierte Charts zugreift. Der Fragebogen muss eventuell um Zusatzfragen ergänzt werden oder die angebotene Stichprobe ist viel zu breit definiert. Ein Projektleiter sollte deshalb jederzeit in der Lage sein, die Qualität der Studienabschnitte kontrollieren zu können und gegebenenfalls korrigierend eingreifen. Das kann er oder sie aber nur, wenn die entsprechende Ausbildung und Erfahrung dahinterstecken. Erschwerend kommt hinzu, dass das Fehler-Risiko zunimmt, je weniger standardisiert die Studie ist.

Ein aktuelles und sehr trauriges Beispiel dafür ist die begleitende Marktforschung zum 9-Euro-Ticket.  Neben einer deutschlandweit repräsentativen Studie von Forsa und rc research & consulting gibt es einige Umfragen der lokalen Verkehrsgesellschaften, die den Erfolg des 9-Euro-Tickets belegen sollten.

Diese lokalen Verkehrsunternehmen setzten aber jeweils andere Schwerpunkte, stellten unterschiedlichen Stichproben unterschiedliche Fragen und beauftragten verschiedene Dienstleister. So entstand ein riesiger Flickenteppich von Daten ohne Struktur und, abgesehen von den 78.000 bevölkerungsrepräsentativen Interviews von Forsa und rc, auch ohne Aussagekraft.

Was nun folgte und uns noch eine lange Zeit begleiten wird, ist ein Streit unter den einzelnen Auftraggebern. Wer hat die richtigen Fragen gestellt? Warum habt ihr andere Zahlen? Unser Professor hat aber mehr Erfahrung! Mein Verkehrsverbund ist aber besonders! Das geht sogar so weit, dass in laufenden Studien Fragen angepasst wurden, damit das woanders erzielte Ergebnis ebenfalls erreicht wird. Und wo das Ergebnis immer noch nicht passt, dann greifen Gewichtungen.

Das ist dem Föderalismus geschuldet, mag man hier einwerfen. Gute DIY Forschung geht aber genau so nicht. Eine einheitliche Lösung hätte hier einen größeren Erkenntnisgewinn gebracht.

Fragwürdige Studien überfluten die Öffentlichkeit

Ein weiterer Punkt, der mir Sorgen macht, ist die veröffentlichte Studienflut. Nicht ein Wochentag vergeht, an der keine neue Studie vorgestellt wird. Wie arbeitet Deutschland? Wie viel Unternehmen wollen bis 2045 klimaneutral sein? Wie gestresst sind Autofahrer in der Großstadt? Das sind nur drei Fragestellungen, die durch aktuelle Umfragen beantwortet werden.

Dahinter stecken immer häufiger Medien und Unternehmen, die Panel- oder Omnibus-Institute beauftragen. Meistens sind die Stichproben repräsentativ angelegt, was schon mal einen möglichen Problembereich ausklammert. Die meisten der beauftragten Institute können das und belegen es als Wahlforscher eindrucksvoll. Was jedoch zunehmend schwierig wird, ist die Qualität der Fragen. Die Auftraggeber wollen es in die Schlagzeilen schaffen und das gelingt ihnen immer häufiger mit fragwürdigen Mitteln, zum Beispiel durch suggestive Fragen.

Werden fehlerhafte DIY-Studien, manipulierte Auswertungen oder schlechte Fragebögen entlarvt, bleibt vom aufgewühlten Schmutz immer etwas an „der Marktforschung“ oder den „Umfragen“ hängen, das Image leidet. Das kann langfristig zu einem Problem werden, wenn parallel zu einem Imageverlust die Antwortbereitschaft in der Bevölkerung zurückgeht.

Qualitätssicherung: Open Science-Projekt als Vorbild

Was kann man also tun, um die Qualität der Umfragen zu sichern? Da lohnt sich ein Blick an die Hochschulen. Auch die Wissenschaft leidet unter widersprüchlichen Studien. Vor allem sind diese im Lebensmittelbereich zu finden. Da stößt man auf unzählige Veröffentlichungen, welche Lebensmittel gesund sind oder fett, ja sogar krank machen. Viele Hochschulen haben sich deshalb dem „Open Science“ Projekt angeschlossen, bei dem sich die Studierenden verpflichten alle Daten offenzulegen. So kann sich jeder ein Bild von der Versuchsanordnung, der Stichprobe,  und den Ergebnissen machen.

Auf unsere Branche bezogen sollte mindestens der Fragebogen und der Studiensteckbrief mit Stichprobengröße und -struktur veröffentlicht werden. Das gehört meiner Meinung nach auch in die Statuten der Verbände. Institute sollten ihre Auftraggeber wiederum zur Veröffentlichung von Studiensteckbrief und Fragebogen verpflichten.

Schlechte Umfragen wie Fake News behandeln

Vor allem Journalisten als Hauptabnehmer der Umfragewerte müssen sensibilisiert werden und Studiensteckbriefe sowie Fragebögen anfordern. Die Verbände sollten sich auch aktiver an der Ausbildung von Journalisten, besonders von Datenjournalisten, beteiligen.

Weiterhin sind Umfrageergebnisse, die auf schlechten Stichproben, Auswertungen oder Fragebögen beruhen, als Fake News einzuordnen. Viele politische Entscheidungen basieren inzwischen auf Studien. Sind diese Fake News und Teil des politischen Diskurses, freut sich CORRECTIV über Hinweise.

Oder Sie reichen Auffälligkeiten  hier ein, vielleicht schafft es die Studie ja an die Spitze der „Unstatistik des Monats“.

Und schlussendlich hat es jeder selbst ein wenig in der Hand: Widersprechen Sie auch mal, wenn jemand auf LinkedIn Zahlen falsch darstellt oder interpretiert. Der gute Ruf der Branche ist es wert!

 

Über die Person

Inhaberin - mafokonzept

Birgit Maier, mafokonzept, beobachtet seit 2007 die nationale und globale Insightsbranche und hat ihre Erkenntnisse vorwiegend in der Research & Results veröffentlicht. Die diplomierte Betriebswirtin mit dem Studienschwerpunkt Markt- und Meinungsforschung berät darüber hinaus Institute und Unternehmen bezüglich Fragebogengestaltung, Methoden und Tools.

Diskutieren Sie mit!     

  1. Jan Strasser am 29.08.2022
    Danke für diese klaren Worte, Frau Maier. Medien sollten dazu verpflichtet werden, das vollständige Studiendesign, die gestellten Fragen und die effektive Antwortverteilung zu publizieren. – Dass die Resultate oft "kreativ" interpretiert werden, lässt sich wohl nicht vermeiden. Aber Transparenz würde den besser gebildeten Zeitgenossen die Gelegenheit geben, die "Studie" richtig einzuschätzen.
  2. Hans-Werner Klein am 29.08.2022
    Besten Dank, Birgit Maier,

    dieses Thema so deutlich und klar auf den Punkt gebracht zu haben.

    Niemandem, der ein DIY EKG, ein Link zu Wikipedia und ein ein Einmal-Skalpell auf den Schreibtisch gelegt wurde, wird man eine Herztransplantation zutrauen, oder?

    Aber unser Problem mit den DIY Anbietern: Es geht über DIY Fragebogen und stolpernde Auswertungen hinaus - und damit wird im Artikel die Aufgabe der "Demokratisierung" von Datenarbeit deutlich angesprochen: Wir haben sehr gute Journalist:innen, die Daten (auch im Verbund internationaler Medien wie WP, NYT, Guardian, Süddeutsche, NDR, WRD etc.) zusammentragen und auswerten und: regelgerecht publizieren.
    Und natürlich auch schon immer welche, die Sommerlochfüllmaterial schnappatmungsgerecht aufbereiten, z.B. aus einem tiefen Unverständnis von "Anteil oder Anzahl". Kokett entschuldigt mit dem Hinweis, dass man Mathe schon auf der Schule nicht leiden mochte. Und dabei könnte man, belegt durch Zahlen, plötzlich den „Beweis“ serviert bekommen, dass ein Hund Eier legen kann!*

    Deshalb sind wir als Profis gefragt: „Demokratisierung der Datenarbeit“ bedeutet ja gerade "Data Literacy" zu lehren und zu lernen. Das reicht noch nicht, um ein Herz erfolgreich zu operieren, aber Puls und Blutdruck lernt man schon zu erheben.

    "Unsere Zunft" ist also gefragt: Wir haben fragen gelernt, wissen was ein Halo Effekt ist, wie man einen Fragebogen als Geschichte aufbaut (bei der die Befragten Spass haben, diesen Geschichten zu folgen). Wissen, was eine Stichprobe ist, dass man diese am besten ausschöpft statt nach zu ziehen und was man bekommt, wenn man die Selbstselektion zuschlagen lässt.
    Und wir wissen, wie man fachgerecht Daten analysiert und die Ergebnisse darstellt, und diese Daten zur Analyse nutzt, zur Prädiktion oder gar zur Präskription. Und zudem auch noch visualisiert und "Story Telling" "kann".

    Und nicht wenige der DIY Anbieter bieten sehr gute Q&A, Tutorials, Wikis und „geprüfte“ Fragen zu vielen Bereichen mitsamt passender Skalen als Muster an.

    Was wir nicht verhindern können ist, dass es in der Wissenschaft, Wirtschaft und Politik unterschiedliche „Erkenntnisinteressen“ geben kann, Fälle auf die ein oder andere Art „zusammen gemixt“ werden, es „p-hacking“ geben soll, und manchmal auch Stichproben in Längsschnittstudien nicht nach „intention-to-treat“ ausgewertet werden.
    Oder anders: Das es ausser „Mist durch Misslingen“ auch „Mist mit Absicht“ gibt.
    Dann ist es wichtig darauf hinzuweisen, dass Hunde keine Eier legen - und wie man diesen Irrtum aus der Welt schaffen kann.

    Beste Grüße

    Hans-Werner Klein
    *Der sehr gelungene Nachweis, das ein Hund das Eier legt, findet sich in dem „satirischen Lehrroman“ von H.-H. Dubben, H.-P. Beck-Bornholdt: Der Hund, der Eier legt, Hamburg 2011

Um unsere Kommentarfunktion nutzen zu können müssen Sie sich anmelden.

Anmelden

Weitere Highlights auf marktforschung.de