CONSULTING.de
PERSONALintern.de
Der Markt konsolidiert sich weiter Management Consult und rc - research & consulting zukünftig unter einem Dach
veröffentlicht am
Rückblick auf den Freitag der WdM Diskussion zur Qualität in der Marktforschung
veröffentlicht am
Zu den Hintergründen der Podiumsdiskussion
Am 01. Februar 2018 ging ein Beben durch die deutsche Marktforschungsbranche. "Die Akte Marktforschung - Bei Umfragen in Deutschland wird bisweilen geschummelt eine Spiegelrecherche deckt Betrug in der Branche auf" titelte damals der Spiegel online. "Manipulierte Umfrage zu Krebsmedikament"; "Gefälschte Studie: Staatlicher Auftrag, staatlicher Betrug"; "Gefälschter Haarwuchsmittel-"Test" Der Kunde KOCHT!!!"; "Pfusch in der Marktforschung, alles gefummelt".
Ein Blick auf die Headlines der damals veröffentlichten Artikel zeigt, worum es eigentlich geht. Auslöser der Unruhen war damals u.a. die Selbstanklage des anwesenden Martin Thörings, der selbst viele Jahre für unterschiedliche Feldinstitute gearbeitet hat. Er hatte jahrelang Beweismaterial gesammelt, um zu dokumentieren und Auskunft darüber zu geben, was in den Instituten, in denen er tätig war, wirklich passiert ist. Aufgedeckt wurden Qualitätsdefizite in der Feldarbeit, die teilweise bis zum Betrug gingen.
Im Nachgang der "Akte Marktforschung" gingen unter anderen die Institute CSI und ACE insolvent. In der Branche schallt Martin Thöring bis heute breite Ablehnung entgegen und das nicht nur in Bezug auf die langjährige von ihm begangenen Betrugshandlungen, sondern auch wegen einer damals unzulässigen Generalisierung seiner Erfahrung auf eine ganze Branche und damit einhergehender Überinterpretation und Skandalisierung durch den SPIEGEL.
Es sind nun fast zwei Jahre seit den Betrugsoffenbarungen vergangen. Stellt sich die Frage, ob sich denn an den grundlegenden Qualitätsproblemen von damals wirklich was geändert hat: Ist die Branche mittlerweile geläutert?
Der Qualitätsbegriff in der Marktforschung
Eröffnet wurde die Podiumsdiskussion mit der Frage nach dem Qualitätsbegriff der Marktforschung, was gehört denn eigentlich alles zur dazu? Nicht zu knapp betonte Harmut Scheffler die Wichtigkeit des Qualitätsbegriffs - "Auch wenn das häufig geschieht, sollte der Qualitätsbegriff nicht verkürzt dargestellt werden", so Scheffler.
"Wir müssen endlich einen 360°-Qualitätsbegriff haben" (Scheffler)
Für die vollständige Erfassung des Qualitätsbegriffs in der Marktforschung ist es laut Scheffler absolut notwendig die Qualitätsansprüche an die Marktforschung von allen Perspektiven zu betrachten. Er appelliert daher an einen 360°-Qualitätsbegriff, bei dem sowohl die Methoden, als auch die Ansprüche der verschiedenen Stakeholder, angefangen bei den Kunden und Befragten bis hin zu den Interviewer*innen und Mitarbeiter*innen berücksichtigt werden.
"Wir müssen schon in der Methodik den Qualitätsbegriff auf ganz neue Methoden und Anwendungsbeispiele ausweiten." (Scheffler)
Natürlich gehören auch klassische Dinge wie die Stichprobenziehung, Stichprobenauswahl und Validität zum Qualitätsbegriff dazu. "Bei den Methoden, gibt es aber auch ganz neue Dinge, die es zu beachten gilt", so Scheffler. Neue Methoden und Anwendungsbeispiele, wie KI-getriebene Systeme, programmgestützte Textanalysen oder auch Sentimentanalysen erfordern, dass der Qualitätsbegriff innerhalb der Methodik weiter ausgeweitet wird.
Betrachten wir den Qualitätsbegriff im Bereich der Stakeholder, gibt es verschiedene Gruppen, die es zu berücksichtigen gilt. Nach Scheffler sollten Qualitätsansprüche sowohl im Umgang mit den Kunden und Befragten gestellt werden, als auch bei den durchführenden Interviewern und eigenen Mitarbeitern. "Wir haben sowohl eine datenschutzrechtliche Verantwortung gegenüber den Befragten, als auch die Verantwortung gegenüber den Interviewern (Stichwort vernünftige Befragung, faire Bezahlung, gute Ausbildung) und den Mitarbeitern" so Scheffler. "Darüber hinaus müssen wir den Kunden zugestehen, dass für ihn Qualität sowohl in der Schnelligkeit, als auch im value for money und der unmittelbaren Verwendbarkeit der Ergebnisse liegt", so Scheffler weiter.
Sebastian Götte appellierte darüber hinaus an die Beratungsqualität gegenüber den Kunden. "Wir sollten klar kommunizieren, was wir von den Kundenwünschen zu gegebenem Preis und gegebener Zeit tun können und was eben nicht. Wir Marktforscher sollten nicht jedem Kundenwunsch nachgeben sondern eben auch die Wissenschaftlichkeit mit ins Spiel mitbringen und uns als Anwälte einer sauberen Wissenschaft präsentieren" so Götte weiter.
"Wir haben eine Qualitätsverantwortung bei allem was wir tun gegenüber der Gesellschaft." (Scheffler)
Als letzten Punkt nannte Scheffler den gesellschaftlichen Aspekt von Marktforschung. Sowohl die Wissenschaftlichkeit als auch die Vertrauenswürdigkeit und Glaubwürdigkeit von Marktforschung sowie ethische Aspekte und die Vermeidung von Fake-News gehören in den Verantwortungsbereich von Marktforschung, so Scheffler.
Qualitätssicherung im Feld
Martin Thöring hatte im Jahr 2018 vor allem Qualitätsdefizite in der Feldarbeit aufgedeckt. Auf die Frage von Moderator Holger Geißler, was der Hauptvorwurf damals an die Marktforschung war, antwortete Thöring klar: "Mein Hauptvorwurf war, dass die Marktforschungsbranche von den Defiziten wusste und es geduldet hat."
Doch wie kann man eigentlich die Qualität im Feld sichern? An erster Stelle appellierte Sebastian Götte an das Selbstbewusstsein der Branche:
"Ein hohes Maß an Transparenz und Sorgfalt gepaart mit den Faktoren Zeit und Kosten - all das macht eine gute Qualität aus" (Götte)
Auf die Frage, wie man die Qualität im Feld als Marktforscher denn eigentlich sichern kann, appellierte Sebastian Götte an das Selbstbewusstsein der Branche: "Wir müssen den Kunden mit einem gewissen Selbstbewusstsein begegnen und ganz offen kommunizieren, was an Zeit und Kosten notwendig ist, um saubere Qualität zu liefern". Darüber hinaus verwies er auf die Richtlinien, die der ADM und auch viele andere Institute zur Verfügung gestellt hat, die dabei helfen können ein sauberes Feld aufzustellen. Laut Götte trägt sowohl das ausgebildete Personal, eine gute Rekrutierung und die Schulung der Interviewer zur Qualitätssicherung im Feld bei. Außerdem betont er die Wichtigkeit, einen prüfenden Blick an jeder Stelle des Datenerhebungsprozesses zu werfen. "Seien Sie den Kunden gegenüber offen und zeigen Sie auf wo die Probleme während der Datenerhebung auftreten, anstatt diese unter den Teppich zu kehren", so Götte.
Auf die Frage von Moderator Holger Geißler, ob das Qualitätsproblem durch zu knapp vereinbarte Feldzeiten, zu schwierig rekrutierbare Zielgruppen für zu wenig Geld nicht hausgemacht sei, verortete Martin Thöring das Hauptproblem der Qualitätsdefizite beim steigenden Kostendruck in der Branche. "Ich glaube wirklich, dass jedes Institut, das mit für sich zwar fair kalkulierten - im Vergleich zur Konkurrenz aber zu hohen - Preisen an den Markt geht, früher oder später pleitegeht. Es kommen schlichtweg keine Aufträge mehr rein!", so Thöring.
Zeit und Preis setzen die Branche unter Druck
Mittlerweile befinden sich u.a. durch neue KI-gestützte Programme Methoden im Markt, die dem Zeitdruck, den die Nachfrager immer weiter erhöhen, standhalten können. "Die Frage ist, inwieweit wir diesem Trend nachgehen", so Scheffler. Der Zeitdruck auf der Kundenseite nimmt stetig zu, d.h. auch, dass der Kunde den Druck manchmal einfach nur an die Marktforscher weitergibt, da in den Abteilungen schnell Entscheidungengetroffen werden müssen. "Es wird eine zentrale Aufgabe sein, deutlich zu machen, wo ich gewisse Einschränkungen in Kauf nehmen kann, weil ich Richtungen in den Daten erkenne. Und, wo ich das eben nicht kann", erklärt Scheffler. "Für uns ist es hierbei ganz wichtig, die beratende Rolle einzunehmen. Noch viel wichtiger hingegen ist, dass die Kundenseite diese Beratung auch haben und am Ende des Tages dafür bezahlen will", führt er fort. Scheffler gesteht ein, dass der Zeit- und Preisdruck ein großes Thema in der Marktforschung ist, dieser aber nicht jegliches Fehlverhalten entschuldigt.
"Zeit und Preisdruck legitimiert, solange es mit dem Kunden abgesprochen ist, hier und da mal pragmatische Lösungen anzugehen. Es legitimiert aber in keinster Weise getürkte Interviews oder Ähnliches!" (Scheffler)
Der wachsende Zeitdruck ist ein Thema der Digitalisierung, dem man sich schlichtweg stellen muss. Anders hingegen sieht es mit den Qualitätsstandards der Branche aus. Scheffler erklärt, dass sowohl Kontrollen, als auch das Bewusstsein von Qualitätsgrenzen zur positiven Beeinflussung der Qualität beitragen können.
Kontrollen zur Qualitätssicherung
Kontrollen können zur Qualitätssicherung beitragen, da waren sich tatsächlich alle Diskussionsteilnehmer einig. Martin Thöring kritisiert jedoch, dass nur unzulängliche Kontrollen zu seiner Zeit durchgeführt wurden. Er gab Einblicke in seinen damaligen Arbeitsalltag, berichtete über getürkte Interviews, die Verschleierung von IP-Adressen und zeigte auf, an welchen Stellen die Pfuschereien durch einfache Kontrollen hätten aufgedeckt werden können.
"Mehr Kontrolle? - Ja! Kriminalisierung der Branche? - Nein!! (Scheffler)
Die Ausführungen Thörings stießen auf Unmut der anderen beiden Diskussionsteilnehmer und führten zu einer hitzig geführten Debatte, die noch einmal ganz klar verdeutlichte, in welchem Spannungsfeld sich Thöring zur Marktforschungsbranche befindet. Hartmut Scheffler stellte sich energisch gegen die generalisierten Anschuldigungen und führte drei zentrale Punkte an. Er gibt zwar zu, dass das Thema Kontrolle teilweise etwas blauäugig behandelt wird und nicht in dem Umfang genutzt wird, wie es teilweise angebracht wäre. "Fehler in diesem Bereich tun weh, weil es relativ leicht wäre hier Verbesserungen zu schaffen", so Scheffler. Er verwehrt sich jedoch gegenüber den Anschuldigungen Thörings, dass durch kriminelle Machenschaften Einzelner eine ganze Branche als kriminell dargestellt wird.
"Ich kann ganz sicher - und ohne 'wenn und aber' - über unser eigenes Institut sprechen und Ihnen versichern, dass dort kein einziges Interview gefaked, erfunden, gedoppelt oder gefälscht worden ist!" (Scheffler)
Als letzten Punkt betonte Scheffler, dass sich die Marktforschungsbranche bedingt durch die Digitalisierung immer weniger durch klassische Interviews auszeichnet. Vielmehr treten Online-Angebote und -Methoden in den Vordergrund, die es zu berücksichtigen gilt. Er bittet eindringlich darum, dass Qualitätsthema daher nicht nur auf die klassischen Erhebungsmethoden zu reduzieren. "Die Mehrzahl der Dinge, die wir tun, hat wenig bis gar nichts mehr mit Telefon-Interviews oder klassischen Interviews zu tun und mit ganz anderen Qualitätsherausforderungen zu kämpfen", fuhr er fort.
Auf die Rückfrage aus dem Plenum, wie man als Auftraggeber die Zusammenarbeit mit den Instituten verbessern und die gelieferten Ergebnisse kontrollieren kann, wird eine Bandbreite an Maßnahmen empfohlen, die im Datenerhebungsprozess berücksichtigt werden können. Eine kleine Auswahl der genannten Aspekte finden Sie in der folgenden Liste:
- Hinterfragen Sie den gesamten Datenerhebungsprozess
- Fordern Sie die erhobenen Rohdaten an
- Stellen Sie sich die Frage, wie valide die verwendeten Tools sind (Warum wird mit diesem Tool valide gemessen?)
- Fragen Sie sich immer, ob das was Ihnen als Kunde angeboten wird, wirklich zu dem Preis umgesetzt werden kann
Es gibt immer noch Betrüger unter uns
Nicht nur Martin Thöring ließ immer mal wieder durchklingen, dass es auch heute noch schwarze Schafe unter den Dienstleistern gibt. Hinter vorgehaltener Hand tauchen Namen von Instituten auf, denen Betrug vorgeworfen wird. Warum tut sich die Branche also so schwer, solche Verdachtsfälle öffentlich zu machen? Geißler fragt bei ADM-Vorstandsmitglied Götte nach, ob er für alle ADM Mitglieder die Hand ins Feuer legen würde, dass diese zu 100 Prozent sauber arbeiten. Die Antwort fällt ernüchternd aus: "Nein, denn dafür fehlt der Einblick in alle Institute", so Götte. Er erklärt: "Als Verband sind uns an dieser Stelle etwas die Hände gebunden, da wir keine Sanktionsmittel haben außer den Verbandsausschluss, was wir auch bei ACE und ICU gemacht haben."
"Wir müssen lernen, ehrlich miteinander zu diskutieren, damit es eben nicht durch eine einzelne Person wie Herrn Thöring dazu kommt, dass die gesamte Branche an den Pranger gestellt wird" (Götte)
Der Vorschlag eine anonyme Meldestelle für solche Fälle einzurichten, lehnte Götte eher ab. Ihm und damit auch dem ADM ist viel mehr daran gelegen aus intrinsischen Motiven Qualität zu liefern "... und nicht weil wir befürchten müssen, dass jemand sich bei einer anonymen Meldestelle über uns beschwert", so Götte.
Das Bewusstsein für Qualitätskriterien muss gestärkt werden
"Nur durch die Kontrollen, können die erwischt werden, die Dinge versprechen aber nicht einhalten" , erklärt Scheffler. Doch wie soll das umgesetzt werden, wenn das Bewusstsein für Qualitätskriterien schlichtweg fehlt? Der Apell der Diskutanten lautet daher:
"Wir müssen permanent das Thema der Qualitätskontrolle hochhalten!"(Götte)
Sowohl in Marktforschungs- als auch in Marketing-Ausbildungsgängen muss das Qualitätsthema platziert werden, um die Relevanz und das Verständnis dieser Thematik hervorzuheben. "Das ist die einzige Chance, wie sich die Branche selbst heilen kann, ansonsten drehen wir uns im Kreis" so Scheffler.
Hier können Sie die Aufzeichnung von der Daily Keynote am Freitag der WdM 2020 anfordern!
/sh
Kommentare (0)
Noch keine Kommentare zu diesem Artikel. Machen Sie gerne den Anfang!
Um unsere Kommentarfunktion nutzen zu können müssen Sie sich anmelden.
Anmelden