Als ob es einen Sieger geben könnte

Holger Geißler

Was haben die deutsche Fußball-Nationalmannschaft und die deutsche Marktforschungsbranche gemeinsam? Na, haben Sie eine Ahnung? Ganz einfach: 2018 war für beide kein gutes Jahr.

Holger Geissler (Bild: Alex Schelbert)

Holger Geissler (Bild: Alex Schelbert)

Die Fußballer scheiterten als Titelverteidiger historisch bereits in der Vorrunde der WM in Russland und konnten nur ein Pflichtspiel gewinnen.

Für die Marktforscher startete 2018 denkbar schlecht. Es ging los mit der SPIEGEL-Reportage über die "Akte Marktforschung" und dem Vorwurf, dass bei Umfragen getäuscht, getrickst und manipuliert wird. Und dann, Ende September, veröffentlichte die taz einen Bericht über die Beschwerde einiger Marktforscher beim Presserat über eine Focus-Umfrage des Berliner Start-up Civey, der sich nun das Wiederaufleben der Diskussion über "Repräsentativität" anschließt.

Konnten die Fußballer wenigstens ein Pflichtspiel im Kalenderjahr gewinnen, so fragt man sich, ob die Marktforscher an irgendeiner Stelle punkten konnten. Selbst neutralen Beobachtern dürfte es schwerfallen, positive Zeichen dafür zu entdecken, dass die beiden großen Diskussionen der Marktforschungsbranche in irgendeiner Art und Weise geholfen hätten. Zwar haben die vom SPIEGEL entlarvten Institute mittlerweile Insolvenz angemeldet, aber außer einigen Pressemitteilungen ist von Seiten der Verbände wenig passiert, um verlorenes Terrain wiedergutzumachen. Die Diskussion über die Qualität der Marktforschung trifft die Branche zur Unzeit. Durch die Digitalisierung verfügen immer mehr Unternehmen über eigene Daten. Liegen keine Daten vor, werden die mal schnell mit DIY-Software erhoben. Die Daten- und Befragungs-Monopole der Institute sind Vergangenheit. Die Relevanz der Branche ist gefährdet.

Und jetzt diskutieren wir also mal wieder über "Repräsentativität". Es gibt offene Briefe und Stellungnahmen des ADM, der DGOF und des BVMs. Die große Frage ist, warum erst jetzt? Der ADM schreibt z.B. "Seit einiger Zeit nehmen wir mit großer Sorge wahr, dass in Zeitungen und Zeitschriften, in Radio- und Fernsehberichten sowie in der Onlineberichterstattung Umfrageergebnisse vermehrt als repräsentativ bezeichnet werden, auch wenn diese nicht repräsentativ sind." Welchen Zeitraum bezeichnet dabei der Ansatz des Satzes: "Seit einiger Zeit…"? Die letzten 10 Jahre? Etwa so lange dürfte es her sein, dass YouGov die ersten Umfragen im YouGov Online-Panel zu Landtagswahlen veröffentlicht hat. Und es ging damals nicht darum die Wahlabsicht der Onliner vorherzusagen.

Die Argumente, die heute angeführt werden, sind zurecht die gleichen Argumente wie anno Oktober 2000, als die erste Richtlinie für Online-Befragungen erschien: Jeder muss eine berechenbare Chance haben, in die Stichprobe zu gelangen, ganze Bevölkerungsgruppen fehlen online, deshalb kann das nicht repräsentativ sein. Das ist jetzt 18 Jahre her. Warum diskutieren wir immer noch über die gleichen Themen wie damals?

Hätte sich mein Sohn, 2002 geboren, so entwickelt wie die Diskussion um Repräsentativität, würde er noch Babygrößen tragen. Glücklicherweise trägt er Konfektionsgröße L.

Die Argumente, die damals und heute vorgetragen wurden, sind unbestreitbar richtig. Aber bringen uns diese Argumente in irgendeiner Hinsicht weiter?

Die Diskussion, die wir seit nunmehr 18 Jahren führen, hat einen Fehler: Wir führen diese Diskussion immer noch so, als ob eine Methode am Ende als Sieger den Platz verlassen könnte. Und weil wir diese Diskussion so führen, dauert diese Diskussion immer noch an und wird auch mit diesem Themendossier nicht beendet werden. Wir zanken uns darüber, warum online nicht repräsentativ sein kann, das die Rücklaufquoten bei telefonischen Umfragen so niedrig sind, warum bei F2F-Interviews so viel gemogelt wird. Jede Methode will Recht behalten. Aber bei genauem Hinschauen hat jede Methode deutliche Schwächen, wenn es um Repräsentativität geht. Und jeder Praktiker und Marktforscher weiß das auch.

Wir sind als Marktforschungsbranche in dem Dilemma, dass von uns gefordert wird, repräsentativ zu arbeiten, die adäquaten Methoden aber nicht mehr zeitgemäß sind. Zeitgemäß bedeutet in diesem Fall: "bezahlbar" und "Ergebnisse in wenigen Tagen".

Stellen wir uns vor, ein fiktives politisches Wochenmagazin möchte repräsentativ herausfinden, welcher Kandidat um den CDU-Vorsitz beim Volk am besten ankommt. Würde das Magazin den wissenschaftlich-korrekten Weg einer Zufallsstichprobe mit der vermeintlich besten Methode wählen, dann wäre der günstigste und schnellste Weg vielleicht der Face-to-Face-Omnibus von IfD Allensbach (ganz genau kann ich das nicht sagen, da auf deren Homepage detaillierte Angaben dazu fehlen). Die Ergebnisse hätte er dann nach ca. vier bis sechs Wochen. In dieser Zeit hätte es ca. 20 andere Umfragen mit mehr oder weniger repräsentativen Quoten- oder willkürlichen Stichproben via Telefon- und Online-Umfragen gegeben und der Nachrichtenwert der eigenen Umfrage für das Wochenmagazin läge bei null. Wir können jetzt als Branche das Magazin ob seines vorbildlichen Vorgehens loben, die anderen Medien schelten wegen der Unwissenschaftlichkeit. Wem hilft das? Das Magazin hätte wahrscheinlich das erste und letzte Mal eine solche Umfrage in Auftrag gegeben, weil alle anderen Medien weniger bezahlt haben und schnellere Ergebnisse hatten. Und mit hoher Wahrscheinlichkeit wären die Ergebnisse noch nicht mal unterschiedlich ausgefallen.

Werden wir als deutsche Marktforscher die "mediale Sucht" nach immer mehr Umfragen stoppen, in dem wir aufhören, sie zu bedienen? Werden wir als deutsche Marktforscher Unternehmen dazu rückerziehen können, wieder zwei bis drei Monate auf repräsentative Ergebnisse aus der Marktforschung zu warten?

Ich halte das für ein aussichtsloses Unterfangen, die Zeit zurückdrehen zu wollen. Wenn wir Marktforscher den Auftrag nicht bedienen wollen, findet sich jemand anders. Die Nachfrage-Seite für Marktforschung hat sich in den 18 Jahren verändert, auch wenn wir als Branche bei der Frage der Repräsentativität kein Stück weitergekommen sind. Deshalb bleibt uns als Branche nur eines übrig: Wir müssen schleunigst die Frage beantworten, wie wir zukünftig zeitgemäß repräsentativ befragen können.

Eine Initiative dazu kann nur von den Verbänden ausgehen, da einzelne Institute immer Partikularinteressen besitzen. Und diese Diskussion muss methoden-offen und undogmatisch geführt werden. Man wird einiges ausprobieren und testen müssen. Verheißungsvolle Ansätze gibt es ja durchaus, wenn man offen dafür ist, sie zu erkennen.

Kommentare (9)

  1. Bernd Renslaer vor 4 Tagen
    Die Lösung ist denkbar einfach (und wird hoffentlich jetzt auch von den Verbänden mit verfolgt): Vermarktet bitte nur Befragungen und Ergebnisse als repräsentativ, die es nach objektiven Kriterien auch sind, lasst Auftraggeber entscheiden, unter welchen Umständen sie repräsentative Befragungen benötigen, oder tragt andernfalls die Konsequenzen. Dass Herr Geißler und sein ehemaliger Arbeitgeber seit Jahren anders verfahren, ist ebenso wenig ein Argument wie seine Aussagen, dass dann vielleicht weniger Studien beauftragt werden oder dass doch für alle Institute genug abfallen sollte. Herr Geißler persönlich möge vielleicht in sich gehen und sich fragen, warum "Onlinemarktforscher" wie er innerhalb zweier Jahrzehnte nicht in der Lage waren, "echt" repräsentative Onlinebefragungen zu entwickeln und zu vermarkten.
  2. Daniel Althaus vor 4 Tagen
    Danke für den Beitrag, hatte ebenfalls ein Déjà-vu bei der Debatte. Ein wichtiger Teil des Problems ist meines Achtens , dass große Teile der Marktforschung (und der Sozialforschung) dogmatisch am frequentistischen Wahrscheinlichkeitsbegriff festhalten. Klar, dann ist natürlich nichts außer einer Zufallsstichprobe zulässig, um daraus Erkenntnisse über eine Grundgesamtheit abzuleiten. Insofern wiederholen wir hier sogar viel ältere Auseinandersetzungen aus den 1920er/1930er Jahren. Dass sich die angewandte Statistik seit den 90er Jahren weiterentwickelt hat, wird vielleicht auch deshalb übersehen, weil es kaum Austausch zwischen akademischer Statistik und Marktforschung gibt.
  3. Simon Kluge vor 4 Tagen
    Holger,

    ich bin dir für deinen Beitrag total dankbar! Und das schreibe ich nicht, weil wir beide eine YouGov-Vergangenheit haben. Die ganze Diskussion um Repräsentativität führt meines Erachtens momentan nur zu Lagerbildungen, mitnichten zu einem Fortschritt. Bleiben wir in der Analogie des Fussballs: Was wir als Branche gerade machen, ist vergleichbar mit dem, was Fußballer und Fans immer wieder diskutieren - war es ein Handspiel oder nicht!?! Die einen sagen: Hand ist Hand! Die anderen: Es war eine natürliche Bewegung und keine Vergrößerung der Körperfläche! Noch andere werden sagen: Das war gar keine Hand, denn mein Arm war am Körper angelehnt!

    Ist die Lösung nun, dass sauber definierte Regeln das Dilemma heilen? Und können Sie das überhaupt? Gibt es wirklich die EINE Lösung, die Standard für alles sein muss oder kann? Oder wird es nicht vielmehr Spielraum geben oder sogar geben müssen? Selbst wenn der Schiedsrichter den Videobeweis konsultiert, bleibt immer noch ein Faktor übrig: Er muss eine Entscheidung treffen, was er als Handspiel wertet. Und die wird mal richtig sein, mal falsch, aber aus seiner Sicht konform zur vereinbarten Regel. So ist Fußball, sagt man dann...

    Und wie ist das nun mit der Marktforschung? Wenn die einen einfach nur immer weiter fordern, dass "repräsentativ" nur da draufstehen darf, wo es auch drin ist, kommt mir das vor wie "Hand ist Hand"-Schreie auf Dauerschleife. Können die Verbände das wirklich lösen? Ich glaube es nicht. Hier bin ich somit auch ein wenig anderer Ansicht als wie du es schreibst. Genauso wenig wie die FIFA Regeln verabschieden kann, die immer klar festlegen werden, was ein Handspiel ist, werden das unsere Branchenverbände absolut eindeutig für den Aspekt "Repräsentativität" im Zusammenspiel mit dem Nachrichtenwert tun. Sie könnten sich zwar auf einen Konsens für eine Definition einigen, und man könnte dann auch als Veröffentlicher verpflichtet sein, wenn man von dieser abweicht, doch wirklich gewonnen und aus der Welt geschafft ist das Problem damit aus meiner Sicht immer noch nicht.

    Ein Schiedsrichter muss entscheiden, was er als Handspiel wertet und was nicht. Und mithilfe des Videobeweises kann er zumindest erkennen, dass der Ball gar nicht an der Hand war oder nicht. Aber es gibt dann immer noch Spielraum für eine richtige Wertung zu dem, was passiert ist. Ich meine damit nicht, dass Kunden oder Leser selbst entscheiden sollen, was repräsentativ ist oder nicht, das wäre grober Unfug! Mir geht es um den Aspekt, dass wir uns davon lösen müssen, dass es nur EINE Lösung gibt. Denn wie du genau schreibst, die Zeiten haben sich geändert und es gibt völlig neue Möglichkeiten, Menschen zu erreichen und bei der Stange zu halten, damit sie uns ihre Meinung kundtun.
  4. Bernd Wachter vor 4 Tagen
    Lieber Holger,

    schade, dass es YouGov auch in der Zeit, als Du dort maßgeblich beschäftigt warst, nicht für nötig befunden hat, in den ADM einzutreten. Dann kann man sich als Institut aktiv einbringen und gestalten, als hinterher wahlweise alles besser zu wissen oder Untätigkeit zu beklagen (DCORE ist im ADM übrigens ebenfalls herzlich willkommen). Dann wüsstest Du wohl auch, dass sich der ADM nach der Spiegel-Story (die es doch nicht zum ganzen großen Skandal gebracht hat) keinesfalls darauf beschränkt hat, eine PM zu veröffentlichen. Beide betrügerischen Institute wurden aktiv aus dem Verband ausgeschlossen - etwas, das es noch nie gab und (leider) das schärfste Schwert, das wir haben. Dazu gibt es eine Transparenz-Selbstverpflichtung, über deren Einführung gerade abgestimmt wird und die dann unmittelbar in Kraft tritt.
    Und zur Kritik, weshalb sich der ADM erst jetzt zur Methodendiskussion äußert: der ADM ist ein Wirtschaftsverband, keine wissenschaftliche Gesellschaft. Innovation soll nicht verhindert werden, Wissenschaft und Markt müssen darüber entscheiden, welche Methoden wofür geeignet sind und was sich durchsetzt. Hätte der ADM Innovation verhindert, hätte es noch nicht einmal die telefonische Marktforschung gegeben und Interviewer würden heute noch ausschließlich mit Klemmbrett und Random-Route arbeiten. Man muss Methoden schon eine Chance und die Gelegenheit geben nachzuweisen, dass Sie zu validen Ergebnissen führen. Wenn das nicht passiert und Repräsentativität einfach behauptet wird, obwohl methodische Mängel mehr als offensichtlich sind, dann melden wir uns zu Wort. Das richtige Verbandsorgan ist aber der Rat der Markt- und Sozialforschung.
    Soviel auf die Schnelle von meiner Seite zu deiner Verbandsschelte.
    Viele Grüße
    Bernd
    P.S.: ich freue mich auf den Aufnahmeantrag von DCORE (und gerne auch YouGov).
    P.P.S.: Schön, dass Dein Sohn nach 16 Jahren schon Größe L trägt. Wo ist die Relevanz? Nicht alles, was hinkt, ist ein Vergleich ...
  5. Jan Kollmann vor 4 Tagen
    Ich finde die Anregung von Herrn Geissler großartig, dass eine fundierte Diskussion mit alt eingesessenen und neuen Marktteilnehmern angeregt wird.

    Dass zumindest der ADM diese Aufgabe nicht übernehmen wird, hat Herr Wachter eindrucksvoll geschildert. Ich bin überrascht, dass der Verband ein derartig despektierliches Verhalten duldet. Zudem zeigt diese Art und Weise anschaulich, dass die Branche sich bald wirklich zerstreiten kann. Zumindest könnten die Aussagen von Herrn Wachter dieses als sein Anliegen vermuten lassen. Sehr geehrter Herr Wachter, meinen Sie wirklich, mit derartigen Äußerungen und Ihrem P.P.S. auch nur ein Unternehmen für den ADM gewinnen zu können?
  6. Holger Geißler vor 4 Tagen
    @Bernd Wachter: Das Thema ADM-Mitgliedschaft können wir gerne mal besprechen.
    @Simon: Danke für Deinen Kommentar! Freut mich! Es geht hier meiner Meinung nach um die Zukunft der Branche, nicht nur um die Lösung der Debatte. Und da hätte ich schon Hoffnung, da die Verbände ja ein Ort sind, wo Institute miteinander ins Gespräch kommen und Probleme, die alle betreffen, gemeinsam lösen.
    @Daniel Althaus: Stimme zu. Ich habe auch das Gefühl, dass die Entfernung zwischen akademischer Statistik und Marktforschungspraxis deutlich größer geworden ist im Laufe der Jahre.
    @BerndRenslaer: Können wir gerne mal drüber sprechen. Ich möchte an dieser Stelle auch auf den tollen Artikel von Stefan Zins hier auf der Plattform verweisen und auf den Artikel von Raimund Wildner bei der P+A. Ich selbst würde mich grundsätzlich eher als Marktforscher bezeichnen, sogar Marktforscher BVM, nicht als Online-Marktforscher, auch wenn ich viele Jahre bei YouGov gearbeitet habe. Aber auch YouGov hatte bis vor 3 Jahren ein eigenes Telefonstudio in Berlin (gemeinsam mit ABS).
  7. Bernd Wachter vor 3 Tagen
    Sehr geehrter Herr Kollmann,
    Ihre Annahme, dass der ADM die Aufgabe, zwischen alteingesessenen Marktforschern und neuen Playern zu diskutieren, nicht übernehmen wird, ist nicht richtig.
    Und ja, ich glaube, Mitglieder für den ADM gewinnen zu können, wie es mir und meine Kollegen in Vorstand und Geschäftsführung in den vergangenen Jahre vielfach gelungen ist und auch weiter gelingen wird. Eine leidenschaftlicher, vielleicht auch einmal emotionaler Diskussionsbeitrag ist da eher förderlich als hinderlich. Holger Geißler kenne ich seit vielen Jahren recht gut, wir sind nicht immer einer Meinung, aber tauschen uns konstruktiv aus - meist nicht öffentlich. Seine Antwort zeigt ja, dass mein P.P.S. nicht despektierlich ankam (war so auch nicht gemeint) und offensichtlich kein Hinderungsgrund für einen ADM Beitritt ist.
    Herr Kollmann, darf ich Sie fragen, wo Sie tätig sind und ob eine ADM Mitgliedschaft nicht ebenfalls in Frage kommt? Wir brauchen engagierte Mitglieder, die sich an aktuellen Diskussionen beteiligen und zur Entwicklung der Branche beitragen ...
    Viele Grüße
    Bernd Wachter
  8. Torsten Brammer vor 3 Tagen
    Hallo Herr Wachter,

    in derartigen Diskussionen können einem in der Tat mal die Emtionen durchgehen. Manchmal ist es klüger einmal drüber zu schlafen bevor man antwortet.

    Ihr Statment "Und zur Kritik, weshalb sich der ADM erst jetzt zur Methodendiskussion äußert: der ADM ist ein Wirtschaftsverband, keine wissenschaftliche Gesellschaft." ist vielleicht formal korrekt aber doch geschäftsschädigend für den ADM.
    Seit gefühlt 100 Jahren versucht der ADM sich einen "Wissenschaftsmantel" zu stricken. Ohne diesen Schutz würde es in Deutschland keine Telefonumfragen mehr geben (Stichwort: Verbot Kaltanrufe).
  9. Bernd Wachter vor 2 Tagen
    Hallo Herr Brammer,
    nicht der ADM gibt sich einen Wissenschaftsmantel, sondern er macht bei jeder Gelegenheit deutlich, dass es sich bei Markt- und Sozialforschung um eine wissenschaftliche Tätigkeit handelt. Das hat die Forschungsprivilegien gesichert, die den "kalte Anruf" zum Zwecke der anonymen Befragung zugelassen hat und auch in der Zukunft weiter zulässt (und das gilt analog für die Einladung zur Teilnahme an einer Befragung per Email). Diese Position aufzugeben wäre tatsächlich geschäftsschädigend, nicht (nur) für den ADM, sondern für die gesamte Branche.
    Viele Grüße
    Bernd Wachter

Neuen Kommentar schreiben

Kommentare geben ausschließlich die Meinung ihrer Verfasser wieder. Die Redaktion behält sich vor, Kommentare nicht oder gekürzt zu veröffentlichen. Das gilt besonders für themenfremde, unsachliche oder herabwürdigende Kommentare sowie für versteckte Eigenwerbung.

Über marktforschung.de

Branchenwissen an zentraler Stelle bündeln und abrufbar machen – das ist das Hauptanliegen von marktforschung.de. Unser breites Informationsangebot rund um die Marktforschung richtet sich sowohl an Marktforschungsinstitute, Felddienstleister, Panelbetreiber und Herausgeber von Studien, Marktdaten sowie Marktanalysen als auch an deren Kunden aus Industrie, Handel und Dienstleistungsgewerbe.

facebook twitter google plus