Gedanken zur Repräsentativität in der Marktforschung

Von Holger Geißler, Vorstand YouGov

Gehören Sie auch zu den Menschen, die Euro noch immer in DM umrechnen? Nicht erst seit der Euro-Krise tun sich viele Deutsche schwer mit der neuen Währung. Dass man eine vertraute Währung nicht gerne aufgibt, erleben wir auch in der Marktforschung. Viele Jahre waren telefonische Befragungen anerkannt als eine Art Währung für repräsentative Stichproben. Die neue und unvertraute Währung war dagegen die Online-Befragung, die per se nicht repräsentativ sein konnte, da nicht alle Menschen in Deutschland einen Internet-Zugang besitzen. Lt. ADM-Jahresbericht 2010 werden mittlerweile aber die meisten Interviews online (38 % Prozent) durchgeführt. Wie kann das sein? Verzichten die ADM-Mitgliedsinstitute mittlerweile auf den Anspruch der Repräsentativität von Stichproben?

Das wäre nun tatsächlich sehr überraschend. Wie kann man sich dieses Ergebnis trotzdem erklären? Wie ist es um das  Thema Repräsentativität in der Marktforschung bestellt?

Dazu einige Gedanken:

1. Nicht jede Stichprobe muss repräsentativ sein, um valide Aussagen treffen zu können.

Das obige Ergebnis ist auch dadurch zu erklären, dass längst nicht für alle Studien repräsentative Stichproben benötigt werden. Immerhin beruht der Großteil der wissenschaftlichen Erkenntnisse in Gebieten wie der Psychologie auf nicht-repräsentativen Stichproben von Studenten. Aber auch in der Marktforschung gibt es viele Einsatzgebiete für nicht-repräsentative nicht-zufällige Stichproben. Hat man spezifische Zielgruppen vor Auge wie "Frauen im Alter von 30-40 Jahren, die einen VW besitzen, mehr als zwei Kinder und einen Hochschulabschluss haben", so kann man sicherlich froh sein, wenn man diese Zielgruppe überhaupt in ausreichender Anzahl findet und interviewen kann. Ich vermute, dass die meisten Auftraggeber gerne darauf verzichten, ein telefonisches Screening von ca. 30.000 Menschen zu bezahlen, um am Ende 270 Zielpersonen zu befragen. Stattdessen greift man besser gleich auf ein Online-Panel zu, wo man die Zielgruppe aufgrund von Stammdaten weitestgehend vorselektieren kann. Der Kosten- und Zeitvorteil dürfte im Verhältnis 1 zu 10 liegen, was die methodische Diskussion mit der Einkaufsabteilung in der Regel deutlich abkürzt.

2. Marktforschung ist für Befragte nicht sexy.

So manch ein Marktforscher liebt seinen Beruf. Aber außerhalb unserer eigenen Profession gilt Marktforschung als unsexy. Für die breite Bevölkerung ist es meist langweilig, an Umfragen teilzunehmen. Nur bei wenigen Themen, wie z.B. aktuellen Umfragen zur Politik, freuen sich Menschen, ihre Meinung sagen zu können. Warum ist das in diesem Zusammenhang wichtig? Wäre Marktforschung interessant und sexy, würden Menschen gerne an Befragungen teilnehmen. Viele Menschen haben mittlerweile sogar eine regelrechte Abscheu gegenüber "Marktforschung" entwickelt. Als ich vor kurzem mit meinen Studenten der FH Köln ein Telefonstudio besuchte, fiel uns auf, dass die Interviewer sich gegenüber den Befragten am Telefon auf Englisch meldeten: Statt "Hier spricht Thomas Müller von der XYZ Marktforschung" meldeten sich die Interviewer als "Hier spricht Thomas Müller von XYZ Market Research". Danach gefragt, erhielten wir die Aussage, dass die meisten Menschen mittlerweile direkt auflegen, wenn sie das Wort "Marktforschung" hören. Auch wenn das eine Anekdote sein mag, führt uns das zu dem nächsten Gedanken:

3. Menschen sind keine Äpfel.

Möchte man eine repräsentative Stichprobe untersuchen, so haben es Bauern deutlich leichter als Sozialwissenschaftler. Möchte der Bauer herausfinden, wie viele Äpfel seiner Ernte einen Wurm haben, kann er sich mit einer repräsentativen Zufallsauswahl viel Arbeit sparen. Äpfel sträuben sich nicht Teil einer Stichprobe zu sein; Menschen aber sehr wohl. Immer mehr Menschen verweigern über alle Erhebungsmethoden hinweg ihre Teilnahme, weil sie die Erfahrung gemacht haben, dass nicht jeder, der vorgibt eine Umfrage durchzuführen, tatsächlich auch eine Umfrage im Sinn hat. In einer Befragung 2009 unter 2.000 Mitgliedern des YouGov Panel Deutschland gaben 70 % aller Befragten an, dass sie bereits mehrfach erlebt hatten, dass sich eine vermeintliche telefonische Umfrage als Verkaufsanbahnung entpuppte. Und wer das noch nicht erlebt hat, hat sicherlich schon man an einer stinklangweiligen ewig langen Umfrage teilgenommen.

Selbst wenn die ins Leben gerufene "Initiative für Markt- und Sozialforschung" eine höhere Akzeptanz für Marktforschung erreichen sollte, bleibt das Problem der Abgrenzung zwischen telefonischen Verkaufsgesprächen und telefonischen Umfragen für die Angerufenen bestehen. Es ist ein Leichtes sich als "Forschungsgruppe Deutschland" zu melden, um sich Gehör zu verschaffen, dann aber doch sein Produkt anzubieten. Und wenn das nächste Mal die "Forschungsgruppe Wahlen" anruft, wird der Befragte den Hörer direkt wieder auf die Gabel legen. Selbst wenn sich die Teilnahmebereitschaft wieder steigern lassen würde, so würden die Direkt-Marketer auf diesen Zug unmittelbar und verstärkt aufspringen, womit der Effekt innerhalb kürzester Zeit zunichte wäre.

4. Keine der Erhebungsmethoden ist per se "repräsentativ".

Da Menschen keine Äpfel sind, ist statistische Repräsentativität faktisch nicht erreichbar, sondern ein theoretisches Ideal. Alle der vier verbreiteten Erhebungsmethoden - schriftlich, mündlich-persönlich, telefonisch oder online - haben mit spezifischen Coverage-Problemen zu kämpfen. Damit ist gemeint, dass spezifische Bevölkerungsschichten nicht mehr für Interviews erreicht werden können. Nehmen Sie als Beispiel die telefonische Erhebung (2010 wurden immerhin noch 35 % aller Interviews in Deutschland telefonisch erhoben): Konnte man bis 1992 noch davon ausgehen, dass alle Festnetzanschlüsse im Telefonbuch zu finden waren, so nahm zunächst die Anzahl der eingetragenen Einträge drastisch ab. Diesem Under-Coverage-Problem konnte man zunächst noch durch die Beigabe von zufällig generierten Telefonnummern in die Auswahlgrundlage entgegen. Mittlerweile sind aber bereits 12 % aller deutschen Haushalte gänzlich ohne Festnetzanschluss (Quelle Infas, Telekommunikationsmonitor) und können deshalb für telefonische Interviews aktuell nicht mehr erreicht werden. Die Demografie der sogenannten Mobile-Onlys unterscheidet sich systematisch von den Haushalten mit Festnetzschlüssen: Jünger, männlich und eher geringverdienend. Ob ein Dual-Frame-Standard hier Abhilfe schaffen kann, bleibt abzuwarten.

Doch auch die anderen Methoden haben mit spezifischen Problemen zu kämpfen: Bei Online-Befragungen in Deutschland kann man bislang nur die Internetnutzer erreichen (ca. 75 % der Bevölkerung). Ältere Menschen über 70 Jahren und Nichtnutzer können nur schwierig erreicht werden.
Auch bei persönlichen (21 %) und schriftlichen (6 %) Befragungen gibt es spezifische Probleme, aber diese Methoden spielen - wenn man der Statistik des ADM folgt - mittlerweile ohnehin eine nachgelagerte Rolle in der deutschen Marktforschungslandschaft.

5. Je geringer die Teilnahmebereitschaft, desto wichtiger wird die Beziehung zum Befragten.

Es ist davon auszugehen, dass es in der Zukunft nicht einfacher werden wird "repräsentativ" zu arbeiten. Außer der Gründung der "Initiative für Markt- und Sozialforschung" gibt es keine positiven Signale dafür, dass sich die Teilnahmebereitschaft der Deutschen wieder verbessern könnte. Die zahlreichen Datenschutzdiskussionen der letzten Jahre zeigen ihre Wirkung. Man gibt heutzutage nur ungerne persönliche Informationen über sich preis (es sei denn man ist einer der mehr als 25. Mio. Facebook-Nutzer in Deutschland). Umso überraschender ist da der Siegeszug sozialer Netzwerke, in denen viele Menschen intime Details über sich in aller Öffentlichkeit ausbreiten. Das zeigt, dass es nicht per se darum geht, seine Meinung nicht äußern zu wollen oder keine Daten preiszugeben, sondern man möchte selbst bestimmen, wann, wo und gegenüber wem man das tut. Kurzum, der Beziehungsaspekt zwischen Befragtem und Befrager ist wichtiger denn je.

Das ist nichts Neues: Die Ausschöpfungsquoten bei Kunden- oder Mitgliederbefragungen waren schon immer höher als bei Bevölkerungsumfragen. Panelbasierte Ansätze werden es in diesem Punkt zukünftig leichter haben. Daraus zu schließen, dass Online-Access-Panels allein deshalb die Zukunft gehört, wäre aber falsch. Auch da wird oftmals noch viel falsch gemacht in der Beziehung zwischen Panelist und Panelbetreiber. Abzuwarten bleibt, ob, wie und mit welcher Nachhaltigkeit soziale Netzwerke das Thema Marktforschung für sich entdecken. Erste Ansätze z.B. bei XING wurden gestartet und es bleibt abzuwarten, ob sich über den Kanal der sozialen Netzwerke neue Zugänge erschließen, um repräsentative Stichproben für bestimmte Zielgruppen befragen zu können.

6. Es geht um ein Miteinander der Methoden, nicht um ein Gegeneinander.

Wenig zielführend erscheinen mir in der Diskussion dabei sogenannte Methoden-Vergleichsstudien, die in der Regel lediglich der Aufrechterhaltung und Legitimation der institutseigenen Infrastruktur dienen, wie z.B. die kürzlich vorgestellte Arbeit von Liljeberg Research. Wenn der Autor eines Vergleichstests 150 CATI-Plätze besitzt, aber kein eigenes Online-Feld, dürfte klar sein, welche Ergebnisse zu erwarten sind. Erhellender sind da wissenschaftliche Meta-Studien wie z.B. von Chang & Krosnick, 2009, oder Yeager et al., 2011, in denen systematisch Stichproben aus verschiedenen Erhebungsquellen miteinander verglichen werden.

Ich würde mir für die Zukunft wünschen, dass es zukünftig mehr Studien gäbe, die sich der Frage widmen, wie man unterschiedliche Methoden so kombinieren könnte, dass man am Ende des Tages einer "Repräsentativität" der Stichprobe näher kommt als dies aktuell mit einer einzigen Methode möglich ist: Die Stärke der einen Methode mit der Stärke einer anderen Methode zu kombinieren.

Viele CATI-Studios sind hier "unter vorgehaltener Hand" schon weiter: Mehr und mehr Vorab-Rekrutierungen und Screenings für telefonische Interviews finden mittlerweile über Online-Panels statt.

Von Ansätzen wie dem LISS Panel aus Holland lässt sich einiges lernen: Das Online-Panel basiert auf einer Gemeinde-Stichprobe; Nicht-Internetnutzer wurden mit einfachen Computern und einem Internetzugang ausgestattet.
So ist und bleibt eine der ungeklärten Fragen der Marktforschung wie man zukünftig "repräsentative" Stichproben befragen kann. Es bleibt also interessant! Und ich bin mir sicher, dass die Diskussion um das Thema "Repräsentativität in der Marktforschung" nie abschließend geklärt werden wird. Aber so bleibt man wenigstens jung und man hat immer ein Thema über das man trefflich diskutieren kann!