Die Jagd nach dem Heiligen Gral: Welchen Platz Onlineforschung an der Tafelrunde einnimmt

Von Christoph Irmer, Vorstandsvorsitzender der Deutschen Gesellschaft für Online-Forschung (DGOF e.V.) und geschäftsführender Gesellschafter der ODC Services GmbH, und Florian Tress, Manager R&D and Quality bei der ODC Services GmbH

Nach wie vor gibt es in der Marktforschung kaum ein Thema, an dem sich die Geister so scheiden, wie an der Repräsentativität von Onlinepaneln, bzw. Onlineforschung im Allgemeinen. Erst in der jüngsten Ausgabe der planung & analyse (1/2012) wurden Onlinepanels von Liljeberg und Krambeer scharf angegriffen: "Online-Access-Panels sind weder für die Bevölkerung noch für Online-User repräsentativ. Mit etwas Glück sind die Ergebnisse für das jeweilige Panel repräsentativ, aber nur, wenn der Fragebogen einfach gestaltet wäre und die Feldzeit mehrere Wochen betragen würde" (Liljeberg / Krambeer 2012, 22). Die in diesem Artikel aufgeführten Argumente lassen sich vielleicht nicht einmal in ihrer Gänze von der Hand weisen, und dennoch blenden sie die vielfältigen Erfolge aus, die die Onlineforschung in den vergangenen Jahren verzeichnen konnte. Seit der Hessischen Landtagswahl im Januar 2009 führt beispielsweise YouGov immer wieder vor, dass man mit dem Internet präzisere Wahlprognosen erstellen kann mit klassischen Methoden. Die höhere Genauigkeit der Online-Prognosen im Vergleich zu den telefonisch erhobenen Daten begründet Holger Geißler damit, dass "bei telefonischen Interviews nicht mehr alle Bevölkerungsschichten ausreichend erreicht werden können. Vor allem junge und mobile Menschen nehmen kaum noch an telefonischen Umfragen teil" (YouGov 2010). Wie passen die Erfolge der Wahlprognosen ins Bild mangelnder Repräsentativität von Onlineforschung? Spielt Repräsentativität am Ende für die Genauigkeit und Prognosegüte keine große Rolle? Und worauf kommt es bei Marktforschung letztlich an?

Egal, wie man zu diesen Fragen steht: sichtbar wird an dieser Diskussion in jedem Fall, dass der starke Wunsch nach Repräsentativität auf eigentümliche Weise von der tagtäglich gelebten Forschungspraxis abweicht. Sie ist zwar ein häufig formuliertes Ideal, wird in der Praxis aber meistens nicht erreicht - und wenn, dann nur als wohlwollende Annäherung. Repräsentativität scheint der Marktforschung als Heiliger Gral irgendwo am Horizont den Weg zu leuchten - hell und ungetrübt strahlend, dabei aber gleichzeitig völlig unerreichbar. Einige Forscher wähnen sich ihrem Ziel bereits näher, während die wirklichen Unterschiede zwischen den Methoden bei genauerer Betrachtung zu vernachlässigen sind. Denn tatsächlich verlieren die Ergebnisse trotz mangelnder "Repräsentativität" in der praktischen Anwendung nicht unbedingt an Aussagekraft. Woran liegt das?

Zunächst einmal gilt es den Begriff zu schärfen: Eine Stichprobe gilt gemeinhin genau dann als repräsentativ, wenn die Zusammenhänge in der Stichprobe für die Grundgesamtheit verallgemeinerbar sind. Diese Generalisierbarkeit ist ein wesentliches Merkmal der Markt-, Meinungs- und Sozialforschung und rechtfertigt deren besonderen Schutz durch Artikel 5 des Grundgesetzes (vgl. ADM / ASI / BVM / DGOF 2008). Insofern kann man sich der Diskussion nicht einfach durch den Hinweis darauf entziehen, dass "Repräsentativität" im Geschäftsmodell der Marktforschung nicht mehr benötigt wird. Stattdessen muss diese Diskussion auf wissenschaftlichem Terrain, d.h.  in jedem Fall mit wissenschaftlichen Argumenten geführt werden.

Die Fachliteratur unterscheidet dabei schon seit rund zwanzig Jahren zwischen einem statistischen und einem theorieorientierten Verständnis von Repräsentativität (vgl. Prein et al., 1994). Dem statistischen Verständnis zufolge spielt die Zufallsstichprobe die herausragende Rolle: Hier haben alle Elemente der Grundgesamtheit eine benennbare und von Null verschiedene Wahrscheinlichkeit zur Aufnahme in die Stichprobe. In der Praxis ist das allerdings von keiner einzigen Methode einzulösen und wird darüber hinaus auch immer unwahrscheinlicher. Dieser statistischen Variante lässt sich jedoch ein theorieorientiertes Verständnis von Repräsentativität gegenüber stellen, nachdem eine Stichprobe zumindest bezüglich aller theoretisch relevanten Merkmale unverzerrt sein muss (vgl. a.a.O., 7). Hier lässt sich Repräsentativität nicht mehr prozedural am Verfahren der Stichprobenziehung bemessen, sondern nur in Hinblick auf das jeweilige Erkenntnisinteresse. Solange keine berechtigten inhaltlichen Zweifel vorgebracht werden können, darf die Verallgemeinerbarkeit der Ergebnisse unterstellt werden, auch wenn man es im konkreten Fall nicht mit einer Zufallsstichprobe zu tun hat.

Theorieorientierte Repräsentativität ist natürlich nicht methodenimmanent, sondern muss für jedes Forschungsvorhaben aufs Neue beurteilt werden. Gleichwohl setzt dieses Verständnis von Repräsentativität nicht weniger Wissenschaftlichkeit voraus, als die statistische Herangehensweise. Nun werden wissenschaftlich informierte Theoretiker benötigt, die ausreichend Fachwissen, Erfahrung und methodisches Fingerspitzengefühl mitbringen, um die Verallgemeinerbarkeit von Ergebnissen mit guten Gründen abzusichern. Hieran deutet sich vielleicht schon an, welche neuen Anforderungen an die Qualifikationen eines Marktforschers entstehen. Vor allem in der Onlinemarktforschung, einschließlich Social Media und Mobile Research, lassen sich derart ausgebildete Forscher schon heute ausmachen.

Aber auch nach statistischem Verständnis ist die Onlineforschung nicht unbedingt weniger repräsentativ als andere Methoden. Während sich die Internetpenetration in den letzten Jahren verbessert hat, kommt es bei anderen Erhebungsformen zu unübersehbaren Schwierigkeiten. Konnte man etwa die Haushaltsstichproben der Telefonstudios früher noch mit gutem Recht als Zufallsstichprobe behandeln, hat die zunehmende Verbreitung von Mobilfunkanschlüssen, der Rückgang an Festnetzanschlüssen und das Aufkommen von Internettelefonie in den letzten Jahren zu großen stichprobentheoretischen Problemen geführt. Auch die ADM-Sperrdatei schlägt zunehmend zu Buche, ganz zu schweigen von einer immer weiter sinkenden Stichprobenausschöpfung. Mittlerweile kann kein Zweifel bestehen, dass diese Ausfälle systematisch erfolgen. In der Praxis führt das dazu, dass man Quoten oder Gewichte einsetzt, um die gewünschten Strukturen zu erreichen; methodische Überlegenheit sieht anders aus, ganz zu schweigen von Zufallsstichproben.

All das darf natürlich nicht einseitig zugunsten der Onlineforschung ausgelegt werden. Tatsächlich deutet sich hierin ein methodenübergreifendes Problem der Umfrageforschung an, das sich in sinkender Teilnahmebereitschaft bzw. als Befragungsmüdigkeit in der Gesellschaft zeigt. Bereits in den 1990er Jahren hat sich Rolf Porst eingehend für verschiedene Erhebungsmethoden mit dieser Problematik auseinander gesetzt (vgl. Porst 1996), die Situation dürfte sich seitdem kaum verbessert haben. Gerade CATI-Studios leiden massiv unter der öffentlichen Verwechslung von Verkauf und Forschung. Und während Onlinepanels zumindest noch die Möglichkeit haben, bei ihren bestehenden Mitgliedern aktiv mit vertrauensbildenden Maßnahmen die Teilnahmebereitschaft zu fördern, wird auch hier die Rekrutierung neuer Mitglieder anspruchsvoller und kostspieliger. Stichprobenausfälle könnten mittlerweile der wichtigste Grund sein, warum statistische Repräsentativität in der Praxis nicht mehr erreicht wird. Und so bleibt der Marktforschung gar nichts anderes übrig, als sich stärker an der Theorie zu orientieren.

Natürlich gilt nach wie vor, dass statistische Repräsentativität ein absoluter Garant für die Verallgemeinerbarkeit von Ergebnissen ist, ganz egal mit welcher Methode man welche Themen beforscht. Von diesem Privileg kann aber immer weniger ausgegangen werden, denn statistische Repräsentativität ist nahezu nicht mehr einlösbar. Und so wächst der Bedarf nach Forschern, die für den Zusammenhang von Methode und Gegenstand sensibel sind; die wissen, dass jede Methode eine Berechtigung hat, solange sie ihre eigenen Grenzen kennt. Nach Theoretikern, die unter Ansehen der konkreten Methode gute Gründe für und wider die Verallgemeinerbarkeit der Ergebnisse abwägen. Hier braucht es eine neue Kultur des Forschens.

Wenn man sich vor diesem Hintergrund noch einmal dem Verhältnis von Onlineforschung und Repräsentativität zuwendet, wird deutlich, dass es hier keine Nachteile im Vergleich zu anderen Methoden gibt. Es gibt Besonderheiten am Forschungsmedium Internet, denen man bestmöglich Rechnung tragen muss. Vielleicht aber ist je genau in der Onlineforschung diese neue Forschungskultur bereits gewachsen, weil sie sich nie auf Zufallsstichproben verlassen konnte. Von jeher rechnen Onlineforscher besonders mit theorieorientierter Repräsentativität, - und, wie die Erfolge zeigen, sie scheinen sich dabei nicht zu verkalkulieren. Umgekehrt scheint die Suche nach dem Heiligen Gral am Ende ein hoffnungsloses Unterfangen zu sein, auch wenn die Ideale vieler Forscher sicherlich wahr und rein sind.

Literatur

• ADM, ASI, BVM und DGOF (2008): Erklärung für das Gebiet der Bundesrepublik Deutschland zum ICC/ESOMAR Internationalen Kodex für die Markt- und Sozialforschung; Online abrufbar unter: www.adm-ev.de/fileadmin/user_upload/PDFS/Erklaerung_2008.pdf (15.02.2012)
• Liljeberg, Holger und Sindy Krambeer (2012): Bevölkerungsrepräsentative Onlineumfragen. Die Entdeckung des 'Schwarzen Schimmels'?; In: planung & analyse 1/2012, S. 18 - 22.
• Porst, Rolf (1996): Ausschöpfungen bei sozialwissenschaftlichen Umfragen. Die Sicht der Institute; ZUMA-Arbeitsbericht 96/07; Online anrufbar unter: http://www.gesis.org/fileadmin/upload/forschung/publikationen/gesis_reihen/zuma_arbeitsberichte/96_07.pdf (20.02.2012)
• Prein, Gerald, Susann Kluge und Udo Kelle (1994): Strategien zur Sicherung von Repräsentativität und Stichprobenvalidität bei kleinen Samples; Online abrufbar unter: www.sfb186.uni-bremen.de/download/paper18.pdf (15.02.2012)
• YouGov Psychonomics (2010): NRW-Wahl: Griechenland-Krise für jeden Fünften wahlentscheidender Faktor. Pressemitteilung vom 10.05.2010; Online abrufbar unter: research.yougov.de/filemanager/download/2316 (20.02.2012)