Warum die akademische und privatwirtschaftliche Umfrageforschung nicht weiter auseinanderdriften dürfen

Von Dr. Thomas Petersen, Projektleiter, Institut für Demoskopie Allensbach

"Es gibt keine edlen und unedlen Gegenstände der Forschung." Diesen Satz soll, so pflegte Elisabeth Noelle-Neumann zu erzählen, Paul Lazarsfeld seinen Studenten zugerufen haben, wenn diese sich wieder einmal darüber beklagten, dass sie von ihm gezwungen wurden, sich mit scheinbar banalen Marktforschungsstudien über Schuhcreme oder Schokolade zu befassen, obwohl sie doch eigentlich angetreten waren, um gesellschaftlich relevante sozialwissenschaftliche Grundlagenforschung zu betreiben.

Für die Pioniere des Faches war es ganz selbstverständlich, sich sowohl im akademischen als auch im Feld der angewandten Umfrageforschung zu bewegen. George Gallup, der 1928 an der Universität von Iowa über die Methode des Copytests promoviert hatte (Gallup 1928), widmete sich mit der Gründung des American Institute of Public Opinion ganz der angewandten Forschung. Doch das hinderte ihn nicht daran, sich mit Buchpublikationen und Beiträgen im Public Opinion Quarterly immer wieder in der wissenschaftlichen Debatte zu Wort zu melden. Ein weiteres Beispiel ist Hadley Cantril, der nicht nur als Princeton-Professor der Verfasser von Grundlagenwerken zur Umfrageforschung und einer der Gründungsherausgeber des Public Opinion Quarterly war, sondern seit 1940 auch Berater der Präsidenten Roosevelt und Eisenhower (vgl. Eisinger 2003).

Ein solches Hin- und Herwechseln zwischen akademischen und nicht-akademischen Tätigkeitsfeldern scheint typisch für die Gründungsphase eines neuen Forschungsgebietes zu sein, und es ist wichtig: In frühen Phasen der Entwicklung eines Faches ist besonders deutlich erkennbar, wie sehr Theoretiker und Praktiker aufeinander angewiesen sind. Noch haben sich keine akademischen Konventionen herausgebildet, die den Kontakt erschweren würden. Gleichsam tastend sucht das Feld nach Strukturen. Die akademische Welt benötigt die Informationen der angewandten Forschung, um das neue Instrument überhaupt handhaben zu können, die Praktiker benötigen die intellektuelle Anregung aus den Universitäten, um sein ganzes Potential zu erschließen. Später, wenn sich die Konventionen herausgebildet haben, erscheint die Notwendigkeit der Zusammenarbeit weniger offensichtlich, doch sie ist kaum geringer.

Doch heute ist der Wechsel zwischen den Welten, der für die Gründer so selbstverständlich war, eine seltene Ausnahme geworden. Die in großen Teilen der akademischen Welt stattfindende Forschung findet wie losgelöst von den über Jahrzehnte angesammelten praktischen Erfahrungen der angewandten Forschung statt. Das ist besonders der Fall, wenn der Forscher zwar die Studie konzipiert, die als lästig und wissenschaftlich unattraktiv empfundene Feldarbeit dann einer fremden Organisation überlässt und auf diese Weise von den Folgen, die seine Konzeption unter den Bedingungen der Wirklichkeit hat, abgeschnitten wird. Es ist notwendig, dass sich die akademische Sozialforschung nicht nur empirischer Mittel bedient, sondern sich auch um die handwerklichen Teile des Prozesses selbst kümmert, einschließlich der eigenen Interviewerfahrung der Projektleiter. Geschieht dies nicht, kann sich kein echtes Gespür für die Möglichkeiten und Grenzen der Methode entwickeln. Eine Methodenlehre, die sich nicht aus eigener erlebter Praxis speist, bleibt blind für echte Qualitätskriterien. Dann werden Ressourcen verschenkt, Kenntnisse nicht genutzt und Praktiken zum Standard erhoben, die unter den Bedingungen der Wirklichkeit keinen Bestand haben. Das hat weitreichende Folgen im Bereich der Fragebogenmethoden, doch es betrifft auch das Thema Stichproben. Der amerikanische Sozialforscher Colm O’Muircheartaigh hat mit gutem Grund darauf hingewiesen, dass die Stichprobenbildung eine "applied discipline" ist und nicht "a branch of mathematical statistics" (O’Muircheartaigh 2008), Doch eben diese Regel wird in weiten Teilen der akademischen Welt seit Jahrzehnten ignoriert.

Umgekehrt braucht die privatwirtschaftliche Umfrageforschung mehr denn je die Intellektuelle Kraft und die öffentliche Autorität der Universitäten, wenn sie nicht zu einem rein technisch betriebenen und intellektuell anspruchslosen Instrument des Marketings werden will. Man muss sich in diesem Zusammenhang klarmachen, dass Marktforscher in aller Regel keine Wissenschaftler sind, sondern - selbstverständlich und vollkommen legitimerweise - Geschäftsleute. Sie bedienen sich zwar - grundsätzlich - wissenschaftlicher Methoden, aber nicht um ihrer selbst willen, sondern weil sie ein gutes Geschäftsmodell bieten. Erweisen sich nichtwissenschaftliche Methoden in dieser Hinsicht als erfolgversprechender, werden sich viele diesen zuwenden. Anders ausgedrückt: Es sind nicht die wissenschaftlichen Kriterien, die entscheiden, ob eine Methode sich durchsetzt oder nicht, sondern andere: Die Vermarktbarkeit, eine günstige Kosten-Nutzen-Struktur, ihre Anziehungskraft für Auftraggeber. Der Marktforscher, der sich dann für die Propagierung einer in dieser Weise besonders erfolgversprechenden Methode entschieden hat, wird alle Argumente nutzen, die für diese Methode sprechen oder auch nur zu sprechen scheinen. An einer nüchternen Analyse hat er in der Regel kein Interesse.

Beispielhaft konnte man dies in den 1980er und 1990er Jahren beobachten, als die Telefonumfrage zwischenzeitlich die traditionelle Face-to-face-Befragung zu verdrängen schien. Die in der Öffentlichkeit gehandelten Argumente zugunsten der Telefonumfrage waren tatsächlich entweder nachrangig oder falsch. Der tatsächliche Zeitvorteil gegenüber der persönlichen Befragung ist beispielsweise wesentlich geringer als meist angenommen wird, weil die eigentliche Feldarbeit in aller Regel ohnehin nur einen Bruchteil der Gesamtdauer einer Untersuchung ausmacht. Und auch der Preisvorteil ist nicht sehr groß. Dass die Telefonumfrage präzisere Ergebnisse produziert als die persönliche, wurde oft behauptet (z. B. von Gostomski u. a. 1997), ist aber nachweislich falsch (Petersen 2000). Der eigentliche Grund für den Erfolg der Telefonmethode war, dass sie moderner, zeitgemäßer wirkte als die demgegenüber angestaubt erscheinende persönliche Befragung. Dem Laien leuchtete sofort ein, dass diese neue Methode doch viel flexibler, schneller und eleganter sein müsste als der schwerfällige Versand der Fragebogen per Post. Der Laie verstand ja in der Regel auch nicht viel von der Vielzahl wertvoller Fragebogenmethoden, die bei dem damals neuen Verfahren unter den Tisch fielen.

Heute ist beim Thema Online-Umfragen ähnliches zu beobachten. Weil diese Methode sich als besonders modern und fortrschrittlich gut vermarkten lässt, werden die schwerwiegenden methodischen Probleme, die mit ihr verbunden sein können, ausgeblendet. Das betrifft vor allem das Stichprobenproblem. Nach Zählungen aus dem Jahr 2008 beruhten bereits damals 90 Prozent der Online-Umfragen in Europa auf Access Panels. Lediglich bei 6 Prozent war eine Zufallsauswahl aus einer vorhandenen Datei der Grundgesamtheit die Basis der Stichprobenbildung und damit ein Verfahren, bei dem zumindest die Vorbedingungen für eine repräsentative Auswahl erfüllt sind (Online Forschung 2009).

Es sei an dieser Stelle mit aller Deutlichkeit darauf hingewiesen, dass der Autor alles andere als ein Gegner von Online-Umfragen ist und diese Methode auch selbst anwendet. Und Access Panels sind ohne Zweifel oft sehr nützliche Datengrundlagen. In der Marktforschung sind sie aufwendigen und ineffizienten Zufallsstichproben oft vorzuziehen. Aber man muss sich die grundsätzliche Dimension dieser Zahlen vor Augen führen. Während sich seit 50 Jahren Teile der akademischen Welt in weitgehend fruchtlosen Debatten über die Vor- und Nachteile von Random- und Quotenstichproben verstricken, sind weite Teile der privatwirtschaftlichen Umfrageforschung kurz davor, jegliches Bemühen um Repräsentativität einzustellen - ohne dass dies zu größeren methodischen Grundsatzdebatten führt, ja ohne dass viele in der akademischen Welt es überhaupt merken.

So verschwimmen in der öffentlichen Wahrnehmung und teilweise selbst in Fachkreisen die Grenzen zwischen repräsentativen und nicht repräsentativen Methoden. Die Folge ist, dass repräsentative Verfahren irgendwann auch nicht mehr für solche Untersuchungsthemen zur Verfügung stehen könnten, bei denen sie unersetzlich sind. In den Niederlanden und den Vereinigten Staaten gibt es bereits jetzt praktisch keine mündlich-persönlichen Repräsentativumfragen mehr. Gleichzeitig verlieren die Telefonumfragen wegen der stetig sinkenden Ausschöpfungsquoten dramatisch an Qualität. Es bleiben Online-Umfragen und Mall Intercept. In der Marktforschung sind das, wie gesagt, oft angemessene Methoden. Doch der Sozialforschung wird der Boden entzogen. Hier liegt ein Feld, auf dem es notwendiger ist denn je, dass private und akademische Sozialforscher eng zusammenarbeiten und ihre Prinzipien, Rivalitäten und Geschäftsinteressen für einen Moment zur Seite stellen. Das Aufkommen der Online-Befragung eröffnet eine Vielzahl neuer Chancen für die Markt- und Sozialforschung. Die Methode hat sich in vielen Bereichen bereits durchgesetzt, und sie wird sich voraussichtlich weiter durchsetzen. Doch dies geschieht, bevor das Grundproblem der mangelnden Repräsentativität vieler Online-Befragungen auch nur ansatzweise gelöst wäre. Diese Schwäche der Methode ist gleichsam systemimmanent. Sie lässt sich auch dann nicht ohne weiteres beseitigen, wenn eines Tages Internetanschlüsse so verbreitet sein sollten wie heute Telefonanschlüsse. Die unvermeidlich starke Selbstselektion der Befragten und die geringen Ausschöpfungsquoten (vgl. Vehovar u. a. 2008) lassen Internet-Bevölkerungsumfragen günstigstenfalls eine Stichprobenqualität erreichen, die mit der postalischer Umfragen vergleichbar ist und die sich durch Gewichtungen alleine nicht ausgleichen lässt. Das also ist die Aufgabe, der sich private und akademische Forscher gemeinsam widmen müssen: Wie kann man unter den sich rasant verändernden Forschungsbedingungen auch künftig noch die Bildung einigermaßen verlässlicher repräsentativer Stichproben gewährleisten, die nicht nur für die Markt-, sondern auch für die gesellschaftspolitische Forschung brauchbar sind? Von der Beantwortung dieser Frage könnte die Zukunft der Umfrageforschung als Ganzes abhängen.

Literatur

• Eisinger, Robert: The Evolution of Presidential Polling. Cambridge: Cambridge University Press 2003
• Gallup, George: An Objective Method for Determining Reader Interest in the Content of Newespaper. Diss. Iowa 1928
• von Gostomski, Christian Babka, Josef Hartmann, Miriam Thum: Die Mannheimer Scheidungsstudie: Aspekte der Durchführung der telefonischen Befragung zu Determinanten der Ehescheidung. In: ZUMA-Nachrichten 41, November 1997, S. 127-152
• O'Muircheartaigh, Colm: Sampling. In: Wolfgang Donsbach, Michael W. Traugott  (Hrsg.): The SAGE Handbook of Public Opinion Research. Los Angeles (u. a.): Sage 2008, S. 294-308
• Online-Forschung: Kontinuierliches Wachstum in Europa. In: Context 6/2009, S. 4-5
• Petersen, Thomas: Keine Alternativen: Telefon- und Face-to-Face-Umfragen. In: Statistisches Bundesamt (Hrsg.): Neue Erhebungsinstrumente und Methodeneffekte (Spektrum Bundesstatistik 15). Stuttgart: Metzler-Poeschel 2000, S. 22-41
• Vehovar, Vasja, Katja Lozar Manfreda, Gasper Koren: Internet Surveys. In: Donsbach, Wolfgang, Michael W. Traugott (Hrsg.): The Sage Handbook of Public Opinion Research. Los Angeles (u. a.): Sage 2008, S. 271-283