Janina Mütze und Gerrit Richter, Civey Nicht zufällig repräsentativ: Welche Lösungen hat die Branche bei sinkender Teilnahmebereitschaft?

Janina Mütze und Gerrit Richter, Civey

Rund eine Millionen befragte Menschen im Monat, bis zu 100.000 beantwortete Items pro Stunde, 2.000 Umfragen täglich live - Civey löst das Erhebungsproblem der Markt und Meinungsforschung. Einen Einblick in seine Live-Befragungen gibt das Unternehmen rund um die Uhr auf app.civey.com/me. Ähnlich wie bei den Live polls der New York Times sehen Website-Besucher, wer abstimmt, wie lange es braucht, eine gewünschte Stichprobengröße zu erreichen und wie sich Ergebnisse in Echtzeit verändern.

Wie stellt man Repäsentativität sicher? 

Das Befragen von Menschen ist dabei nicht neu. Einige Unternehmen tun dies seit Jahrzehnten. So beschreibt das ZDF Politbarometer seit etwas mehr als 40 Jahren Momentaufnahmen. Im Anschluss an den Sende-Beitrag kommt der entscheidende Satz zur Glaubwürdigkeit und Relevanz: "Die Ergebnisse des ZDF-Politbarometers sind repräsentativ für die Wahlberechtigten in Deutschland. Dies stellt die Forschungsgruppe Wahlen sicher, indem die Befragten nach einem definierten Zufallsprinzip ausgewählt werden. Für jedes Politbarometer interviewen Mitarbeiter der Forschungsgruppe Wahlen telefonisch etwa 1.250 Wahlberechtigte in ganz Deutschland. Gefragt sind die Meinungen der Deutschen zu aktuellen Ereignissen, zu Parteien und Politikern, aber auch zu allgemeinen gesellschaftlichen Entwicklungen. Die Umfragen dauern von Dienstag bis Donnerstag vor der Sendung, die am Freitag ausgestrahlt wird. Etwa 40 Fragen werden gestellt. Diese sind teilweise mit, teilweise ohne Antwortvorgabe zu beantworten."[1]

Und weiter heißt es: "Umfragen sind repräsentativ, wenn jeder Wahlberechtigte die gleiche Chance hat, befragt zu werden. Damit auch Wahlberechtigte erfasst werden können, die nicht in einem Telefonverzeichnis eingetragen sind, werden die Nummern von der Forschungsgruppe Wahlen zufällig generiert. Bei einem Haushaltsanschluss wird derjenige befragt, der zuletzt Geburtstag hatte. Auch Mobilfunknummern werden bei der Auswahl berücksichtigt." Und damit bescheinigt die Quelle sich selbst: "Aufgrund des strengen Zufallsverfahrens sind die Ergebnisse repräsentativ für alle Wahlberechtigten."[2]

Die Bedeutung der Gewichtung

Tatsächlich sind sie das aber erst, wenn eine entsprechende Gewichtung vorgenommen wird. Bei der Forschungsgruppe Wahlen beschreibt man das so: "Die Auswertung der Studie erfolgt gewichtet. Zunächst werden die designbedingten Unterschiede (Zahl der Nummern für Telefongespräche, Anzahl der Zielpersonen im Haushalt) in den Auswahlwahrscheinlichkeiten korrigiert. Dabei werden auch die Teilstichproben aus dem Festnetz und dem Mobilfunknetz auf der Basis der ermittelten Strukturmerkmale zusammengeführt (Dual Frame). In einem weiteren Schritt erfolgt eine Korrektur der Ausfälle durch Anpassung der Strukturen der Stichprobe an die Strukturen der Grundgesamtheit. Die Sollverteilungen für Geschlecht, Alter und Bildung sind dem Mikrozensus und der repräsentativen Wahlstatistik entnommen." [3] Und dann bescheinigt die Quelle sich selbst: "Die gewichtete Umfrage ist unter Berücksichtigung der wahrscheinlichkeitstheoretischen Grundlagen von Stichproben repräsentativ für die wahlberechtigte Bevölkerung Deutschlands." [4]

Ohne Gewichte geht es nicht mehr

Das Gemeinschaftsprojekt der Forschungsgruppe Wahlen ist so etwas wie der Goldstandard der deutschen Wahlforschung. Um mehr Transparenz in die eigene Methodik zu bringen, hält sich das Politbarometer an die seit 1997 geltende Richtlinie für Umfragen der Wahlforschung. [5] Deshalb wird "in jeder Publikation sowohl die politische Stimmung - also die Rohdaten nach Haushalts- und Repräsentativgewichtung - als auch die Projektion parallel dazu veröffentlicht, so dass jeder Rezipient den Einfluss des Instituts auf die veröffentlichten Daten der Sonntagsfrage mithilfe der Grundrechenarten nachvollziehen kann" [6], schreibt Matthias Jung, Vorstand der Forschungsgruppe Wahlen, in einem Gastbeitrag für den Informationsdienst Soziale Indikatoren (ISI). Er behauptet darin, das Politbarometer sei "bis heute" (also April 2018) die einzige der in den Medien veröffentlichten Umfragen, die diesem Transparenzgebot folgen. Diese Transparenz ist zu begrüßen. Sie zeigt: ohne Gewichte geht es nicht mehr. Und wenn Ausfälle durch sogenannte Non-Response korrigiert werden müssen, wird es spannend. Die Korrektur ist von Annahmen abhängig, die sich nicht leicht überprüfen lassen. Um es in einem Beispiel zu verdeutlichen: Was ist, wenn unabhängig von Geschlecht, Alter und Bildung zum Beispiel systematisch konservativere Menschen zu Non-Response tendieren? Dann hat man zwar für Geschlecht, Alter und Bildung korrigiert, aber mit Blick auf Konservatismus ist das Sample verzerrt und je nach spezifischer Frage damit auch das vermeintlich repräsentative Ergebnis. 

Eine Zufallsstichprobe ist kaum realistisch

Das 2015 gegründete Unternehmen Civey hat sich zum Ziel gemacht, transparent allen Menschen Zugang zu repräsentativer Markt- und Meinungsforschung zu geben. Denn die Motivation der Gründung lag - wie so oft bei neuen Unternehmen der Digitalwirtschaft - in der Erkenntnis, dass erfolgreiche analoge Methoden auf ein Problem zusteuern, wenn sie sich nicht grundlegend hinterfragen und erneuern. Das wird in naher Zukunft auch die Goldstandards der Markt- und Meinungsforschung treffen. Den Annahmen einer Zufallsstichprobe ist in der Realität kaum gerecht zu werden. Vor dem Hintergrund, dass der Anteil derer, die am Telefon noch Auskunft geben, stetig abnimmt, ist die Entwicklung in Deutschland hervorzuheben. Häder et al. (2012: S. 122-124) veranschaulichen das anhand der CELLA2 Studie, die von Forsa im Auftrag des Gesis Instituts in einem dual-frame RDD Verfahren durchgeführt wurde. Der Anteil der zumindest partiell beantworteten Interviews für Festnetztelefone betrug dabei 10,7 Prozent, die für Mobiltelefone sogar nur sieben Prozent. Eine Lehrbuch-Repräsentativität kann bei solchen systematischen Non-Response-Quoten durch Befragungen am Telefon nicht mehr erreicht werden. 

So befragt Civey

Aufgrund dieser niedrigen und sinkenden Teilnahmebereitschaft am Telefon, hat sich Civey entschieden, ausschließlich online zu erheben. Schon heute sind mehr als neun von zehn Menschen in Deutschland online erreichbar. [7] Online entfallen Erfassungsaufwände - und übrigens auch Manipulationsmöglichkeiten durch Befrager. Zusätzlich wandelt Civey die Befragungsmethode vom Push-Prinzip hin zum Pull-Prinzip. Civey sucht also nicht nach Teilnehmern, die bereit wären, auf Fragen der Meinungsforscher zu antworten. Vielmehr wählen die Civey-Nutzer die erste Umfrage aus, zu denen sie ihre Meinung abgeben wollen. Das erklärt unter anderem die großen jeweils erreichten Beteiligungen. Der Grad der Selbst-Selektion des Befragten auf der sogenannten "Türöffner-Umfrage", die der Befragte gerne beantwortet, wird in den Folgebefragungen schrittweiseise kleiner und von Civey kontrolliert.  

Transparenz wird zunächst einmal dadurch erreicht, dass jeder nach der Abstimmung sofort Feedback über den aktuellen Stand der Befragung erhält. Darüber hinaus können alle Umfragen, die Civey durchführt, auf der eigenen Webseite live mitverfolgt werden. Und für registrierte Besucher stellt Civey sowohl Rohdaten als auch Projektionen gegenüber und bietet zudem zusätzliche Informationsangebote wie Civey Pro zur weitergehende Analysen zur Umfrage und Erhebung. Durch die umfassenden Stichproben, die Civey zieht, werden tiefergehende Insights in sehr spitzen Zielgruppen ermöglicht. Das ist nicht nur transparent, sondern auch live und vor allem ubiquitär - also für jeden verfügbar. Damit liefert kein anderer Anbieter ein derart umfassendes Stimmungsbild darüber, wie Deutschland denkt. Civey unterscheidet sich also durch die Menge der Fragen, Umfang der Profile, Unmittelbarkeit der Befragung und Transparenz der Befragungsergebnisse von etablierten Marktforschungsinstituten. 

Non-Probability-Stichproben

Bei Online-Erhebungen kann ebenfalls keine perfekte Zufallsstichprobe gezogen werden. Aus diesem Grund setzen Anbieter wie Civey auf Non-Probability Stichproben, auf Ziehungen, bei denen entweder nicht alle Personen der Grundgesamtheit eine Chance haben, in der Stichprobe zu landen oder bei denen die Ziehungswahrscheinlichkeit nicht bekannt ist. Mit dem Abschied von der Zufallsstichprobe steigt die Relevanz statistischer Modelle. Neben bekannten Gewichtungsmethoden wie Raking oder Poststratifizierung, setzt Civey heute daher immer stärker auf multivariate Modelle, bei denen ein Algorithmus vollautomatisiert die entscheidenden Gewichtungsvariablen findet und nutzt. Die Echtzeit-Nutzung von multilevel regression with poststratification ist dabei einzigartig. Civey profitiert hierbei vom umfassenden Wissen über die Profile der registrierten Teilnehmer, wobei die Daten selbstverständlich pseudonymisiert sind. Während beispielsweise die Forschungsgruppe Wahlen für das Politbarometer etwa 40 Fragen stellt, bestehen Civey-Umfragen jeweils nur aus einer konkreten Frage. Im Anschluss daran werden aber über einen Empfehlungsalgorithmus weitere Fragen vorgelegt und die Beantwortung dem jeweiligen Nutzerprofil zugeordnet. Civey lernt deshalb mit jeder Umfrage und stellt die Vollständigkeit der Variablen sicher, die später zur Gewichtung herangezogen werden. Nur die Stimmen, die unter registrierten und verifizierten Nutzern erhoben werden, können überhaupt in die Stichprobe gelangen.

Lehrbuch-Stichproben sind Vergangenheit 

Vor dem Hintergrund, dass heute kein Anbieter mehr Lehrbuch-Zufallsstichproben zieht, lohnt sich ein Blick in die Literatur. Bereits 2015 hat die American Association for Public Opinion Research (AAPOR) ihre Einschätzung zu Non-Probability Stichproben geändert. [8] Sie empfielt Näherungen für die Bemessung von Stichprobenfehlern bei Non-Probability-Samples. Civey hat dieses Konzept des bayesianischen Kredibilitätsintervalls, den die AAPOR auch Call-Center Instituten mit niedrigen Ausschöpfungsquoten vorschlägt, übernommen und weist den Stichprobenfehler jederzeit transparent aus. 

Zur Entwicklung seiner Methodik hat Civey umfangreiche Forschungsanstrengungen im Team um Prof. Dr. Oliver Serfling der Hochschule Rhein-Waal unternommen und in einer Machbarkeitsstudie deren Wirksamkeit überprüft. Die fortwährende Weiterentwicklung wird durch den Beirat des Unternehmens und externen Prüfungen begleitet. 

Prof. Dr. Ricarda Bouncken, Inhaberin des Lehrstuhls für Strategisches Management und Organisation an der Universität Bayreuth, hat die Methodik zuletzt in einer intensiven Methodenstudie untersucht.Dabei kommt sie zu dem Schluss: "Die Entwicklung neuer Befragungstechnologien, die Weiterentwicklung bestehender Methoden sowie die komplementäre Kombination ihrer spezifischen Stärken und Schwächen weist auf klare Vorteile von Online-Befragungen, wie sie bei Civey angelegt sind, in Form von steigender Repräsentativität hin. Die Anwendung eines solchen Multi-Node-Ansatzes wie bei Civey ist sowohl in der Zielgruppenansprache als auch in der Datenerhebung einem einfachen logisch-rationalen Vergleich rivalisierender Befragungsansätze und Analysemethoden vorzuziehen.  Vor diesem Hintergrund sind die von Civey eingesetzten Befragungstechnologien als berechtigte und dienliche Erhebungsmethode neben etablierten Methoden einzuordnen."

Was ist der Goldstandard der Zukunft?

Civey erreicht über ebendiese Methodik Befragungsergebnisse und Projektionen, die sich im gleichen Rahmen der Toleranz befinden wie die der Forschungsgruppe Wahlen. Dies zeigen nicht nur Wahlen und Volksentscheide, bei denen die Umfragen gut lagen, sondern jeden Tag 2.000 Live-Umfragen zu unterschiedlichsten Themen im System.

Im Fazit ist es eine Frage der Zeit, bis Online-Befragungen den Goldstandard der Meinungsumfrage bilden werden. Schon heute ist die Marktabdeckung von mobilen, stationären oder temporären Internet-Zugängen jenseits 90 Prozent der Bevölkerung, sodass die Grundforderung der Wahrscheinlichkeitsrechnung, nämlich die der Chancengleichheit, bereits erreicht werden dürfte. Es ist nicht nur abzusehen, dass sich Online-Befragungen dieser Chancengleichheit immer weiter annähern; man kann auch davon ausgehen, dass bei abnehmenden Festnetzanschlüssen, zunehmender Mobilität und schwindender Bereitschaft zu Interviews die traditionellen Befragungsmethoden diese Chancengleichheit nicht mehr lange gewährleisten können, wenn sie es denn heute überhaupt noch können. Es gibt - und das ist durchaus ein Gemeinplatz der Digitalwirtschaft - zu online keine Alternative.

Zu den AutorInnen

Gerrit Richter ist Co-Founder und CEO von Civey.

Janina Mütze ist Co-Founder und COO von Civey.

Verweise

[1] zdf.de/politik/politbarometer/sb-material/methodik-100.html, abgerufen am 6. November 2018
[2] zdf.de/politik/politbarometer/sb-material/methodik-100.html, abgerufen am 6. November 2018
[3] forschungsgruppe.de/Rund_um_die_Meinungsforschung/Methodik_Politbarometer/ abgerufen am 7. November 2018
[4] forschungsgruppe.de/Rund_um_die_Meinungsforschung/Methodik_Politbarometer/ abgerufen am 7. November 2018
[5] Richtlinie für die Veröffentlichung von Ergebnissen der Wahlforschung. Herausgegeben vom Arbeitskreis Deutscher Markt- und Sozialforschungsinstitute e.V. (ADM), der Arbeitsgemeinschaft Sozialwissenschaftlicher Institute e.V. (ASI) und dem Berufsverband Deutscher Markt- und Sozialforscher e.V. (BVM)
[6] "40 Jahre Politbarometer", Matthias Jung in ISI60, April 2018
[7] ARD-ZDF Onlinestudie: ard-zdf-onlinestudie.de/ardzdf-onlinestudie-2018/ abgerufen am 11. November
[8] aapor.org/getattachment/Education-Resources/For-Researchers/AAPOR_Guidance_Nonprob_Precision_042216.pdf.aspx abgerufen am 11. November 2018