Janina Mütze und Gerrit Richter, Civey Nicht zufällig repräsentativ: Welche Lösungen hat die Branche bei sinkender Teilnahmebereitschaft?

Die Methoden des Berliner Start-Ups Civey werden in der Branche viel diskutiert. In diesem Beitrag erklären die beiden Gründer, warum ihre Methode im Online-Zeitalter alternativlos ist und wie sie Transparenz in die Markt- und Meinungsforschung bringen wollen.

Janina Mütze und Gerrit Richter, Civey

Janina Mütze und Gerrit Richter, Civey

Rund eine Millionen befragte Menschen im Monat, bis zu 100.000 beantwortete Items pro Stunde, 2.000 Umfragen täglich live - Civey löst das Erhebungsproblem der Markt und Meinungsforschung. Einen Einblick in seine Live-Befragungen gibt das Unternehmen rund um die Uhr auf app.civey.com/me. Ähnlich wie bei den Live polls der New York Times sehen Website-Besucher, wer abstimmt, wie lange es braucht, eine gewünschte Stichprobengröße zu erreichen und wie sich Ergebnisse in Echtzeit verändern.

Wie stellt man Repäsentativität sicher? 

Das Befragen von Menschen ist dabei nicht neu. Einige Unternehmen tun dies seit Jahrzehnten. So beschreibt das ZDF Politbarometer seit etwas mehr als 40 Jahren Momentaufnahmen. Im Anschluss an den Sende-Beitrag kommt der entscheidende Satz zur Glaubwürdigkeit und Relevanz: "Die Ergebnisse des ZDF-Politbarometers sind repräsentativ für die Wahlberechtigten in Deutschland. Dies stellt die Forschungsgruppe Wahlen sicher, indem die Befragten nach einem definierten Zufallsprinzip ausgewählt werden. Für jedes Politbarometer interviewen Mitarbeiter der Forschungsgruppe Wahlen telefonisch etwa 1.250 Wahlberechtigte in ganz Deutschland. Gefragt sind die Meinungen der Deutschen zu aktuellen Ereignissen, zu Parteien und Politikern, aber auch zu allgemeinen gesellschaftlichen Entwicklungen. Die Umfragen dauern von Dienstag bis Donnerstag vor der Sendung, die am Freitag ausgestrahlt wird. Etwa 40 Fragen werden gestellt. Diese sind teilweise mit, teilweise ohne Antwortvorgabe zu beantworten."[1]

Und weiter heißt es: "Umfragen sind repräsentativ, wenn jeder Wahlberechtigte die gleiche Chance hat, befragt zu werden. Damit auch Wahlberechtigte erfasst werden können, die nicht in einem Telefonverzeichnis eingetragen sind, werden die Nummern von der Forschungsgruppe Wahlen zufällig generiert. Bei einem Haushaltsanschluss wird derjenige befragt, der zuletzt Geburtstag hatte. Auch Mobilfunknummern werden bei der Auswahl berücksichtigt." Und damit bescheinigt die Quelle sich selbst: "Aufgrund des strengen Zufallsverfahrens sind die Ergebnisse repräsentativ für alle Wahlberechtigten."[2]

Die Bedeutung der Gewichtung

Tatsächlich sind sie das aber erst, wenn eine entsprechende Gewichtung vorgenommen wird. Bei der Forschungsgruppe Wahlen beschreibt man das so: "Die Auswertung der Studie erfolgt gewichtet. Zunächst werden die designbedingten Unterschiede (Zahl der Nummern für Telefongespräche, Anzahl der Zielpersonen im Haushalt) in den Auswahlwahrscheinlichkeiten korrigiert. Dabei werden auch die Teilstichproben aus dem Festnetz und dem Mobilfunknetz auf der Basis der ermittelten Strukturmerkmale zusammengeführt (Dual Frame). In einem weiteren Schritt erfolgt eine Korrektur der Ausfälle durch Anpassung der Strukturen der Stichprobe an die Strukturen der Grundgesamtheit. Die Sollverteilungen für Geschlecht, Alter und Bildung sind dem Mikrozensus und der repräsentativen Wahlstatistik entnommen." [3] Und dann bescheinigt die Quelle sich selbst: "Die gewichtete Umfrage ist unter Berücksichtigung der wahrscheinlichkeitstheoretischen Grundlagen von Stichproben repräsentativ für die wahlberechtigte Bevölkerung Deutschlands." [4]

Ohne Gewichte geht es nicht mehr

Das Gemeinschaftsprojekt der Forschungsgruppe Wahlen ist so etwas wie der Goldstandard der deutschen Wahlforschung. Um mehr Transparenz in die eigene Methodik zu bringen, hält sich das Politbarometer an die seit 1997 geltende Richtlinie für Umfragen der Wahlforschung. [5] Deshalb wird "in jeder Publikation sowohl die politische Stimmung - also die Rohdaten nach Haushalts- und Repräsentativgewichtung - als auch die Projektion parallel dazu veröffentlicht, so dass jeder Rezipient den Einfluss des Instituts auf die veröffentlichten Daten der Sonntagsfrage mithilfe der Grundrechenarten nachvollziehen kann" [6], schreibt Matthias Jung, Vorstand der Forschungsgruppe Wahlen, in einem Gastbeitrag für den Informationsdienst Soziale Indikatoren (ISI). Er behauptet darin, das Politbarometer sei "bis heute" (also April 2018) die einzige der in den Medien veröffentlichten Umfragen, die diesem Transparenzgebot folgen. Diese Transparenz ist zu begrüßen. Sie zeigt: ohne Gewichte geht es nicht mehr. Und wenn Ausfälle durch sogenannte Non-Response korrigiert werden müssen, wird es spannend. Die Korrektur ist von Annahmen abhängig, die sich nicht leicht überprüfen lassen. Um es in einem Beispiel zu verdeutlichen: Was ist, wenn unabhängig von Geschlecht, Alter und Bildung zum Beispiel systematisch konservativere Menschen zu Non-Response tendieren? Dann hat man zwar für Geschlecht, Alter und Bildung korrigiert, aber mit Blick auf Konservatismus ist das Sample verzerrt und je nach spezifischer Frage damit auch das vermeintlich repräsentative Ergebnis. 

Eine Zufallsstichprobe ist kaum realistisch

Das 2015 gegründete Unternehmen Civey hat sich zum Ziel gemacht, transparent allen Menschen Zugang zu repräsentativer Markt- und Meinungsforschung zu geben. Denn die Motivation der Gründung lag - wie so oft bei neuen Unternehmen der Digitalwirtschaft - in der Erkenntnis, dass erfolgreiche analoge Methoden auf ein Problem zusteuern, wenn sie sich nicht grundlegend hinterfragen und erneuern. Das wird in naher Zukunft auch die Goldstandards der Markt- und Meinungsforschung treffen. Den Annahmen einer Zufallsstichprobe ist in der Realität kaum gerecht zu werden. Vor dem Hintergrund, dass der Anteil derer, die am Telefon noch Auskunft geben, stetig abnimmt, ist die Entwicklung in Deutschland hervorzuheben. Häder et al. (2012: S. 122-124) veranschaulichen das anhand der CELLA2 Studie, die von Forsa im Auftrag des Gesis Instituts in einem dual-frame RDD Verfahren durchgeführt wurde. Der Anteil der zumindest partiell beantworteten Interviews für Festnetztelefone betrug dabei 10,7 Prozent, die für Mobiltelefone sogar nur sieben Prozent. Eine Lehrbuch-Repräsentativität kann bei solchen systematischen Non-Response-Quoten durch Befragungen am Telefon nicht mehr erreicht werden. 

So befragt Civey

Aufgrund dieser niedrigen und sinkenden Teilnahmebereitschaft am Telefon, hat sich Civey entschieden, ausschließlich online zu erheben. Schon heute sind mehr als neun von zehn Menschen in Deutschland online erreichbar. [7] Online entfallen Erfassungsaufwände - und übrigens auch Manipulationsmöglichkeiten durch Befrager. Zusätzlich wandelt Civey die Befragungsmethode vom Push-Prinzip hin zum Pull-Prinzip. Civey sucht also nicht nach Teilnehmern, die bereit wären, auf Fragen der Meinungsforscher zu antworten. Vielmehr wählen die Civey-Nutzer die erste Umfrage aus, zu denen sie ihre Meinung abgeben wollen. Das erklärt unter anderem die großen jeweils erreichten Beteiligungen. Der Grad der Selbst-Selektion des Befragten auf der sogenannten "Türöffner-Umfrage", die der Befragte gerne beantwortet, wird in den Folgebefragungen schrittweiseise kleiner und von Civey kontrolliert.  

Transparenz wird zunächst einmal dadurch erreicht, dass jeder nach der Abstimmung sofort Feedback über den aktuellen Stand der Befragung erhält. Darüber hinaus können alle Umfragen, die Civey durchführt, auf der eigenen Webseite live mitverfolgt werden. Und für registrierte Besucher stellt Civey sowohl Rohdaten als auch Projektionen gegenüber und bietet zudem zusätzliche Informationsangebote wie Civey Pro zur weitergehende Analysen zur Umfrage und Erhebung. Durch die umfassenden Stichproben, die Civey zieht, werden tiefergehende Insights in sehr spitzen Zielgruppen ermöglicht. Das ist nicht nur transparent, sondern auch live und vor allem ubiquitär - also für jeden verfügbar. Damit liefert kein anderer Anbieter ein derart umfassendes Stimmungsbild darüber, wie Deutschland denkt. Civey unterscheidet sich also durch die Menge der Fragen, Umfang der Profile, Unmittelbarkeit der Befragung und Transparenz der Befragungsergebnisse von etablierten Marktforschungsinstituten. 

Non-Probability-Stichproben

Bei Online-Erhebungen kann ebenfalls keine perfekte Zufallsstichprobe gezogen werden. Aus diesem Grund setzen Anbieter wie Civey auf Non-Probability Stichproben, auf Ziehungen, bei denen entweder nicht alle Personen der Grundgesamtheit eine Chance haben, in der Stichprobe zu landen oder bei denen die Ziehungswahrscheinlichkeit nicht bekannt ist. Mit dem Abschied von der Zufallsstichprobe steigt die Relevanz statistischer Modelle. Neben bekannten Gewichtungsmethoden wie Raking oder Poststratifizierung, setzt Civey heute daher immer stärker auf multivariate Modelle, bei denen ein Algorithmus vollautomatisiert die entscheidenden Gewichtungsvariablen findet und nutzt. Die Echtzeit-Nutzung von multilevel regression with poststratification ist dabei einzigartig. Civey profitiert hierbei vom umfassenden Wissen über die Profile der registrierten Teilnehmer, wobei die Daten selbstverständlich pseudonymisiert sind. Während beispielsweise die Forschungsgruppe Wahlen für das Politbarometer etwa 40 Fragen stellt, bestehen Civey-Umfragen jeweils nur aus einer konkreten Frage. Im Anschluss daran werden aber über einen Empfehlungsalgorithmus weitere Fragen vorgelegt und die Beantwortung dem jeweiligen Nutzerprofil zugeordnet. Civey lernt deshalb mit jeder Umfrage und stellt die Vollständigkeit der Variablen sicher, die später zur Gewichtung herangezogen werden. Nur die Stimmen, die unter registrierten und verifizierten Nutzern erhoben werden, können überhaupt in die Stichprobe gelangen.

Lehrbuch-Stichproben sind Vergangenheit 

Vor dem Hintergrund, dass heute kein Anbieter mehr Lehrbuch-Zufallsstichproben zieht, lohnt sich ein Blick in die Literatur. Bereits 2015 hat die American Association for Public Opinion Research (AAPOR) ihre Einschätzung zu Non-Probability Stichproben geändert. [8] Sie empfielt Näherungen für die Bemessung von Stichprobenfehlern bei Non-Probability-Samples. Civey hat dieses Konzept des bayesianischen Kredibilitätsintervalls, den die AAPOR auch Call-Center Instituten mit niedrigen Ausschöpfungsquoten vorschlägt, übernommen und weist den Stichprobenfehler jederzeit transparent aus. 

Zur Entwicklung seiner Methodik hat Civey umfangreiche Forschungsanstrengungen im Team um Prof. Dr. Oliver Serfling der Hochschule Rhein-Waal unternommen und in einer Machbarkeitsstudie deren Wirksamkeit überprüft. Die fortwährende Weiterentwicklung wird durch den Beirat des Unternehmens und externen Prüfungen begleitet. 

Prof. Dr. Ricarda Bouncken, Inhaberin des Lehrstuhls für Strategisches Management und Organisation an der Universität Bayreuth, hat die Methodik zuletzt in einer intensiven Methodenstudie untersucht.Dabei kommt sie zu dem Schluss: "Die Entwicklung neuer Befragungstechnologien, die Weiterentwicklung bestehender Methoden sowie die komplementäre Kombination ihrer spezifischen Stärken und Schwächen weist auf klare Vorteile von Online-Befragungen, wie sie bei Civey angelegt sind, in Form von steigender Repräsentativität hin. Die Anwendung eines solchen Multi-Node-Ansatzes wie bei Civey ist sowohl in der Zielgruppenansprache als auch in der Datenerhebung einem einfachen logisch-rationalen Vergleich rivalisierender Befragungsansätze und Analysemethoden vorzuziehen.  Vor diesem Hintergrund sind die von Civey eingesetzten Befragungstechnologien als berechtigte und dienliche Erhebungsmethode neben etablierten Methoden einzuordnen."

Was ist der Goldstandard der Zukunft?

Civey erreicht über ebendiese Methodik Befragungsergebnisse und Projektionen, die sich im gleichen Rahmen der Toleranz befinden wie die der Forschungsgruppe Wahlen. Dies zeigen nicht nur Wahlen und Volksentscheide, bei denen die Umfragen gut lagen, sondern jeden Tag 2.000 Live-Umfragen zu unterschiedlichsten Themen im System.

Im Fazit ist es eine Frage der Zeit, bis Online-Befragungen den Goldstandard der Meinungsumfrage bilden werden. Schon heute ist die Marktabdeckung von mobilen, stationären oder temporären Internet-Zugängen jenseits 90 Prozent der Bevölkerung, sodass die Grundforderung der Wahrscheinlichkeitsrechnung, nämlich die der Chancengleichheit, bereits erreicht werden dürfte. Es ist nicht nur abzusehen, dass sich Online-Befragungen dieser Chancengleichheit immer weiter annähern; man kann auch davon ausgehen, dass bei abnehmenden Festnetzanschlüssen, zunehmender Mobilität und schwindender Bereitschaft zu Interviews die traditionellen Befragungsmethoden diese Chancengleichheit nicht mehr lange gewährleisten können, wenn sie es denn heute überhaupt noch können. Es gibt - und das ist durchaus ein Gemeinplatz der Digitalwirtschaft - zu online keine Alternative.

Zu den AutorInnen

Gerrit Richter ist Co-Founder und CEO von Civey.

Janina Mütze ist Co-Founder und COO von Civey.

Verweise

[1] zdf.de/politik/politbarometer/sb-material/methodik-100.html, abgerufen am 6. November 2018
[2] zdf.de/politik/politbarometer/sb-material/methodik-100.html, abgerufen am 6. November 2018
[3] forschungsgruppe.de/Rund_um_die_Meinungsforschung/Methodik_Politbarometer/ abgerufen am 7. November 2018
[4] forschungsgruppe.de/Rund_um_die_Meinungsforschung/Methodik_Politbarometer/ abgerufen am 7. November 2018
[5] Richtlinie für die Veröffentlichung von Ergebnissen der Wahlforschung. Herausgegeben vom Arbeitskreis Deutscher Markt- und Sozialforschungsinstitute e.V. (ADM), der Arbeitsgemeinschaft Sozialwissenschaftlicher Institute e.V. (ASI) und dem Berufsverband Deutscher Markt- und Sozialforscher e.V. (BVM)
[6] "40 Jahre Politbarometer", Matthias Jung in ISI60, April 2018
[7] ARD-ZDF Onlinestudie: ard-zdf-onlinestudie.de/ardzdf-onlinestudie-2018/ abgerufen am 11. November
[8] aapor.org/getattachment/Education-Resources/For-Researchers/AAPOR_Guidance_Nonprob_Precision_042216.pdf.aspx abgerufen am 11. November 2018

 

Diskutieren Sie mit!     

  1. Gerhard Graf am 03.12.2018
    Nun, eigentlich steht hier: Mehr können wir nicht leisten, also machen wir das so.

    Und wir verdrehen ein wenig die Realität: Jede Representativität benötigt Gewichtung? Nein: Gewichtung macht nur dann wirklich Sinn, wenn es sich um eine Zufallsstichprobe handelt - man denke an die Diskussion um die Quotenstichsprobe. Etc. pp.

    Sehr hübsch ist das hier:
    "...bestehen Civey-Umfragen jeweils nur aus einer konkreten Frage. Im Anschluss daran werden aber über einen Empfehlungsalgorithmus weitere Fragen vorgelegt und die Beantwortung dem jeweiligen Nutzerprofil zugeordnet. Civey lernt deshalb mit jeder Umfrage und stellt die Vollständigkeit der Variablen sicher, die später zur Gewichtung herangezogen werden. Nur die Stimmen, die unter registrierten und verifizierten Nutzern erhoben werden, können überhaupt in die Stichprobe gelangen."
    In der Praxis wird für die Beantwortung der ersten Frage Geschlecht, Alter und PLZ verlangt, ohne irgendeine Art der Verifizierung, und dann wird munter weiter abgefragt - ohne dass man eine dieser weiteren Fragen beantworten muss. Aber auf verschiedenen Geräten vielfach beantworten kann.

    Es hilft alles nichts: Aus Selbstrekrutierung lässt sich kein "Goldstandard" zaubern, Da kann man rechnen, so viel man will.
  2. Sebastian Götte am 03.12.2018
    Liebe AutorInnen,

    wäre es möglich, die Quelle für die von Frau Prof. Bouncken durchgeführte Methodenstudie zu liefern? Diese interessiert mich im Detail.

    Danke!
  3. Andres Schmitt am 03.12.2018
    Was ist denn, wenn wie im Beispiel aufgeführt konservativere Menschen nicht nur häufiger die Teilnahme an Telefonumfragen verweigern und damit das Meinungsbild verzerren (vgl. Absatz "Ohne Gewichte geht es nicht mehr"), sondern auch seltener an solchen Online-Selbstrekrutierungs-Umfragen teilnehmen? Verzerrt das das Bild dann nicht genauso?
  4. Thomas Wüstenfeld am 03.12.2018
    ich kann den Ansatz von Civey aus pragmatischen und Kostengründen durchaus nachvollziehen. Allerdings ist mir aufgefallen, dass u.a. auf der Spiegel.de Seite rekrutiert wird. Hier tummeln sich z.B. eher weniger konservative oder sogar AFD nahe Leser.
    D.h. auch die Selbstauswahl auf politisch ausgerichteten, eindeutigen Internetseiten führt automatisch zu einer Verzerrung. Böse gesagt: bullshit in = bullshit out. Das lässt sich auch durch Gewichtung nur schwer beheben.
    Dann doch lieber ein vorrekrutiertes Online Panel, bei dem ich aus den Stammdaten zumindest schon einmal die demografischen Basisdaten kenne. Wenn das evtl. auch noch offline rekrutiert und validiert wird, kann man daraus wieder schöne Zufallsstichproben ziehen. Evtl. kommt man dann auch ohne zusätzliche Gewichtung aus. Das hängt aber alles vom Untersuchungsgegenstand ab.
  5. Marktforscher am 03.12.2018
    Der ursprüngliche Ansatz von Civey, die Menschen durch Abstimmungen zur politischen Diskussion anzuregen, ist ja sehr lobenswert. Nun aber gegenüber der Öffentlichkeit (und den Medien-Kunden) zu behaupten, man würde jetzt auch repräsentative Ergebnisse erzeugen, finde ich etwas unredlich. Vor allem wenn durch Aussagen wie "Schon heute sind mehr als neun von zehn Menschen in Deutschland online erreichbar" suggeriert wird, dass dadurch auch die Auswahlgrundlage entsprechend groß sei. Durch die Selbstrekrutierung erreicht man immer nur eine sehr spezielle Gruppe, die man auch durch Gewichtung nicht mehr "hinbiegen" kann. Genauso gut könnte man in Frankreich eine Umfrage zur BTW in Deutschland durchführen - und dann durch eine entsprechende Alters- und Geschlechts-Gewichtung behaupten, die Ergebnisse seien nun repräsentativ für Deutschland. Klingt unsinnig? Das ist es ebenso, wenn man die politisch interessierten (und motivierten?) Civey-Nutzer mit der Bevölkerung in Deutschland gleichsetzt und diese einfach durch eine Gewichtung anpasst. Der gewichtete Ausschnitt bleibt genauso beschränkt wie vorher.
  6. Andera Gadeib am 04.12.2018
    Liebes Team von marktforschung.de,
    wie könnt Ihr denn bitte sowas unkommentiert abdrucken? "Civey löst das Erhebungsproblem der Markt und Meinungsforschung" steht da gleich zu Beginn. Wie bitte? Ich bin wirklich erschrocken, ob der Veröffentlichung von einseitig werblichen und methodisch wirklich fragwürdigen Inhalte.
    Lg
    Andera
  7. marktforschung.de-Redaktion am 04.12.2018
    Liebe Frau Gadeib,

    vielen Dank für Ihren Kommentar.

    Im Dossier "Repräsentativität" möchten wir verschiedenen Unternehmen und Experten die Möglichkeit bieten, sich im Rahmen eines offenen Austauschs zur immer wieder aufflammenden Diskussion zu äußern. Hiervon möchten wir Civey - derzeit stark im Fokus - nicht ausschließen.

    Wir moderieren dabei in unserer Funktion als neutrales Branchenportal. Die von Ihnen zitierte Aussage wurde von Janina Mütze und Gerrit Richter verfasst.

    Liebe Grüße

    Ihre Redaktion von marktforschung.de
  8. Thomas Perry am 04.12.2018
    Es ist wirklich unglaublich. Civey liefert wieder einmal keinerlei empirischen und im Detail ÜBERPRÜFBAREN Beleg dafür, dass ihre Behauptung der Repräsentativität zutrifft. Aber genau darum geht es doch hier. Ihr Argument ist, dass andere es auch nicht können. Unabhängig davon, ob die Kritik gerechtfertigt ist oder nicht: Die Schwächen anderer sind doch keinerlei Beleg für die Richtigkeit der Behauptung eigener Fähigkeiten. Wenn das akzeptiert wird, kann das demnächst jeder behaupten. Dann sind wir wirklich im Land der Alternative Facts, die sich jeder nach Belieben zusammenschustert.
    Was Civey und mit Civey die vielen prominenten Unterstützer in ihrem Beirat zu der Debatte über die Fähigkeiten von Civey abliefern, ist wirklich hanebüchen. Dass gar Brigitte Zypries dabei mitmacht, lässt mich fassungslos zurück. Ich hoffe sehr, dass das nicht akzeptiert wird und viele Leute dagegen halten.
  9. Helga Krüger am 16.12.2018
    Die Befragungen machen Spass. Ich versuche immer zu erraten,wie die Allgemeinheit abstimmt.

Um unsere Kommentarfunktion nutzen zu können müssen Sie sich anmelden.

Anmelden

Weitere Highlights auf marktforschung.de