Gerrit Richter & Charlotte Weber, Civey "Wir sind nicht das einzige Marktforschungsinstitut, das Small Area Estimations einsetzt"

Was sind eigentlich Small Area Estimations und was macht die SPD im NRW-Wahlkampf damit? Interview mit Gerrit Richter und Charlotte Weber von Civey (Bilder: Civey)

Das Markt- und Meinungsforschungsinstitut Forsa hat einige SPD-Kreisverbände in Nordrhein-Westfalen abgemahnt, die Daten von Civey als vermeintlich „repräsentative“ Grundlage für Pressemitteilungen im beginnenden Landtagswahlkampf verwendet haben. Dies war Anlass für eine auch in den Medien ausgetragende Kontroverse über die von Civey angewandten Methoden, über die wir bereits in unserem Beitrag "Forsa vs. Civey - Germany's next Super Wahlforscher" berichteten. Wir haben Civey mit der Kritik konfrontiert und von CEO Gerrit Richter und Vice President Product Charlotte Weber  folgende Antworten erhalten.

Lassen Sie uns zunächst kurz über die Umfragen sprechen, die Sie für die SPD in Nordrhein-Westfalen durchführen. Was bekommt die Partei von Ihnen? 

Gerrit Richter: Die Fraktion der nordrhein-westfälischen SPD hat bei uns mehrere Umfragen zu Schule und anderen landespolitischen Themen in Auftrag gegeben. Diese haben wir im vergangenen Jahr unter rund 2.500 Personen aus NRW durchgeführt. Die SPD bekam im Anschluss die Ergebnisse in einem Dashboard zur Verfügung gestellt, das Analysen nach Alter, Geschlecht und anderen soziodemografischen Merkmalen ermöglicht. Zusätzlich konnte man in den im Dashboard dargestellten Ergebnissen auch sehen, wie Menschen in den jeweiligen Landkreisen und größeren Städten über Kita-Gebühren oder die Krankenhausversorgung denken. Wie schätzen also Männer und Frauen ein bestimmtes Thema ein? Wie die Menschen im Kreis Soest, in Düsseldorf oder Remscheid?

Bei vielen Menschen – in diesem Fall auch gestandenen Journalisten – regt sich ein gewisser Unglaube, dass man anhand einer landesweiten Stichprobe von 2.500 Personen repräsentative Aussagen über die Stimmung in einem einzelnen Landkreis ableiten kann, aus dem möglicherweise nur 26 Befragte kamen. 

Charlotte Weber: Inzwischen verfügt die Markt- und Meinungsforschung mit Small Area Modellen über eine erprobte und wissenschaftlich bestätigte Methodik, die genau das kann: Ergebnisse von einer höheren räumlichen Ebene auf eine darunter liegende herunterbrechen – auch wenn beispielsweise in einem bestimmten Landkreis nur verhältnismäßig wenige Einzelbefragungen durchgeführt wurden.

In einem kritischen Artikel des Journalisten Michael Hirz ist der SPD-Abgeordnete Sven Wolf aus Remscheid erwähnt, der die Zahlen für seinen Landkreis veröffentlicht hat. Darf jeder SPD-Abgeordnete mit den Zahlen arbeiten? Der Gedanke, dass man aus einer 2.500er Stichprobe für NRW valide Daten für Remscheid bekommt, ist etwas gewöhnungsbedürftig. 

Gerrit Richter: Wenn ein Kunde bei uns für Daten bezahlt, dann kann er diese selbstverständlich allen zur Verfügung stellen. Insofern gehe ich davon aus, dass die Mitglieder der Fraktion auch Zugang zu diesen Daten haben und für gemeinsame Lagebesprechungen nutzen. Das ist dann auch die Entscheidung des Kunden, ob er die Daten veröffentlichen möchte. Wenn man sich die Daten anschaut, dann sind sie unser Überzeugung nach valide, in sich konsistent und plausibel. Wir legen auch unsere Hand dafür ins Feuer. Für uns spricht auch nichts dagegen, wenn die SPD sich entscheidet, damit an die Öffentlichkeit zu gehen. 

Bezüglich der Berichterstattung:

Es wird immer einzelne Personen geben, die statistische Methoden möglicherweise nicht auf Anhieb vollständig nachvollziehen können.

Üblicherweise fragen Journalisten dann bei uns nach. Besagter Kollege hat das nicht getan. Für uns kann dies ja kein Grund, die Ergebnisse nicht zu veröffentlichen. Aber wir müssen natürlich darüber aufklären, wie die Methode funktioniert. Das tun wir beispielsweise mit unserem Whitepaper auf unserer Website und in Informations- materialien für unsere Kunden und Journalisten. 

Erläutern Sie doch bitte einmal in einfachen Worten, was dieses Small Area Modell eigentlich ist. Was sind die Grundgedanken des Modells?

Gerrit Richter: Was Menschen in kleineren räumlichen Einheiten - wie zum Beispiel in Landkreisen oder in Postleitzahlengebieten - denken, ist eine sehr wichtige Information zum Beispiel für das Statistische Bundesamt, für das US-amerikanische Zensusbüro, für politische Parteien oder Unternehmen oder auch für Marktforschende. Das Problem ist: Es ist mit keinem vertretbaren finanziellen Aufwand möglich, in einem Landkreis, in dem insgesamt nur 100.000 Menschen leben, eine Befragung mit 1.000 Personen durch- zuführen - und dann auch noch regelmäßig. Insofern stellt sich die Frage: Können wir mit einem neuen statistischen Verfahren für einen kleinen Raum, in dem wir nur relativ wenige Befragte haben, valide, repräsentative Ergebnisse ermitteln? Genau da setzen die Small Area Estimations (im weiteren SAE) an, die ab den 90er Jahren vor allem an der Columbia University entwickelt und erprobt wurden.

Charlotte Weber: Das Vorgehen ist im Prinzip eigentlich einfach. Wir ziehen auf der übergeordneten Ebene – zum Beispiel deutschlandweit oder wie im Fall der SPD - Umfragen in einem Bundesland - eine sehr große Stichprobe. Diese reichern wir dann mit Regionaldaten an. Das heißt: Wir verwenden zusätzliche Daten, die bereits über die einzelnen Regionen - wie Landkreise - vorliegen. Dann prüfen wir, ob und welcher Zusammenhang zwischen diesen Hilfsvariablen und einem bestimmten Antwortverhalten in einer Region besteht. Wenn Menschen in Regionen mit hoher Arbeitslosigkeit beispielsweise zu einem bestimmten Antwortverhalten neigen, dann können wir davon ausgehen, dass dies wahrscheinlich auch in anderen Regionen mit hoher Arbeitslosigkeit der Fall sein wird. 

Für die Treffsicherheit solcher Vorhersagen sind die genannten Hilfsvariablen von immenser Bedeutung. Daher auch konkret für den NRW-Fall nachgefragt: Welche Daten aus welchen Quellen haben Sie dort verwendet?

Charlotte Weber: Es gibt auf regionaler Ebene genügend verlässliche Daten, die öffentlich verfügbar sind. Ein Beispiel ist die Kriminalitätsstatistik, welche die Kriminalitätsrate für einen bestimmten Landkreis ausweist. Wir verwenden zudem soziodemografische Informationen vom Statistischen Bundesamt wie die Eigenheim- quote und die regionale Kaufkraft und Daten vom Bundesamt für Migration und Flüchtlinge. Auch die Bundesagentur für Arbeit verfügt über eine umfangreiche Regionaldatenbank, über die man zum Beispiel Informationen zur Arbeitslosenquote erhält. Insgesamt beruht unser Modell auf rund 50 dieser Hilfsvariablen, dazu kommen 13 Variablen auf Individualebene, wie Alter und Geschlecht. 

Das Civey-Modell beruht ja zum großen Teil auf der Qualität Ihrer Stichprobe. Wie wurde diese gezogen? Kritische Stimmen haben in der Vergangenheit an dieser Stelle eine Verzerrung, etwa durch River Sampling, ins Spiel gebracht.

Gerrit Richter: Um das richtig zu stellen: River Sampling verwenden wir zur Rekrutierung, nicht zur Stichprobenziehung. Wir arbeiten, wie andere Marktforschungsinstitute auch, mit einem Online Access Panel. Für Nordrhein-Westfalen haben wir daraus eine 2500er-Stichprobe gezogen. Das ist ein Non-Probability-Sample. Verzerrungen können vielfältig sein - eine Herausforderung, die alle Meinungsforscher teilen. Sie kann darin bestehen, dass man beispielsweise zu viele Männer, zu viele Frauen, zu viele Junge, zu viele Alte, zu viele AFD-Wähler, zu viele FDP-Wähler, zu viele Linke in einer Stichprobe hat. Daher gewichten wir die Ergebnisse der Umfragen oder wenden Small Area-Methoden an.

Charlotte Weber: An dieser Stelle sollten wir außerdem etwas genauer auf die verwendete Small Area - Methode MRP eingehen. Das Kürzel steht für Multilevel regression with post-stratification und bezeichnet eine Methode, die insbesondere im Non-probability-Kontext verwendet wird, wo man es also nicht mit einer Zufallsstichprobe zu tun hat. Dazu gibt es umfangreiche wissenschaftliche Literatur. Beispielsweise von der Columbia University eine sehr illustrative Studie mit xBox-Nutzern, die 2012 zur Präsidentschaftswahl befragt wurden. Die Columbia University konnte zeigen, dass es mit MRP möglich ist, extreme Verzerrungen in der Stichprobe auszugleichen. Fazit: Sie haben mit ihrer Wahlprognose nicht schlechter abgeschnitten als andere. 

Gerrit Richter: Das ist nur ein Beispiel aus der wissenschaftlichen Literatur. Es gibt Dutzende von Studien aus den USA, Brasilien, Israel, Deutschland. In Bamberg gibt es einen Lehrstuhl, der sich maßgeblich mit SAE beschäftigt und mit dem wir kooperieren.

Es bestätigt sich immer wieder, dass SAE sehr gut funktionieren, wenn es um kleine Räume geht. Wir sind auch nicht das einzige deutsche Marktforschungsinstitut, das die Methode einsetzt.

Wir sind allerdings noch einen Schritt weitergegangen und haben uns gefragt: Können wir das Ganze automatisieren? Und können wir für Kunden nicht einen Mehrwert schaffen: Also für Kunden in großer Verlässlichkeit und Schnelligkeit Daten in kleinräumigen Gebieten bieten? Das geht natürlich nur, wenn es automatisiert ist. Und das haben wir geschafft.
 

Zu Gerrit Richter und Charlotte Weber