Was Meinungsforscher aus den Brexit-Umfragen lernen sollten

Schon bei der Unterhauswahl 2015 lagen die britischen Meinungsforschungsinstitute daneben. Sie hatten nicht erwartet, dass die konservativen Torys so gut abschneiden würden. Auch beim Schottland-Referendum war das Ergebnis anders ausgefallen, als es Umfragen hatten vermuten lassen. Die Branche stand also unter enormem Druck – und versagte erneut. Jedenfalls wenn man den Schlagzeilen nach der Wahl Glauben schenkt.

Das Handelsblatt sah eine "Blamage für das britische Orakel"; der österreichische Standard sprach von einem "Fiasko für Meinungsforscher"; der angesehene politische Blogger Mike Smithson nannte es ein "Polling Disaster".

"Kein katastrophales Umfrage-Versagen"

Doch obwohl das Leave für die meisten Menschen eher überraschend kam, waren die Meinungsumfragen gar nicht so weit entfernt, wie viele Schlagzeilen vermuten lassen. The Week konstatiert: "Lagen die Umfragen daneben? Ja – aber nicht so schlimm wie 2015." Und die New York Times schrieb: "Das EU-Referendum gliedert sich gewissermaßen in eine ziemlich lange Liste an Wahlvorhersagen-Fehler an. Aber dieses Mal war es ein bisschen anders: Es war kein katastrophales Umfrageversagen."

Tatsächlich hatte laut Guardian immerhin ein Drittel der seit September durchgeführten 168 Umfragen den Brexit angedeutet. 16 trafen die 52:48-Prozent-Verteilung pro Brexit sogar genau. ICM und TNS beispielsweise hatten die Brexit-Befürworter seit Längerem vorne gesehen. Auch das Verhalten der verschiedenen Nationalitäten – mit Schottland, Nordirland und London zum Remain tendierend – zeigte sich bereits in den Umfragen. Zudem machte niemand ein Geheimnis daraus, dass das Rennen knapp ist.

"Kritiker sollten mal ein bisschen leise sein", meint Forsa-Gründer Manfred Güllner. Sie müssten die Grenzen des Instruments Meinungsumfrage sehen "Es sind Stichproben von ein-, zweitausend Leuten. Da kann man nicht genauer sein", so Güllner.

Überzogene Erwartungen

Schlimm war daher wohl weniger die Abweichung der Umfragen vom Wahlergebnis als die Erwartungen an deren Korrektheit. Und zwar in mehrerlei Hinsicht. Erstens betonen Umfrageinstitute im Kleingedruckten zwar immer wieder, dass sie keine Vorhersagen machen, sondern nur die Meinung zu einem jeweiligen Zeitpunkt erheben. Doch werden die Ergebnisse auf den ersten Blick dennoch als Prognosen verkauft oder zumindest wahrgenommen. Warum sonst hätte beispielsweise YouGov nach der Abstimmung TNS und Opinium dazu gratuliert, dass sie das Leave anzeigten? Oder ComRes sich "enttäuscht" gezeigt, "dass die letzte Umfrage nicht näher am Ergebnis lag"?

Zweitens unterschätzten Institute oder Medien offenbar die Fehleranfälligkeit der Umfragen. "Die Ergebnisse wurden unter völliger Ignorierung der statistischen Fehlermargen in irgendeine Ergebnisrichtung interpretiert", meint Matthias Jung, Vorstand der Forschungsgruppe Wahlen. Obwohl sie "too closed to call" gewesen seien. Auch der amerikanische Statistik- und Politik-Professor Andrew Gelman von der Columbia University weist in seiner statistischen Analyse darauf hin, dass die Fehlerspannen zu klein waren. Offenbar ein kollektiver Overconfidence-Effekt; so heißt es in der Psychologie, wenn sich Menschen ihrer Urteile zu sicher sind. "Wenn es eine Lektion aus den EU-Umfragen gibt, dann ziemlich sicher diese: Sei nicht zu sicher, wenn die Umfragen ein wirklich knappes Rennen zeigen", schlussfolgerte die New York Times.

Zu große Versprechungen

An den hohen Erwartungen waren die Institute zum Teil selbst schuld. Hatten mehrere doch große Versprechungen gemacht. Populus hatte sogar seit der Unterhauswahl 2015 gar keine Wahlumfrage mehr veröffentlicht. Man wollte zunächst methodische Schwachstellen beheben. Und lag schließlich mit zehn Prozentpunkten Vorsprung für das Remain-Lager am weitesten daneben.

Im März hatte Populus sogar noch eine viel beachtete Studie zur Treffsicherheit von Telefon- versus Onlineumfragen veröffentlicht und vermeintliche Fehler anderer Institute kritisiert: "Die wahre öffentliche Meinung ist wohl näher an dem, was die Telefonumfragen zeigen – ein klarer Vorsprung für Remain – statt das knappe Rennen, das die Online-Umfragen andeuten." Onlineumfragen sollten daher unter anderem sozial-liberale Befragte – also die Remain-Wähler – in ihrem Sample stärker gewichten. Der Rat war offenbar nicht zielführend. Wie nach der Unterhauswahl verspricht Populus nun erneut: "Wir werden so lange keine Wahlumfrage veröffentlichen, bis wir überzeugt sind, dass sie richtig ist."

Ebenfalls viel versprochen hatte YouGov. So sagte Gründer und Geschäftsführer Stephan Shakespeare kurz vor der Abstimmung gegenüber dem Deutschlandfunk: Der größte Fehler der Unterhauswahlumfragen sei gewesen, die Wahlbeteiligung der jungen, liberaleren Bürger zu überschätzen. "Wir haben dem Abhilfe geschaffen, sodass wir jetzt wesentlich zielgerichteter das Wählerverhalten vorhersagen können." Nach dem Referendum berief sich das Institut aber erneut auf unerwartete Wahlbeteiligung. Auf Nachfrage gibt Holger Geißler, Sprecher von YouGov Deutschland, zu bedenken, dass eine genaue Vorhersage der Wahlbeteiligung mittels Umfrageforschung kaum möglich sei. Klassischerweise berücksichtige man deshalb in einer Prognose den Aspekt nur indirekt. Die geringe Wahlbeteiligung der jungen Remain-Befürworter habe sich bei dem Referendum letztendlich als entscheidender Faktor entpuppt.

Problemfeld Wahlbeteiligung

Obwohl Umfragen das Wahlergebnis wohl nie eindeutig vorhersagen können, haben sich Umfrageinstitute und Medien nun auf Spurensuche gemacht: Wie hätte man den Brexit noch besser vorhersehen können?

Viele kamen bislang wie YouGov zu dem Schluss, dass das Problem in der Wahlbeteiligung der verschiedenen Gruppen lag. Die Wahlbeteiligung hatten viele Umfrageinstitute sowie Analysten, etwa der Politikprofessor Tim Bale, und Medien wie der Economist bereits im Vorfeld als "mögliche Quelle großen Fehlers" eingeräumt. Es war klar, dass sie ein "wesentlicher Aspekt für die Remain-Kampagne" ist und daher "auschlaggebend" und "entscheidend für den Ausgang des Referendums".

Populus hat im Nachklang geschlussfolgert, dass "die Muster der Wahlbeteiligung so unterschiedlich sind, dass demografisch orientierte Modelle, wohl nur durch bloßes Glück ein akkurates Bild zeichnen können."

Referenden sind keine gewöhnlichen Wahlen

Zu falschen Einschätzungen trug die mangelnde Erfahrung mit Referenden bei – oder dass die Meinungsforscher, die geringe Erfahrung anscheinend nicht ausreichend nutzten. "Ein möglicher systemischer Fehler der Umfragen war, die Methoden der Prognosen vom sonst üblichen Mehrheitswahlrecht in Großbritannien auf Grundlagen von Einerwahlkreisen auf das Brexit-Referendum zu übertragen", meint Wolfgang Goldbach, Politologe an der Universität Bamberg und Experte für Wahlverhalten und politische Einstellungen in Großbritannien. Doch es mache einen deutlichen Unterschied, ob es sich um eine Wahl oder ein Referendum handelt.

Das letzte EU-Referendum des Vereinigten Königreichs lag zwar schon über 40 Jahre zurück. Dennoch war auch den Umfrageinstituten klar, dass Bürger bei Referenden anders ticken als bei Parlamentswahlen. "Referenden adressieren einzigarte Fragen, die andere Wähler ansprechen und die politische Loyalitäten, die sonst von Wahl zu Wahl bestehen bleiben, durcheinander bringen könnten", schrieb YouGov im Vorfeld.

Auch eine wissenschaftliche Untersuchung über einen Bürgerentscheid in Deutschland zeigt, dass sich die Parteipräferenz kaum zur Vorhersage von Referenden eignet. Dennoch zog die Mehrheit der Meinungsforscher beim EU-Referendum Parteipräferenzen und vorherige Wahlen zur Vorhersage heran.

Die unberechenbaren Don't-Knows

Der Umgang mit den noch unentschlossenen Wählern ist im Nachhinein aus Sicht mehrerer Umfrageinstitute ein weiterer Fehler. Das Haupt-Problem war wohl die Status-quo-Annahme. Also die Annahme, dass unentschlossene Wähler sich schließlich eher für den Ist-Zustand entscheiden. Und zwar aus dem Grund, dass die Risiken der Veränderung größer scheinen als die potenziellen Gewinne.

Der Status-quo-Effekt ist aus der Sozialpsychologie gut belegt – und zwar längst nicht nur für politische Wahlen, aber auch bei ihnen. So hatten die Briten schließlich 1975 für den Verbleib in der Europäischen Gemeinschaft gestimmt. Auch beim Schottischen Unabhängigkeitsreferendum hatte es einen späten "Swing" zum Status quo gegeben. "Es ist möglich, dass dasselbe hier passieren wird", argwöhnte im Vorfeld Luke Taylor von TNS UK. Daher rechneten die Umfrageinstitute die meisten Unentschiedenen den EU-Befürwortern zu.

ORB beispielsweise verteilte drei Viertel der Unentschlossenen auf die EU-Befürworter statt diese entweder gleichmäßig auf Remain- und Leave-Lager aufzuteilen oder prozentual entsprechend den jeweiligen Anteilen unter den sichereren Stimmen. Populus riet gar in der erwähnten Studie zum Vergleich von Online- und Telefon-Umfragen, "Weiß-nicht" nicht als Antwortalternative anzubieten. Dann würden sich die Unterschlossen eher für den Status quo des Remain entscheiden. Die Wettbüros brüsteten sich laut eines Reuters-Berichtes sogar damit, den Status-quo-Effekt mehr als Meinungsforscher zu bedenken und in ihre Quoten einzubauen.

Nur trat der Effekt eben nicht im erwarteten Ausmaß ein. Ein Grund dafür könnte der so genannte "Shy Tories"-Effekt gewesen sein. Seit den 1990er-Jahren ist bekannt, dass konservative Wähler ihre Meinung eventuell nicht äußern, wenn die öffentliche Debatte von eher liberalen Stimmen bestimmt wird – wie es beim Brexit der Fall war. Gemäß der Schweigespirale von Demoskopie-Urgestein Elisabeth Noelle-Neumann geben sie sich dann lieber als unentschlossen. Die Tageszeitung Independent nannte ihn im Vorfeld als einen von "drei guten Gründen, warum die Raus-Kampagne gewinnen könnte".

Angst wirkte nicht wie erwartet

Der Shy-Tories-Effekt ist empirisch allerdings nicht ganz eindeutig belegt. Wichtiger bei den jetzigen Umfragen war daher vielleicht, dass die Angstkampagne des Remain-Lagers nicht so zog wie angenommen. Damit war der Kern der Status-quo-Annahme – die Angst vor Verlusten – teilweise ausgehebelt. Und dafür gab es vereinzelt Anzeichen.

So hatte eine Ipsos-Umfrage ergeben, dass sich EU-Gegner relativ wenig durch ökonomische Argumente umstimmen ließen und standhaft auf ihrer Meinung beharrten. In ähnlicher Weise zählten bei dem erwähnten Bürgerentscheid in Deutschland kaum rationale, ökonomische Gründe, sondern einfach das Gefühl. Zudem glaubte laut der Ipsos-Umfrage die Mehrheit gar nicht, dass ihr eigener Lebensstandard durch einen Brexit leiden würde. An der Meinungsstabilität der Leave-Befürworter änderte offenbar auch Sympathisantentum mit der ermordeten EU-Befürworterin Jo Cox nicht genügend.

Außerdem muss Angst nicht immer zum Status-quo-Wählen führen, sondern kann genau das Gegenteil bewirken. Mit Bezug auf die deutsche Bundestagswahl 2009 hat Harald Schoen, Professor für Politische Psychologie an der Universität Mannheim, festgestellt: "Angst lässt Menschen offenbar politische Wahrnehmungs- und Entscheidungsroutinen in Frage stellen und steigert dadurch ihre Bereitschaft, sich für andere politische Angebote als bisher zu entscheiden."

Auch Roger Mortimore, Direktor für Politische Analyse bei Ipsos äußerte im Vorfeld Skepsis: Angstkampagnen eigneten sich vor allem, um Wähler zu behalten, nicht um welche zu gewinnen, sagte er gegenüber dem österreichischen Wirtschaftsportal Trend.at. Das würde Wechselwähler "viel eher vergraulen als von der anderen Seite abschrecken".

Dennoch verteilte ComRes die unentschlossenen Befragten anhand der Angabe, welche Alternative sie für ökonomisch besser halten. Dadurch fielen zwei Drittel der "Don't knows" dem Remain-Lager zu. Auch YouGov-Chef Shakespeare ging davon aus, dass Furcht vor Arbeitsplatzverlust, Inflation und dem Verfall der Immobilienpreise die Bürger zum Remain treibt.

Selbstzerstörende Prophezeiung

Ebenso wichtig für die relativ geringe Status-quo-Wahl dürfte sein, dass viele spontane Leave-Wähler davon ausgingen, dass sie ohnehin nicht siegen würden – wie fast die ganze Welt. "Ich halte es für sehr wahrscheinlich, dass viele Brexit-Wähler vor dem Votum sagten: 'Es passiert schon nichts. Eine Mehrheit für den Brexit wird es nicht geben'", sagte Politikwissenschaftler Kai Arzheimer von der Universität Mainz gegenüber Focus Online.

Tatsächlich gaben in einer Nachwahlumfrage von Lord Ashcroft 54 Prozent der Leave-Wähler an, davon ausgegangen zu sein, dass Remain siegen wird. Ebenso hielten bei einer Ipsos-Umfrage im Vorfeld zwei von drei Briten den Verbleib für wahrscheinlicher. Das taten ebenfalls die Wettbüros. Zudem thematisierten die Medien vorher, dass selbst bei einem Brexit-Votum der Premierminister nicht zwingend gegenüber der EU den Austritt erklären müsste. Für den Brexit zu stimmen schien daher eigentlich Cheap-Talk, eine Aussage ohne jegliche bindende Wirkung.

Paradoxerweise haben die Umfrageinstitute also wohl selbst dazu beigetragen, dass das Referendum anders ausfiel als ihre Umfrageergebnisse andeuteten. Indem sie die Unentschlossenen derart stark gemäß der Status-quo-Annahme pro Remain aufteilten, nahmen sie vermutlich noch unsichereren Leave-Anhängern die Angst vor einem realen Brexit inklusive der negativen Folgen und ermunterten zur Protestwahl. Dass sich unentschlossene Wähler an Meinungsumfragen orientieren oder zunächst angeben, unentschlossen zu sein, um dann taktisch zu wählen, ist nichts Neues. Beispielsweise zeigte die Wirtschaftswissenschaftlerin Anne Jessen in ihrer Doktorarbeit zum Einfluss von Umfragen auf Wahlentscheidungen, dass "erstellte Prognosen somit selbstzerstörend sein" können.

Eine weitere Erklärung für den geringen Status-quo-Effekt könnte Reaktanz gewesen sein: Alle Welt schien zu wollen, dass das Königreich in der EU bleibt. Ökonomen, Wissenschaftler, Politiker und die Bevölkerung anderer Länder machten öffentlich deutlich, dass sie gegen einen Brexit sind. Der Spiegel titelte "Bitte geht nicht!". Doch wer macht schon gerne, was andere von einem wollen? Gerade wenn Vorschriften anderer EU-Länder des Pudels Kern sind. Doch in den Umfragen hat vermutlich der ein oder andere Leave-Wähler trotz Protestwahl gemäß sozialer Erwünschtheit geantwortet: liberal pro EU.

Henne-Ei-Kalkulationen

Aber nicht nur bei den unentschiedenen Bürgern neigten die Umfrageinstitute dazu, ihre Modelle und Ergebnisse zugunsten des Remain-Lagers anzupassen. So beschrieb der Economist seine Prognosemethode für den Wahltag: "Unser Modell behauptet, dass 'Leave' das Referendum bequem gewinnen wird – genau das Gegenteil des Wettmarktes." Um die Schätzung "in Übereinstimmung mit der Weisheit der Vielen" zu bringen, passte der Economist sie einfach so an, dass sie mit der Vorhersage der Buchmacher übereinstimmte: 54,8 Prozent für Remain. Die Buchmacher und Wettenden orientierten sich wiederum meist an den Umfragen. Ein Henne-Ei-Problem.

Zwar lagen die Wettbüros in der Vergangenheit gelegentlich richtiger als die Meinungsforscher, aber nicht dieses Mal. Auch soll normalerweise die Frage "Was glauben Sie, wer wird gewinnen" in Umfragen zu besseren Vorhersagen führen als die Frage "Wofür werden Sie stimmen?". Doch wie bei den Wettbüros funktionierte es dieses Mal nicht: Ipsos hatte im Juni beide Fragen getestet: Bei der eigenen Wahlabsicht lag Leave vorne, beim erwarteten Ausgang Remain.

Ein Grund könnte darin gelegen haben, dass die Frage nach dem Ausgang nicht erfasst, wie sicher man sich der eigenen Prognose ist. Beispielsweise sagten die Buchmacher zwar das Remain voraus. Doch setzten laut Reuters selbst Pro-Brexit-Wettende nur geringe Summen. Offenbar waren sie sich ihres Leave-Tipps selbst nicht so sicher. Ebenso glaubte bei einer Umfrage unter knapp 600 Influencern (Meinungsforscher, Journalisten, Wissenschaftler, Lehrer und ähnliche Berufsgruppen) zwar nur eine Minderheit von fünf Prozent, dass es zum Brexit kommen wird – unter den 13 befragten Meinungsforschern sogar kein Einziger. Doch die Chance, dass doch die EU-Gegner gewinnen, sahen die Befragten bei 38 Prozent, also gar nicht so gering.

Nachwahlumfragen: Vorsicht vor erneuter Überschätzung

Angesichts der vielen Ausnahmen von sonstigen Mustern kann man der Umfragebranche wohl kaum ein völliges Versagen unterstellen. Gerechtfertigte Kritik trifft eher die Kommunikation. Vor allem bei den Prognosen und Nachwahlumfragen.

Für besonders viel Aufsehen hatte eine YouGov-Umfrage gesorgt, deren Ergebnisse noch am Wahlabend selbst veröffentlicht worden waren. Irrtümlicherweise hatte YouGov verkündet, dass die Briten in der EU bleiben wollen. In der Öffentlichkeit wurde die Umfrage als Exit-Poll und genaue Prognose wahrgenommen. Doch das war sie nicht. Denn die Angaben beruhten auf einer Stichprobe von 4.800 registrierten Nutzern des eigenen Panels. Holger Geißler sagt diesbezüglich: "Wir haben den Umstand, dass es sich nicht um ein Exit-Poll gehandelt hat, aus meiner Sicht klar deutlich gemacht. Der tatsächliche Ausgang solch einer knappen Entscheidung ist kaum mittels Forschung mit Stichproben vorherzusagen."

Auch Sky schlüsselte auf Twitter die Wahlbeteiligung nach Altersgruppen auf. Zwar stand direkt dabei, dass es sich um Umfragedaten handelt, aber nicht, dass die Wahlbeteiligung nur eine Wahrscheinlichkeitsangabe war: hochgerechnet anhand der selbst angegebenen Wahlabsicht und der Wahlbeteiligung bei der Unterhauswahl 2015.

Ebenso veröffentlichte Lord Ashcroft am Tag nach der Wahl eine Wahlanalyse, die nicht auf einer Kompletterhebung der tatsächlichen Wahl basierte, sondern auf einer Umfrage im Vorfeld der Wahl. Mit knapp 12.400 (Brief-)Wählern war die Stichprobe größer als bei vielen anderen repräsentativen Umfragen, machte aber immer noch keine 0,04 Prozent der 33 Millionen Wählenden aus. Dennoch veröffentlichte das Institut die Ergebnisse unter dem Titel "How the United Kingdom voted and why".

Die britische Wahlkommission schlüsselt die Ergebnisse des Referendums ausschließlich nach Regionen auf, nicht nach Alter der Wähler. Wenn also über die geringe Wahlbeteiligung der jungen Briten und den hohen Anteil an Leave-Wählern unter den Älteren gesprochen wird – oder wie hier versucht wird, die Schwachstellen der Umfragen aufzudecken –, sollten wir im Hinterkopf behalten, dass es auch hierzu nur Umfragedaten gibt – mit ähnlichen Fehlerpotenzialen wie bei den Vorwahl-Umfragen.

Themenseite Brexit

Statements, Interviews und Einschätzungen aus der Marktforschungsbranche

Zur Brexit-Themenseite