Wahlforschung 2017 Datenanalyse: So genau waren die Umfragen bei den Landtagswahlen 2017

Zeit, einen Blick auf die Umfragen vor den Landtagswahlen in Deutschland zu werfen. Die haben den Wahlgewinner fast immer richtig vorhergesagt. Weil der Fehler der Umfragen sehr gering war, gelang das – zumindest in den letzten Tagen vor der Wahl – auch da, wo das Rennen eng war: in Nordrhein-Westfalen.

Im Durchschnitt lag hier der absolute Fehler – also die Differenz zwischen Wahlergebnis und Umfragewert – bei den sechs Umfragen, die in den letzten 14 Tagen veröffentlicht wurden, bei weniger als einem Prozent (0.88 Prozent). Drei von sechs Umfragen haben den Wahlgewinner korrekt vorhergesagt. Alle Institute haben die Stimmen für die CDU unterschätzt, aber nur leicht. Nur INSA ermittelte 3 Prozent weniger für die Union. Dem gegenüber standen vier Institute, die die Stimmen für die SPD leicht überschätzt haben.

Ziemlich genau war die Schätzung des Wahlergebnisses für Grüne und FDP. Jeweils fünf von sechs Umfragen wiesen bei beiden Parteien einen absoluten Fehler von weniger als 1 Prozent auf. Bei der FDP und der Linkspartei lag nur YouGov mit einer Unterschätzung von 3,6 Prozent bzw. einer Überschätzung von 3,10 Prozent mehr daneben. Man habe bei beiden Parteien im Vergleich zu früheren Umfragen die "Tendenz erfasst, aber das Niveau unterschätzt" sagt Peter Manott, Team Manager Political Research von YouGov. Insgesamt sei man aber trotzdem "zufrieden", mit dem Ergebnis.

Das kann nicht nur YouGov sein. Nimmt man großzügig eine Fehlertoleranz von 3 Prozent an, lagen damit nur 3 von 42 Vorhersagen außerhalb der Fehlertoleranz. Doch im sehr "volatilen Swing State NRW" führte das dazu, dass die drei Umfragen, die mehr als fünf Tage vor der Wahl beendet wurden, genau ein Unentschieden zeigten, wie im Fall der Forschungsgruppe Wahlen, oder den Gewinner falsch prognostizierten. Trotzdem waren die Umfragen in Nordrhein-Westfalen sehr genau. 24 von 42 Prognosen hatten sogar einen absoluten Fehler von weniger als 1 Prozent.

Auch in Schleswig-Holstein lagen CDU und SPD nur wenige Prozentpunkte auseinander. Trotzdem prognostizierten hier alle Umfragen der letzten 14 Tage den Gewinner der Wahl richtig. Hier lag der Durchschnitt der Fehler von allen vier Umfragen bei 1,00 Prozent. Deutlicher noch als in Nordrhein-Westfalen wurde die Unterstützung für die SPD überschätzt, während das Ergebnis für die CDU mit einer Ausnahme komplett ohne Fehler prognostiziert wurde.

Alle vier Umfragen unterschätzten die Grünen und die FDP leicht. Und genau wie in Nordrhein-Westfalen überschätzten alle vier Umfragen in Schleswig-Holstein die Linkspartei um etwa ein Prozent. Nur Infratest Dimap lag bei der Schätzung des Ergebnisses der SPD und der FDP außerhalb einer angenommenen Fehlertoleranz von bis zu 3 Prozent. 18 von 28 Prognosewerte hatten einen Fehler von weniger als 1 Prozent.

Stimmungswandel gegen die SPD

Weniger genau waren die Umfragen zur Wahl im Saarland, obwohl alle vier den Gewinner richtig schätzten.  Im Durchschnitt hatten die vier Umfragen, die in den letzten 14 Tagen vor der Wahl Ende März abgeschlossen wurden, einen Fehler von 1,4 Prozent. Der Grund dafür ist vor allem eine Unterschätzung der Unterstützung für die CDU und eine Überschätzung der Stimmen für die SPD. Das Wahlergebnis wurde für Grüne, Linkspartei und die AfD von allen vier Umfragen mit einem absoluten Fehler von jeweils weniger als einem Prozent geschätzt. Immer noch relativ genau vorhergesagt wurde das Ergebnis der FDP, das nur INSA 1,7 Prozent überschätzte.

Der Grund für den im Vergleich zu den zwei anderen Landtagswahlen eher hohen Fehler bei der Landtagswahl ist die Vorhersage für die beiden Volksparteien CDU und SPD. Außer den Werten der beiden Umfragen von Forschungsgruppe Wahlen für die SPD lagen die Werte der drei Institute für die beiden Parteien außerhalb der Fehlertoleranz: INSA unterschätzte die CDU sogar um 5,7 Prozent, Infratest Dimap überschätzte die Stimmen für die SPD um 4,4 Prozent. Damit lagen im Saarland 6 Prognosen außerhalb einer Fehlertoleranz von 3 Prozent, aber 15 von 28 Prognosen hatten einen Fehler von weniger als 1 Prozent.

Im Saarland gab es "in der Schlussphase des Wahlkampfs eine polarisierende Mobilisierung zugunsten der CDU", so Matthias Jung von der Mannheimer Forschungsgruppe Wahlen. Das habe dafür gesorgt, dass sich der Vorsprung der CDU im Wahlergebnis gegenüber den Umfragen noch "vergrößert" habe.

Insgesamt waren die Umfragen in allen drei Landtagswahlen 2017 aber, von einigen "Ausreißern" abgesehen, genauer als die Umfragen zur Stichwahl in Frankreich oder der US-Präsidentschaftswahl 2016, bei der der absolute Durchschnittsfehler der Umfragen auf Bundesebene bei 5,1 Prozent lag. Civey lieferte mit einem Durchschnittsfehler von nur 0,65 Prozent die zweitgenaueste Umfrage für Nordrhein-Westfalen. "Sehr zufrieden" mit den Umfragen seines Startups zeigt sich deswegen Civey-Geschäftsführer Gerrit Koch.

Meinungsforscher zufrieden

"Sehr zufrieden" zeigt sich auch Forschungsgruppe Wahlen Vorstandsmitglied Matthias Jung. Man habe ein "zutreffendes Stimmungsbild zeichnen können". Die Forschungsgruppe Wahlen, die in allen drei Landtagswahlen die besten Ergebnisse lieferte, ermittelte die präzisesten Werte in Nordrhein-Westfalen, Schleswig-Holstein und im Saarland mit einem Durchschnittsfehler von 0,62, 0,66 Prozent und 1,22 Prozent.

Jung weist bescheiden daraufhin, dass Umfragen "keinen unmittelbaren Prognosecharakter" haben, weil sie "nur die Stimmung zum Zeitpunkt der Umfrage wiedergeben". Eine "nennenswerte Anzahl der Wähler" würde sich erst "wenige Tage" vor einer Wahl entscheiden. Im Saarland wurde die "Wendung hin zur CDU" vor allem durch bürgerliche Nichtwähler in den letzten Tagen vor der Wahl in den Umfragen zwar erfasst. Offenbar hätten die Meinungsforscher aber vor allem dort den "Stimmungswandel unterschätzt", so Peter Mannott von YouGov. Er weist aber auch daraufhin, dass sich der Fehler in der Tendenz aber dort und in den anderen Ländern reduziert habe, je näher der Wahltag rückte.

In Nordrhein-Westfalen hätten sich die Last-Minute-Wechselwähler und, die in der Vergangenheit nicht gewählt haben, nun aber doch, sich "nicht systematisch anders verhalten" als, die deren Wahlentscheidung einige Tage vor der Wahl schon feststand und von den Umfragen gemessen wurde, meint Civey Geschäftsführer Gerricht Richter. Mehrere Umfragen hätten schon eine Woche vor der Wahl gezeigt, dass die Wahl in Nordrhein-Westfalen ein "knappes Kopf an Kopf Rennen" sei.

Hinweis: Der hier verwendete absolute Fehler zieht Wahlergebnis für eine Partei vom Umfragwert für eine Partei ab. Der Wert ist damit immer positiv (siehe "absolute error" in AAPOR 2016). Die Berechnung des absoluten Durchschnittsfehlers für ein Institut, die hier verwendet wurde, summiert alle Werte des Instituts auf - egal welche Richtung der Fehler hatte, egal ob eine Prognose das Ergebnis einer Partei überschätzte und unterschätzte - und teilt diese durch die Zahl der Parteien.

Dieser Beitrag wurde am 06.06.2017 aktualisiert.