Prognosedebakel oder Ende gut, alles gut? Waren die US-Wahlprognosen doch nicht so schlecht?

US Wahlvorhersagen 2020

Biden hat die Präsidentschaftswahl in den USA gewonnen. Zumindest, wenn die Gerichte die Ergebnisse nicht doch noch kippen sollten, was von den meisten Beobachtern aber als äußerst unwahrscheinlich angesehen wird. Damit hatte die große Mehrzahl der US-Pollster, die Biden in ihren Umfragen vorne sagen, recht. Anders als 2016, als Hillary Clinton gegenüber Donald Trump entgegen den Prognosen unterlag.

Ein Erfolg, viel Debakel

Ein Erfolg für die Profession der Wahl- und Meinungsforscher? Ja, wenn es darum geht, ob der „richtige“ Präsident vorhergesagt wurde. Aber leider keineswegs, wenn man die Abweichungen in den Vorhersagen betrachtet. Denn während die Prognose über den späteren Wahlsieger in 2016 zwar falsch war, lagen die Schätzungen zur Verteilung der Wählerstimmen recht präzise. So berichtete am Vorwahltag 2016 die New York Times von einem durchschnittlichen Vorsprung Clintons in den Polls von 3,1 %. Das Wahlergebnis wich davon absolut gesehen um lediglich 1 % ab mit einem Vorsprung für Clinton von 2,1% (was dann angesichts der regionalen Verteilung nicht zum Wahlsieg reichte, aber auch bei den meisten Einzelstaaten lag die Fehlerspanne noch in einem erträglichen Rahmen). Viele Demoskopen haben damals zudem auf den knappen Vorsprung von Clinton und damit die Unsicherheit des Wahlausgangs hingewiesen.

2020 dagegen schien der Vorsprung der Demokraten weitaus komfortabler, und entsprechend eindeutiger fielen die Vorhersagen aus. Umso größer ist diesmal die Abweichung zu den realen Ergebnissen: Die zum Nachrichtensender ABC News gehörende Site FiveThirtyEight, die unter Leitung des bekannten Statistikers Nate Silver auf Basis zahlreicher Umfrageergebnisse eine „Meta-Prognose“ erstellt, erwartete als letzten Stand vor der Wahl einen Vorsprung Bidens von 8,4%. Demgegenüber beträgt der Vorsprung im tatsächlichen Wahlergebnis nur ca. 2,9% der Wählerstimmen. Ein Fehler also von 5,5% und damit außerhalb aller akzeptablen Grenzen. So gesehen also doch eher ein Meinungsforscher-Debakel, wie das Handelsblatt titelte, oder ein Fiasko, wie an dieser Stelle bereits konstatiert wurde mit der bangen Frage, was das für das Ansehen der Umfrageforschung insgesamt bedeute.

Wo liegt der Fehler?

Zugegeben, die Aufgabe der Pollster war schwer. Dazu trägt nicht nur das komplizierte amerikanische Wahlsystem bei, sondern auch die Einmaligkeit der Situation, nachdem Trump die Bürger vier Jahre lang polarisiert und politisiert hat. Der dadurch entstandene Sprung in der Wahlbeteiligung – auch Verlierer Trump hat deutlich mehr Stimmen erlangt als bei seinem Sieg 2016 - kann aber nur bedingt als Begründung dienen, da die Wählermobilisierung offensichtlich auf beiden Seiten mehr Menschen an die Urnen rief als in den Wahlen zuvor. Die Ursachen sind also an anderer Stelle zu suchen.  

Als Erklärung scheinen sich hingegen vor allem zwei systematische Fehlerquellen anzubieten, die beide aus der Motivation der Befragten resultieren und in einem Fall zu einer verzerrten Stichprobe, im anderen Fall zu verzerrten Antworten innerhalb der realisierten Stichprobe führen:

  • Antwortverweigerung von Trump-Anhängern, die Umfragen als Teil des Establishments bzw. der Fake-News sehen („versteckte Trump-Wähler“). Diese Fehlerquelle ist tatsächlich relativ neu, ist aber grundsätzlich bei Wahlkämpfen mit starken populistischen und medienkritischen Tendenzen zu erwarten, und stellt so vermehrt eine Herausforderung an die Demoskopen dar.
  • Der Effekt der Sozialen Erwünschtheit in persönlichen oder telefonischen Interviews, der dazu führt, dass die geäußerten politischen Präferenzen und Wahlabsichten „sozialer“ oder weniger „extrem“ ausfallen als in der anonymen Abstimmungs-Situation. Dieser Fehler ist eigentlich altbekannt, hat aber auch durch das Aufkommen populistischer Strömungen ebenfalls an Brisanz gewonnen und in der besonders polarisierten Wahl 2020 eine womöglich besonders hohe Bedeutung erlangt. Damit könnte er nicht durch übliche, auf vergangenen Ergebnissen beruhende Korrekturfaktoren ausgeglichen worden sein. Der Effekt lässt sich zumindest in der Theorie messen, indem Erhebungsformen ohne soziale Interaktion – also Online-Befragungen oder Telefonbefragungen durch Computerstimmen – mit klassischen Face-to-Face- oder Telefoninterviews vergleichen werden. Da aber dann meist auch andere Stichprobenziehungen zugrunde liegen, und auch bei solchen nicht-persönlichen Formen soziale Erwünschtheitseffekte nicht ganz auszuschließen sind („wer weiß, wer hinterher meine Antworten sieht“), ist eine genaue Quantifizierung und damit Korrektur schwierig.

Daneben kommen die üblichen Effekte in Frage: Zu kleine Stichproben, schlechte Stichprobenziehungen, falsche Gewichtungen etc..

Natürlich tobt auch in den USA die Debatte um die richtige Stichprobe. Das Institut YouGov jedenfalls, das zur Wahlprognose Onlineerhebungen im eigenen Panel auf Basis einer MRP-Stichprobe nutzt („Multi-level Regression und Post-stratification“, also ein nicht auf einer Zufallsauswahl beruhende Stichprobe, sondern eine Quotenstichprobe, die ex post durch ein differenziertes Modell an die Population angepasst wird) und im mehrjährigen Prognosegüte-Vergleich von FiveThirtyEight ein durchaus gutes B-Rating (bei einer Spanne von A bis F) erreicht, lag trotz der vermutlich geringeren Sozialen-Erwünschtheitseffekte der Onlineerhebung noch etwas weiter vom wahren Ergebnis entfernt als der Schnitt der berücksichtigen Institute: YouGov schätzte den Vorsprung von Biden in seiner finalen Prognose auf 8,9% und prognostizierte nur 174 statt der nach derzeitigem Stand voraussichtlich 229 Wahlmänner für Trump.

Umgekehrt kämpfen Telefonumfragen in den USA ebenso wie bei in Deutschland mit hohen Verweigerungsraten. So berichtet der amerikanische Politikwissenschaftler Salvatore Babones von in den letzten 20 Jahren drastisch gesunkenen Teilnahmequoten und schließt daraus und aus Änderungen im Wählerverhalten:

Model error is here to stay. In fact, it's likely to get worse. 

Nur „good for fun“?

Noch sind die Analysen zum Prognose-Debakel im „Mutterland der Demoskopie“ nicht abgeschlossen. Schon jetzt scheint aber klar, dass Wahlprognosen – und vielleicht die Meinungsforschung insgesamt - vor enormen Herausforderungen steht. Auch wer sich wie ich der finalen Aussage von Babones nicht anschließen mag, der behauptet

“Political polling is good fun, but it should be treated more as entertainment than as serious politics”,

erkennt, dass ein bloßes „weiter so“ nicht ausreicht. Zum Glück sind Wahlen auch immer der beste Kalibrierungstest für Umfragen, und können so zu einer weiteren Verbesserung der Methoden beitragen. Ob die dann alleine durch die Optimierung klassischer Erhebungsformen und Stichprobenverfahren erreichbar sind, oder eher durch Multi-Methodenansätze, die Kombination probabilistsicher mit nichtprobabilistischen Stichprobenansätzen oder auch die Kombination von Befragungsdaten mit Sentiment-Analysen aus dem Internet, Wahlbörsen oder anderen nicht befragungs-basierten Ansätzen, wird sich zeigen – und ist am Ende wieder eine empirische Frage, die wir spätestens 2024 beurteilen können.

Bis dahin bleiben wir dran am Thema, und Sie. liebe Leser, hoffentlich auch!

Ihr Horst Müller-Peters

Horst Müller-Peters ist Professor für Betriebswirtschaftslehre, insbesondere Marketing, Marktforschung und Behavioral Economics an der Technischen Hochschule Köln. Zuvor war er Vorstandsvorsitzender der Marktforschungs- und Unternehmensberatungsunternehmens psychonomics AG. Er ist Mitgründer und Herausgeber der Branchenportale CONSULTING.de und marktforschung.de.

PS: Der Shift von Trump zu Biden im Verlauf der Auszählung – und damit das erst spät erkennbare „wahre“ Ergebnis – konnte nur dadurch zustande kommen, dass alle Stimmen und nicht nur die ersten 95% ausgezählt wurden, und dass die Art der Stimmenabgabe und damit deren Auszählungszeitpunkt hoch mit der politischen Präferenz korrelierten. Ein Lehrstück für alle Meinungsforscher bezüglich der Bedeutung hoher Ausschöpfungsquoten und der Chancen eines Multi-Mode-Ansatzes, indem den Befragten mehrere „Erhebungsformen“ zur Auswahl angeboten werden.

Kommentare (3)

  1. Horst Müller-Peters am 29.11.2020
    Ein kurzes Update: Auch fast 4 Wochen nach der Wahl sind immer noch nicht alle Ergebnisse zertifiziert und erst 98% der Stimmen ausgezählt. Nach aktuellem Stand liegt der Prognosefehler von FiveThirtyEight bei 4,4% und von YouGov bei 4,9% (Wahlergebnisse nach https://cookpolitical.com/2020-national-popular-vote-tracker, Abruf am 29.11.). Das im historischen Vergleich ausgesprochen schlechte Abschneiden der Prognosen scheint sich damit zu bestätigen.
  2. Horst Müller-Peters am 12.11.2020
    Sehr geehrter Herr Untiedt, vielen Dank für Ihren wichtigen Hinweis.

    In der Tat führen die noch nicht ausgezählten Stimmen dazu, dass sich die Kluft etwas weiter schließt. Nach derzeitigem Stand beträgt der Fehler in der aggregierten Prognose von FiveThirtyEight nicht mehr wie oben dargestellt 5,5%, sondern ziemlich genau 5,0 %, während der Fehler der ebenfalls zitierten YouGov-Prognose nun bei 5,5 % liegt. Nach Auszählung auch der letzten Stimmen wird sich der finale Fehler wohl noch etwas niedriger – im Falle der FiveThirtyEight-Prognose irgendwo in der Mitte zwischen 4 und 5 % bei YouGov um 5% - einpendeln. Aber auch damit fallen die Prognose im jüngeren historischen Vergleich ausgesprochen schlecht aus; deutlich schlechter als 2016, und nur zweimal seit Beginn der siebziger Jahre (am markantesten bei der Wahl Carter gegen Reagen 1980) lag der Schätzfehler höher als in diesem Jahr.

    Nochmals deutlich stärker sind die Abweichungen naturgemäß auf Ebene zahlreicher Bundesstaaten, sowohl in Bezug auf den Präsidenten als auch in Bezug auf den Senat. In den Swing-States stechen bspw. Wisconsin, Iowa und Florida mit Fehlern bei der Präsidentenwahl von 6 bis 7% hervor, in weniger knappen Staaten lagen die Abweichungen zum Teil nochmals deutlich darüber.
    Auswertungen und Hintergründe dazu hat Nate Silver, Gründer von FiveThirtyEight und Urheber dessen Prognosemodells, gestern selbst in einem Kommentar veröffentlicht. Sehr lesenswert, auch wenn er die Fehlermarge meines Erachtens – vielleicht nicht ganz uneigennützig - etwas zu schön redet, https://fivethirtyeight.com/features/the-polls-werent-great-but-thats-pretty-normal/?ex_cid=EU . (Ein Dank an den Leser, der mich gestern Abend direkt auf das Erscheinen dieses Beitrags hingewiesen hat.)
  3. Bernd Untiedt am 09.11.2020
    Noch sind längst nicht alle Stimmen ausgezählt. In den Staaten, in denen der Gewinner klar ist (z.B. Kalifornien und New York) sind erst 85% ausgezählt. Die verbleibenden Briefwahlstimmen gehen überwiegend auf das Konto von Biden. Daher wird sich der Abstand zwischen Biden und Trump noch um einige Millionen Stimmen vergrößern. Die Prognose zum Popular Vote sieht dann am Ende gar nicht mehr so schlecht aus.

Neuen Kommentar schreiben

Kommentare geben ausschließlich die Meinung ihrer Verfasser wieder. Die Redaktion behält sich vor, Kommentare nicht oder gekürzt zu veröffentlichen. Das gilt besonders für themenfremde, unsachliche oder herabwürdigende Kommentare sowie für versteckte Eigenwerbung.

Weitere Meldungen

15 Jahre marktforschung.de

Ein fotografischer Rückblick - die Jahre 2007 bis 2010

11.08.2022 - marktforschung.de feiert dieses Jahr 15-jähriges Jubiläum! In dieser Zeit wurden viele Fotos auf Events wie Research & Results, der GOR, dem BVM Kongress und weiteren Veranstaltungen von Redakteuren gemacht. Anbei ein fotografischer Rückblick auf die Jahre 2007 bis… weiterlesen

 
Susanne Maisch verlässt nach 25 Jahren EARSandEYES

"Wenn nicht jetzt, wann dann?"

11.08.2022 - Nach 25 Jahren verlässt Susanne Maisch, Mitgründerin und Geschäftsführerin des Hamburger Instituts EARSandEYES, das Unternehmen, um sich als Business-Coach selbstständig zu machen. Lesen Sie hier über die Hintergründe. weiterlesen

 
Sommerumfrage Teil 2: Ausblick aufs zweite Halbjahr

„Der Umbau bei GfK und Kantar beschert noch immer Neukunden und die Möglichkeit, sich zu beweisen.“

GfK-Chef Matthias Hartmann in 2011 (Bild: picture alliance / dpa | David Ebener)

10.08.2022 - Wie blicken große deutsche Institute auf das Jahresende und darüber hinaus? Was bedeuten die diversen nationalen und internationalen Krisen perspektivisch fürs Geschäft? Im zweiten Teil unserer Sommerumfrage lesen Sie, wie Bonsai, Happy Thinking People, IFAK, INNOFACT,… weiterlesen

 
Imagestudie 2022

Wie hat sich der Markt für Befragungssoftware verändert?

08.08.2022 - Seit 2018 ist viel passiert am Markt für Befragungssoftware. Umfirmierungen, Fusionen, der DIY-Trend, End-to-end Plattformen, CX-Welle, neue Anbieter mit neuen Produkten – der Markt hat sich in vier Jahren rapide verändert. Höchste Eisenbahn für ein Update der… weiterlesen

 
Blick auf die Branche: News KW 32

Neues von ADM, GfK, Epap, ESOMAR, Heute & Morgen und Link

marktforschung.de-Newsbild

08.08.2022 - Vielerorts kommen die Menschen wieder zusammen: So lädt die GfK zu einem Kongress ein und ESOMAR vergibt in Toronto einen Preis, bei dem auch ein Startup aus Deutschland eine Chance auf den Sieg hat. Der ADM befragt seine Mitglieder und schaut verhalten positiv ins… weiterlesen

 

Über marktforschung.de

Branchenwissen an zentraler Stelle bündeln und abrufbar machen – das ist das Hauptanliegen von marktforschung.de. Unser breites Informationsangebot rund um die Marktforschung richtet sich sowohl an Marktforschungsinstitute, Felddienstleister, Panelbetreiber und Herausgeber von Studien, Marktdaten sowie Marktanalysen als auch an deren Kunden aus Industrie, Handel und Dienstleistungsgewerbe.

facebook twitter xing linkedin