Prognosedebakel oder Ende gut, alles gut? Waren die US-Wahlprognosen doch nicht so schlecht?

US Wahlvorhersagen 2020

Biden hat die Präsidentschaftswahl in den USA gewonnen. Zumindest, wenn die Gerichte die Ergebnisse nicht doch noch kippen sollten, was von den meisten Beobachtern aber als äußerst unwahrscheinlich angesehen wird. Damit hatte die große Mehrzahl der US-Pollster, die Biden in ihren Umfragen vorne sagen, recht. Anders als 2016, als Hillary Clinton gegenüber Donald Trump entgegen den Prognosen unterlag.

Ein Erfolg, viel Debakel

Ein Erfolg für die Profession der Wahl- und Meinungsforscher? Ja, wenn es darum geht, ob der „richtige“ Präsident vorhergesagt wurde. Aber leider keineswegs, wenn man die Abweichungen in den Vorhersagen betrachtet. Denn während die Prognose über den späteren Wahlsieger in 2016 zwar falsch war, lagen die Schätzungen zur Verteilung der Wählerstimmen recht präzise. So berichtete am Vorwahltag 2016 die New York Times von einem durchschnittlichen Vorsprung Clintons in den Polls von 3,1 %. Das Wahlergebnis wich davon absolut gesehen um lediglich 1 % ab mit einem Vorsprung für Clinton von 2,1% (was dann angesichts der regionalen Verteilung nicht zum Wahlsieg reichte, aber auch bei den meisten Einzelstaaten lag die Fehlerspanne noch in einem erträglichen Rahmen). Viele Demoskopen haben damals zudem auf den knappen Vorsprung von Clinton und damit die Unsicherheit des Wahlausgangs hingewiesen.

2020 dagegen schien der Vorsprung der Demokraten weitaus komfortabler, und entsprechend eindeutiger fielen die Vorhersagen aus. Umso größer ist diesmal die Abweichung zu den realen Ergebnissen: Die zum Nachrichtensender ABC News gehörende Site FiveThirtyEight, die unter Leitung des bekannten Statistikers Nate Silver auf Basis zahlreicher Umfrageergebnisse eine „Meta-Prognose“ erstellt, erwartete als letzten Stand vor der Wahl einen Vorsprung Bidens von 8,4%. Demgegenüber beträgt der Vorsprung im tatsächlichen Wahlergebnis nur ca. 2,9% der Wählerstimmen. Ein Fehler also von 5,5% und damit außerhalb aller akzeptablen Grenzen. So gesehen also doch eher ein Meinungsforscher-Debakel, wie das Handelsblatt titelte, oder ein Fiasko, wie an dieser Stelle bereits konstatiert wurde mit der bangen Frage, was das für das Ansehen der Umfrageforschung insgesamt bedeute.

Wo liegt der Fehler?

Zugegeben, die Aufgabe der Pollster war schwer. Dazu trägt nicht nur das komplizierte amerikanische Wahlsystem bei, sondern auch die Einmaligkeit der Situation, nachdem Trump die Bürger vier Jahre lang polarisiert und politisiert hat. Der dadurch entstandene Sprung in der Wahlbeteiligung – auch Verlierer Trump hat deutlich mehr Stimmen erlangt als bei seinem Sieg 2016 - kann aber nur bedingt als Begründung dienen, da die Wählermobilisierung offensichtlich auf beiden Seiten mehr Menschen an die Urnen rief als in den Wahlen zuvor. Die Ursachen sind also an anderer Stelle zu suchen.  

Als Erklärung scheinen sich hingegen vor allem zwei systematische Fehlerquellen anzubieten, die beide aus der Motivation der Befragten resultieren und in einem Fall zu einer verzerrten Stichprobe, im anderen Fall zu verzerrten Antworten innerhalb der realisierten Stichprobe führen:

  • Antwortverweigerung von Trump-Anhängern, die Umfragen als Teil des Establishments bzw. der Fake-News sehen („versteckte Trump-Wähler“). Diese Fehlerquelle ist tatsächlich relativ neu, ist aber grundsätzlich bei Wahlkämpfen mit starken populistischen und medienkritischen Tendenzen zu erwarten, und stellt so vermehrt eine Herausforderung an die Demoskopen dar.
  • Der Effekt der Sozialen Erwünschtheit in persönlichen oder telefonischen Interviews, der dazu führt, dass die geäußerten politischen Präferenzen und Wahlabsichten „sozialer“ oder weniger „extrem“ ausfallen als in der anonymen Abstimmungs-Situation. Dieser Fehler ist eigentlich altbekannt, hat aber auch durch das Aufkommen populistischer Strömungen ebenfalls an Brisanz gewonnen und in der besonders polarisierten Wahl 2020 eine womöglich besonders hohe Bedeutung erlangt. Damit könnte er nicht durch übliche, auf vergangenen Ergebnissen beruhende Korrekturfaktoren ausgeglichen worden sein. Der Effekt lässt sich zumindest in der Theorie messen, indem Erhebungsformen ohne soziale Interaktion – also Online-Befragungen oder Telefonbefragungen durch Computerstimmen – mit klassischen Face-to-Face- oder Telefoninterviews vergleichen werden. Da aber dann meist auch andere Stichprobenziehungen zugrunde liegen, und auch bei solchen nicht-persönlichen Formen soziale Erwünschtheitseffekte nicht ganz auszuschließen sind („wer weiß, wer hinterher meine Antworten sieht“), ist eine genaue Quantifizierung und damit Korrektur schwierig.

Daneben kommen die üblichen Effekte in Frage: Zu kleine Stichproben, schlechte Stichprobenziehungen, falsche Gewichtungen etc..

Natürlich tobt auch in den USA die Debatte um die richtige Stichprobe. Das Institut YouGov jedenfalls, das zur Wahlprognose Onlineerhebungen im eigenen Panel auf Basis einer MRP-Stichprobe nutzt („Multi-level Regression und Post-stratification“, also ein nicht auf einer Zufallsauswahl beruhende Stichprobe, sondern eine Quotenstichprobe, die ex post durch ein differenziertes Modell an die Population angepasst wird) und im mehrjährigen Prognosegüte-Vergleich von FiveThirtyEight ein durchaus gutes B-Rating (bei einer Spanne von A bis F) erreicht, lag trotz der vermutlich geringeren Sozialen-Erwünschtheitseffekte der Onlineerhebung noch etwas weiter vom wahren Ergebnis entfernt als der Schnitt der berücksichtigen Institute: YouGov schätzte den Vorsprung von Biden in seiner finalen Prognose auf 8,9% und prognostizierte nur 174 statt der nach derzeitigem Stand voraussichtlich 229 Wahlmänner für Trump.

Umgekehrt kämpfen Telefonumfragen in den USA ebenso wie bei in Deutschland mit hohen Verweigerungsraten. So berichtet der amerikanische Politikwissenschaftler Salvatore Babones von in den letzten 20 Jahren drastisch gesunkenen Teilnahmequoten und schließt daraus und aus Änderungen im Wählerverhalten:

Model error is here to stay. In fact, it's likely to get worse. 

Nur „good for fun“?

Noch sind die Analysen zum Prognose-Debakel im „Mutterland der Demoskopie“ nicht abgeschlossen. Schon jetzt scheint aber klar, dass Wahlprognosen – und vielleicht die Meinungsforschung insgesamt - vor enormen Herausforderungen steht. Auch wer sich wie ich der finalen Aussage von Babones nicht anschließen mag, der behauptet

“Political polling is good fun, but it should be treated more as entertainment than as serious politics”,

erkennt, dass ein bloßes „weiter so“ nicht ausreicht. Zum Glück sind Wahlen auch immer der beste Kalibrierungstest für Umfragen, und können so zu einer weiteren Verbesserung der Methoden beitragen. Ob die dann alleine durch die Optimierung klassischer Erhebungsformen und Stichprobenverfahren erreichbar sind, oder eher durch Multi-Methodenansätze, die Kombination probabilistsicher mit nichtprobabilistischen Stichprobenansätzen oder auch die Kombination von Befragungsdaten mit Sentiment-Analysen aus dem Internet, Wahlbörsen oder anderen nicht befragungs-basierten Ansätzen, wird sich zeigen – und ist am Ende wieder eine empirische Frage, die wir spätestens 2024 beurteilen können.

Bis dahin bleiben wir dran am Thema, und Sie. liebe Leser, hoffentlich auch!

Ihr Horst Müller-Peters

Horst Müller-Peters ist Professor für Betriebswirtschaftslehre, insbesondere Marketing, Marktforschung und Behavioral Economics an der Technischen Hochschule Köln. Zuvor war er Vorstandsvorsitzender der Marktforschungs- und Unternehmensberatungsunternehmens psychonomics AG. Er ist Mitgründer und Herausgeber der Branchenportale CONSULTING.de und marktforschung.de.

PS: Der Shift von Trump zu Biden im Verlauf der Auszählung – und damit das erst spät erkennbare „wahre“ Ergebnis – konnte nur dadurch zustande kommen, dass alle Stimmen und nicht nur die ersten 95% ausgezählt wurden, und dass die Art der Stimmenabgabe und damit deren Auszählungszeitpunkt hoch mit der politischen Präferenz korrelierten. Ein Lehrstück für alle Meinungsforscher bezüglich der Bedeutung hoher Ausschöpfungsquoten und der Chancen eines Multi-Mode-Ansatzes, indem den Befragten mehrere „Erhebungsformen“ zur Auswahl angeboten werden.

Kommentare (3)

  1. Horst Müller-Peters am 29.11.2020
    Ein kurzes Update: Auch fast 4 Wochen nach der Wahl sind immer noch nicht alle Ergebnisse zertifiziert und erst 98% der Stimmen ausgezählt. Nach aktuellem Stand liegt der Prognosefehler von FiveThirtyEight bei 4,4% und von YouGov bei 4,9% (Wahlergebnisse nach https://cookpolitical.com/2020-national-popular-vote-tracker, Abruf am 29.11.). Das im historischen Vergleich ausgesprochen schlechte Abschneiden der Prognosen scheint sich damit zu bestätigen.
  2. Horst Müller-Peters am 12.11.2020
    Sehr geehrter Herr Untiedt, vielen Dank für Ihren wichtigen Hinweis.

    In der Tat führen die noch nicht ausgezählten Stimmen dazu, dass sich die Kluft etwas weiter schließt. Nach derzeitigem Stand beträgt der Fehler in der aggregierten Prognose von FiveThirtyEight nicht mehr wie oben dargestellt 5,5%, sondern ziemlich genau 5,0 %, während der Fehler der ebenfalls zitierten YouGov-Prognose nun bei 5,5 % liegt. Nach Auszählung auch der letzten Stimmen wird sich der finale Fehler wohl noch etwas niedriger – im Falle der FiveThirtyEight-Prognose irgendwo in der Mitte zwischen 4 und 5 % bei YouGov um 5% - einpendeln. Aber auch damit fallen die Prognose im jüngeren historischen Vergleich ausgesprochen schlecht aus; deutlich schlechter als 2016, und nur zweimal seit Beginn der siebziger Jahre (am markantesten bei der Wahl Carter gegen Reagen 1980) lag der Schätzfehler höher als in diesem Jahr.

    Nochmals deutlich stärker sind die Abweichungen naturgemäß auf Ebene zahlreicher Bundesstaaten, sowohl in Bezug auf den Präsidenten als auch in Bezug auf den Senat. In den Swing-States stechen bspw. Wisconsin, Iowa und Florida mit Fehlern bei der Präsidentenwahl von 6 bis 7% hervor, in weniger knappen Staaten lagen die Abweichungen zum Teil nochmals deutlich darüber.
    Auswertungen und Hintergründe dazu hat Nate Silver, Gründer von FiveThirtyEight und Urheber dessen Prognosemodells, gestern selbst in einem Kommentar veröffentlicht. Sehr lesenswert, auch wenn er die Fehlermarge meines Erachtens – vielleicht nicht ganz uneigennützig - etwas zu schön redet, https://fivethirtyeight.com/features/the-polls-werent-great-but-thats-pretty-normal/?ex_cid=EU . (Ein Dank an den Leser, der mich gestern Abend direkt auf das Erscheinen dieses Beitrags hingewiesen hat.)
  3. Bernd Untiedt am 09.11.2020
    Noch sind längst nicht alle Stimmen ausgezählt. In den Staaten, in denen der Gewinner klar ist (z.B. Kalifornien und New York) sind erst 85% ausgezählt. Die verbleibenden Briefwahlstimmen gehen überwiegend auf das Konto von Biden. Daher wird sich der Abstand zwischen Biden und Trump noch um einige Millionen Stimmen vergrößern. Die Prognose zum Popular Vote sieht dann am Ende gar nicht mehr so schlecht aus.

Neuen Kommentar schreiben

Kommentare geben ausschließlich die Meinung ihrer Verfasser wieder. Die Redaktion behält sich vor, Kommentare nicht oder gekürzt zu veröffentlichen. Das gilt besonders für themenfremde, unsachliche oder herabwürdigende Kommentare sowie für versteckte Eigenwerbung.

Weitere Meldungen

Bellwether Report

Das erste Mal seit 2015: Keine Kürzungen der Marktforschungbudgets in UK

26.10.2021 - Die für Marktforschung verfügbaren Budgets wurden 2021 erstmals seit fünf Jahren nicht am Jahresende zusammengestrichen. Das zeigt die aktuelle Welle des Bellwether-Reports der IPA für Großbritannien, bei dem vierteljährlich Marketingprofessionals befragt werden. weiterlesen

 
Retail Ranking 2021 für Deutschland

DM hat beim Markenimage die Nase vorn

Beleuchteter Drogeriemarkt dm, Kamen, Nordrhein-Westfalen, Deutschland, Europa

26.10.2021 - Wie steht es um das Image einzelner Handelsmarken? Das wurde im Rahmen des Retail Ranking, das erstmalig von YouGov veröffentlicht wurde, untersucht. Im Gesamtranking gewinnt dabei klar die Drogeriekette dm, gefolgt von Rossmann, IKEA und Amazon. Wie sieht das Ranking… weiterlesen

 
3. Start-up Online-Pitch

Und die Finalisten sind …

Flagge, die Rennfahrern symbolisiert, dass die finale Runde startet. (Bild: picture-alliance/ dpa/dpaweb | epa Kim Ludbrook)

26.10.2021 - Der 3. Start-up Online-Pitch steht vor der Tür. Die Jury hat nun die fünf Finalisten nominiert, die ihre Lösungen in je sieben Minuten vorstellen werden. Entscheiden Sie mit, wer als Gewinner nach Hause geht! weiterlesen

 
Aktuelle Unternehmenszahlen

Ipsos kann Corona-Pandemie zum Teil hinter sich lassen

Ben Page, CEO von Ipsos Global (Bild: Ipsos Mori)

25.10.2021 - Natürlich war das Jahr 2020 für das französische Marktforschungsunternehmen Ipsos herausfordernd. Bei der Vorstellung der Quartalszahlen für das dritte Quartal 2021 kann es aber im Gesamtumsatz bessere Zahlen als in Vor-Corona-Zeiten verkünden - mit Ausnahmen. weiterlesen

 
Der VdMI schließt das Institut OGM wegen Online-Wahlumfrage aus

Exempel statuiert: Verband wirft Institut wegen reiner Online-Stichprobe raus

25.10.2021 - Der Verband der Markt- und Meinungsforschungsinstitute Österreichs, der VdMI, schließt das Wiener Mitgliedsinstitut OGM aus dem Verband aus, weil es entgegen den Qualitätsstandards eine Wahlumfrage mit einem reinen Online-Sample erhoben hat. Was daran besonders… weiterlesen

 

Über marktforschung.de

Branchenwissen an zentraler Stelle bündeln und abrufbar machen – das ist das Hauptanliegen von marktforschung.de. Unser breites Informationsangebot rund um die Marktforschung richtet sich sowohl an Marktforschungsinstitute, Felddienstleister, Panelbetreiber und Herausgeber von Studien, Marktdaten sowie Marktanalysen als auch an deren Kunden aus Industrie, Handel und Dienstleistungsgewerbe.

facebook twitter xing linkedin