Kommentar von Hartmut Scheffler, Kantar TNS Überlegungen zur Wahlprognose in den USA

Das nenn ich mal eine mutige Forderung - quasi hauptamtlich vom ADM-Vorstand:

„Was heißt das für Prognosen in Zukunft? Es heißt Schluss mit den täglichen Schnellschüssen von fünf bis zehn Fragen an 1.000 bis 2.000 Personen – schnell, preiswert, PR-fähig. „

Ich übersetze mal frei: quick = dirty !

Als alter Zyniker muß ich direkt schmunzeln, wenn direkt neben dem Statement die TNS Buswerbung blinkt. O.k, damit werden bestimmt keine Prognosen durchgeführt.

Aber Herr Scheffler hat natürlich Recht. Aber wenn man jetzt weiter ehrlich ist, müßte man öffentlich darüber diskutieren, wie 1.000 oder 2.000 Fälle über Nacht oder innerhalb von 1 bis 2 Werktagen – unabhängig von der Erhebungsmethode - eigentlich produziert werden. Also der Frage nachgehen, warum ist quick gleich dirty.

Ich denke, dann wird man auch den handwerklichen Fehler finden, der insbesondere in den USA zu den „fehlerhaften“ Umfrageergebnissen geführt hat.

Herr Brammer,
bei mir blinkt K&A Brand Research ;)

In Zukunft wird man in Deutschland vor allen die Sonntagsfrage um andere eher qualitative Fragen ergänzen müssen, um z.B. die versteckten AFD Wähler zu erwischen, die sich nicht outen wollen.
Im Sinne von (alter Allensbach Klassiker): was glauben Sie, was werden Ihre Freunde/ Bekannten / Nachbarn etc. wählen.
Auch Faktoren und Clusteranalysen von Statements bzgl. wichtiger Themenfelder können evtl. als Gewichtungsfaktoren helfen.

Kurzum - und da hat Herr Scheffler recht-, es wird teurer und aufwendiger die Wahlabsichten der Wechselwähler und bisherigen Nichtwähler oder Kurzentschlossenden zu ermitteln.
Neue Prognosemodelle müssen entwickelt werden.

Neben anderem ist ein Vorzug der Vorschläge von Herrn Scheffler, dass er sie direkt umsetzen kann, sowohl in der Wahlforschung, als auch in der Marktforschung, in der es bekanntlich auch schnelle, preiswerte, PR-fähige Schnellschüsse gibt, oft allerdings ohne die Benchmark einer echten Wahl. Soll heißen, wenn die Wahlforscher künftig die Schnellschüsse ablehnen, soll es mir ausgesprochen recht sein. Richtig klasse fände ich, wenn uns TNS ab und zu davon berichtet, wie viele Schnellschüsse sie abgelehnt haben und welche Institute sie stattdessen übernommen haben oder nicht.

Was die andere Seite der Lösungsmedaille angeht („Es geht besser und es wird viel aufwendiger und teurer“), liest sie sich wie ein Konjunkturprogramm für (bestimmte) Institute. Das werden sicher auch einige der Auftraggeber denken und dabei bestimmt nicht mitmachen. Gründe gibt es dafür viele: Manche können es sich nicht leisten, für andere rechnet es sich angesichts des Verwertungszweckes dann nicht mehr. Manche legen auf „besser“ auch gar keinen Wert. Wahlprognosen sind bekanntermaßen oft Instrumente von Wahlkämpfern im Kampf um den Gewinner-Nimbus, um die Motivation der wahlkämpfenden Basis und/oder Futter für den Medienzirkus rund um eine Wahl, also eher Spielmaterial für die Eigenvermarktung der Medien. Um „richtig“ geht es (wenn überhaupt) oft nur in zweiter Linie. Da kommt „viel teurer“ gar nicht gut. Schließlich wird mancher auch die interessante Frage von Herrn Prof. Krämer (ganz oben) stellen und sie wäre in der Tat eine substanzielle Antwort wert. (Gilt übrigens alles nicht nur für die Wahlforschung.)

In der Summe fällt mir in der Stellungnahme noch ein anderer Strang auf, den ich nicht so recht nachvollziehen kann. Letztlich schiebt Herr Scheffler mindestens erhebliche Mitschuld den Auftraggebern in die Schuhe. Sie richten das Problem an, in dem sie schnell, billig, einfach und plakativ fordern. Die Forscher wären demnach Getriebene und (ökonomisch?) Verführte. In diesem Fall (den Wahlprognosen) kann ich das nicht nachvollziehen.

Mir scheint eher, dass die Wahlforscher an der Messlatte gemessen werden, die sie selbst ständig auflegen. Sie haben ja den Prognoseanspruch erhoben oder ihm zumindest nicht laut genug widersprochen. Vermutlich, weil das ihre Attraktivität und ihren kommerziellen Wert als Artisten im wahlpolitischen Medienzirkus erheblich erhöht hat. Sie sind also selbst verantwortlich, denn es gäbe ja Alternativen. Sie hätten schon immer bestimmte Aufträge ablehnen können, gerade dann, wenn sie wissen, dass sie problematisch sind. Sie könnten auch einfach sagen, wie es ist: Wir liefern per se nur Ungefähres. Werte mit Fehlertoleranzen, ermittelt über Stichproben, deren gute Realisierung leider allzu oft große Probleme bereitet. Das gilt für die USA, aber es gilt auch hier. Daran ändert leider auch jede Menge Rechnerei nichts.
Die Wahlforscher könnten zudem ergänzen, dass punktgenaue Prognosen sowieso nicht das Wichtigste sind, was Forscher zu bieten haben. Wäre das nicht mal ein schöner Beitrag zur Transparenz und Wahrhaftigkeit der Forschung, der zudem dazu beitragen würde, dass man sie nicht mit Messlatten misst, die weh tun und Hohn und Spott einbringen?

Hartmut Scheffler, Chief Marketing Officer bei Kantar TNS und Vorsitzender des ADM, fordert die Meinungs- und Wahlforscher nach der Präsidentenwahl in den USA auf, „einmal etwas tiefer zu bohren“.
Doch seine „Überlegungen zur Wahlprognose in den USA“ lassen den von ihm geforderten Tiefgang weitgehend vermissen. Schon dass er den Unterschied von Prozenten und Prozentpunkten nicht beachtet, deutet dies an. Vor allem aber zeigt sich seine Distanz zur Wahlforschung, wenn er von „Prognosen“ redet, die Wahlforscher vor einer Wahl abgäben bzw. abzugeben hätten. Seriöse Wahlforscher machen nämlich seit jeher darauf aufmerksam, dass „Stimmungen keine Stimmen“ sind – also eben keine Prognosen, sondern nur die Wiedergabe der zum Messzeitpunkt registrierbaren politischen Stimmungen. Als „Prognose“ können nur die an Wahltagen um 18.00 Uhr bekanntgemachten Ergebnisse der „exit polls“, also der Befragung von Wählern am Wahlsonntag nach der Stimmabgabe bezeichnet werden. Die am Wahlabend nach Veröffentlichung der 18-Uhr-Prognosen durchgeführten „Hochrechnungen“ sind im Übrigen nicht – wie Herr Scheffler meint – „anspruchsvolle Wissenschaft“, sondern schlicht solides Handwerk, mit dem aus einer ordentlich gezogenen Stichprobe von Stimmbezirken die dort abgegebenen Stimmen mittels mathematischer Modellrechnungen auf die Gesamtheit der jeweils Wahlberechtigten „hochgerechnet“ werden.
Und wenn Herr Scheffler darauf hinweist, dass erst in jüngster Zeit „Phänomene wie Nichtwähler, Wechselwähler“ etc. die Arbeit der Wahlforschung erschwerten, vergisst er, dass es Nichtwähler und Wechselwähler schon so lange gibt, wie es demokratische Wahlen gibt. Wie sonst wäre etwa die stetige Zunahme von ca. 3,5 Prozentpunkten pro Wahl der deutschen Sozialdemokraten bei den Bundestagswahlen zwischen 1949 und 1972 zu erklären, wenn nicht durch Wähler, die von CDU oder CSU zur SPD wechselten? Und um das Phänomen der Nichtwähler hat sich infas bereits
1970 in einer beispielhaften Untersuchung gekümmert – im Übrigen neben einer eher etwas seltsamen Studie in Stuttgart die einzige Untersuchung, bei der tatsächliche, mithilfe der Wählerverzeichnisse nach der Wahl ermittelte Nichtwähler befragt wurden. Jeder zweite der damals befragten Nichtwähler hat behauptet, zur Wahl gegangen zu sein. Das entspricht auch aktuellen qualitativen und quantitativen Nichtwählerstudien von forsa, bei denen sich sporadische Nichtwähler selber nicht als „Nichtwähler“, sondern als „Wähler auf Urlaub“ bezeichnen – ein Grund, warum bis heute die Wahlbeteiligung vor einer Wahl nicht mithilfe von Umfragen ermittelt werden kann.
Wenn aber nach wie vor viele Nichtwähler sich selbst nicht – und erst recht nicht gegenüber Interviewern - zugeben, dass sie an einer Wahl nicht teilgenommen haben, und wenn Anhänger rechtsradikaler Gruppierungen wie der AfD sich gar nicht befragen lassen, weil sie Meinungsforscher als Teil des verhassten Establishments von Politik und Medien verteufeln, dann können auch die von Scheffler angesprochenen „indirekten Messverfahren und implizites Messen“ wenig neue Erkenntnisse liefern. Und dass Wahlforscher (und nicht nur der CMO Scheffler) seit jeher auch um die „Erkenntnisse der Psychologie und Sozialpsychologie“ wissen, sei nur am Rande erwähnt.
Wenn Herr Scheffler weiterhin beklagt, dass heute „Medienunternehmen“ auch Umfragen zur kontinuierlichen Messung der politischen Stimmung in Auftrag geben, lässt er außer Acht, dass in Deutschland politische Umfragen lange Zeit „Herrschaftswissen“ waren und so gut wie ausschließlich vom Bundespresseamt bzw. den Staats- und Senatskanzleien der Bundesländer beauftragt wurden. Je nach Opportunität konnte dann mit gezielten publizierten Einzelergebnissen der politische Diskurs in bestimmter Richtung beeinflusst werden. Erst nachdem – wie im angelsächsischen Raum schon lange üblich – auch in Deutschland Wahl- und Meinungsforscher von Medien mit der Durchführung von Umfragen beauftragt wurden, wurde den Menschen eine Stimme gegeben und so die Akzeptanz von Wahlen und des demokratischen Systems gestärkt. Manipulationsversuche der herrschenden Klasse mithilfe von Umfragewerten sind seitdem ausgeschlossen.
Das alles bleibt im Kommentar von Herrn Schefflers unberücksichtigt.
Ärgerlich aber wird es, wenn der CMO Scheffler dort, wo er aufgrund seiner Tätigkeit Einfluss nehmen könnte, offenbar nichts tut, um die Wahlforschung in einem von ihm geforderten Sinne zu fördern. So wird das Kantar TNS-Tochterunternehmen infratest dimap ja vom mit Gebühren finanzierten öffentlich-rechtlichen Rundfunk- und Fernsehanbieter ARD üppig honoriert und könnte so einiges von dem leisten, was Herr Scheffler fordert. Doch bei TNS infratest dimap mangelt es schon an der für seriöse Wahlforschung an sich selbstverständlichen Transparenz. Während die für das ZDF tätige Forschungsgruppe Wahlen und forsa sämtliche im Rahmen der kontinuierlichen politischen Forschung ermittelten Daten dem Gesis-Datenarchiv zur Verfügung stellen und allen Wissenschaftlern zugänglich machen, finden sich die für die ARD erhobenen und mit Rundfunkgebühren finanzierten Daten nur bruchstückhaft im Gesis-Datenarchiv. So sind von insgesamt 19 Jahrgängen des sog. ARD-„Deutschland-Trends“ überhaupt nur 8 zu einem geringen Teil im Gesis-Archiv vorhanden. Im Wahljahr 2013 z. B. wurden von TNS infratest im Rahmen des Deutschland-Trends fast 51.000 Interviews durchgeführt. Im Gesis-Datenarchiv sind aber nur die Daten von 12.040 Interviews vorhanden. Und die Daten der sog. „Sonntagsfrage“, also der im Zusammenhang mit den von Herrn Scheffler kritisierten „Prognosen“ nicht ganz unwichtigen Frage nach der Wahlabsicht, fehlen völlig. Und selbst die im Gesis-Archiv vorhandenen rudimentären Daten des Deutschland-Trends können nicht von allen, sondern nur von einigen infratest genehmen Wissenschaftlern eingesehen werden.
Es wäre also gut, wenn Herr Scheffler in seinem eigenen Einflussbereich für mehr Transparenz sorgen würde, bevor er seriöse Wahlforscher kritisiert oder belehrt.

Meine sehr verehrten Herren, Ihren obenstehenden Disput empfinde ich relativ aufmerksamer Beobachter von Wahl- und Marktforschung und aktiver betrieblicher Marktforscher offen gesagt als ziemlich unerträglich. Er ist ein m.E. gutes Beispiel, warum immer mehr Menschen (=Wähler) mit Politik (Parteien) und Eliten zunehmend unzufrieden sind: der sachliche Disput reduziert sich auf Rechthaberei und Schutz des eigene Einflussraumes, hier: Marktforschung kontra Wahlforschung.
Zur Sache: Die Wahlforschungsergebnisse haben in den USA das Ergebnis nicht gut genug vorhersagen können, auch wenn sie nie als Vorhersage gemeint waren. Übrigens kenne ich auch einige Ergebnisse aus der Marktforschung, die sich im Nachhinein als nicht treffsicher erwiesen haben. Da tun sich beide Gruppen nichts. Die Bemühungen sollten sich darauf konzentrieren, wie (in diesem Fall die Wahlforschung), das Wahlverhalten zu einem Zeitpunkt X treffsicherer ermitteln kann. Dr. Scheffler hat dazu m.E. durchaus ein paar Punkte genannt, die überlegenswert sind. Vielleicht hätte er sich besser die globale Schelte in Richtung Wahlforschung verkniffen. Und, Herr Prof. Krämer, genau das sollte jetzt erfolgen, nämlich durch die Anwendung weiterentwickelter Forschungsansätze den Nachweis erbringen, dass diese Ansätze auch tatsächlich besser funktionieren. Oder eben nicht. Das würde weiterführen. Die obigen Kommentare tun das sicher nicht.

Gerne steige ich in die Diskussion, um eine Lanze für die Marktforschung (und Wahlforschung) zu brechen.
Was ist denn passiert: Regelmäßig wurden „Meinungskurven“ zum Stand Clinton/Trump veröffentlicht. Ohne, dass ich tatsächlich darüber in Tiefe informiert bin, werden die Ergebnisse wohl i.d.R. auf den kolportierten 1.000 bis 2.000 Interviews beruhen. Meisten lag Clinton vorne, zum Schluss wohl aber nur noch mit ca. 2% Punkten. Wie ist die Wahl noch mal ausgegangen? Ach ja, Trump hat gewonnen und Clinton mehr Stimmen bekommen.
Für die Markt-/Wahlforschung bedeutet dies erst einmal „Chapeau – well done“. Wenn ich mit besagten Fallzahlen und womöglich noch quick and dirty solche Ergebnisse für eine über 300 Mio. Einwohner umfassende Nation, mit ähnlicher Heterogenität wie Komplett-Europa, hinbekomme, dann kann man sich auch die ketzerische Frage stellen: Benötigen wir überhaupt „slow and expensive“.
Was haben wir letztendlich gesehen: Die Marktforschung hat eine sehr enge Wahl vorausgesehen. Passt. Der Wähler bzw. der Mensch ändert seine Meinung in rasantem Tempo. Passt auch, wenn man sich die Wahlkurven anschaut. Ein um wenige Wochen nach vorne verschobener Wahltermin, hätte wohl für ein anderes Staatsoberhaupt gereicht (denn da lagen die Kurven ausreichend weit auseinander).
Aber was ist das eigentliche Problem? Das Problem ist die Interpretation und vor allem die Kommunikation der Ergebnisse (und da unterscheiden sich Wahl- und Marktforschung nicht). Es ist schlicht und ergreifend ein schwerer Fehler, bei so engen Umfrageergebnissen im Vorfeld von einem klaren Gewinner zu sprechen. Hier muss die Marktforschung ihr Veto einreichen – macht sich aber nicht so gut für`s Geschäftliche.
In diesem speziellen Fall ist wahrscheinlich auch der Wunsch nach einem anderen Ergebnis verstärkt Vater des Gedanken gewesen, nein Stopp, nicht in diesem speziellen Fall, sondern meistens spielt der Wunsch eine starke Rolle.
Leider wird es wohl in absehbarer Zeit nicht (und wahrscheinlich nie) möglich sein, dem geneigten Leser von Zeitschrift X oder Internetseite Y eine längere Erklärung der Umfragewerte mitzuliefern. Erstens, weil niemand das Kleingedruckte lesen würde und zweitens, weil sich einfache Weisheiten (Überschriften) eben besser verkaufen.
Zurück zum Thema Quick and Dirty: Markt-/Wahlforschung hat die Aufgabe aus unsicheren Situationen oder Informationen sicherere zu machen. Und da greift das Informationswert-Prinzip (in vereinfachter Form). Wer eine höhere Sicherheit haben möchte, muss in der Tendenz mehr investieren (siehe Diskussion zu ausreichend hohen Samples in den Swing-States). Ob das „mehr Geld“ in neuere Methoden oder in aufwändigere Stichprobendesigns investiert werden sollte, bleibt zu diskutieren und diese Diskussion bleibt definitiv spannend.
Das Dilemma für die Marktforschung: Der Ruf wird nicht besser. Daran müssen wir arbeiten, nicht daran im Vorfeld alles zu Versprechen, weil wir jetzt noch ausgefuchstere Methoden haben. Außerdem: Könnte unsere Zunft Wahlergebnisse exakt voraussagen, bräuchten wir auch keine Wahlen mehr ;-) … und jetzt zurück an die nächste Studie.

US Polls – nicht falsch aber inadäquat

Herr Scheffler hat Recht: die nationalen US-Polls lagen gar nicht so schlecht. Die meisten Polls wiesen am Ende eine Vorsprung für Clinton zwischen ein und vier Prozentpunkten aus - am Ende waren es 1,4 Punkte – alles im Schwankungsbereich. Also alles richtig gemacht? Keineswegs, denn die nationalen polls waren zwar nicht falsch, aber sie waren inadäquat. Die US-Präsidentschaftswahl wird nicht auf nationaler Ebene entschieden, sondern in den einzelnen Bundesstaaten nach dem Prinzip „the winner takes it all“ (hier: die Wahlmännerstimmen), worauf Herr Güllner zurecht verweist. Und dort hatten die polls ein ziemliches Problem. In den letztlich entscheidenden Staaten wie Wisconsin, Pennsylvania und Michigan gab es nur wenige Umfragen, und diese wiesen meist einen mehr oder weniger deutlichen Vorsprung für Clinton aus. In Wisconsin vermeldete etwa Remington Research zwei Tage vor der Wahl einen Vorsprung Clintons von 8 Punkten – nach Auszählung der Stimmen lag sie dort um 1 Punkt hinter Trump. Auf state level konzentrierten sich die polls auf die vermeintlichen „swing states“ wie Florida und Ohio – aber auch hier lagen sie zum Teil völlig daneben. So wiesen etwa YouGov und Remington Research einen Ein-Punkte-Vorsprung für Trump aus, am Ende lag der aber fast 9 Punkte vor Clinton. Diese „Fehlprognosen“ verwundern, wurden sie doch zum Teil von denselben Instituten mit identischen Methoden wie bei den national polls durchgeführt. Nur die größten Optimisten unter den Wahlforschern hoffen jetzt auf „Wiedergutmachung“ durch die laufenden Nachzählungen in Wisconsin, Michigan und Pennsylvania.

Was heißt das für die Wahlforschung in Deutschland?
Müssen wir uns nun Sorgen machen um die Qualität der Wahlforschung in Deutschland? Auf den ersten Blick nein, denn bei deutschem Wahlrecht hätte Clinton die Wahl mit einem Vorsprung von knapp 2 Prozentpunkten gewonnen – die Polls hätten also „Recht“ gehabt und kein Mensch Anlass gehabt, an der Umfrageforschung zu zweifeln. Auf den zweiten Blick gibt es aber doch eine Parallele zwischen dem überraschendem Wahlsieg Trumps, dem knapp erfolgreichen Brexit und der bei den zurückliegenden Landtagswahlen sehr erfolgreichen AfD: alle fanden in einem stark polarisiertem Umfeld und in einer moralisch aufgeheizten Stimmung statt - und allesamt wurden in den Vorwahlumfragen unterschätzt. Das Problem ist nicht neu, denn bei neuen, meist populistische Parteien und Bewegungen braucht es etwas Zeit und Erfahrungswerte, um die Instrumente der Wahlforschung darauf einzustellen. Das ist der deutschen Wahlforschung im Falle von Schill, der DVU, der Piratenpartei oder auch der rechtsradikalen NPD in der Regel schnell und gut gelungen. Im Falle der AfD ist dieser Prozess noch keineswegs abgeschlossen, zumal hier eine besondere Dynamik am Werk zu sein scheint – zuletzt waren die Erfolge der AfD von einem ebenso überraschenden wie deutlichen Anstieg der Wahlbeteiligung begleitet. Auch die deutsche Wahlforschung steht also nicht zuletzt mit Blick auf die Bundestagswahl 2017 vor neuen Herausforderungen.

Was tun?
Sicherheitshalber immer wieder darauf verweisen, dass Vorwahlerhebungen keinen prognostischen Charakter haben? Diese Einschränkung mag mit Blick auf die vielen Unwägbarkeiten beim Wahlverhalten berechtigt sein, hilft aber nicht viel weiter, denn dies trifft auch auf Wetterprognosen, Wirtschaftsprognosen und andere Vorhersagen zu. Wenn Umfragen wenige Tage vor einer Wahl veröffentlicht werden, können Auftraggeber wie Publikum zurecht davon ausgehen, dass die ermittelte „Stimmung“ den Wahlausgang einigermaßen korrekt wiedergegeben wird. Sollte diese Stimmung besonders fluide sein, ist darauf hinzuweisen, möglichst unter Benennung der ausschlaggebenden Faktoren. Bei der US-Wahl geschah fatalerweise das Gegenteil, man rechnete die polls in „Wahrscheinlichkeiten“ um: „die Wahrscheinlichkeit des Sieges von Clinton liegt bei 80 %“.
Keine „täglichen Schnellschüsse“ mehr? Will sagen: weniger Umfragen? Gott sei Dank gibt es in Deutschland auch in der Wahlforschung eine lebendige Konkurrenz, die sich als qualitätssichernd erwiesen hat. Zudem bekommt der „Normalbürger“ von der Vielzahl von Umfragen wenig mit. Oder keine Umfragen mehr mit nur „1000 oder 2000 Personen“? Bei einer 5000er Erhebung läge bei weit höheren Kosten der Gewinn an statistischer Genauigkeit – ceteris paribus – bei einer Partei wie der AfD zwischen 0,6 und 1,2 Punkten.
Keine Umfragen mehr mit nur „fünf bis zehn Fragen“? Klar, je mehr verhaltensrelevante Indikatoren ich in eine Umfrage berücksichtige, desto komplexere Zusammenhänge kann man nachweisen. Aber Fragebogenlänge und Stichprobenqualität weisen einen direkten Zusammenhang auf: je länger der Fragebogen, desto schlechter die Ausschöpfung (Tests zu meiner Zeit bei Infratest ergaben eine Verbesserung der Ausschöpfung bei extrem kurzen Interviews um Faktor 3!). Da die Modelle zur Berechnung der Sonntagsfrage nur wenige Indikatoren benötigen, kann es sich also durchaus lohnen, bisweilen auch extrem kurze Interviews zur exakteren Messung der politischen „Stimmung“ durchzuführen.
Neue methodische Ansätze? Einbeziehung von qualitativer Forschung und Sozialpsychologie? Das nenne ich Eulen nach Athen tragen. Die Wahlforschung nutzt seit jeher ein reichhaltiges Instrumentarium, das von Fokusgruppen bis hin zu komplexen Milieu-Studien reicht und selbstverständlich auch eine ganze Reihe sozialpsychologischer Faktoren umfasst. Die US-Polls wiesen etwa eindrücklich nach, dass die Entscheidung für Trump weniger auf Einkommen oder Bildung beruhte sondern maßgeblich auf dem Gefühl gesellschaftlicher Benachteiligung und mangelnder Kontrolle über das eigene Leben.
Neue Erhebungsverfahren? Auch diesbezüglich hat sich die Wahlforschung als durchaus innovativ erwiesen. Heute gehören etwa Dual-Frame Ansätze bei Telefonerhebungen zum Standardrepertoire der Wahlforschung auf nationaler Ebene – auf Ebene der Bundesländer wird noch heftig um machbare Ansätze gerungen. Und auch der Einsatz der Online-Forschung verspricht – obwohl hier Zufallsstichproben nach wie vor nicht möglich sind – Vorteile, wie etwa die Möglichkeit der Panelbefragung. Die Zukunft gehört einem intelligenten Methodenmix, der die Vorteile miteinander kombiniert und die jeweiligen Nachteile auszugleicht.
Mehr Transparenz? Dafür sprechen zwei gewichtige Argumente: erstens die bereits erwähnten Unwägbarkeiten des Wahlverhaltens und die damit einhergehenden Beschränkungen der prognostischen Reichweite der Wahlforschung sollten im eigenen Interesse klar benannt und deren jeweilige Relevanz nachgewiesen werden – nicht zuletzt im Interesse der Marktforschung insgesamt, denn der Wahlforschung kommt in Bezug auf die Leistungskraft ihrer Erhebungsverfahren und Stichprobenverfahren eine „Schaufensterfunktion“ zu.
Zweitens hat es die Wahlforschung mit einem außerordentlich sensiblen und für die Gesamtgesellschaft wichtigen Gegenstandsbereich zu tun, hier geht es um Glaubwürdigkeit. Das Transparenzgebot findet sich zurecht in den Richtlinien von ADM, BVM, ESOMAR und WAPOR wieder. Es wäre hilfreich, wenn alle in der Wahlforschung aktiven Institute diese Richtlinien maximal umsetzen würden, wie es bei Infratest dimap der Fall ist. Auf dessen website werden so gut wie alle veröffentlichten Umfragen umfassend dokumentiert, einschließlich Frageformulierung und Ergebnisse. Darüber hinaus ist die Bereitstellung der Daten der Wahlforschung für wissenschaftliche Zwecke sicher wünschenswert, was aber die meisten Institute meines Erachtens in ausreichendem Maße tun.

Welche Nachweise gibt es denn, dass die angesprochenen verfeinerten Methoden (auch entsprechend teurer) zu besseren Vorhersagen führen, sprich "auch ihr Geld wert sind"?

Das nenn ich mal eine mutige Forderung - quasi hauptamtlich vom ADM-Vorstand:

„Was heißt das für Prognosen in Zukunft? Es heißt Schluss mit den täglichen Schnellschüssen von fünf bis zehn Fragen an 1.000 bis 2.000 Personen – schnell, preiswert, PR-fähig. „

Ich übersetze mal frei: quick = dirty !

Als alter Zyniker muß ich direkt schmunzeln, wenn direkt neben dem Statement die TNS Buswerbung blinkt. O.k, damit werden bestimmt keine Prognosen durchgeführt.

Aber Herr Scheffler hat natürlich Recht. Aber wenn man jetzt weiter ehrlich ist, müßte man öffentlich darüber diskutieren, wie 1.000 oder 2.000 Fälle über Nacht oder innerhalb von 1 bis 2 Werktagen – unabhängig von der Erhebungsmethode - eigentlich produziert werden. Also der Frage nachgehen, warum ist quick gleich dirty.

Ich denke, dann wird man auch den handwerklichen Fehler finden, der insbesondere in den USA zu den „fehlerhaften“ Umfrageergebnissen geführt hat.

Herr Brammer,
bei mir blinkt K&A Brand Research ;)

In Zukunft wird man in Deutschland vor allen die Sonntagsfrage um andere eher qualitative Fragen ergänzen müssen, um z.B. die versteckten AFD Wähler zu erwischen, die sich nicht outen wollen.
Im Sinne von (alter Allensbach Klassiker): was glauben Sie, was werden Ihre Freunde/ Bekannten / Nachbarn etc. wählen.
Auch Faktoren und Clusteranalysen von Statements bzgl. wichtiger Themenfelder können evtl. als Gewichtungsfaktoren helfen.

Kurzum - und da hat Herr Scheffler recht-, es wird teurer und aufwendiger die Wahlabsichten der Wechselwähler und bisherigen Nichtwähler oder Kurzentschlossenden zu ermitteln.
Neue Prognosemodelle müssen entwickelt werden.

Neben anderem ist ein Vorzug der Vorschläge von Herrn Scheffler, dass er sie direkt umsetzen kann, sowohl in der Wahlforschung, als auch in der Marktforschung, in der es bekanntlich auch schnelle, preiswerte, PR-fähige Schnellschüsse gibt, oft allerdings ohne die Benchmark einer echten Wahl. Soll heißen, wenn die Wahlforscher künftig die Schnellschüsse ablehnen, soll es mir ausgesprochen recht sein. Richtig klasse fände ich, wenn uns TNS ab und zu davon berichtet, wie viele Schnellschüsse sie abgelehnt haben und welche Institute sie stattdessen übernommen haben oder nicht.

Was die andere Seite der Lösungsmedaille angeht („Es geht besser und es wird viel aufwendiger und teurer“), liest sie sich wie ein Konjunkturprogramm für (bestimmte) Institute. Das werden sicher auch einige der Auftraggeber denken und dabei bestimmt nicht mitmachen. Gründe gibt es dafür viele: Manche können es sich nicht leisten, für andere rechnet es sich angesichts des Verwertungszweckes dann nicht mehr. Manche legen auf „besser“ auch gar keinen Wert. Wahlprognosen sind bekanntermaßen oft Instrumente von Wahlkämpfern im Kampf um den Gewinner-Nimbus, um die Motivation der wahlkämpfenden Basis und/oder Futter für den Medienzirkus rund um eine Wahl, also eher Spielmaterial für die Eigenvermarktung der Medien. Um „richtig“ geht es (wenn überhaupt) oft nur in zweiter Linie. Da kommt „viel teurer“ gar nicht gut. Schließlich wird mancher auch die interessante Frage von Herrn Prof. Krämer (ganz oben) stellen und sie wäre in der Tat eine substanzielle Antwort wert. (Gilt übrigens alles nicht nur für die Wahlforschung.)

In der Summe fällt mir in der Stellungnahme noch ein anderer Strang auf, den ich nicht so recht nachvollziehen kann. Letztlich schiebt Herr Scheffler mindestens erhebliche Mitschuld den Auftraggebern in die Schuhe. Sie richten das Problem an, in dem sie schnell, billig, einfach und plakativ fordern. Die Forscher wären demnach Getriebene und (ökonomisch?) Verführte. In diesem Fall (den Wahlprognosen) kann ich das nicht nachvollziehen.

Mir scheint eher, dass die Wahlforscher an der Messlatte gemessen werden, die sie selbst ständig auflegen. Sie haben ja den Prognoseanspruch erhoben oder ihm zumindest nicht laut genug widersprochen. Vermutlich, weil das ihre Attraktivität und ihren kommerziellen Wert als Artisten im wahlpolitischen Medienzirkus erheblich erhöht hat. Sie sind also selbst verantwortlich, denn es gäbe ja Alternativen. Sie hätten schon immer bestimmte Aufträge ablehnen können, gerade dann, wenn sie wissen, dass sie problematisch sind. Sie könnten auch einfach sagen, wie es ist: Wir liefern per se nur Ungefähres. Werte mit Fehlertoleranzen, ermittelt über Stichproben, deren gute Realisierung leider allzu oft große Probleme bereitet. Das gilt für die USA, aber es gilt auch hier. Daran ändert leider auch jede Menge Rechnerei nichts.
Die Wahlforscher könnten zudem ergänzen, dass punktgenaue Prognosen sowieso nicht das Wichtigste sind, was Forscher zu bieten haben. Wäre das nicht mal ein schöner Beitrag zur Transparenz und Wahrhaftigkeit der Forschung, der zudem dazu beitragen würde, dass man sie nicht mit Messlatten misst, die weh tun und Hohn und Spott einbringen?

Hartmut Scheffler, Chief Marketing Officer bei Kantar TNS und Vorsitzender des ADM, fordert die Meinungs- und Wahlforscher nach der Präsidentenwahl in den USA auf, „einmal etwas tiefer zu bohren“.
Doch seine „Überlegungen zur Wahlprognose in den USA“ lassen den von ihm geforderten Tiefgang weitgehend vermissen. Schon dass er den Unterschied von Prozenten und Prozentpunkten nicht beachtet, deutet dies an. Vor allem aber zeigt sich seine Distanz zur Wahlforschung, wenn er von „Prognosen“ redet, die Wahlforscher vor einer Wahl abgäben bzw. abzugeben hätten. Seriöse Wahlforscher machen nämlich seit jeher darauf aufmerksam, dass „Stimmungen keine Stimmen“ sind – also eben keine Prognosen, sondern nur die Wiedergabe der zum Messzeitpunkt registrierbaren politischen Stimmungen. Als „Prognose“ können nur die an Wahltagen um 18.00 Uhr bekanntgemachten Ergebnisse der „exit polls“, also der Befragung von Wählern am Wahlsonntag nach der Stimmabgabe bezeichnet werden. Die am Wahlabend nach Veröffentlichung der 18-Uhr-Prognosen durchgeführten „Hochrechnungen“ sind im Übrigen nicht – wie Herr Scheffler meint – „anspruchsvolle Wissenschaft“, sondern schlicht solides Handwerk, mit dem aus einer ordentlich gezogenen Stichprobe von Stimmbezirken die dort abgegebenen Stimmen mittels mathematischer Modellrechnungen auf die Gesamtheit der jeweils Wahlberechtigten „hochgerechnet“ werden.
Und wenn Herr Scheffler darauf hinweist, dass erst in jüngster Zeit „Phänomene wie Nichtwähler, Wechselwähler“ etc. die Arbeit der Wahlforschung erschwerten, vergisst er, dass es Nichtwähler und Wechselwähler schon so lange gibt, wie es demokratische Wahlen gibt. Wie sonst wäre etwa die stetige Zunahme von ca. 3,5 Prozentpunkten pro Wahl der deutschen Sozialdemokraten bei den Bundestagswahlen zwischen 1949 und 1972 zu erklären, wenn nicht durch Wähler, die von CDU oder CSU zur SPD wechselten? Und um das Phänomen der Nichtwähler hat sich infas bereits
1970 in einer beispielhaften Untersuchung gekümmert – im Übrigen neben einer eher etwas seltsamen Studie in Stuttgart die einzige Untersuchung, bei der tatsächliche, mithilfe der Wählerverzeichnisse nach der Wahl ermittelte Nichtwähler befragt wurden. Jeder zweite der damals befragten Nichtwähler hat behauptet, zur Wahl gegangen zu sein. Das entspricht auch aktuellen qualitativen und quantitativen Nichtwählerstudien von forsa, bei denen sich sporadische Nichtwähler selber nicht als „Nichtwähler“, sondern als „Wähler auf Urlaub“ bezeichnen – ein Grund, warum bis heute die Wahlbeteiligung vor einer Wahl nicht mithilfe von Umfragen ermittelt werden kann.
Wenn aber nach wie vor viele Nichtwähler sich selbst nicht – und erst recht nicht gegenüber Interviewern - zugeben, dass sie an einer Wahl nicht teilgenommen haben, und wenn Anhänger rechtsradikaler Gruppierungen wie der AfD sich gar nicht befragen lassen, weil sie Meinungsforscher als Teil des verhassten Establishments von Politik und Medien verteufeln, dann können auch die von Scheffler angesprochenen „indirekten Messverfahren und implizites Messen“ wenig neue Erkenntnisse liefern. Und dass Wahlforscher (und nicht nur der CMO Scheffler) seit jeher auch um die „Erkenntnisse der Psychologie und Sozialpsychologie“ wissen, sei nur am Rande erwähnt.
Wenn Herr Scheffler weiterhin beklagt, dass heute „Medienunternehmen“ auch Umfragen zur kontinuierlichen Messung der politischen Stimmung in Auftrag geben, lässt er außer Acht, dass in Deutschland politische Umfragen lange Zeit „Herrschaftswissen“ waren und so gut wie ausschließlich vom Bundespresseamt bzw. den Staats- und Senatskanzleien der Bundesländer beauftragt wurden. Je nach Opportunität konnte dann mit gezielten publizierten Einzelergebnissen der politische Diskurs in bestimmter Richtung beeinflusst werden. Erst nachdem – wie im angelsächsischen Raum schon lange üblich – auch in Deutschland Wahl- und Meinungsforscher von Medien mit der Durchführung von Umfragen beauftragt wurden, wurde den Menschen eine Stimme gegeben und so die Akzeptanz von Wahlen und des demokratischen Systems gestärkt. Manipulationsversuche der herrschenden Klasse mithilfe von Umfragewerten sind seitdem ausgeschlossen.
Das alles bleibt im Kommentar von Herrn Schefflers unberücksichtigt.
Ärgerlich aber wird es, wenn der CMO Scheffler dort, wo er aufgrund seiner Tätigkeit Einfluss nehmen könnte, offenbar nichts tut, um die Wahlforschung in einem von ihm geforderten Sinne zu fördern. So wird das Kantar TNS-Tochterunternehmen infratest dimap ja vom mit Gebühren finanzierten öffentlich-rechtlichen Rundfunk- und Fernsehanbieter ARD üppig honoriert und könnte so einiges von dem leisten, was Herr Scheffler fordert. Doch bei TNS infratest dimap mangelt es schon an der für seriöse Wahlforschung an sich selbstverständlichen Transparenz. Während die für das ZDF tätige Forschungsgruppe Wahlen und forsa sämtliche im Rahmen der kontinuierlichen politischen Forschung ermittelten Daten dem Gesis-Datenarchiv zur Verfügung stellen und allen Wissenschaftlern zugänglich machen, finden sich die für die ARD erhobenen und mit Rundfunkgebühren finanzierten Daten nur bruchstückhaft im Gesis-Datenarchiv. So sind von insgesamt 19 Jahrgängen des sog. ARD-„Deutschland-Trends“ überhaupt nur 8 zu einem geringen Teil im Gesis-Archiv vorhanden. Im Wahljahr 2013 z. B. wurden von TNS infratest im Rahmen des Deutschland-Trends fast 51.000 Interviews durchgeführt. Im Gesis-Datenarchiv sind aber nur die Daten von 12.040 Interviews vorhanden. Und die Daten der sog. „Sonntagsfrage“, also der im Zusammenhang mit den von Herrn Scheffler kritisierten „Prognosen“ nicht ganz unwichtigen Frage nach der Wahlabsicht, fehlen völlig. Und selbst die im Gesis-Archiv vorhandenen rudimentären Daten des Deutschland-Trends können nicht von allen, sondern nur von einigen infratest genehmen Wissenschaftlern eingesehen werden.
Es wäre also gut, wenn Herr Scheffler in seinem eigenen Einflussbereich für mehr Transparenz sorgen würde, bevor er seriöse Wahlforscher kritisiert oder belehrt.

Meine sehr verehrten Herren, Ihren obenstehenden Disput empfinde ich relativ aufmerksamer Beobachter von Wahl- und Marktforschung und aktiver betrieblicher Marktforscher offen gesagt als ziemlich unerträglich. Er ist ein m.E. gutes Beispiel, warum immer mehr Menschen (=Wähler) mit Politik (Parteien) und Eliten zunehmend unzufrieden sind: der sachliche Disput reduziert sich auf Rechthaberei und Schutz des eigene Einflussraumes, hier: Marktforschung kontra Wahlforschung.
Zur Sache: Die Wahlforschungsergebnisse haben in den USA das Ergebnis nicht gut genug vorhersagen können, auch wenn sie nie als Vorhersage gemeint waren. Übrigens kenne ich auch einige Ergebnisse aus der Marktforschung, die sich im Nachhinein als nicht treffsicher erwiesen haben. Da tun sich beide Gruppen nichts. Die Bemühungen sollten sich darauf konzentrieren, wie (in diesem Fall die Wahlforschung), das Wahlverhalten zu einem Zeitpunkt X treffsicherer ermitteln kann. Dr. Scheffler hat dazu m.E. durchaus ein paar Punkte genannt, die überlegenswert sind. Vielleicht hätte er sich besser die globale Schelte in Richtung Wahlforschung verkniffen. Und, Herr Prof. Krämer, genau das sollte jetzt erfolgen, nämlich durch die Anwendung weiterentwickelter Forschungsansätze den Nachweis erbringen, dass diese Ansätze auch tatsächlich besser funktionieren. Oder eben nicht. Das würde weiterführen. Die obigen Kommentare tun das sicher nicht.

Gerne steige ich in die Diskussion, um eine Lanze für die Marktforschung (und Wahlforschung) zu brechen.
Was ist denn passiert: Regelmäßig wurden „Meinungskurven“ zum Stand Clinton/Trump veröffentlicht. Ohne, dass ich tatsächlich darüber in Tiefe informiert bin, werden die Ergebnisse wohl i.d.R. auf den kolportierten 1.000 bis 2.000 Interviews beruhen. Meisten lag Clinton vorne, zum Schluss wohl aber nur noch mit ca. 2% Punkten. Wie ist die Wahl noch mal ausgegangen? Ach ja, Trump hat gewonnen und Clinton mehr Stimmen bekommen.
Für die Markt-/Wahlforschung bedeutet dies erst einmal „Chapeau – well done“. Wenn ich mit besagten Fallzahlen und womöglich noch quick and dirty solche Ergebnisse für eine über 300 Mio. Einwohner umfassende Nation, mit ähnlicher Heterogenität wie Komplett-Europa, hinbekomme, dann kann man sich auch die ketzerische Frage stellen: Benötigen wir überhaupt „slow and expensive“.
Was haben wir letztendlich gesehen: Die Marktforschung hat eine sehr enge Wahl vorausgesehen. Passt. Der Wähler bzw. der Mensch ändert seine Meinung in rasantem Tempo. Passt auch, wenn man sich die Wahlkurven anschaut. Ein um wenige Wochen nach vorne verschobener Wahltermin, hätte wohl für ein anderes Staatsoberhaupt gereicht (denn da lagen die Kurven ausreichend weit auseinander).
Aber was ist das eigentliche Problem? Das Problem ist die Interpretation und vor allem die Kommunikation der Ergebnisse (und da unterscheiden sich Wahl- und Marktforschung nicht). Es ist schlicht und ergreifend ein schwerer Fehler, bei so engen Umfrageergebnissen im Vorfeld von einem klaren Gewinner zu sprechen. Hier muss die Marktforschung ihr Veto einreichen – macht sich aber nicht so gut für`s Geschäftliche.
In diesem speziellen Fall ist wahrscheinlich auch der Wunsch nach einem anderen Ergebnis verstärkt Vater des Gedanken gewesen, nein Stopp, nicht in diesem speziellen Fall, sondern meistens spielt der Wunsch eine starke Rolle.
Leider wird es wohl in absehbarer Zeit nicht (und wahrscheinlich nie) möglich sein, dem geneigten Leser von Zeitschrift X oder Internetseite Y eine längere Erklärung der Umfragewerte mitzuliefern. Erstens, weil niemand das Kleingedruckte lesen würde und zweitens, weil sich einfache Weisheiten (Überschriften) eben besser verkaufen.
Zurück zum Thema Quick and Dirty: Markt-/Wahlforschung hat die Aufgabe aus unsicheren Situationen oder Informationen sicherere zu machen. Und da greift das Informationswert-Prinzip (in vereinfachter Form). Wer eine höhere Sicherheit haben möchte, muss in der Tendenz mehr investieren (siehe Diskussion zu ausreichend hohen Samples in den Swing-States). Ob das „mehr Geld“ in neuere Methoden oder in aufwändigere Stichprobendesigns investiert werden sollte, bleibt zu diskutieren und diese Diskussion bleibt definitiv spannend.
Das Dilemma für die Marktforschung: Der Ruf wird nicht besser. Daran müssen wir arbeiten, nicht daran im Vorfeld alles zu Versprechen, weil wir jetzt noch ausgefuchstere Methoden haben. Außerdem: Könnte unsere Zunft Wahlergebnisse exakt voraussagen, bräuchten wir auch keine Wahlen mehr ;-) … und jetzt zurück an die nächste Studie.