Interview mit forsa-Chef Prof. Manfred Güllner Präzise Prognosen, Defizite der Online-Forschung und die Frage nach dem "Warum"

forsa-Gründer und Geschäftsführer Prof. Manfred Güllner (Foto: forsa)

Prof. Manfred Güllner: Der Hinweis auf die "präzisesten Prognosen" bezieht sich auf die um 18.00 Uhr am Wahlabend von RTL, ARD und ZDF ausgestrahlten Ergebnisse der Wahltagsbefragungen bei den letzten vier Bundestagswahlen 2002, 2005, 2008 und 2013. Bei allen vier Wahlen waren die forsa-Prognosen für RTL präziser als die Prognosen der öffentlich-rechtlichen TV-Anbieter - nur 2005 war die ARD ähnlich präzise – und das, obwohl das ARD- und ZDF-Budget deutlich größer ist als das forsa zur Verfügung stehende.

Nur die Ergebnisse der Wählerbefragungen am Wahltag können als "Prognose" bezeichnet werden. Alle anderen vor einer Wahl durchgeführten Umfragen können immer nur die jeweilige aktuelle politische Stimmung abbilden, ermöglichen aber keine exakten Aussagen über die Verteilung der Stimmen am Wahltag. Unabhängig davon kamen aber die jeweils letzten Umfragen von forsa vor den Bundestagswahlen 2009 und 2013 ebenfalls dem tatsächlichen Wahlergebnis näher als die Umfragen aller anderen Institute. Die größten Abweichungen hatten die von der ARD und von BILD in Auftrag gegebenen Umfragen.

Generell kann Meinungsforschung heute noch genauso präzise und repräsentativ sein wie seit jeher – wenn sie denn sorgfältig und seriös betrieben wird.

marktforschung.de: Sind hohe Ausschöpfungsquoten – in der Mediaforschung beispielsweise ist oft die Rede von 70% - überhaupt noch realistisch?

Manfred Güllner: In vielen Unternehmen und auch Verlagshäusern sind heute Mitarbeiter für die Markt- oder Medienforschung verantwortlich, die zu wenig Erfahrung mit der Praxis der empirischen Sozialforschung haben und daher oft unrealistische Anforderungen und Erwartungen mit Forschungsprojekten verknüpfen. Schon vor Jahren wunderten sich z.B. Mitarbeiter von ZUMA, dem ehemaligen, heute im Gesis-Verbund integrierten Zentrum für Umfragen, Methoden und Analysen, darüber, dass es bei den berichteten Ausschöpfungsquoten eines einzigen Instituts – infratest – so krasse Abweichungen je nach Auftraggeber gab. Der geplante Bericht zu diesem Thema kam aber nicht über das Entwurfsstadium hinaus. Zu hoffen wäre, dass auf Auftraggeberseite – insbesondere in den Verlagen – in Zukunft mehr Sachkenntnis und Realismus und weniger Unbedarftheit und Wunschdenken anzutreffen wäre.

Merkwürdig mutet es ja auch an, wenn in der Medienforschung einerseits extrem hohe Ausschöpfungsraten gefordert werden, andererseits ohne Skrupel Datenfusionen, -imputationen oder ähnliche Manipulationen vorgenommen werden, die mit Empirie wenig zu tun haben.

marktforschung.de: Lassen sich die Ausfälle sinnvoll kompensieren, oder welche Verzerrungen muss der Forscher heute in Kauf nehmen?

Manfred Güllner: Bei Stichprobenerhebungen gab und gibt es immer Ausfälle, die aber durch entsprechende Verfahren weitgehend ausgeglichen werden können. Kritisch wird es erst dann, wenn durch fehlerhafte Arbeit oder methodische Ignoranz systematische Ausfälle vorprogrammiert sind, die nicht kompensiert werden können und deshalb zu verfälschenden Verzerrungen führen.

marktforschung.de: Welche Rolle spielt Repräsentativität aus Ihrer Wahrnehmung überhaupt auf Auftraggeberseite? Und hat sich dies in den letzten 30 Jahren geändert?

Manfred Güllner: Sofern valide Aussagen über Verteilungen in einer Grundgesamtheit getroffen werden sollen, ist Repräsentativität unverändert unerlässlich. Es ist deshalb Aufgabe seriöser Institute, diese Repräsentativität immer da sicherzustellen, wo sie erforderlich ist. Der Forscher darf auch nicht Wünschen von Auftraggebern nachgeben, denen Repräsentativität egal ist, weil sie Ergebnisse nur benötigen, um bestimmte Annahmen bestätigt zu erhalten oder im psychologischen Kampf um Mehrheiten oder Marktanteile zu nutzen. So ist unverantwortlich, wenn z.B. die CDU/CSU-Fraktionsvorsitzendenkonferenz eine so genannte "Schul-Studie" als "repräsentativ" ausgibt und als Beleg für die Richtigkeit ihrer bildungspolitischen Vorstellungen und Ziele nutzt, die in Wirklichkeit überwiegend in kleinen bayerischen Gemeinden und nicht in allen Regionen der Republik durchgeführt wurde.

marktforschung.de: Was macht forsa beim Thema "Qualität" anders als andere Forscher?

Manfred Güllner: forsa macht beim Thema "Qualität" nichts anders als andere Forscher, die sich ihrer Verantwortung noch bewusst sind.

marktforschung.de: Zum speziellen Thema "Wahlforschung": Wie direkt lassen sich Wahlbefragungen denn tatsächlich in Prognosen übersetzen? Werden die Prognosen durch statistische Korrekturen angepasst oder steht zwischen dem mathematischen Ergebnis und der veröffentlichten Prognose noch eine Anpassung durch den Experten?

Manfred Güllner: Bei den schon erwähnten Prognosen um 18.00 Uhr am Wahltag bedarf es keinerlei statistischer Korrekturen, weil ja nur Wähler befragt werden. Dadurch gibt es keine Unsicherheiten durch sich nicht zu ihrer Wahlenthaltung bekennende Nichtwähler wie bei Umfragen vor einer Wahl. Bei Umfragen vor einer Wahl muss immer berücksichtigt werden, dass ein Teil der Befragten, die Präferenzen für Partei A, B, C, D oder E haben, nicht zur Wahl gehen, obwohl angegeben wird, sich an der Wahl beteiligen zu wollen. Dies muss bei der Interpretation von Ergebnissen von Vorwahlumfragen bedacht werden.

marktforschung.de: forsa arbeitet ja mit unterschiedlichsten Erhebungsformen, vor allem aber mit Telefonbefragungen. Was spricht dafür – und wo stößt heute auch die telefonische Befragung an ihre Grenzen?

Manfred Güllner: forsa bietet alle Erhebungsverfahren an: Face-to-Face, online, CATI-Erhebungen, Beobachtungen, qualitative Formen der Datengewinnung etc. Dabei hat die telefonische Befragung nach wie vor einige Vorteile im Hinblick auf die Schnelligkeit und die Kontrolle und Überwachung des Erhebungsvorgangs. Allerdings muss bei Befragungen per Telefon berücksichtigt werden, dass immer mehr – vor allem jüngere Bürger – nur noch mobil telefonieren.

Gefährdet werden telefonische Umfragen allerdings nicht durch methodische Probleme – die sind wie meistens lösbar –, sondern durch vielfältige Restriktionen: Etwa rigide arbeitsrechtliche Vorschriften, Begehrlichkeiten der Rentenversicherung, eher abwegigen Einschätzungen deutscher Richter, Anmaßungen von Datenschutzbehörden oder Eingriffe der Bundesnetzagentur. Ähnlich schwierige und schwieriger werdende Rahmenbedingungen finden sich in keinem anderen Land. Und Standesorganisationen, die so wenig gegen die Gefährdungen tun wie die deutschen Verbände, finden sich in anderen Ländern auch selten.

marktforschung.de: Und was kann aus Ihrer Sicht die Online-Forschung, was kann diese nicht? Lassen sich Defizite beispielsweise mit Ansätzen wie forsa.omninet heilen?

Manfred Güllner: Online-Forschung ist immer dann sinnvoll, wenn nur spezielle und kleinere Zielgruppen – etwa Nutzer eines bestimmten Produkts – befragt werden sollen und Bilder oder Videosequenzen zur Unterstützung der Befragung angebracht sind. Repräsentative Untersuchungen lassen sich Online – auch wenn manche dies glauben machen wollen – nicht durchführen. So wiesen die Online durchgeführten Wahlumfragen vor der letzten Bundestags- bzw. Europawahl die größten Abweichungen auf. Die bei Online-Befragungen auftretenden Verzerrungen lassen sich auch nicht kompensieren. Wer anderes behauptet, täuscht die Öffentlichkeit und potentielle Auftraggeber. forsa.Omninet und andere offline- und nicht online- oder selbstrekrutierte Online-Panel erhöhen die Qualität der online-Forschung deutlich, können aber die Defizite hinsichtlich der Repräsentativität nur bedingt beseitigen.

marktforschung.de: Lassen sich aus Ihrer Sicht auch aus den anfallenden Daten des Internet – Stichwort "Social Media" und "Big Data" – valide Erkenntnisse für Markt- und Sozialforschungszwecke gewinnen?

Manfred Güllner: Im Internet anfallende Daten können sicherlich bei intelligenter Vorgehensweise wie auch andere Verfahren der Datengewinnung gewisse Erkenntnisse liefern. Doch aus der Häufigkeit, mit der einzelne Begriffe gesucht werden, oder aus Bewegungsprofilen etwas über die Motive der Entscheidungen von Menschen zu erfahren, ist schlicht nicht möglich. Zählen alleine genügt auch hier nicht – es muss nach dem "Warum" gefragt werden. Und das geht nur, wenn man Menschen direkt fragt – eine Erkenntnis, die im Übrigen schon der alte Marx hatte.

Lesen Sie hier den zweiten Teil "Notwendigkeit der Anonymitätszusage, unreflektierte Nutzung von Ergebnissen und Manipulationen beim ZDF".