GOR 2019 "Es geht um nichts weniger als die Glaubwürdigkeit der Sozialforschung"

Prof. Horst Müller-Peters, Herausgeber marktforschung.de, stellt die Referenten vor

Wie hält es die Onlineforschung mit der Repräsentativität?

Prof. Horst Müller-Peters brachte es zur Begrüßung auf den Punkt: Hier werde heute ein höchstrelevantes und heißdiskutiertes Thema behandelt, bei dem es um nichts weniger gehe als die Glaubwürdigkeit der Sozialforschung. Den Beginn in der mit Spannung erwarteten Runde machte Thorsten Thierhoff, Geschäftsführer von forsa.

Thorsten Thierhoffs Vortrag "Warum gute Online-Forschung nur mit guten Stichproben möglich ist" folgte dem Spannungsfeld der Diskussion der letzten Monate, das sich, neben zahlreichen anderen Beteiligten, vornehmlich zwischen civey auf der einen Seite und forsa auf der anderen Seite entwickelte:  "Technologiesprung" versus "bewährte (veraltete?) Methoden". Bei einer 100prozentigen telefonischen Erreichbarkeit in Deutschland bei einer gleichzeitig 90prozentigen Erreichbarkeit über das Internet gab Thorsten Thierhoff der Rekrutierung per Telefon klar den Vorrang und illustrierte die schlechteren Voraussetzungen bei der Onlinerekrutierung mit dem Beispiel der schlechteren Erreichbarkeit der über 60-Jährigen, die - wie hinreichend bekannt - einen bedeutenden Anteil an der deutschen Gesamtbevölkerung haben.

Ein Plädoyer für mehr Qualitätsbewusstsein bei Online-Umfragen 

Auch den Rücklauf von 2 Prozent bei Civey-Einblendungen auf "Spiegel Online" sieht Thierhoff kritisch. Auf Nachfrage betonte Thierhoff, dass es studienabhängig sehr unterschiedliche Rückläufe bei Telefonumfragen gebe, nannte jedoch keinen Durchschnittswert. Als Beispiel erwähnte er lediglich eine GESIS-Studie, die von einem Rücklauf von 11 Prozent ausgeht.

Weiter stellte er einige, aus seiner Sicht nicht nachvollziehbare, Ergebnisse aus Civey-Umfragen vor, z.B. bei der letzten Wahl in Hessen.

"WWir müssen uns auf einen Goldstandard verständigen."

Ein Goldstandard in der Onlineforschung sollte eine Zufallsstichprobe als Grundlage für die Auswahlverfahren beinhalten sowie Rekrutierungswege, die alle Zielgruppen ausreichend erreichen, und geeignete Maßnahmen, um Mehrfachteilnahmen auszuschließen und finanzielle Anreize im Hintergrund halten. Ein Standard, der laut Thierhoff aktuell in Deutschland beispielsweise vom German Internet Panel der Universität Mannheim und dem forsa.omninet eingehalten wird. Außerdem forderte er Methoden-Transparenz und externer Validierung der civey-Methode.

Wie wird Repräsentativität in Online-Umfragen umgesetzt?

Florian Tress von der Norstat Group präsentierte einen pragmatischen und transparenten Ansatz, der den Umgang mit dem Thema Repräsentativität bei Norstat vorstellte. In seinem Vortrag "Gut gewichtet ist repräsentativ genug?" illustrierte er anhand der Ergebnisse einer Eigenstudie zur schwedischen Parlamentswahl 2018 die Maßnahmen, die Norstat ergreift, um sich dem Ideal der Repräsentativität anzunähern. Echte Zufallsstichproben sind aus seiner Sicht zumeist im Online-Panel nicht möglich, da es einerseits nur selten ein vollständiger Überblick über alle Elemente der Grundgesamtheit vorliegt und andererseits die Einschlusswahrscheinlichkeiten derselben letztlich unbekannt sind. Norstat erfüllt die üblichen Qualitätskriterien für Panelrekrutierungen bzgl. Diversifizierung, Selbstselektion und Validierung. Über die Hälfte der Panelisten wurde per Zufallsauswahl telefonisch rekrutiert. Allerdings ist die Antwortwahrscheinlichkeit auch in einem Panel nicht für alle Teilzielgruppen gleich, was zu verzerrten Nettostichproben führt. Wie also kann dieses Problem behoben werden? 

"Wir müssen in den Sozialwissenschaften nach pragmatischen Lösungen suchen!"

In einer Nachwahlstudie befragte Norstat unmittelbar nach der Parlamentswahl am 9. November in Schweden 4932 telefonisch rekrutierte und 2420 online rekrutierte Panelisten mit dem Ziel, das Wahlergebnis zu replizieren. Genutzt wurde dafür eine Best-Effort-Quotierung auf Geschlecht, Alter und Region. Trotz einer generell guten Übereinstimmung der Ergebnisse mit dem Wahlergebnis waren Parteien, die eine eher bildungsferne Wählerschaft ansprechen erwartungsgemäß unterrepräsentiert (Coverage-Problem). Die Ergebnisse wurden in Hinblick auf das Wahlergebnis nochmals gewichtet. Außerdem wurden weitere Merkmale wie bspw. Mediennutzung, Onlineshopping und Migrationshintergrund einbezogen. Insbesondere bei der Mediennutzung und dem Migrationshintergrund wurden Unterschiede je nach Rekrutierungsmethode sichtbar. Die Lösung liegt demnach darin, das Panel in Bezug auf alle Merkmale repräsentativ zu halten und großen Wert auf die Panelrekrutierung als wichtigste Qualitätsstellschraube zu legen, da Rekrutierungsfehler durch Gewichtungen und Quoten nachträglich nicht ausgeglichen werden können.

Fazit von Florian Tress: "Den Goldstandard sollten wir einhalten, aber in der Praxis werden wir vor Probleme gestellt und wir sollten offen damit umgehen."

Civey legt den Fokus auf die Varianz und zeigt Transparenz

Anders als Thorsten Thierhoff von forsa und Florian Tress von Norstat setzen Janina Mütze und Tobias Wolfram weiterhin auf eine technologische Lösung für die Repräsentativitätsproblematik und stellten eine neue Berechnungsmethode vor: Multi-level regression and post-stratification, kurz MRP. Civey betreibt ein Open Access Panel und steht damit mehr noch als herkömmliche Online-Panels vor dem Problem des Umgangs mit dem Thema Repräsentativität und Qualität bei Non-Probability-Stichproben. Darüber hinaus muss durch die Echtzeitberechnungen bei Umfragen eine große Menge an Rechenoperationen gleichzeitig bewältigt werden. Laut Janina Mütze erfolgen in Spitzenzeiten bis zu 10.000 Zugriffe parallel. Abstimmen darf bei zwar jeder, aber nur ein Teil der Befragten gelangt - nach entsprechender Verifizierung - in die endgültige Stichprobe.

Von ihrem speziellen MRP-Ansatz verspricht sich Civey zum einen die Bewältigung von schiefen Stichproben, denn dadurch kann ohne Quoten agiert werden - ebenso wie eine Lösung der zunehmenden Varianzen in kleinen Teilzielgruppen. 

Janina Mütze illustrierte die Vorteile des Ansatzes mit einer Evaluation der Methode von Wang et al. (International Journal of Forecasting 31 von 2015). In der Studie wurden ausschließlich Xbox-Spieler bei einem Turnier befragt. Hierbei trifft ein MRP basiertes Modell bessere Voraussagen als der Durchschnittswert. Außerdem ist eine schnelle Berechnung wünschenswert, da die Echtzeitberechnung bei Civey schnell erfolgen muss.

Civey ging auf Thorsten Thierhoffs Forderung nach Transparenz ein. Als Spezialist und Entwickler der Civey-Methoden lieferte Tobias Wolfram einen Leckerbissen für Methodiker, indem er dem Auditorium die zugrundeliegenden Formeln für das spezielle, von Civey entwickelte MRP-Modell zeigte. 

Er präsentierte Lösungen für die kombinatorische Explosion der Poststratifikationszellen (Variablenselektion), die hohe Rechenintensität der Methode (Mixed-Logit_Approximation) und die gemeinsamen Verteilungen (Synthetische Poststratifizierung). Kurz gesagt: Es ist nicht das Lehrbuchmodell und bedarf hinsichtlich der Komplexität der einzelnen Lösungen einer genaueren Betrachtung als dies im Rahmen eines 15-Minuten-Vortrags möglich ist. 

Die gezeigten Ergebnisse auf Basis der Civey-MRP-Methode im Vergleich zu Ergebnissen auf Basis der bisherigen Civey-Methode mit Quota Sampling und Raking zeigen auf der Gesamtebene keine signifikanten Unterschiede. Im Small-Area-Bereich sinkt jedoch die Varianz. 

Intensive Diskussion mit versöhnlichem Abschluss 

In der abschließenden Diskussion der Beiträge bezogen sich viele Diskussionspunkte auf die Themen Repräsentativität und Validierung, darunter:

Bernard Batinic wies noch einmal auf die abweichende Herangehensweise von Civey hinsichtlich der Einschlusskriterien und der Selbstselektion hin. Janina Mütze bestätigte die andere Herangehensweise und erklärte, dass kein Civey-Panelist entscheidet ob er in die Ergebnisse kommt, sondern dass das mit geeigneten Algorithmen auf Basis einer Vielzahl von Variablen entschieden wird. Online/offline sei daher nicht immer relevant. 

Thorsten Thierhoff wiederholte seine Frage nach einer externen Validierungsstudie, die über eine reine Ergebnisbetrachtung wie bspw. die Qualität von civeys Wahlprognosen hinausgeht.  Otto Hellwig schloss sich dem Wunsch nach einer Validierung an und stellte diese in einen marktforschungshistorischen Zusammenhang, indem er auf den enormen Informationszugewinn der letzten 20 Jahre verwies. Mit welcher Methode können wir uns einem wahren Wert nähern? Um weiterzukommen muss die Forschungsfreiheit erhalten werden. "Wir können an den Standards rütteln, aber wir müssen validieren.", so seine Aussage.

Janina Mütze versprach eine externe Validierung noch in diesem Jahr. Darüber hinaus freue sie sich über jeden Kontakt, der interessiert sei mit den civey-Daten zu arbeiten. 

Bettina Klumpe, ADM, fand einen für alle versöhnlichen Abschluss: "Wir müssen aufhören uns Dinge gegenseitig vorzuwerfen. Wir alle müssen dafür kämpfen, das Thema Repräsentativität gemeinsam wieder hinzukriegen."