Bericht Neue Entwicklungen in der Onlineforschung - Veranstaltung von GESIS, ADM und DGOF

Bild: v.l.n.r. Bernd Wachter (ADM-Vorstand), Alexandra Wachenfeld-Schnell (DGOF-Vorständin) und Prof. Christof Wolf(Gesis-Chef)

Ehre und Tribunal zugleich

Es war eine Ehre und ein Tribunal zugleich, was Civey am vergangenen Donnerstag, 6.2.2020, in Mannheim zuteilwurde. Stand das Berliner Unternehmen doch im Mittelpunkt einer Veranstaltung zum Thema "Neue Entwicklungen in der Onlineforschung: Möglichkeiten und Grenzen von River-Sampling", zu der GESIS, ADM und DGOF an die Universität Mannheim eingeladen hatten.

Aber vor allem war die Veranstaltung ein Hoffnungsschimmer für die Branche der Markt- und Meinungsforscher, da es eigentlich um die Frage ging, wie man zukünftig Menschen repräsentativ befragen kann. Dazu gab es verschiedene Beiträge aus Forschung und Praxis. Und darüber wurde eifrig und intensiv diskutiert.

Den Anfang machten Janina Mütze, Geschäftsführerin und Gründerin, und Tobias Wolfram, Chef-Statistiker von Civey. Sie stellten ausführlich ihre Methode und das Unternehmen vor. So zeigten die beiden in ihrem Vortrag z.B., wie groß die soziodemographische Verzerrung in der Civey-Auswahlgrundlage ist, aus der dann mittels Quote und Gewichtung "repräsentative" Stichproben extrahiert werden können, auf welchen Newsseiten Umfrageteilnehmer rekrutiert werden und erklärten, dass es bei den direkt auf Nachrichtenseiten eingebundenen Umfragen um den Erstkontakt mit künftigen Panelisten sowie die Unterhaltung der Leser geht. Die Stimmen, die zu den "hochrechenbaren" Ergebnissen führen kämen ausschließlich von Teilnehmern von deren demographische Daten bereits bei Civey vorliegen und deren Identität, soweit möglich, verifiziert wurde.

Sie gaben außerdem recht detaillierte Einblicke in ihre Gewichtungsansätze, die weitestgehend dem Schema des in der Branche häufig eingesetzten "Ranking" folgt. Das Unternehmen beteilige sich außerdem an verschiedenen Forschungsprojekten mit dem DIW, dem SOEP und der FU Berlin, bei denen die Validierung des Verfahrens im Vordergrund stehe. Ein Vorhaben, das vor der gerade wieder aufflammenden Diskussion um die Civey-Methodik dringend geboten erscheint und hoffentlich helfen kann, die derzeitig sehr emotional geführte Debatte auf einer empirischen Basis zu versachlichen.

Wie könnte eine Lösung aussehen?

Ein sehr beachtlicher Beitrag kam anschließend von Menno Smid, dem Geschäftsführer des Infas Institut für angewandte Sozialwissenschaft, der stellvertretend für eine Arbeitsgruppe des ADM sprach. Er stellte ein Konzept vor, mit dem sich der ADM auf die Suche nach idealen Methoden-Kombinationen (Mixed-Mode) machen möchte, um neue Wege zu finden, wie zukünftig repräsentativ befragt werden kann. Bei dem Ansatz geht es darum, die Erhebungsverfahren F2F (Paper Pencil vs. CAPI), CATI und Online mit verschiedenen Stichprobenverfahren (Quote vs. Random) und Auswahlgrundlagen (Einwohnermeldeamtsstichproben, Random-Route, Dual-Frame, Offline rekrutiertes Online-Panel vs. selbst-rekrutiertes Online-Panel) zu kombinieren, um zu einer tieferen Erkenntnis darüber zu gelangen, welche Unterschiede in den resultierenden Stichproben zu finden sind. Dadurch, dass bei jedem Mode unterschiedliche Institute zum Einsatz kämen, könnte außerdem ein Institutseffekt analysiert werden, der neben den verschiedenen Mode-Effekten ebenfalls zu beobachten sei – so Smid.

Die Notwendigkeit für ein solches Projekt wird von Smid darin gesehen, da die Kooperationsbereitschaft an Umfragen teilzunehmen stetig sinkt, die Erreichbarkeit von Befragten immer schwieriger wird und ein massiver Rückgang von "echten" Zufallsstichproben zu beobachten sei. Insgesamt sollen, so sich das Projekt realisieren ließe, 20.000 Fälle zum Selbstkostenpreis durch die beteiligten Institute erhoben werden.

Die Gefahr falscher Entscheidungen aufgrund schlechter Stichproben

Im darauffolgenden Vortrag von Prof. Jon Krosnick von der Stanford University ging es um die Frage nach der Genauigkeit von River Sample Surveys. Er verglich systematisch zufällige und nicht-zufällige Umfragen, die im Vorfeld von US-Wahlen publiziert wurden. In seiner Definition schien "River Sampling" allerdings lediglich ein Überbegriff für alle Formen selbstrekrutierter Online-Stichproben zu sein. Seine Analyse kam zu dem Schluss, dass der Fehler bei den Zufallsstichproben im Durchschnitt deutlich geringer sei als bei den nicht-zufälligen Stichproben. Das liegt nach seiner Analyse u.a. daran, dass die Varianz bei den nicht-zufälligen Stichproben deutlich größer ist, d.h. einige sehr schlechte Vorhersagen den Durchschnitt beeinflussen.

Problematisch, so Krosnick, sei vor allem, dass gerade in den "Swing states", also in denjenigen Staaten, in denen ein knapper Wahlausgang zu erwarten war, fast ausschließlich nicht-zufällige Stichproben veröffentlicht wurden. Sein Fazit war deshalb eine klare Empfehlung für den Einsatz von Zufallsstichproben bei politischen Erhebungen, da ansonsten die Gefahr falscher politischer Entscheidungen aufgrund von Umfragen zu hoch wäre. Er selbst "outete" sich als Fan repräsentiv-rekrutierter Online-Panels wie dem Ipsos Knowledge Panel oder dem LISS-Panel, bei dem zunächst eine Zufallsstichprobe als Grundlage für die Rekrutierung gezogen wird und Personen, die keinen Online-Zugang haben, ein entsprechender technischer Zugang zur Verfügung gestellt wird.

Der Ruf nach einem Repräsentativitätssiegel

In der abschließenden Podiumsdiskussion, an der Civey-Geschäftsführer Gerrit Richter, Prof. Dr. Hans Kiesl (OTH Regensburg), Prof. Dr. Ulrich Kohler (Uni Potsdam), ADM-Vorstand Bernd Wachter (psyma) und DGOF-Vorständin Alexandra Wachenfeld-Schnell (GIM) unter der Moderation von Gesis-Präsident Prof. Christof Wolf teilnahmen, ging es nochmal um offene Fragen, die bzgl. des Civey-Ansatzes bestehen. Hier wurde der Ruf nach einem allgemeinen "Repräsentativitätssiegel" laut, da weder die Öffentlichkeit noch Politiker in der Regel einschätzen könnten, ob ein Ergebnis repräsentativ sei oder nicht. Gerade die Politik und die Medien hätten, so Professor Kohler, "unterirdische Qualitätsanforderungen". Deshalb wäre die Verantwortung der Forscher besonders wichtig, um zu verhindern, dass politische Entscheidungen aufgrund von schlechter Forschung getroffen werden.

Wie genau Repräsentativität zukünftig in Stichproben gewährleistet werden kann, ob durch Mixed-Mode-Ansätze, durch probabilistische Online-Panels oder andere Verfahren, blieb auch nach der Diskussion erwartungsgemäß offen. Die Validierungsbemühungen der Verbände, der Gesis und einzelner Institute sind – soweit hinreichend wissenschaftlich und unabhängig durchgeführt – mehr als zu begrüßen. marktforschung.de wird weiter davon berichten!

hg

Zum Interview mit Menno Smid.

 

Menno Smid (Geschäftsführer, Infas Institut)

Bild 1 von 5

Weiter