Neue Entwicklungen in der Onlineforschung - Veranstaltung von GESIS, ADM und DGOF

Bericht

von: Holger Geißler

Ein Hoffnungsschimmer für die Branche der Markt- und Meinungsforscher war die Veranstaltung, die GESIS, ADM und DGOF am 6. Februar 2020 in Mannheim veranstalteten. Ausgehend von der Frage nach den "Möglichkeiten und Grenzen von River-Sampling" wurde intensiv über die Zukunft der Branche diskutiert und wie man Menschen zukünftig für Befragungen erreichen kann.

Bild: v.l.n.r. Bernd Wachter (ADM-Vorstand), Alexandra Wachenfeld-Schnell (DGOF-Vorständin) und Prof. Christof Wolf(Gesis-Chef)
Bild: v.l.n.r. Bernd Wachter (ADM-Vorstand), Alexandra Wachenfeld-Schnell (DGOF-Vorständin) und Prof. Christof Wolf(Gesis-Chef)

Ehre und Tribunal zugleich

Es war eine Ehre und ein Tribunal zugleich, was Civey am vergangenen Donnerstag, 6.2.2020, in Mannheim zuteilwurde. Stand das Berliner Unternehmen doch im Mittelpunkt einer Veranstaltung zum Thema "Neue Entwicklungen in der Onlineforschung: Möglichkeiten und Grenzen von River-Sampling", zu der GESIS, ADM und DGOF an die Universität Mannheim eingeladen hatten.

Aber vor allem war die Veranstaltung ein Hoffnungsschimmer für die Branche der Markt- und Meinungsforscher, da es eigentlich um die Frage ging, wie man zukünftig Menschen repräsentativ befragen kann. Dazu gab es verschiedene Beiträge aus Forschung und Praxis. Und darüber wurde eifrig und intensiv diskutiert.

Den Anfang machten Janina Mütze, Geschäftsführerin und Gründerin, und Tobias Wolfram, Chef-Statistiker von Civey. Sie stellten ausführlich ihre Methode und das Unternehmen vor. So zeigten die beiden in ihrem Vortrag z.B., wie groß die soziodemographische Verzerrung in der Civey-Auswahlgrundlage ist, aus der dann mittels Quote und Gewichtung "repräsentative" Stichproben extrahiert werden können, auf welchen Newsseiten Umfrageteilnehmer rekrutiert werden und erklärten, dass es bei den direkt auf Nachrichtenseiten eingebundenen Umfragen um den Erstkontakt mit künftigen Panelisten sowie die Unterhaltung der Leser geht. Die Stimmen, die zu den "hochrechenbaren" Ergebnissen führen kämen ausschließlich von Teilnehmern von deren demographische Daten bereits bei Civey vorliegen und deren Identität, soweit möglich, verifiziert wurde.

Sie gaben außerdem recht detaillierte Einblicke in ihre Gewichtungsansätze, die weitestgehend dem Schema des in der Branche häufig eingesetzten "Ranking" folgt. Das Unternehmen beteilige sich außerdem an verschiedenen Forschungsprojekten mit dem DIW, dem SOEP und der FU Berlin, bei denen die Validierung des Verfahrens im Vordergrund stehe. Ein Vorhaben, das vor der gerade wieder aufflammenden Diskussion um die Civey-Methodik dringend geboten erscheint und hoffentlich helfen kann, die derzeitig sehr emotional geführte Debatte auf einer empirischen Basis zu versachlichen.

Wie könnte eine Lösung aussehen?

Ein sehr beachtlicher Beitrag kam anschließend von Menno Smid, dem Geschäftsführer des Infas Institut für angewandte Sozialwissenschaft, der stellvertretend für eine Arbeitsgruppe des ADM sprach. Er stellte ein Konzept vor, mit dem sich der ADM auf die Suche nach idealen Methoden-Kombinationen (Mixed-Mode) machen möchte, um neue Wege zu finden, wie zukünftig repräsentativ befragt werden kann. Bei dem Ansatz geht es darum, die Erhebungsverfahren F2F (Paper Pencil vs. CAPI), CATI und Online mit verschiedenen Stichprobenverfahren (Quote vs. Random) und Auswahlgrundlagen (Einwohnermeldeamtsstichproben, Random-Route, Dual-Frame, Offline rekrutiertes Online-Panel vs. selbst-rekrutiertes Online-Panel) zu kombinieren, um zu einer tieferen Erkenntnis darüber zu gelangen, welche Unterschiede in den resultierenden Stichproben zu finden sind. Dadurch, dass bei jedem Mode unterschiedliche Institute zum Einsatz kämen, könnte außerdem ein Institutseffekt analysiert werden, der neben den verschiedenen Mode-Effekten ebenfalls zu beobachten sei – so Smid.

Die Notwendigkeit für ein solches Projekt wird von Smid darin gesehen, da die Kooperationsbereitschaft an Umfragen teilzunehmen stetig sinkt, die Erreichbarkeit von Befragten immer schwieriger wird und ein massiver Rückgang von "echten" Zufallsstichproben zu beobachten sei. Insgesamt sollen, so sich das Projekt realisieren ließe, 20.000 Fälle zum Selbstkostenpreis durch die beteiligten Institute erhoben werden.

Die Gefahr falscher Entscheidungen aufgrund schlechter Stichproben

Im darauffolgenden Vortrag von Prof. Jon Krosnick von der Stanford University ging es um die Frage nach der Genauigkeit von River Sample Surveys. Er verglich systematisch zufällige und nicht-zufällige Umfragen, die im Vorfeld von US-Wahlen publiziert wurden. In seiner Definition schien "River Sampling" allerdings lediglich ein Überbegriff für alle Formen selbstrekrutierter Online-Stichproben zu sein. Seine Analyse kam zu dem Schluss, dass der Fehler bei den Zufallsstichproben im Durchschnitt deutlich geringer sei als bei den nicht-zufälligen Stichproben. Das liegt nach seiner Analyse u.a. daran, dass die Varianz bei den nicht-zufälligen Stichproben deutlich größer ist, d.h. einige sehr schlechte Vorhersagen den Durchschnitt beeinflussen.

Problematisch, so Krosnick, sei vor allem, dass gerade in den "Swing states", also in denjenigen Staaten, in denen ein knapper Wahlausgang zu erwarten war, fast ausschließlich nicht-zufällige Stichproben veröffentlicht wurden. Sein Fazit war deshalb eine klare Empfehlung für den Einsatz von Zufallsstichproben bei politischen Erhebungen, da ansonsten die Gefahr falscher politischer Entscheidungen aufgrund von Umfragen zu hoch wäre. Er selbst "outete" sich als Fan repräsentiv-rekrutierter Online-Panels wie dem Ipsos Knowledge Panel oder dem LISS-Panel, bei dem zunächst eine Zufallsstichprobe als Grundlage für die Rekrutierung gezogen wird und Personen, die keinen Online-Zugang haben, ein entsprechender technischer Zugang zur Verfügung gestellt wird.

Der Ruf nach einem Repräsentativitätssiegel

In der abschließenden Podiumsdiskussion, an der Civey-Geschäftsführer Gerrit Richter, Prof. Dr. Hans Kiesl (OTH Regensburg), Prof. Dr. Ulrich Kohler (Uni Potsdam), ADM-Vorstand Bernd Wachter (psyma) und DGOF-Vorständin Alexandra Wachenfeld-Schnell (GIM) unter der Moderation von Gesis-Präsident Prof. Christof Wolf teilnahmen, ging es nochmal um offene Fragen, die bzgl. des Civey-Ansatzes bestehen. Hier wurde der Ruf nach einem allgemeinen "Repräsentativitätssiegel" laut, da weder die Öffentlichkeit noch Politiker in der Regel einschätzen könnten, ob ein Ergebnis repräsentativ sei oder nicht. Gerade die Politik und die Medien hätten, so Professor Kohler, "unterirdische Qualitätsanforderungen". Deshalb wäre die Verantwortung der Forscher besonders wichtig, um zu verhindern, dass politische Entscheidungen aufgrund von schlechter Forschung getroffen werden.

Wie genau Repräsentativität zukünftig in Stichproben gewährleistet werden kann, ob durch Mixed-Mode-Ansätze, durch probabilistische Online-Panels oder andere Verfahren, blieb auch nach der Diskussion erwartungsgemäß offen. Die Validierungsbemühungen der Verbände, der Gesis und einzelner Institute sind – soweit hinreichend wissenschaftlich und unabhängig durchgeführt – mehr als zu begrüßen. marktforschung.de wird weiter davon berichten!

hg

Zum Interview mit Menno Smid.

Veröffentlicht am: 13.02.2020

 

Kommentare (0)

Keine Kommentare gefunden!

Neuen Kommentar schreiben

Kommentare geben ausschließlich die Meinung ihrer Verfasser wieder. Die Redaktion behält sich vor, Kommentare nicht oder gekürzt zu veröffentlichen. Das gilt besonders für themenfremde, unsachliche oder herabwürdigende Kommentare sowie für versteckte Eigenwerbung.

Weitere Meldungen

Rückblick auf den Freitag der WdM

Diskussion zur Qualität in der Marktforschung

Daily Keynote Freitag WdM 2020

27.11.2020 - Äußerst hitzig ging es in der Daily Keynote am Freitag der WdM 2020 her. Unter dem Veranstaltungstitel "Qualität in der Marktforschung – Ist jetzt alles wieder gut?" diskutierten Martin Thöring, der "Kronzeuge" des Spiegels in der „Akte Marktforschung", Hartmut... weiterlesen

 
GfK-Studie

Deutsches Konsumklima - Hart getroffen von der zweiten Welle

Landendes Flugzeug

26.11.2020 - Es ist beschlossen: Der Lockdown light vom November wird teilweise sogar noch in verschärfter Form auf den Dezember ausgeweitet. Doch wie wirken sich die ganzen Maßnahmen auf die Konjunktur, die Einkommenserwartungen und die Anschaffungsneigung der Deutschen aus? Die... weiterlesen

 
Kantar-Studie zur Medienentwicklung

Die Medienlandschaft am Wendepunkt - 10 Trends für 2021

TV mit Video-on-Demand-Diensten

25.11.2020 - Die globale Studie "Media Trends and Predictions 2021" beruht auf Daten und Erkenntnissen aus allen Geschäftsfeldern von Kantar und bietet einen Überblick über zehn Trends, die im kommenden Jahr in den Bereichen Medien und Kommunikation von entscheidender Relevanz sein... weiterlesen

 
Aktuelle Zahlen

Weiter Verluste bei Kantar

Skifahrt bergab (Bild: Pixabay – pexels.com)

23.11.2020 - Die schwierige Corona-Krise wirkt sich auch weiterhin auf die Geschäftszahlen des von WPP abgespalteten Marktforschungsunternehmens Kantar aus. Auch bei den Neun-Monats-Zahlen werden deutliche Verluste ausgewiesen. weiterlesen

 
Neues Teststudio in Hamburg

Anker lichten, Segel setzen: Foerster & Thelen eröffnet Teststudio in Hamburg

Neue Räume für Foerster & Thelen in Hamburg

23.11.2020 - Foerster und Thelen erweitert seine Teststudio-Standorte: Nach Mannheim, Bochum, Düsseldorf und zwei Standorten in Hannover kommt ab Februar 2021 mit Hamburg ein sechster Standort dazu. Die Räume werden vom Hamburger Institut Markt Research GmbH übernommen. weiterlesen

 
Über marktforschung.de

Branchenwissen an zentraler Stelle bündeln und abrufbar machen – das ist das Hauptanliegen von marktforschung.de. Unser breites Informationsangebot rund um die Marktforschung richtet sich sowohl an Marktforschungsinstitute, Felddienstleister, Panelbetreiber und Herausgeber von Studien, Marktdaten sowie Marktanalysen als auch an deren Kunden aus Industrie, Handel und Dienstleistungsgewerbe.

facebook twitter xing linkedin