Neue Entwicklungen in der Onlineforschung - Veranstaltung von GESIS, ADM und DGOF

Bericht

von: Holger Geißler

Ein Hoffnungsschimmer für die Branche der Markt- und Meinungsforscher war die Veranstaltung, die GESIS, ADM und DGOF am 6. Februar 2020 in Mannheim veranstalteten. Ausgehend von der Frage nach den "Möglichkeiten und Grenzen von River-Sampling" wurde intensiv über die Zukunft der Branche diskutiert und wie man Menschen zukünftig für Befragungen erreichen kann.

Bild: v.l.n.r. Bernd Wachter (ADM-Vorstand), Alexandra Wachenfeld-Schnell (DGOF-Vorständin) und Prof. Christof Wolf(Gesis-Chef)
Bild: v.l.n.r. Bernd Wachter (ADM-Vorstand), Alexandra Wachenfeld-Schnell (DGOF-Vorständin) und Prof. Christof Wolf(Gesis-Chef)

Ehre und Tribunal zugleich

Es war eine Ehre und ein Tribunal zugleich, was Civey am vergangenen Donnerstag, 6.2.2020, in Mannheim zuteilwurde. Stand das Berliner Unternehmen doch im Mittelpunkt einer Veranstaltung zum Thema "Neue Entwicklungen in der Onlineforschung: Möglichkeiten und Grenzen von River-Sampling", zu der GESIS, ADM und DGOF an die Universität Mannheim eingeladen hatten.

Aber vor allem war die Veranstaltung ein Hoffnungsschimmer für die Branche der Markt- und Meinungsforscher, da es eigentlich um die Frage ging, wie man zukünftig Menschen repräsentativ befragen kann. Dazu gab es verschiedene Beiträge aus Forschung und Praxis. Und darüber wurde eifrig und intensiv diskutiert.

Den Anfang machten Janina Mütze, Geschäftsführerin und Gründerin, und Tobias Wolfram, Chef-Statistiker von Civey. Sie stellten ausführlich ihre Methode und das Unternehmen vor. So zeigten die beiden in ihrem Vortrag z.B., wie groß die soziodemographische Verzerrung in der Civey-Auswahlgrundlage ist, aus der dann mittels Quote und Gewichtung "repräsentative" Stichproben extrahiert werden können, auf welchen Newsseiten Umfrageteilnehmer rekrutiert werden und erklärten, dass es bei den direkt auf Nachrichtenseiten eingebundenen Umfragen um den Erstkontakt mit künftigen Panelisten sowie die Unterhaltung der Leser geht. Die Stimmen, die zu den "hochrechenbaren" Ergebnissen führen kämen ausschließlich von Teilnehmern von deren demographische Daten bereits bei Civey vorliegen und deren Identität, soweit möglich, verifiziert wurde.

Sie gaben außerdem recht detaillierte Einblicke in ihre Gewichtungsansätze, die weitestgehend dem Schema des in der Branche häufig eingesetzten "Ranking" folgt. Das Unternehmen beteilige sich außerdem an verschiedenen Forschungsprojekten mit dem DIW, dem SOEP und der FU Berlin, bei denen die Validierung des Verfahrens im Vordergrund stehe. Ein Vorhaben, das vor der gerade wieder aufflammenden Diskussion um die Civey-Methodik dringend geboten erscheint und hoffentlich helfen kann, die derzeitig sehr emotional geführte Debatte auf einer empirischen Basis zu versachlichen.

Wie könnte eine Lösung aussehen?

Ein sehr beachtlicher Beitrag kam anschließend von Menno Smid, dem Geschäftsführer des Infas Institut für angewandte Sozialwissenschaft, der stellvertretend für eine Arbeitsgruppe des ADM sprach. Er stellte ein Konzept vor, mit dem sich der ADM auf die Suche nach idealen Methoden-Kombinationen (Mixed-Mode) machen möchte, um neue Wege zu finden, wie zukünftig repräsentativ befragt werden kann. Bei dem Ansatz geht es darum, die Erhebungsverfahren F2F (Paper Pencil vs. CAPI), CATI und Online mit verschiedenen Stichprobenverfahren (Quote vs. Random) und Auswahlgrundlagen (Einwohnermeldeamtsstichproben, Random-Route, Dual-Frame, Offline rekrutiertes Online-Panel vs. selbst-rekrutiertes Online-Panel) zu kombinieren, um zu einer tieferen Erkenntnis darüber zu gelangen, welche Unterschiede in den resultierenden Stichproben zu finden sind. Dadurch, dass bei jedem Mode unterschiedliche Institute zum Einsatz kämen, könnte außerdem ein Institutseffekt analysiert werden, der neben den verschiedenen Mode-Effekten ebenfalls zu beobachten sei – so Smid.

Die Notwendigkeit für ein solches Projekt wird von Smid darin gesehen, da die Kooperationsbereitschaft an Umfragen teilzunehmen stetig sinkt, die Erreichbarkeit von Befragten immer schwieriger wird und ein massiver Rückgang von "echten" Zufallsstichproben zu beobachten sei. Insgesamt sollen, so sich das Projekt realisieren ließe, 20.000 Fälle zum Selbstkostenpreis durch die beteiligten Institute erhoben werden.

Die Gefahr falscher Entscheidungen aufgrund schlechter Stichproben

Im darauffolgenden Vortrag von Prof. Jon Krosnick von der Stanford University ging es um die Frage nach der Genauigkeit von River Sample Surveys. Er verglich systematisch zufällige und nicht-zufällige Umfragen, die im Vorfeld von US-Wahlen publiziert wurden. In seiner Definition schien "River Sampling" allerdings lediglich ein Überbegriff für alle Formen selbstrekrutierter Online-Stichproben zu sein. Seine Analyse kam zu dem Schluss, dass der Fehler bei den Zufallsstichproben im Durchschnitt deutlich geringer sei als bei den nicht-zufälligen Stichproben. Das liegt nach seiner Analyse u.a. daran, dass die Varianz bei den nicht-zufälligen Stichproben deutlich größer ist, d.h. einige sehr schlechte Vorhersagen den Durchschnitt beeinflussen.

Problematisch, so Krosnick, sei vor allem, dass gerade in den "Swing states", also in denjenigen Staaten, in denen ein knapper Wahlausgang zu erwarten war, fast ausschließlich nicht-zufällige Stichproben veröffentlicht wurden. Sein Fazit war deshalb eine klare Empfehlung für den Einsatz von Zufallsstichproben bei politischen Erhebungen, da ansonsten die Gefahr falscher politischer Entscheidungen aufgrund von Umfragen zu hoch wäre. Er selbst "outete" sich als Fan repräsentiv-rekrutierter Online-Panels wie dem Ipsos Knowledge Panel oder dem LISS-Panel, bei dem zunächst eine Zufallsstichprobe als Grundlage für die Rekrutierung gezogen wird und Personen, die keinen Online-Zugang haben, ein entsprechender technischer Zugang zur Verfügung gestellt wird.

Der Ruf nach einem Repräsentativitätssiegel

In der abschließenden Podiumsdiskussion, an der Civey-Geschäftsführer Gerrit Richter, Prof. Dr. Hans Kiesl (OTH Regensburg), Prof. Dr. Ulrich Kohler (Uni Potsdam), ADM-Vorstand Bernd Wachter (psyma) und DGOF-Vorständin Alexandra Wachenfeld-Schnell (GIM) unter der Moderation von Gesis-Präsident Prof. Christof Wolf teilnahmen, ging es nochmal um offene Fragen, die bzgl. des Civey-Ansatzes bestehen. Hier wurde der Ruf nach einem allgemeinen "Repräsentativitätssiegel" laut, da weder die Öffentlichkeit noch Politiker in der Regel einschätzen könnten, ob ein Ergebnis repräsentativ sei oder nicht. Gerade die Politik und die Medien hätten, so Professor Kohler, "unterirdische Qualitätsanforderungen". Deshalb wäre die Verantwortung der Forscher besonders wichtig, um zu verhindern, dass politische Entscheidungen aufgrund von schlechter Forschung getroffen werden.

Wie genau Repräsentativität zukünftig in Stichproben gewährleistet werden kann, ob durch Mixed-Mode-Ansätze, durch probabilistische Online-Panels oder andere Verfahren, blieb auch nach der Diskussion erwartungsgemäß offen. Die Validierungsbemühungen der Verbände, der Gesis und einzelner Institute sind – soweit hinreichend wissenschaftlich und unabhängig durchgeführt – mehr als zu begrüßen. marktforschung.de wird weiter davon berichten!

hg

Zum Interview mit Menno Smid.

Veröffentlicht am: 13.02.2020

 

Kommentare (0)

Keine Kommentare gefunden!

Neuen Kommentar schreiben

Kommentare geben ausschließlich die Meinung ihrer Verfasser wieder. Die Redaktion behält sich vor, Kommentare nicht oder gekürzt zu veröffentlichen. Das gilt besonders für themenfremde, unsachliche oder herabwürdigende Kommentare sowie für versteckte Eigenwerbung.

Weitere Meldungen

Qual360 2020

"Wie war denn die Qual360?"

21.02.2020 - Das war die Frage, die Edward Appleton gestellt wurde als er nach der Konferenz zurück ins Büro kam. Wie immer, gab es Höhen und Tiefen. Aber, lesen Sie mehr: weiterlesen

 
Studie von Kantar

Gebildete Menschen zahlen öfter digital

Brieftasche (Bild: stevepb-pixabay)

21.02.2020 - Im Auftrag des Bundesverbands deutscher Banken hat Kantar eine Studie zum Thema "Bargeld, Karte oder kontaktlos" durchgeführt. Beim kontaktlosen Zahlen mit der Karte gibt es demnach je nach Alter der Befragten deutliche Unterschiede. weiterlesen

 
Übernahme

Verdane führt Dapresy und Confirmit zusammen

Ken Østreng, Pål Malmros und Tobi Andersson

21.02.2020 - Verdane, ein auf Wachstumskapital spezialisierter nordeuropäischer Investor, hat Confirmit, einen Lösungsanbieter für Customer Experience (CX), Employee Experience und Marktforschung, übernommen. Verdane ist auch Hauptinvestor des Datenvisualisierungs- und... weiterlesen

 
Personalie

Kantar: Hartmut Scheffler tritt aus Geschäftsführung aus

Hartmut Scheffler, Kantar

20.02.2020 - Nach 40 Berufsjahren und 30 Jahren als Geschäftsführer in unterschiedlichen Unternehmensmarken, ist Hartmut Scheffler zum 31.12.2019 aus Altersgründen bei Kantar als Geschäftsführer ausgeschieden. weiterlesen

 
Deloitte Global Powers of Retailing Report

Stabiles Wachstum im internationalen Einzelhandel

Stabiler Einzelhandel (Bild: Stevepb - Pixabay)

20.02.2020 - Zoll- und Handelskonflikte, Brexit und fragile Weltkonjunktur - der Einzelhandel ist inzwischen zahlreichen Herausforderungen ausgesetzt. Und dennoch: Die Ergebnisse des Deloitte Global Powers of Retailing Report 2020 zeigen ein stabiles Wachstum. weiterlesen

 
Über marktforschung.de

Branchenwissen an zentraler Stelle bündeln und abrufbar machen – das ist das Hauptanliegen von marktforschung.de. Unser breites Informationsangebot rund um die Marktforschung richtet sich sowohl an Marktforschungsinstitute, Felddienstleister, Panelbetreiber und Herausgeber von Studien, Marktdaten sowie Marktanalysen als auch an deren Kunden aus Industrie, Handel und Dienstleistungsgewerbe.

facebook twitter google plus