Neue Entwicklungen in der Onlineforschung - Veranstaltung von GESIS, ADM und DGOF

Bericht

von: Holger Geißler

Ein Hoffnungsschimmer für die Branche der Markt- und Meinungsforscher war die Veranstaltung, die GESIS, ADM und DGOF am 6. Februar 2020 in Mannheim veranstalteten. Ausgehend von der Frage nach den "Möglichkeiten und Grenzen von River-Sampling" wurde intensiv über die Zukunft der Branche diskutiert und wie man Menschen zukünftig für Befragungen erreichen kann.

Bild: v.l.n.r. Bernd Wachter (ADM-Vorstand), Alexandra Wachenfeld-Schnell (DGOF-Vorständin) und Prof. Christof Wolf(Gesis-Chef)
Bild: v.l.n.r. Bernd Wachter (ADM-Vorstand), Alexandra Wachenfeld-Schnell (DGOF-Vorständin) und Prof. Christof Wolf(Gesis-Chef)

Ehre und Tribunal zugleich

Es war eine Ehre und ein Tribunal zugleich, was Civey am vergangenen Donnerstag, 6.2.2020, in Mannheim zuteilwurde. Stand das Berliner Unternehmen doch im Mittelpunkt einer Veranstaltung zum Thema "Neue Entwicklungen in der Onlineforschung: Möglichkeiten und Grenzen von River-Sampling", zu der GESIS, ADM und DGOF an die Universität Mannheim eingeladen hatten.

Aber vor allem war die Veranstaltung ein Hoffnungsschimmer für die Branche der Markt- und Meinungsforscher, da es eigentlich um die Frage ging, wie man zukünftig Menschen repräsentativ befragen kann. Dazu gab es verschiedene Beiträge aus Forschung und Praxis. Und darüber wurde eifrig und intensiv diskutiert.

Den Anfang machten Janina Mütze, Geschäftsführerin und Gründerin, und Tobias Wolfram, Chef-Statistiker von Civey. Sie stellten ausführlich ihre Methode und das Unternehmen vor. So zeigten die beiden in ihrem Vortrag z.B., wie groß die soziodemographische Verzerrung in der Civey-Auswahlgrundlage ist, aus der dann mittels Quote und Gewichtung "repräsentative" Stichproben extrahiert werden können, auf welchen Newsseiten Umfrageteilnehmer rekrutiert werden und erklärten, dass es bei den direkt auf Nachrichtenseiten eingebundenen Umfragen um den Erstkontakt mit künftigen Panelisten sowie die Unterhaltung der Leser geht. Die Stimmen, die zu den "hochrechenbaren" Ergebnissen führen kämen ausschließlich von Teilnehmern von deren demographische Daten bereits bei Civey vorliegen und deren Identität, soweit möglich, verifiziert wurde.

Sie gaben außerdem recht detaillierte Einblicke in ihre Gewichtungsansätze, die weitestgehend dem Schema des in der Branche häufig eingesetzten "Ranking" folgt. Das Unternehmen beteilige sich außerdem an verschiedenen Forschungsprojekten mit dem DIW, dem SOEP und der FU Berlin, bei denen die Validierung des Verfahrens im Vordergrund stehe. Ein Vorhaben, das vor der gerade wieder aufflammenden Diskussion um die Civey-Methodik dringend geboten erscheint und hoffentlich helfen kann, die derzeitig sehr emotional geführte Debatte auf einer empirischen Basis zu versachlichen.

Wie könnte eine Lösung aussehen?

Ein sehr beachtlicher Beitrag kam anschließend von Menno Smid, dem Geschäftsführer des Infas Institut für angewandte Sozialwissenschaft, der stellvertretend für eine Arbeitsgruppe des ADM sprach. Er stellte ein Konzept vor, mit dem sich der ADM auf die Suche nach idealen Methoden-Kombinationen (Mixed-Mode) machen möchte, um neue Wege zu finden, wie zukünftig repräsentativ befragt werden kann. Bei dem Ansatz geht es darum, die Erhebungsverfahren F2F (Paper Pencil vs. CAPI), CATI und Online mit verschiedenen Stichprobenverfahren (Quote vs. Random) und Auswahlgrundlagen (Einwohnermeldeamtsstichproben, Random-Route, Dual-Frame, Offline rekrutiertes Online-Panel vs. selbst-rekrutiertes Online-Panel) zu kombinieren, um zu einer tieferen Erkenntnis darüber zu gelangen, welche Unterschiede in den resultierenden Stichproben zu finden sind. Dadurch, dass bei jedem Mode unterschiedliche Institute zum Einsatz kämen, könnte außerdem ein Institutseffekt analysiert werden, der neben den verschiedenen Mode-Effekten ebenfalls zu beobachten sei – so Smid.

Die Notwendigkeit für ein solches Projekt wird von Smid darin gesehen, da die Kooperationsbereitschaft an Umfragen teilzunehmen stetig sinkt, die Erreichbarkeit von Befragten immer schwieriger wird und ein massiver Rückgang von "echten" Zufallsstichproben zu beobachten sei. Insgesamt sollen, so sich das Projekt realisieren ließe, 20.000 Fälle zum Selbstkostenpreis durch die beteiligten Institute erhoben werden.

Die Gefahr falscher Entscheidungen aufgrund schlechter Stichproben

Im darauffolgenden Vortrag von Prof. Jon Krosnick von der Stanford University ging es um die Frage nach der Genauigkeit von River Sample Surveys. Er verglich systematisch zufällige und nicht-zufällige Umfragen, die im Vorfeld von US-Wahlen publiziert wurden. In seiner Definition schien "River Sampling" allerdings lediglich ein Überbegriff für alle Formen selbstrekrutierter Online-Stichproben zu sein. Seine Analyse kam zu dem Schluss, dass der Fehler bei den Zufallsstichproben im Durchschnitt deutlich geringer sei als bei den nicht-zufälligen Stichproben. Das liegt nach seiner Analyse u.a. daran, dass die Varianz bei den nicht-zufälligen Stichproben deutlich größer ist, d.h. einige sehr schlechte Vorhersagen den Durchschnitt beeinflussen.

Problematisch, so Krosnick, sei vor allem, dass gerade in den "Swing states", also in denjenigen Staaten, in denen ein knapper Wahlausgang zu erwarten war, fast ausschließlich nicht-zufällige Stichproben veröffentlicht wurden. Sein Fazit war deshalb eine klare Empfehlung für den Einsatz von Zufallsstichproben bei politischen Erhebungen, da ansonsten die Gefahr falscher politischer Entscheidungen aufgrund von Umfragen zu hoch wäre. Er selbst "outete" sich als Fan repräsentiv-rekrutierter Online-Panels wie dem Ipsos Knowledge Panel oder dem LISS-Panel, bei dem zunächst eine Zufallsstichprobe als Grundlage für die Rekrutierung gezogen wird und Personen, die keinen Online-Zugang haben, ein entsprechender technischer Zugang zur Verfügung gestellt wird.

Der Ruf nach einem Repräsentativitätssiegel

In der abschließenden Podiumsdiskussion, an der Civey-Geschäftsführer Gerrit Richter, Prof. Dr. Hans Kiesl (OTH Regensburg), Prof. Dr. Ulrich Kohler (Uni Potsdam), ADM-Vorstand Bernd Wachter (psyma) und DGOF-Vorständin Alexandra Wachenfeld-Schnell (GIM) unter der Moderation von Gesis-Präsident Prof. Christof Wolf teilnahmen, ging es nochmal um offene Fragen, die bzgl. des Civey-Ansatzes bestehen. Hier wurde der Ruf nach einem allgemeinen "Repräsentativitätssiegel" laut, da weder die Öffentlichkeit noch Politiker in der Regel einschätzen könnten, ob ein Ergebnis repräsentativ sei oder nicht. Gerade die Politik und die Medien hätten, so Professor Kohler, "unterirdische Qualitätsanforderungen". Deshalb wäre die Verantwortung der Forscher besonders wichtig, um zu verhindern, dass politische Entscheidungen aufgrund von schlechter Forschung getroffen werden.

Wie genau Repräsentativität zukünftig in Stichproben gewährleistet werden kann, ob durch Mixed-Mode-Ansätze, durch probabilistische Online-Panels oder andere Verfahren, blieb auch nach der Diskussion erwartungsgemäß offen. Die Validierungsbemühungen der Verbände, der Gesis und einzelner Institute sind – soweit hinreichend wissenschaftlich und unabhängig durchgeführt – mehr als zu begrüßen. marktforschung.de wird weiter davon berichten!

hg

Zum Interview mit Menno Smid.

Veröffentlicht am: 13.02.2020

 

Kommentare (0)

Keine Kommentare gefunden!

Neuen Kommentar schreiben

Kommentare geben ausschließlich die Meinung ihrer Verfasser wieder. Die Redaktion behält sich vor, Kommentare nicht oder gekürzt zu veröffentlichen. Das gilt besonders für themenfremde, unsachliche oder herabwürdigende Kommentare sowie für versteckte Eigenwerbung.

Weitere Meldungen

Neugründung

Vocatus gründet WorkPerfect

02.07.2020 - Vocatus hat die Workperfect GmbH gegründet, die sich mit den Bereichen Mitarbeiterbefragung, Organisations- und Führungskräfteentwicklung beschäftigt.

weiterlesen

 
Personalie

digitell.me vergrößert sein Team

02.07.2020 - Das junge Startup aus Köln ist seit Ende 2019 im Experience Management Bereich tätig. Nun gibt es Teamzuwachs und damit einen Ausbau im Marketing. Lucie Sanke ergänzt ab sofort als Marketing Koordinatorin das Unternehmen. weiterlesen

 
Studie von GfK

Mehrwertsteuersenkung: Deutsche planen größere Anschaffungen vorzuziehen

Vor allem Elektrogeräte sollen in den nächsten Monaten angeschafft werden (Symbolbild: Skitterphoto - Pixabay).

02.07.2020 - Aufgrund der Mehrwertsteuersenkung in Deutschland planen 29 Prozent der Konsumenten bestimmte Anschaffungen vorzuziehen. Vor allem jüngere Verbraucher wollen in den nächsten sechs Monaten Ausgaben tätigen. Welche das sind, hat die GfK herausgefunden. weiterlesen

 
Studie von Bitkom Research

Start-up-Gründer bereuen trotz Corona nicht das Gründen

Startups bleiben trotz Corona optimistisch

01.07.2020 - Corona hat besonders Selbstständige und Unternehmen, die noch nicht lange etabliert sind, wie zum Beispiel Start-ups, getroffen. Auch wenn bei manchen Existenzangst vorhanden ist, bleibt die Mehrheit der Start-up-Gründer optimistisch. weiterlesen

 
BVM

Data Science Cup 2020: Verlängerte Einreichungsfrist bis 30. September

01.07.2020 - Der BVM Berufsverband Deutscher Markt- und Sozialforscher e. V. schreibt zum vierten Mal den Data Science Cup aus. Aufgrund der Corona-Pandemie wird die Einreichungsfrist des diesjährigen Data Science Cups bis zum 30. September verlängert. Bis zum 15. Juli wird um eine... weiterlesen

 
Über marktforschung.de

Branchenwissen an zentraler Stelle bündeln und abrufbar machen – das ist das Hauptanliegen von marktforschung.de. Unser breites Informationsangebot rund um die Marktforschung richtet sich sowohl an Marktforschungsinstitute, Felddienstleister, Panelbetreiber und Herausgeber von Studien, Marktdaten sowie Marktanalysen als auch an deren Kunden aus Industrie, Handel und Dienstleistungsgewerbe.

facebook twitter xing linkedin