Wie kann eine Stichprobe heute noch repräsentativ sein?

Diskussion zum Thema Zufallsauswahl in der WdM

Der Mittwoch der WdM 2020 startete mit der Keynote zum Thema "Zufallsauswahl: Es geht nicht ohne – aber auch immer weniger mit". Allein der Titel des Events lässt erahnen, welchem Dilemma die Marktforschung immer häufiger ausgesetzt ist. Kann Repräsentativität in der Marktforschung überhaupt noch erreicht werden oder ist sie ein Privileg, das der Wahl- und Politikforschung vorbehalten ist?

Daily KeynoteMittwoch WdM 7.Oktober 2020

Kaum ein Thema wird so intensiv diskutiert wie die Frage nach der "Repräsentativität einer Stichprobe". Zentrale Frage hierbei ist, ob klassische Zufallsauswahlen in der heutigen Zeit überhaupt noch umsetzbar sind. Unter der Moderation von Prof. Horst Müller-Peters wurden hierzu am Mittwoch der WdM zwei ausgewiesene Experten befragt. Mit dabei: Dr. Thorsten Faas, Professor für politische Soziologie und Mitglied im Rat für Sozial- und Wirtschaftsdaten, Experte rund um das Thema Wahlforschung und Menno Smid, Geschäftsführer des infas Instituts und CEO der infas Holding, ein ausgewiesener Experte für Stichprobenziehungen.

Für diejenigen, die die Keynote verpasst haben, hier eine kurze Zusammenfassung der wichtigsten Erkenntnisse:

Wann ist ein Ergebnis wirklich repräsentativ?

Mit dieser Frage wurde die Keynote eröffnet und schon gleich war abzusehen - so einfach lässt sich diese Frage nicht beantworten. "Repräsentativität kann bedeuten, etwas sichtbar und greifbar zu machen auf was wir sonst erstmal keinen Zugriff haben", so Faas. Obwohl dieser Ansatz recht allgemein gefasst war, wurde eins deutlich: Repräsentativität ist ein vielschichtiges Konstrukt.  Faas verwies darauf, sich stets bewusst zu machen, was genau repräsentiert werden soll. Repräsentativität allein auf die Abbildung von Grundgesamtheiten zu beziehen, reicht seiner Meinung nach nicht aus. Vielmehr sollte überlegt werden, ob nicht auch zeitliche Dynamiken oder Effekte sichtbar gemacht werden sollen. Menno Smids Antwort dagegen kurz und prägnant:

"Ein Forschungsergebnis ist immer dann  repräsentativ, wenn es mithilfe einer Zufallsstichprobe gewonnen wird." (Smid)

"Der klassische Weg der Marktforschung ist vorbei"

"Während man früher zu Marktforscher*innen ging und Aufträge verteilte, um beispielsweise Produkte in der Bevölkerung repräsentativ zu testen, werden heutzutage Innovationen mittels Design Thinking generiert", so Smid. Mittlerweile ist die Datensammlung häufig in den Innovationsprozess integriert, wodurch die Repräsentativität eine ganz andere Bedeutung einnimmt.  "Zeitaufwändige und kostenintensive Zufallsstichproben sind in der Marktforschung kaum noch vorzufinden", so Smid.

Zufallsstichproben machen nicht überall Sinn

Im Diskurs wurde schnell deutlich, dass zufällige Stichprobenziehungen in den meisten Fällen zu aufwändig und teuer sind. "Marktforschung muss heutzutage schnell und günstig sein", erklärt Smid, Zufallsstichproben sind daher immer weniger in der vom Markt getriebenen Forschung vorzufinden. Dennoch wurden auch einige Einsatzfelder, wie wissenschaftliche Surveys oder die Wahlforschung, identifiziert, in denen Zufallsstichproben auch zukünftig unerlässlich sein werden. 

Das klassische Zufallsprinzip unter heutigen Bedingungen 

Während heutzutage klassische Auswahlgrundlagen wegfallen und auch die Teilnahmebereitschaft immer geringer wird, stellt sich die Frage, ob das klassische Zufallsprinzip unter den heutigen Bedingungen überhaupt noch möglich ist. "Als theoretisches Modell klappt das auch heute noch wunderbar", so Faas. "Wenn ich mit Zufallsauswahlen arbeite, kann ich mir sicher sein, dass ich valide Ergebnisse bekomme" führt er fort. "Wenn die Praxis jedoch die Theorie zunehmend in Frage stellt, wird das ganze problematisch". 

Zeit und Budget haben Einfluss auf die Ausschöpfungsquote

Die Qualität der Stichprobe hängt von den verschiedensten Faktoren ab. Wenn die richtige Zielgruppe beispielsweise nicht erreicht wird oder zwar erreicht wird, aber nicht reagiert, steht die Marktforschung vor einem Problem. Solche Coverage und Response Errors führen zu Verfälschungen der Stichprobe und von einem 'repräsentativen Ergebnis' kann nicht mehr gesprochen werden. "Doch wie sieht es aus mit den Ausschöpfungsquoten in der Marktforschung?", hakte Müller-Peters nach. Die Antwort fiel ernüchternd aus. "Die Ausschöpfungsquote hängt von der Fragestellung, der Zeitkapazitäten und dem verfügbaren Budget ab", so Smid. Ausschöpfungsquoten von mehr als 10 Prozent in der klassischen telefonischen Kaltakquise seien kaum erreichbar, erklärte Smid weiter. Geht man jedoch akribisch ans Werk, sind Ausschöpfungen von 40-50 Prozent durchaus realistisch. 

"Wie soll man 1000 Leute in zwei Tagen befragen? Das ist schlichtweg unmöglich!" (Smid)

Nach Smid gibt es einen Zusammenhang zwischen der Schnelligkeit und der fehlenden Ausschöpfung. Seiner Meinung nach ist dieses Gefüge auch das zentrale Problem der Marktforschung, da dieses nicht nur über den Preis sondern auch über die Schnelligkeit getriggert wird. Darüber hinaus appellieren die beiden Diskutanten, den Fokus mehr auf die Selektivitäten zu lenken. "Da wir uns über die Zeit unglaublich viel Wissen über unsere Panelisten angeeignet haben, können wir vielleicht die Selektivität präziser angeben als würden wir mit einem idealtypischen zufallsbasierten Ansatz arbeiten", führt Faas an. Es ist demnach zu überlegen, ob ein zufallsbasierter Ansatz, der zwar "theoretisch perfekte" Ergebnisse liefert, die Repräsentativität aber nur begrenzt generieren kann, anderen Methoden an dieser Stelle wirklich bevorzugt werden sollte. Eine Frage, die zukünftig wohl noch heiß diskutiert wird. 

Im Nachhinein vorgenommene Korrekturen - Reine Intransparenz oder nötiges Muss?

Auch die Wahlforschung betreibenden Institute "tricksen" an der ein oder anderen Stelle. Erhobene Forschungsdaten werden im Anschluss typischerweise mit verschlüsselten, erfahrungsbasierten Faktoren korrigiert. Transparenz an dieser Stelle: Fehlanzeige!

"Wie rechtfertigen die Institute solch intransparenten Maßnahmen?", wollte Müller-Peters wissen. "Wenn ich eine präzise Schätzung eines Wahlergebnisses haben möchte, dann ist der Einsatz von Erfahrung vollkommen ok", so Faas. "Wenn ich mich für die Zusammenhänger der dahinterstehenden Mechanismen interessiere, ist das jedoch sehr unbefriedigend", räumt er weiter ein.

So oder so wird in dem Diskurs eines schnell klar: Es ist immer wieder faszinierend, wie ähnlich die Wahlprognosen der verschiedenen Institute, trotz unterschiedlicher Korrekturfaktoren, meist sind. 

/sh

Veröffentlicht am: 11.11.2020

 

Kommentare (0)

Keine Kommentare gefunden!

Neuen Kommentar schreiben

Kommentare geben ausschließlich die Meinung ihrer Verfasser wieder. Die Redaktion behält sich vor, Kommentare nicht oder gekürzt zu veröffentlichen. Das gilt besonders für themenfremde, unsachliche oder herabwürdigende Kommentare sowie für versteckte Eigenwerbung.

Über marktforschung.de

Branchenwissen an zentraler Stelle bündeln und abrufbar machen – das ist das Hauptanliegen von marktforschung.de. Unser breites Informationsangebot rund um die Marktforschung richtet sich sowohl an Marktforschungsinstitute, Felddienstleister, Panelbetreiber und Herausgeber von Studien, Marktdaten sowie Marktanalysen als auch an deren Kunden aus Industrie, Handel und Dienstleistungsgewerbe.

facebook twitter xing linkedin