dossier.PLUS-Logo

Christiane Heckel, BIK Basic-, Standard- und Premium-Stichproben

Was unterscheidet "Basic-" von "Standard-" von "Premium-"-Stichproben? Und sind die "Premium"-Stichproben immer ohne weiteres zu ziehen? Christiane Heckel von BIK erklärt die Unterschiede.

Christiane Heckel, BIK

Wie schön, dass das Thema Stichprobenqualität bei marktforschung.de (wieder) einmal unter die Lupe genommen wird. Denn die Art und Weise der Stichprobenbildung entscheidet, was man anschließend aus den erhobenen Daten einer Studie schließen kann oder eben nicht.

So, wie man auf den verschiedensten Produkten Siegel zu Qualitätsstufen findet, lassen sich auch Stichproben nach der Aussagekraft der Ergebnisse einteilen:

Premium-Stichproben sind ausnahmslos Zufallsstichproben und erlauben eine Hochrechnung

"Premium" sind ohne Wenn und Aber Zufallsstichproben, die auf Basis einer Auswahlgrundlage gezogen werden, die jeder Person in Deutschland die Chance zum Teilnehmen bietet. Coverage und Ziehungsverfahren erlauben eine Hochrechnung auf die Bevölkerung. Aber: Solche Art Stichproben sind teuer und zeitintensiv. Und natürlich gibt es einen Non-Response, der je nach Art und Zweck der Studie, der Reputation des Auftraggeber und variiert.

Kommerzielle Forschungsinstitute haben zusätzlich eine Einschränkung zu beachten: Es ist ihnen nur für Auftraggeber aus Wissenschaft und öffentlicher Verwaltung erlaubt, auf die Adressbestände der Einwohnermelderegister zuzugreifen. Daher haben die im ADM Arbeitskreis Deutscher Markt- und Sozialforschungsinstitute e.V. (ADM) zusammengeschlossenen Institute gemeinsam eine "Arbeitsgemeinschaft Stichproben" gegründet. Seit 1970 wird hier die aufwendige Erstellung von Auswahlgrundlagen für telefonische (CATI) Befragungen (Mobil und Festnetz) als auch persönlich-mündliche Befragungen (F2F) mithilfe eines Flächenstichprobensystem für Deutschland  beauftragt.

Sinn und Zweck dieser Auswahlgrundlagen ist es, eine möglichst breite Abdeckung der Grundgesamtheit, zufallsbasierte Stichprobenziehungen und hochrechenbare Ergebnisse zu erhalten.

Für telefonisch durchgeführte Umfragen ist es inzwischen Standard sowohl über das Festnetz- als auch die Handynetze zu fragen (Dual-Frame), um wirklich alle Personen theoretisch erreichen zu können, denn kein Telefon haben nur noch 0,2 Prozent der Bevölkerung. Leider können mobil geführte Interviews im Vorhinein nicht regional ausgesteuert werden. Mobilnummern lassen diese sogenannte "Verortung" im Gegensatz zu Festnetznummern nicht zu.  Daher kann hier erhöhter Aufwand entstehen.

Bei F2F-geführten Interviews gibt es seit Ende November 2023 eine neue Auswahlgrundlage, die die besiedelte Fläche Deutschlands in 58.000 Teilflächen (den sog. Stichproben-Points) abbildet. Diese Flächen-Points lassen sich über Geo-Koordinaten kartografisch mit Straßenkarten hinterlegen, eine Listung von Straßen- und Straßenabschnitten, die innerhalb dieser Flächen liegen, sowie Startadressen für eine Begehung des Point durch Interviewer.

Grundsätzlich sind jetzt auch über die Auswahl bewohnter 100x100m-Flächen nach amtlicher Einwohner-Zahl auch ganz andere Stichproben realisierbar, zum Beispiel für die tatsächliche Erreichbarkeit von Notfall-Apotheken im ländlichen Raum an ausgewählten Tagen und Uhrzeiten, ohne dass "Mystery Shopping" notwendig ist.

Gerne wird als Gegenargument von Zufallsstichproben die niedrige Ausschöpfungsquote bemüht, um zu belegen, dass die Ausschöpfung (aus Panels (!)) soviel höher liegt. "Da machen 90 Prozent mit", ja, es wäre auch schlimm, wenn nicht. Fragt man F2F die Personen ab 14 Jahren, wer denn Mitglied in einem Online-Panel ist, liegt der Anteil bei ganzen 0,6 Prozent.

Es gilt ganz klar: die Durchführung von Zufallsstichproben ist eine Herausforderung für ein Institut, aber auch ein Unterscheidungsmerkmal im Markt.

Standard sind Online-Interviews, aber idealerweise "Probability-based"

"Standard", schaut man auf die Zahlen des ADM zur Menge der Interviews nach Rekrutierungsweg, sind es inzwischen online gewonnene Fälle. Der große Vorteil: deutlich schneller und günstiger zu sein.

Aber: Auch hier kann man unterscheiden:

Offline rekrutierte Online-Panel (Probability-based Online Panel) bieten eine gute Alternative oder Ergänzung, sind aber beschränkt im Teilnehmerfeld, da es Panel wiederbefragungsbereiter Personen sind, die online sind, und eben nicht grundsätzlich alle Personen. Gut gepflegte Panel dieser Klasse können klassische CATI-Stichproben gut ergänzen, aber sicher nicht ersetzen.

Basic-Stichproben sind Convenience-Samples

Und schließlich gibt es auch den Bereich der rein online gewonnenen Befragungsteilnehmer (Nonprobability-based Panel). Die Verwendung dieser Stichproben hat sich als schnellste und günstigste Variante inzwischen durchgesetzt, man könnte sie hier als "Basic" bezeichnen.  

Dennoch: Versucht man, nur online Personen für ein Panel oder eine einzelne Umfrage (River-Sampling) zu gewinnen, verliert man alle Personen, die grundsätzlich nie auf Rekrutierungs-Websites oder bestimmten Social-Media-Plattformen sind oder auf Teilnahme-Einladungen reagieren, wenn Gewinnspiele, Vergütungen, Einkaufsrabatte, Kundenkarten und ähnliches locken. Personen wählen sich letzlich selbst aus, indem sie der Teilnahme zustimmen (Selbst-Rekrutierung). Pro Befragung und je nach Anzahl der Fragen gibt es zumeist eine Bezahlung. Es werden dann meist Quoten vorgegeben, die man als Kunde bestellen kann.

Wie zu erwarten, zeigen dann die Ergebnisse in den nicht-quotierten Merkmalen deutliche Verzerrungen auf. Von "online-repräsentativ" kann schon erst recht nicht die Rede sein. Nicht ohne Grund gibt es inzwischen Start-Ups, die sich dem Thema "Antwort-Qualität" bei Online-Befragungen widmen. KI allein vereinfacht die Unterscheidung zwischen realen menschlichen Teilnehmern und "Fake" sicher nicht, im Gegenteil. Es wird inzwischen empfohlen 30 – 40 Prozent mehr Interviews zu bestellen als gebraucht. Aber: Unschlagbar schnell und günstig.

Fazit: Es gibt keine "one-size-fits-all" Stichproben.

Seriöse Anbieter haben hier immer eine Methodentransparenz, wie sie auch der ADM in seinen Richtlinien beschreibt, zu leisten. Schon das wird nur zu gerne ignoriert, oder lediglich in einer Fußnote erwähnt. Ohne diese Informationen ist aber keine Studie in Bezug auf die Stichprobenqualität zu bewerten.

 

Zum Weiterlesen: Kohler, Ulrich and Post, Julia C.. "Welcher Zweck heiligt die Mittel? Bemerkungen zur Repräsentativitätsdebatte in der Meinungsforschung" Zeitschrift für Soziologie, vol. 52, no. 1, 2023, pp. 67-88. 

 

Über die Person

Christiane Heckel ist seit 1988 beim BIK. Dort  ist sie Leiterin Forschung und Entwicklung, Stichproben, Gewichtung, statistische Methoden, sowie QM-Beauftragte. Die Diplom-Sozialwirtin hat diverse Publikationen zu Stichprobenthemen veröffentlicht.

Diskutieren Sie mit!     

Noch keine Kommentare zu diesem Artikel. Machen Sie gerne den Anfang!

Um unsere Kommentarfunktion nutzen zu können müssen Sie sich anmelden.

Anmelden

Weitere Highlights auf marktforschung.de

Bitte warten, Verarbeitung läuft ...