Repräsentativität und Zufallsstichprobe | marktforschung.dossier

Repräsentativität: Wie hältst Du’s mit der Zufallsstichprobe?

von Dr. Anke Müller-Peters, marktforschung.de

Mit Repräsentativität sollte sich das letzte Dossier 2018 beschäftigen, so hatten wir es bereits Anfang des Jahres beschlossen. Nicht ohne heftige Diskussionen in der Redaktion: "Das hatten wir doch schon", "Dazu ist nun wirklich alles gesagt" argumentierten die einen. "Das Thema ist wichtiger denn je" oder "Repräsentativität ist der Kern der Qualitätsdiskussion" riefen die anderen. Anfang November habe ich begonnen, mögliche Autoren für dieses Dossier anzuschreiben. Und in der Woche danach bekamen wir die Antwort auf die Frage nach der Relevanz des Themas. Anlässlich einer entsprechenden Beschwerde beim Presserat entbrannte eine heftige Diskussion in der Branche in deren Verlauf sich sowohl die Verfechter klassischer Stichprobenziehung als auch die Vertreter alternativer Ansätze sowie die Branchenverbände positionierten (ADM, BVM, DGOF). Die Gretchenfrage der Marktforscher heißt: "Wie hältst Du's mit der Zufallsstichprobe?"

Die Klassiker: Generation "Faust"

Die Lehrbücher der empirischen Sozialforschung haben wir "studiert, durchaus mit heißem Bemühn" und finden darin eine klare Antwort auf die Frage nach der Bedeutung der Zufallsstichprobe, so z.B. bei Schnell, Hill und Esser: "Zufallsstichproben stellen die einzige Gewähr dafür dar, dass aus den Ergebnissen einer Stichprobenerhebung (innerhalb bestimmter statistischer Fehlergrenzen) auf das Vorliegen entsprechender Ergebnisse in der Grundgesamtheit geschlossen werden kann". Zur Generierung repräsentativer Ergebnisse ist dabei sowohl die Grundgesamtheit als auch die Auswahlgesamtheit zu definieren, dann ziehen wir zufällige Untersuchungseinheiten aus dem Pool unserer Auswahlgesamtheit und können für jedes Element die Auswahlwahrscheinlichkeit angeben. Nur dieses Verfahren ermöglicht es, den Schätzfehler zu benennen also anzugeben, mit welcher Wahrscheinlichkeit das Ergebnis in der Stichprobe auch das Ergebnis wäre, wenn wir das Merkmal bei allen Elementen der Grundgesamtheit erfasst hätten. Das funktioniert gut, solange wir uns eine Urne mit verschiedenfarbigen Kugeln vorstellen.

Die neue Generation: "Fack ju Göhte"

Unser Interesse gilt aber nicht farbigen Kugeln, sondern Menschen, und viele davon entziehen sich der Erfassung der uns interessierenden Merkmale, obwohl wir sie zufällig ausgewählt haben. Dass die empirische Sozialforschung hier vor einem großen Problem steht, wird wohl niemand abstreiten. Die Suche nach der Wahrheit fällt zunehmend schwer, obwohl wir die reine Lehre der Zufallsstichprobe kennen. Der Streit entbrennt am Umgang mit dem Problem. Die einen argumentieren, dass wir am Zufallsverfahren festhalten müssen, dass wir um Ausschöpfungsquoten kämpfen müssen, dass wir uns durch den Mix unterschiedlicher Erhebungsmethoden dem Ideal der Zufallsstichprobe so weit annähern, dass wir weiterhin mit diesem Verständnis von Repräsentativität operieren können. Die anderen schlagen vor, nach anderen Lösungen zu suchen, auch wenn die sogenannten neuen Methoden noch nicht perfekt sind, getreu dem Motto "Allwissend bin ich nicht, doch viel ist mir bewusst": Das Sample Matching lässt sich in unser Lehrbuchwissen einordnen, denn hier wird mit einer detaillierten Quotierung gearbeitet. Die Leserumfrage weckt hingegen unsere Skepsis, denn nicht das Untersuchungsobjekt soll entscheiden, dass es Teil der Stichprobe wird, sondern der Forscher. Oder versteckt sich hinter dem Ansatz, nur die Menschen, die bereitwillig ihre Meinung sagen möchten, als Untersuchungsobjekte zu nehmen, doch ein Weg, um zu generalsierbaren Aussagen zu kommen? Aber WIE sieht dieser Weg aus?

Transparenz und externe Validierung: Des Pudels Kern

Vielleicht kommen wir jetzt zum "Pudels Kern" der Diskussion. Wir brauchen absolute Transparenz über die Beschaffenheit unserer Stichproben: Dazu gehören Informationen über Auswahlverfahren, Ausschöpfungsquoten, Panelistenrekrutierung, Gewichtungsverfahren usw. In vielen sozialwissenschaftlichen Untersuchungen und Marktforschungsprojekten fehlt ein Wahrheitskriterium für die Ergebnisse. In einem Forschungsbereich gibt es zumindest eine Annäherung an die Frage der Gültigkeit von Forschungsergebnissen: In der Wahlforschung. Hier muss sich jeder Meinungsforscher regelmäßig der Frage stellen, ob er seine Stichprobenergebnisse zurecht generalisiert hat und ob seine Vorhersage mit dem eingetretenen Ergebnis übereinstimmt.

Dieses Dossier leistet einen Beitrag zu mehr Transparenz. Ich lade Sie ein, zu lesen und vor allen Dingen weiter zu ringen mit der Frage, ob die Zufallsstichprobe auch weiterhin - um bei Goethes Faust zu bleiben - die Marktforscherwelt "im Innersten zusammenhält".

Ihre Anke Müller-Peters

Über marktforschung.de

Branchenwissen an zentraler Stelle bündeln und abrufbar machen – das ist das Hauptanliegen von marktforschung.de. Unser breites Informationsangebot rund um die Marktforschung richtet sich sowohl an Marktforschungsinstitute, Felddienstleister, Panelbetreiber und Herausgeber von Studien, Marktdaten sowie Marktanalysen als auch an deren Kunden aus Industrie, Handel und Dienstleistungsgewerbe.

facebook twitter google plus