CONSULTING.de
PERSONALintern.de
Customer Experience Runter mit den Scheuklappen - was wir brauchen, ist ein ganzheitlicher Blick!
veröffentlicht am
- marktforschung.de
- marktforschung.dossier
- Dossier: Repräsentativität und Zufallsstichprobe
Repräsentativität und Zufallsstichprobe
Repräsentativität: Wie hältst Du’s mit der Zufallsstichprobe?
von Dr. Anke Müller-Peters, marktforschung.de
Mit Repräsentativität sollte sich das letzte Dossier 2018 beschäftigen, so hatten wir es bereits Anfang des Jahres beschlossen. Nicht ohne heftige Diskussionen in der Redaktion: "Das hatten wir doch schon", "Dazu ist nun wirklich alles gesagt" argumentierten die einen. "Das Thema ist wichtiger denn je" oder "Repräsentativität ist der Kern der Qualitätsdiskussion" riefen die anderen. Anfang November habe ich begonnen, mögliche Autoren für dieses Dossier anzuschreiben. Und in der Woche danach bekamen wir die Antwort auf die Frage nach der Relevanz des Themas. Anlässlich einer entsprechenden Beschwerde beim Presserat entbrannte eine heftige Diskussion in der Branche in deren Verlauf sich sowohl die Verfechter klassischer Stichprobenziehung als auch die Vertreter alternativer Ansätze sowie die Branchenverbände positionierten (ADM, BVM, DGOF). Die Gretchenfrage der Marktforscher heißt: "Wie hältst Du's mit der Zufallsstichprobe?"
Die Klassiker: Generation "Faust"
Die Lehrbücher der empirischen Sozialforschung haben wir "studiert, durchaus mit heißem Bemühn" und finden darin eine klare Antwort auf die Frage nach der Bedeutung der Zufallsstichprobe, so z.B. bei Schnell, Hill und Esser: "Zufallsstichproben stellen die einzige Gewähr dafür dar, dass aus den Ergebnissen einer Stichprobenerhebung (innerhalb bestimmter statistischer Fehlergrenzen) auf das Vorliegen entsprechender Ergebnisse in der Grundgesamtheit geschlossen werden kann". Zur Generierung repräsentativer Ergebnisse ist dabei sowohl die Grundgesamtheit als auch die Auswahlgesamtheit zu definieren, dann ziehen wir zufällige Untersuchungseinheiten aus dem Pool unserer Auswahlgesamtheit und können für jedes Element die Auswahlwahrscheinlichkeit angeben. Nur dieses Verfahren ermöglicht es, den Schätzfehler zu benennen also anzugeben, mit welcher Wahrscheinlichkeit das Ergebnis in der Stichprobe auch das Ergebnis wäre, wenn wir das Merkmal bei allen Elementen der Grundgesamtheit erfasst hätten. Das funktioniert gut, solange wir uns eine Urne mit verschiedenfarbigen Kugeln vorstellen.
Die neue Generation: "Fack ju Göhte"
Unser Interesse gilt aber nicht farbigen Kugeln, sondern Menschen, und viele davon entziehen sich der Erfassung der uns interessierenden Merkmale, obwohl wir sie zufällig ausgewählt haben. Dass die empirische Sozialforschung hier vor einem großen Problem steht, wird wohl niemand abstreiten. Die Suche nach der Wahrheit fällt zunehmend schwer, obwohl wir die reine Lehre der Zufallsstichprobe kennen. Der Streit entbrennt am Umgang mit dem Problem. Die einen argumentieren, dass wir am Zufallsverfahren festhalten müssen, dass wir um Ausschöpfungsquoten kämpfen müssen, dass wir uns durch den Mix unterschiedlicher Erhebungsmethoden dem Ideal der Zufallsstichprobe so weit annähern, dass wir weiterhin mit diesem Verständnis von Repräsentativität operieren können. Die anderen schlagen vor, nach anderen Lösungen zu suchen, auch wenn die sogenannten neuen Methoden noch nicht perfekt sind, getreu dem Motto "Allwissend bin ich nicht, doch viel ist mir bewusst": Das Sample Matching lässt sich in unser Lehrbuchwissen einordnen, denn hier wird mit einer detaillierten Quotierung gearbeitet. Die Leserumfrage weckt hingegen unsere Skepsis, denn nicht das Untersuchungsobjekt soll entscheiden, dass es Teil der Stichprobe wird, sondern der Forscher. Oder versteckt sich hinter dem Ansatz, nur die Menschen, die bereitwillig ihre Meinung sagen möchten, als Untersuchungsobjekte zu nehmen, doch ein Weg, um zu generalsierbaren Aussagen zu kommen? Aber WIE sieht dieser Weg aus?
Transparenz und externe Validierung: Des Pudels Kern
Vielleicht kommen wir jetzt zum "Pudels Kern" der Diskussion. Wir brauchen absolute Transparenz über die Beschaffenheit unserer Stichproben: Dazu gehören Informationen über Auswahlverfahren, Ausschöpfungsquoten, Panelistenrekrutierung, Gewichtungsverfahren usw. In vielen sozialwissenschaftlichen Untersuchungen und Marktforschungsprojekten fehlt ein Wahrheitskriterium für die Ergebnisse. In einem Forschungsbereich gibt es zumindest eine Annäherung an die Frage der Gültigkeit von Forschungsergebnissen: In der Wahlforschung. Hier muss sich jeder Meinungsforscher regelmäßig der Frage stellen, ob er seine Stichprobenergebnisse zurecht generalisiert hat und ob seine Vorhersage mit dem eingetretenen Ergebnis übereinstimmt.
Dieses Dossier leistet einen Beitrag zu mehr Transparenz. Ich lade Sie ein, zu lesen und vor allen Dingen weiter zu ringen mit der Frage, ob die Zufallsstichprobe auch weiterhin - um bei Goethes Faust zu bleiben - die Marktforscherwelt "im Innersten zusammenhält".
Ihre Anke Müller-Peters
2023
UX Research Days
UX Research Days am 22. & 23.August 2023. Jetzt die Veranstalterinfos einholen!
Erschienen: 05/2023
Nachhaltigkeit - Besser erstmal die Welt retten
Wie kann die Welt durch Marktforschung, CX und UX nachhaltiger werden? Wie können die Institute selbst nachhaltiger werden? Wie kann Nachhaltigkeit nachhaltig erforscht werden?
Erschienen: 03/2023
2022
Die Insights-Manager von morgen
Welche Skills müssen Marktforschende zukünftig mitbringen?
Erschienen: 12/2022
Return on Investment
Zahlen sich CX, UX und Marktforschung aus?
Erschienen: 10/2022
DIY & DIT
Selber machen oder besser doch Profis ranlassen?
Erschienen: 08/2022
Neue Ansätze in der Konsumentenforschung
Neue Ansätze in der Konsumentenforschung | marktforschung.dossier
Erschienen: 05/2022
Die Vermessung der Marke
Die Vermessung der Marke | marktforschung.dossier
Erschienen: 03/2022
Die Zukunft qualitativer Marktforschung
Die Zukunft der qualitativen Marktforschung | marktforschung.dossier
Erschienen: 02/2022
2021
Sekundärmarktforschung
marktforschung.dossier: Beiträge zum Thema Sekundärforschung im Zeitalter des Datenüberflusses ► Jetzt Dossier-Beiträge lesen!
Erschienen: 12/2021
Customer Experience Management
Customer Experience Management | marktforschung.dossier
Erschienen: 08/2021
Health- und Pharma-Marktforschung
Healthcare- und Pharma-Marktforschung | marktforschung.dossier
Erschienen: 06/2021
Storytelling & Data Viz
Von Storytelling bis Data Viz: Die richtige Vermittlung von Forschungsergebnissen | marktforschung.dossier
Erschienen: 04/2021
KI in Marktanalyse und Kundenmanagement
Künstliche Intelligenz in Marktanalyse, Kundenmanagement und darüber hinaus | marktforschung.dossier
Erschienen: 03/2021
E-Commerce-Boom
E-Commerce-Boom: Daten und Insights als Chance für die Marktforschungsbranche | marktforschung.dossier
Erschienen: 01/2021
2020
Pricing und Preisforschung
Pricing und Preisforschung in digitalen Märkten | marktforschung.dossier
Erschienen: 10/2020
Research Techs & Start-ups
Research Techs und Start-ups | marktforschung.dossier
Erschienen: 08/2020
Alles ist Marktforschung
Alles ist Marktforschung | marktforschung.dossier
Erschienen: 05/2020
Werbeerfolgsmessung
Werbeerfolgsmessung | marktforschung.dossier
Erschienen: 03/2020
Mystery Shopping
Mystery Shopping | marktforschung.dossier
Erschienen: 01/2020
2019
From Insights to Impact
From Insights to Impact | marktforschung.dossier
Erschienen: 11/2019
Gehaltsstudie 2019
Gehaltsstudie 2019 | marktforschung.dossier
Erschienen: 11/2019
Customer Experience Research
Customer Experience Research 2019 | marktforschung.dossier
Erschienen: 09/2019
Data Science und Künstliche Intelligenz
Data Science und Künstliche Intelligenz 2019 | marktforschung.dossier
Erschienen: 06/2019
Text und Voice
Text und Voice | marktforschung.dossier
Erschienen: 05/2019
Plattformen und Datensysteme 2019
Plattformen und Datensysteme 2019 | marktforschung.dossier
Erschienen: 03/2019
Sportmarktforschung
Sportmarktforschung | marktforschung.dossier
Erschienen: 01/2019
2018
Gehaltsstudie 2018
Gehaltsstudie 2018: Gehalt, Arbeitszufriedenheit, Work-Life-Balance – Mehr Transparenz und Attraktivität!
Erschienen: 10/2018
Trendsetter USA
Trendsetter USA - Status Quo, Innovationen, Potenziale | marktforschung.dossier
Erschienen: 08/2018
Imagestudie Marktforschungsdienstleister
Imagestudie Marktforschungsdienstleister 2018 | marktforschung.dossier
Erschienen: 05/2018
Zukunft der betrieblichen Marktforschung
Zukunft der betrieblichen Marktforschung | marktforschung.dossier
Erschienen: 02/2018
2017
Meinungsforschung ohne Meinungsfreiheit?
Meinungsforschung ohne Meinungsfreiheit | marktforschung.dossier
Erschienen: 11/2017
Virtual Reality Marktforschung
Virtual Reality 2017 | marktforschung.dossier
Erschienen: 10/2017
Mobile Research 2017
Mobile Research 2017 | marktforschung.dossier - August/September 2017
Erschienen: 08/2017
Gehaltsstudie 2017
Gehaltsstudie 2017: Gehalt, Zusatzleistungen, Arbeitszufriedenheit – Editorial
Erschienen: 06/2017
Datenschutz 2017
DSGVO-Checkliste
Erschienen: 04/2017
Agiles Projektmanagement
Agiles Projektmanagement: Wie flexibel ist Marktforschung? | marktforschung.dossier - April 2017
Erschienen: 04/2017
2016
Hightech
Marktforschung in Zeiten von Virtual Reality und Scrum | marktforschung.dossier - Oktober 2016
Erschienen: 10/2016
E-Commerce
E-Commerce: Motivationen, Barrieren und Hebel | marktforschung.dossier - September 2016
Erschienen: 09/2016
Gehaltsstudie 2016
Gehaltsstudie 2016: Gehalt, Arbeitsbedingungen, Gender Pay Gap - Editorial
Erschienen: 06/2016
Emotionen, Sinne und Verhalten
Emotionen, Sinne und Verhalten | marktforschung.dossier - Mai 2016
Erschienen: 05/2016
Multikulturelle Forschung
Multikulturelle Forschung | marktforschung.dossier - April 2016
Erschienen: 04/2016
Datenschutz in der Marktforschung
Datenschutz in der Marktforschung | marktforschung.dossier - März 2016
Erschienen: 03/2016
Quick without dirty
Quick without dirty? | marktforschung.dossier - Februar 2016
Erschienen: 02/2016
2015
Apparative Messung
Apparative Messung | marktforschung.dossier - Dezember 2015
Erschienen: 12/2015
Reporting und Visualisierung
Reporting und Visualisierung | marktforschung.dossier - November 2015
Erschienen: 11/2015
Big Data / Predictive Analytics
Das ganz große Ding? Big Data / Predictive Analytics | marktforschung.dossier - Oktober 2015
Erschienen: 10/2015
Teststudios
Teststudios: Rekrutierung, Qualitätssicherung, Forschungsvielfalt - ein Blick hinter den Einwegspiegel | marktforschung.dossier - September 2015
Erschienen: 09/2015
Tourismusforschung
Forschung im Urlaub? Branchenspecial Tourismusforschung | marktforschung.dossier - Juli 2015
Erschienen: 07/2015
Sales und Marketing
Vom Verkaufen der Forschung: Sales und Marketing in der Marktforschung | marktforschung.dossier - Juni 2015
Erschienen: 06/2015
Karriere in der Marktforschung 2015
Karriere in der Marktforschung 2015 - Editorial
Erschienen: 05/2015
Digitalisierung der Kundenbeziehung
Die Digitalisierung der Kundenbeziehung: Customer Feedback, Data Analytics, CRM & Co. | marktforschung.dossier - April 2015
Erschienen: 04/2015
Behavioral Economics
Behavioral Economics: Revolution im Menschenbild - Revolution in den Methoden? | marktforschung.dossier - März 2015
Erschienen: 03/2015
Sekundärforschung/Desk Research
Sekundärforschung / Desk Research: Das Stiefkind der Marktforschung? | marktforschung.dossier - Februar 2015
Erschienen: 02/2015
2014
CATI-Krise
Ruf mich nicht an! - Die CATI-Krise | marktforschung.dossier - Dezember 2014
Erschienen: 12/2014
Sozialforschung: Die Gesellschaft im Fokus
Sozialforschung: Die Gesellschaft im Fokus | marktforschung.dossier - November 2014
Erschienen: 11/2014
Repräsentativität und Relevanz
Repräsentativität und Relevanz | marktforschung.dossier - Oktober 2014
Erschienen: 10/2014
DIY-Forschung
DIY-Forschung: Google, SurveyMonkey & Co. - Großangriff auf Institute? | marktforschung.dossier - September 2014
Erschienen: 09/2014
Finanz- und Versicherungsmarktforschung
Branchenspecial: Finanz- und Versicherungsmarktforschung
Erschienen: 07/2014
Jung und Wild
Jung und Wild? Newcomer in der Marktforschungsbranche
Erschienen: 06/2014
Karriere-Spezial 2014
Karriere-Spezial: Gehaltsvergleich, Wechselneigung, kluge Köpfe
Erschienen: 05/2014
Themenspecial Software
Fokus Automatisierung: Themenspecial Software
Erschienen: 04/2014
Anonymität: Heiliger Gral oder goldenes Kalb
Anonymität: Heiliger Gral oder goldenes Kalb? - Special zur GOR 14
Erschienen: 03/2014
Medienforschung im Wandel
Methodik vs. Technik: Medienforschung im Wandel
Erschienen: 02/2014
Social Media - ein Hype in der Krise
Social-Media - ein Hype in der Krise?
Erschienen: 01/2014
2013
Marktforschungsmanagement
Marktforschungsmanagement: Im Spagat zwischen Kostendruck und Qualitätsanspruch?
Erschienen: 12/2013
Kundenzufriedenheit 2.0
Kundenzufriedenheit 2.0 - gekauft und geliked
Erschienen: 11/2013
Alltagsforschung
Alltagsforschung: Branchenspecial FMCG
Erschienen: 10/2013
Wahlforschung
Basisdemokratie oder Datendiktatur? - Wahlforschung
Erschienen: 09/2013
Zufriedenheit mit Instituten
Zufriedenheit mit Instituten - Forschung für gut befunden?
Erschienen: 08/2013
Innovations- und Zukunftsforschung
Innovations- und Zukunftsforschung - Forscherblick in die Glaskugel?
Erschienen: 07/2013
Preisforschung
Preisforschung - wenn "zu billig" zu teuer wird
Erschienen: 06/2013
Karriere-Spezial 2013
Karriere-Spezial: Geld oder Glück - was sticht im Kampf um Talente?
Erschienen: 05/2013
Marke und Markenführung
Marke und Markenführung - die Erlebbarkeit von Namen
Erschienen: 04/2013
Gesundheit! Branchenspecial Pharma
Gesundheit! Branchenspecial Pharma
Erschienen: 03/2013
Marktforschung 2020
Marktforschung 2020: Besser, anders oder gar nicht mehr da?
Erschienen: 02/2013
Mobile Research
Mobile Research - hybrid unterwegs
Erschienen: 01/2013
2012
Vom Marktforscher zum Berater
Vom Marktforscher zum Berater - Wer braucht noch Research?
Erschienen: 12/2012
Branchenspecial Automotive
Branchenspecial Automotive
Erschienen: 10/2012
Werbung und Wirkung
Werbung und Wirkung - Von der Litfaß-Säule zum Sponsored Tweet
Erschienen: 09/2012
Image
Image: Was muss ein Marktforschungsdienstleister leisten?
Erschienen: 08/2012
Qualitative Forschung
Qualitative Forschung – Marktforschung auf der Couch
Erschienen: 07/2012
Web-Analyse
Web-Analyse – Big Data = Big Success?
Erschienen: 06/2012
Karriere in der Marktforschung
Karriere in der Marktforschung - Traumberuf "Erbsenzähler"?
Erschienen: 05/2012
Online-Panels
Online-Panels - gerade etabliert und schon von gestern?
Erschienen: 04/2012
Repräsentativität 2012
Repräsentativität 2012 – Fakt, Fake oder Fetisch?
Erschienen: 03/2012
