- marktforschung.de
- marktforschung.dossier
- Dossier: Repräsentativität und Relevanz
Repräsentativität und Relevanz

Repräsentativ, signifikant, bedeutsam?

Seit Gallup das Geheimnis der Zufallsstichprobe entdeckt hat, gilt in der Branche: "Wir fragen manche und antworten für alle." Aber was meint Repräsentativität überhaupt? Ist eine statistische Repräsentativität überhaupt möglich, bezahlbar und den Aufwand wert? Wie sieht der pragmatische Umgang von Instituten und Auftraggebern mit dem Thema aus? Und wie lässt sich dieses aus Sicht von Kunden und Öffentlichkeit anscheinend wichtigste Versprechen der Profession auch in Zukunft zumindest annähernd einlösen, wenn die Ziehung und Ausschöpfung von Stichproben immer schwieriger wird und der Zeit- und Kostendruck weiter zunimmt? Gerade ist in den USA in Zusammenhang mit Umfragen der New York Times ein neuer Streit entbrannt, welche Ergebnisse als repräsentativ anzusehen sind, und auch in der derzeitigen Anonymitätsdebatte (siehe bspw. marktforschung.dossier "Anonymität: Heiliger Gral oder goldenes Kalb?" und Diskussion um angebliche Aufweichung des Anonymitätsgebots) spielt die Auswirkung auf die Repräsentativität von Ergebnissen eine große Rolle.
Unterschiedliche Wege bei der Suche nach Repräsentativität und des Umgangs mit dieser schildern unsere Autoren dieses Monats aus der Perspektive des ADM, verschiedener Institute, neuer und alter Erhebungsmethoden sowie aus Sicht der Markt-, Politik- und Medienforschung.
Ähnlich wie mit der Repräsentativität ist es mit der Frage nach der Signifikanz, dem zweiten großen Schlagwort aus Sicht zumindest halbwegs vorgebildeter Rezipienten von Forschungsergebnissen. In der Grundlagenforschung, bei der Überprüfung kausaler Zusammenhänge, ist sie wohl zu Recht das Maß aller Dinge. In der deskriptiven Marktforschung sagt statistische Signifikanz von Zusammenhängen oder Mittelwertunterschieden allerdings oft nicht viel aus, wenn Hypothesen nicht formuliert wurden und große Stichproben auch minimalste Differenzen gleich als „statistisch signifikantes“ Ergebnis adeln.
Zu kurz kommt in diesem Kontext vielfach die „praktische Signifikanz“, ergo die Effektstärke und deren Relevanz. Wie wir zwischen statistisch signifikanten und wirklich bedeutsamen Ergebnissen unterscheiden können, zeigt insbesondere der Grundlagenbeitrag des Konstanzer Moralpsychologen Georg Lind, der auf Basis der Analyse methodischer Fallstricke klare Empfehlungen zum Umgang mit statistischen Befunden aufstellt.
Ach ja, und dann ist da noch die magische Glaubwürdigkeitsschwelle der „1.000 Befragten“. Von Laien, Medien und selbst von manchen Experten als Maß der Repräsentativität missverstanden (siehe auch marktforschung.dossier "Repräsentativität 2012 – Fakt, Fake oder Fetisch?") und von Institutsleitern nicht ganz ungerne gesehen (viele Interviews bringen schließlich auch viel Umsatz), scheinen manche Studien mehr auf Masse als auf Klasse zu setzen. Vielfach wäre ein Teil des Aufwands besser in Untersuchungsdesign, Operationalisierung, Auswertung oder Interpretation gesteckt worden, um wirklich wichtige und valide Erkenntnisse zu generieren. Zugleich werden die Ergebnisse kleinerer (Sub)-Stichproben vielfach unterschätzt oder gar negiert. Dabei fallen in der Praxis die meisten wirtschaftlichen Entscheidungen wohl immer noch ganz ohne empirische Basis oder lediglich auf Basis einer Handvoll Meinungen aus dem Kollegen-, Freundes- und Bekanntenkreis. Dann sind doch beispielsweise 50 Meinungen zum Thema (so viele Menschen zeigt das untenstehende Bild) die weitaus bessere Alternative, wenn die Auswahl stimmt und die Genauigkeit nicht überinterpretiert wird.

Ein bewusster und auch selbstkritischer Umgang mit Stichprobenumfang, Stichprobenziehung, Ausschöpfung, Signifikanz und Bedeutsamkeit der Ergebnisse kann letztlich helfen, eine andere Bedeutsamkeit zu stärken: Die Relevanz der Markt- und Meinungsforschung in Wirtschaft und Gesellschaft. Wie wichtig sind die Erkenntnisse, und wieweit beeinflussen sie selber die Realität? "Die Aussage eines Politikers, er nähme Umfrageergebnisse nicht ernst, heißt also, dass er das nicht ernst nimmt, was Menschen denken und fühlen" schrieb Bundeskanzler Gerhard Schröder einst. Unter anderem zur Macht der Meinungsforschung haben wir Forsa-Chef Manfred Güllner interviewt.
Viel Spaß beim Lesen der Schwerpunktbeiträge dieses Monats. Ich hoffe, Sie können daraus einige repräsentative, signifikante, vor allem aber valide und bedeutsame Anregungen für Ihre Arbeit ziehen.
Ihr
Horst Müller-Peters
(Herausgeber)
Exkurs Ausschöpfungsquote
Während die Ziehung einer Bruttostichprobe zwar immer aufwendiger wird, aber weitgehend beherrschbar scheint (siehe Beitrag von Christian von der Heyde "Repräsentativität, wie geht das?"), liegt ein zunehmendes Problem in der sinkenden Ausschöpfungsquote, da in vielen Fällen davon auszugehen ist, dass die Teilnahmebereitschaft der Befragten mit den zu messenden Merkmalen korreliert, und so ein systematischer Messfehler entsteht. Zugleich ist die Auskunftsbereitschaft auffallend gering, in Interviews und Publikationen dazu eindeutige Zahlen zu nennen. Zumindest hat sich die Medienforschung zwischenzeitlich von dem ominösen Ausschöpfungsziel „70%“ zugunsten einer pragmatischeren, aber auch realistischeren Vorgabe getrennt (siehe kommenden Beitrag von Michael Pusler "Repräsentativität in der Medienforschung: Hohes Gut, nicht nur Etikette"). Wie drängend das Problem der Verweigerung ist, zeigt exemplarisch die Antwort der Interviewerin eines großen, internationalen Instituts, die mich letzte Woche telefonisch zu Verkehrsthemen befragte. „Jeder sechste“ lautete die ernüchternde Antwort auf meine Rückfrage, wie denn die Teilnahmebereitschaft der übrigen Zielpersonen sei.
Links zum Thema:
marktforschung.dossier "Repräsentativität 2012 – Fakt, Fake oder Fetisch?"
marktforschung.dossier "Anonymität: Heiliger Gral oder goldenes Kalb? - Special zur GOR 14"
marktforschung.dossier "Online-Panels - gerade etabliert und schon von gestern?"
Gallup: Mit einer Wahlprognose zum globalen Marktforschungsunternehmen – ein Portrait
2022

Die Insights-Manager von morgen

Return on Investment

DIY & DIT

Neue Ansätze in der Konsumentenforschung

Die Vermessung der Marke

Die Zukunft qualitativer Marktforschung
2021

Sekundärmarktforschung

Customer Experience Management

Health- und Pharma-Marktforschung

Storytelling & Data Viz

KI in Marktanalyse und Kundenmanagement

E-Commerce-Boom
2020

Pricing und Preisforschung

Research Techs & Start-ups

Alles ist Marktforschung

Werbeerfolgsmessung

Mystery Shopping
2019

From Insights to Impact

Gehaltsstudie 2019

Customer Experience Research

Data Science und Künstliche Intelligenz

Text und Voice

Plattformen und Datensysteme 2019

Sportmarktforschung
2018

Repräsentativität und Zufallsstichprobe

Gehaltsstudie 2018

Trendsetter USA

Imagestudie Marktforschungsdienstleister

Zukunft der betrieblichen Marktforschung
2017

Meinungsforschung ohne Meinungsfreiheit?

Virtual Reality Marktforschung

Mobile Research 2017

Gehaltsstudie 2017

Datenschutz 2017

Agiles Projektmanagement
2016

Hightech

E-Commerce

Gehaltsstudie 2016

Emotionen, Sinne und Verhalten

Multikulturelle Forschung

Datenschutz in der Marktforschung

Quick without dirty
2015

Apparative Messung

Reporting und Visualisierung

Big Data / Predictive Analytics

Teststudios

Tourismusforschung

Sales und Marketing

Karriere in der Marktforschung 2015

Digitalisierung der Kundenbeziehung

Behavioral Economics

Sekundärforschung/Desk Research
2014

CATI-Krise

Sozialforschung: Die Gesellschaft im Fokus

DIY-Forschung

Finanz- und Versicherungsmarktforschung

Jung und Wild

Karriere-Spezial 2014

Themenspecial Software

Anonymität: Heiliger Gral oder goldenes Kalb

Medienforschung im Wandel

Social Media - ein Hype in der Krise
2013

Marktforschungsmanagement

Kundenzufriedenheit 2.0

Alltagsforschung

Wahlforschung

Zufriedenheit mit Instituten

Innovations- und Zukunftsforschung

Preisforschung

Karriere-Spezial 2013

Marke und Markenführung

Gesundheit! Branchenspecial Pharma

Marktforschung 2020

Mobile Research
2012

Vom Marktforscher zum Berater

Branchenspecial Automotive

Werbung und Wirkung

Image

Qualitative Forschung

Web-Analyse

Karriere in der Marktforschung

Online-Panels
