- marktforschung.de
- marktforschung.dossier
- Dossier: Repräsentativität und Relevanz
Repräsentativität und Relevanz

Seit Gallup das Geheimnis der Zufallsstichprobe entdeckt hat, gilt in der Branche: "Wir fragen manche und antworten für alle." Aber was meint Repräsentativität überhaupt? Ist eine statistische Repräsentativität überhaupt möglich, bezahlbar und den Aufwand wert? Wie sieht der pragmatische Umgang von Instituten und Auftraggebern mit dem Thema aus? Und wie lässt sich dieses aus Sicht von Kunden und Öffentlichkeit anscheinend wichtigste Versprechen der Profession auch in Zukunft zumindest annähernd einlösen, wenn die Ziehung und Ausschöpfung von Stichproben immer schwieriger wird und der Zeit- und Kostendruck weiter zunimmt? Gerade ist in den USA in Zusammenhang mit Umfragen der New York Times ein neuer Streit entbrannt, welche Ergebnisse als repräsentativ anzusehen sind, und auch in der derzeitigen Anonymitätsdebatte (siehe bspw. marktforschung.dossier "Anonymität: Heiliger Gral oder goldenes Kalb?" und Diskussion um angebliche Aufweichung des Anonymitätsgebots) spielt die Auswirkung auf die Repräsentativität von Ergebnissen eine große Rolle.
Unterschiedliche Wege bei der Suche nach Repräsentativität und des Umgangs mit dieser schildern unsere Autoren dieses Monats aus der Perspektive des ADM, verschiedener Institute, neuer und alter Erhebungsmethoden sowie aus Sicht der Markt-, Politik- und Medienforschung.
Ähnlich wie mit der Repräsentativität ist es mit der Frage nach der Signifikanz, dem zweiten großen Schlagwort aus Sicht zumindest halbwegs vorgebildeter Rezipienten von Forschungsergebnissen. In der Grundlagenforschung, bei der Überprüfung kausaler Zusammenhänge, ist sie wohl zu Recht das Maß aller Dinge. In der deskriptiven Marktforschung sagt statistische Signifikanz von Zusammenhängen oder Mittelwertunterschieden allerdings oft nicht viel aus, wenn Hypothesen nicht formuliert wurden und große Stichproben auch minimalste Differenzen gleich als „statistisch signifikantes“ Ergebnis adeln.
Zu kurz kommt in diesem Kontext vielfach die „praktische Signifikanz“, ergo die Effektstärke und deren Relevanz. Wie wir zwischen statistisch signifikanten und wirklich bedeutsamen Ergebnissen unterscheiden können, zeigt insbesondere der Grundlagenbeitrag des Konstanzer Moralpsychologen Georg Lind, der auf Basis der Analyse methodischer Fallstricke klare Empfehlungen zum Umgang mit statistischen Befunden aufstellt.
Ach ja, und dann ist da noch die magische Glaubwürdigkeitsschwelle der „1.000 Befragten“. Von Laien, Medien und selbst von manchen Experten als Maß der Repräsentativität missverstanden (siehe auch marktforschung.dossier "Repräsentativität 2012 – Fakt, Fake oder Fetisch?") und von Institutsleitern nicht ganz ungerne gesehen (viele Interviews bringen schließlich auch viel Umsatz), scheinen manche Studien mehr auf Masse als auf Klasse zu setzen. Vielfach wäre ein Teil des Aufwands besser in Untersuchungsdesign, Operationalisierung, Auswertung oder Interpretation gesteckt worden, um wirklich wichtige und valide Erkenntnisse zu generieren. Zugleich werden die Ergebnisse kleinerer (Sub)-Stichproben vielfach unterschätzt oder gar negiert. Dabei fallen in der Praxis die meisten wirtschaftlichen Entscheidungen wohl immer noch ganz ohne empirische Basis oder lediglich auf Basis einer Handvoll Meinungen aus dem Kollegen-, Freundes- und Bekanntenkreis. Dann sind doch beispielsweise 50 Meinungen zum Thema (so viele Menschen zeigt das untenstehende Bild) die weitaus bessere Alternative, wenn die Auswahl stimmt und die Genauigkeit nicht überinterpretiert wird.
Ein bewusster und auch selbstkritischer Umgang mit Stichprobenumfang, Stichprobenziehung, Ausschöpfung, Signifikanz und Bedeutsamkeit der Ergebnisse kann letztlich helfen, eine andere Bedeutsamkeit zu stärken: Die Relevanz der Markt- und Meinungsforschung in Wirtschaft und Gesellschaft. Wie wichtig sind die Erkenntnisse, und wieweit beeinflussen sie selber die Realität? "Die Aussage eines Politikers, er nähme Umfrageergebnisse nicht ernst, heißt also, dass er das nicht ernst nimmt, was Menschen denken und fühlen" schrieb Bundeskanzler Gerhard Schröder einst. Unter anderem zur Macht der Meinungsforschung haben wir Forsa-Chef Manfred Güllner interviewt.
Viel Spaß beim Lesen der Schwerpunktbeiträge dieses Monats. Ich hoffe, Sie können daraus einige repräsentative, signifikante, vor allem aber valide und bedeutsame Anregungen für Ihre Arbeit ziehen.
Ihr
Horst Müller-Peters
(Herausgeber)
Während die Ziehung einer Bruttostichprobe zwar immer aufwendiger wird, aber weitgehend beherrschbar scheint (siehe Beitrag von Christian von der Heyde "Repräsentativität, wie geht das?"), liegt ein zunehmendes Problem in der sinkenden Ausschöpfungsquote, da in vielen Fällen davon auszugehen ist, dass die Teilnahmebereitschaft der Befragten mit den zu messenden Merkmalen korreliert, und so ein systematischer Messfehler entsteht. Zugleich ist die Auskunftsbereitschaft auffallend gering, in Interviews und Publikationen dazu eindeutige Zahlen zu nennen. Zumindest hat sich die Medienforschung zwischenzeitlich von dem ominösen Ausschöpfungsziel „70%“ zugunsten einer pragmatischeren, aber auch realistischeren Vorgabe getrennt (siehe kommenden Beitrag von Michael Pusler "Repräsentativität in der Medienforschung: Hohes Gut, nicht nur Etikette"). Wie drängend das Problem der Verweigerung ist, zeigt exemplarisch die Antwort der Interviewerin eines großen, internationalen Instituts, die mich letzte Woche telefonisch zu Verkehrsthemen befragte. „Jeder sechste“ lautete die ernüchternde Antwort auf meine Rückfrage, wie denn die Teilnahmebereitschaft der übrigen Zielpersonen sei.
Links zum Thema:
marktforschung.dossier "Repräsentativität 2012 – Fakt, Fake oder Fetisch?"
marktforschung.dossier "Anonymität: Heiliger Gral oder goldenes Kalb? - Special zur GOR 14"
marktforschung.dossier "Online-Panels - gerade etabliert und schon von gestern?"
Gallup: Mit einer Wahlprognose zum globalen Marktforschungsunternehmen – ein Portrait
Smart News Fachverlag GmbH
Max-Ernst-Str. 4
D-50354 Hürth (bei Köln)
Tel.: +49 (0)2233 - 460 78 60
Redaktionelle Anliegen bitte an:
redaktion(at)marktforschung.de
für alle anderen Anliegen:
service(at)marktforschung.de
Bitte geben Sie Ihren Benutzernamen und Ihr Passwort ein, um sich an der Website anzumelden.
Noch keinen Account?
Passwort vergessen?
Sie sind jetzt ausgeloggt.
Vielen Dank für Ihre Registrierung.
Um die Registrierung abzuschließen haben wir eine E-Mail an die von Ihnen angegebene Adresse gesendet. Diese beinhaltet einen Link zum Bestätigen Ihres Profils. Erst dann ist die Registrierung abgeschlossen und Ihr Profil nutzbar.
Sollten Sie keine E-Mail erhalten haben, schauen Sie hierzu bitte auch in Ihrem Spam-Ordner oder warten Sie ein paar Minuten.
Ihr Profil wurde nun gelöscht
Wir verwenden Cookies, um Inhalte und Anzeigen zu personalisieren, Funktionen für soziale Medien anbieten zu können und die Zugriffe auf unsere Website zu analysieren. Außerdem geben wir Informationen zu Ihrer Verwendung unserer Website an unsere Partner für soziale Medien, Werbung und Analysen weiter. Unsere Partner führen diese Informationen möglicherweise mit weiteren Daten zusammen, die Sie ihnen bereitgestellt haben oder die sie im Rahmen Ihrer Nutzung der Dienste gesammelt haben.
Notwendige Cookies helfen dabei, eine Webseite nutzbar zu machen, indem sie Grundfunktionen wie Seitennavigation und Zugriff auf sichere Bereiche der Webseite ermöglichen. Die Webseite kann ohne diese Cookies nicht richtig funktionieren.
Name | Beschr. | Speicherdauer | Provider |
---|---|---|---|
fe_typo_user | Behält die Zustände des Benutzers bei allen Seitenanfragen bei. |
Session | marktforschung.de |
omCookieConsent | Speichert den Zustimmungsstatus des Benutzers für Cookies auf der aktuellen Domäne. |
Session | marktforschung.de |
CONSENT | Wird verwendet, um festzustellen, ob der Besucher die Marketingkategorie im Cookie-Banner akzeptiert hat. Dieser Cookie ist notwendig für die Einhaltung der DSGVO der Webseite. |
2 Jahre | Google / Youtube |
Statistik-Cookies helfen Webseiten-Besitzern zu verstehen, wie Besucher mit Webseiten interagieren, indem Informationen anonym gesammelt und gemeldet werden.
Name | Beschr. | Speicherdauer | Provider |
---|---|---|---|
_gat | Wird von Google Analytics verwendet, um die Anforderungsrate einzuschränken |
1 Tag | |
_ga | Registriert eine eindeutige ID, die verwendet wird, um statistische Daten dazu, wie der Besucher die Website nutzt, zu generieren. |
2 Jahr(e) | |
_gid | Registriert eine eindeutige ID, die verwendet wird, um statistische Daten dazu, wie der Besucher die Website nutzt, zu generieren. |
1 Tag |
Diese Anbieter verwenden wir für unser Marketing, hierbei insbesondere das sogenannte "Tracking" (Nachvollziehen von Anmeldungen) und der Erfolgsmessung unserer Werbeanzeigen. Die damit verbundene Reichweitenmessung ist die Besuchsaktionsauswertung durch Analyse des Nutzungsverhaltens in Bezug auf die Feststellung bestimmter Nutzeraktionen und Messung der Effektivität von Online-Werbung. Gemessen wird die Anzahl der Besucher, die z.B. durch das Anklicken von Werbeanzeigen auf Websites oder Apps gelangt sind. Darüber hinaus kann die Rate der Nutzer gemessen werden, die eine bestimmte Aktion ausführen (z.B. Registrierung für den Newsletter, Bestellung von Waren).
Name | Beschr. | Speicherdauer | Provider |
---|---|---|---|
_fbp |