Repräsentativität und Relevanz | marktforschung.dossier - Oktober 2014

Repräsentativ, signifikant, bedeutsam?

Prof. Horst Müller-Peters, Herausgeber
Prof. Horst Mueller-Peters, marktforschung.de

Seit Gallup das Geheimnis der Zufallsstichprobe entdeckt hat, gilt in der Branche: "Wir fragen manche und antworten für alle." Aber was meint Repräsentativität überhaupt? Ist eine statistische Repräsentativität überhaupt möglich, bezahlbar und den Aufwand wert? Wie sieht der pragmatische Umgang von Instituten und Auftraggebern mit dem Thema aus? Und wie lässt sich dieses aus Sicht von Kunden und Öffentlichkeit anscheinend wichtigste Versprechen der Profession auch in Zukunft zumindest annähernd einlösen, wenn die Ziehung und Ausschöpfung von Stichproben immer schwieriger wird und der Zeit- und Kostendruck weiter zunimmt? Gerade ist in den USA in Zusammenhang mit Umfragen der New York Times ein neuer Streit entbrannt, welche Ergebnisse als repräsentativ anzusehen sind, und auch in der derzeitigen Anonymitätsdebatte (siehe bspw. marktforschung.dossier "Anonymität: Heiliger Gral oder goldenes Kalb?" und Diskussion um angebliche Aufweichung des Anonymitätsgebots) spielt die Auswirkung auf die Repräsentativität von Ergebnissen eine große Rolle.

Unterschiedliche Wege bei der Suche nach Repräsentativität und des Umgangs mit dieser schildern unsere Autoren dieses Monats aus der Perspektive des ADM, verschiedener Institute, neuer und alter Erhebungsmethoden sowie aus Sicht der Markt-, Politik- und Medienforschung.

Ähnlich wie mit der Repräsentativität ist es mit der Frage nach der Signifikanz, dem zweiten großen Schlagwort aus Sicht zumindest halbwegs vorgebildeter Rezipienten von Forschungsergebnissen. In der Grundlagenforschung, bei der Überprüfung kausaler Zusammenhänge, ist sie wohl zu Recht das Maß aller Dinge. In der deskriptiven Marktforschung sagt statistische Signifikanz von Zusammenhängen oder Mittelwertunterschieden allerdings oft nicht viel aus, wenn Hypothesen nicht formuliert wurden und große Stichproben auch minimalste Differenzen gleich als „statistisch signifikantes“ Ergebnis adeln.

Zu kurz kommt in diesem Kontext vielfach die „praktische Signifikanz“, ergo die Effektstärke und deren Relevanz. Wie wir zwischen statistisch signifikanten und wirklich bedeutsamen Ergebnissen unterscheiden können, zeigt insbesondere der Grundlagenbeitrag des Konstanzer Moralpsychologen Georg Lind, der auf Basis der Analyse methodischer Fallstricke klare Empfehlungen zum Umgang mit statistischen Befunden aufstellt.

Ach ja, und dann ist da noch die magische Glaubwürdigkeitsschwelle der „1.000 Befragten“. Von Laien, Medien und selbst von manchen Experten als Maß der Repräsentativität missverstanden (siehe auch marktforschung.dossier "Repräsentativität 2012 – Fakt, Fake oder Fetisch?") und von Institutsleitern nicht ganz ungerne gesehen (viele Interviews bringen schließlich auch viel Umsatz), scheinen manche Studien mehr auf Masse als auf Klasse zu setzen. Vielfach wäre ein Teil des Aufwands besser in Untersuchungsdesign, Operationalisierung, Auswertung oder Interpretation gesteckt worden, um wirklich wichtige und valide Erkenntnisse zu generieren. Zugleich werden die Ergebnisse kleinerer (Sub)-Stichproben vielfach unterschätzt oder gar negiert. Dabei fallen in der Praxis die meisten wirtschaftlichen Entscheidungen wohl immer noch ganz ohne empirische Basis oder lediglich auf Basis einer Handvoll Meinungen aus dem Kollegen-, Freundes- und Bekanntenkreis. Dann sind doch beispielsweise 50 Meinungen zum Thema (so viele Menschen zeigt das untenstehende Bild) die weitaus bessere Alternative, wenn die Auswahl stimmt und die Genauigkeit nicht überinterpretiert wird.

Ein bewusster und auch selbstkritischer Umgang mit Stichprobenumfang, Stichprobenziehung, Ausschöpfung, Signifikanz und Bedeutsamkeit der Ergebnisse kann letztlich helfen, eine andere Bedeutsamkeit zu stärken: Die Relevanz der Markt- und Meinungsforschung in Wirtschaft und Gesellschaft. Wie wichtig sind die Erkenntnisse, und wieweit beeinflussen sie selber die Realität? "Die Aussage eines Politikers, er nähme Umfrageergebnisse nicht ernst, heißt also, dass er das nicht ernst nimmt, was Menschen denken und fühlen" schrieb Bundeskanzler Gerhard Schröder einst. Unter anderem zur Macht der Meinungsforschung haben wir Forsa-Chef Manfred Güllner interviewt.

Viel Spaß beim Lesen der Schwerpunktbeiträge dieses Monats. Ich hoffe, Sie können daraus einige repräsentative, signifikante, vor allem aber valide und bedeutsame Anregungen für Ihre Arbeit ziehen.

Ihr

Horst Müller-Peters
(Herausgeber)

Exkurs Ausschöpfungsquote

Während die Ziehung einer Bruttostichprobe zwar immer aufwendiger wird, aber weitgehend beherrschbar scheint (siehe Beitrag von Christian von der Heyde "Repräsentativität, wie geht das?"), liegt ein zunehmendes Problem in der sinkenden Ausschöpfungsquote, da in vielen Fällen davon auszugehen ist, dass die Teilnahmebereitschaft der Befragten mit den zu messenden Merkmalen korreliert, und so ein systematischer Messfehler entsteht. Zugleich ist die Auskunftsbereitschaft auffallend gering, in Interviews und Publikationen dazu eindeutige Zahlen zu nennen. Zumindest hat sich die Medienforschung zwischenzeitlich von dem ominösen Ausschöpfungsziel „70%“ zugunsten einer pragmatischeren, aber auch realistischeren Vorgabe getrennt (siehe kommenden Beitrag von Michael Pusler "Repräsentativität in der Medienforschung: Hohes Gut, nicht nur Etikette"). Wie drängend das Problem der Verweigerung ist, zeigt exemplarisch die Antwort der Interviewerin eines großen, internationalen Instituts, die mich letzte Woche telefonisch zu Verkehrsthemen befragte. „Jeder sechste“ lautete die ernüchternde Antwort auf meine Rückfrage, wie denn die Teilnahmebereitschaft der übrigen Zielpersonen sei.

Über marktforschung.de

Branchenwissen an zentraler Stelle bündeln und abrufbar machen – das ist das Hauptanliegen von marktforschung.de. Unser breites Informationsangebot rund um die Marktforschung richtet sich sowohl an Marktforschungsinstitute, Felddienstleister, Panelbetreiber und Herausgeber von Studien, Marktdaten sowie Marktanalysen als auch an deren Kunden aus Industrie, Handel und Dienstleistungsgewerbe.

facebook twitter google plus