CONSULTING.de
Rückblick auf die DIY&T research days Daily Keynote vom 13.09.2022 Mach Dein Ding! – Wie viel Service braucht DIY-Research?
veröffentlicht am
- marktforschung.de
- marktforschung.dossier
- Dossier: Repräsentativität und Relevanz
Repräsentativität und Relevanz
Repräsentativ, signifikant, bedeutsam?
Seit Gallup das Geheimnis der Zufallsstichprobe entdeckt hat, gilt in der Branche: "Wir fragen manche und antworten für alle." Aber was meint Repräsentativität überhaupt? Ist eine statistische Repräsentativität überhaupt möglich, bezahlbar und den Aufwand wert? Wie sieht der pragmatische Umgang von Instituten und Auftraggebern mit dem Thema aus? Und wie lässt sich dieses aus Sicht von Kunden und Öffentlichkeit anscheinend wichtigste Versprechen der Profession auch in Zukunft zumindest annähernd einlösen, wenn die Ziehung und Ausschöpfung von Stichproben immer schwieriger wird und der Zeit- und Kostendruck weiter zunimmt? Gerade ist in den USA in Zusammenhang mit Umfragen der New York Times ein neuer Streit entbrannt, welche Ergebnisse als repräsentativ anzusehen sind, und auch in der derzeitigen Anonymitätsdebatte (siehe bspw. marktforschung.dossier "Anonymität: Heiliger Gral oder goldenes Kalb?" und Diskussion um angebliche Aufweichung des Anonymitätsgebots) spielt die Auswirkung auf die Repräsentativität von Ergebnissen eine große Rolle.
Unterschiedliche Wege bei der Suche nach Repräsentativität und des Umgangs mit dieser schildern unsere Autoren dieses Monats aus der Perspektive des ADM, verschiedener Institute, neuer und alter Erhebungsmethoden sowie aus Sicht der Markt-, Politik- und Medienforschung.
Ähnlich wie mit der Repräsentativität ist es mit der Frage nach der Signifikanz, dem zweiten großen Schlagwort aus Sicht zumindest halbwegs vorgebildeter Rezipienten von Forschungsergebnissen. In der Grundlagenforschung, bei der Überprüfung kausaler Zusammenhänge, ist sie wohl zu Recht das Maß aller Dinge. In der deskriptiven Marktforschung sagt statistische Signifikanz von Zusammenhängen oder Mittelwertunterschieden allerdings oft nicht viel aus, wenn Hypothesen nicht formuliert wurden und große Stichproben auch minimalste Differenzen gleich als „statistisch signifikantes“ Ergebnis adeln.
Zu kurz kommt in diesem Kontext vielfach die „praktische Signifikanz“, ergo die Effektstärke und deren Relevanz. Wie wir zwischen statistisch signifikanten und wirklich bedeutsamen Ergebnissen unterscheiden können, zeigt insbesondere der Grundlagenbeitrag des Konstanzer Moralpsychologen Georg Lind, der auf Basis der Analyse methodischer Fallstricke klare Empfehlungen zum Umgang mit statistischen Befunden aufstellt.
Ach ja, und dann ist da noch die magische Glaubwürdigkeitsschwelle der „1.000 Befragten“. Von Laien, Medien und selbst von manchen Experten als Maß der Repräsentativität missverstanden (siehe auch marktforschung.dossier "Repräsentativität 2012 – Fakt, Fake oder Fetisch?") und von Institutsleitern nicht ganz ungerne gesehen (viele Interviews bringen schließlich auch viel Umsatz), scheinen manche Studien mehr auf Masse als auf Klasse zu setzen. Vielfach wäre ein Teil des Aufwands besser in Untersuchungsdesign, Operationalisierung, Auswertung oder Interpretation gesteckt worden, um wirklich wichtige und valide Erkenntnisse zu generieren. Zugleich werden die Ergebnisse kleinerer (Sub)-Stichproben vielfach unterschätzt oder gar negiert. Dabei fallen in der Praxis die meisten wirtschaftlichen Entscheidungen wohl immer noch ganz ohne empirische Basis oder lediglich auf Basis einer Handvoll Meinungen aus dem Kollegen-, Freundes- und Bekanntenkreis. Dann sind doch beispielsweise 50 Meinungen zum Thema (so viele Menschen zeigt das untenstehende Bild) die weitaus bessere Alternative, wenn die Auswahl stimmt und die Genauigkeit nicht überinterpretiert wird.
Ein bewusster und auch selbstkritischer Umgang mit Stichprobenumfang, Stichprobenziehung, Ausschöpfung, Signifikanz und Bedeutsamkeit der Ergebnisse kann letztlich helfen, eine andere Bedeutsamkeit zu stärken: Die Relevanz der Markt- und Meinungsforschung in Wirtschaft und Gesellschaft. Wie wichtig sind die Erkenntnisse, und wieweit beeinflussen sie selber die Realität? "Die Aussage eines Politikers, er nähme Umfrageergebnisse nicht ernst, heißt also, dass er das nicht ernst nimmt, was Menschen denken und fühlen" schrieb Bundeskanzler Gerhard Schröder einst. Unter anderem zur Macht der Meinungsforschung haben wir Forsa-Chef Manfred Güllner interviewt.
Viel Spaß beim Lesen der Schwerpunktbeiträge dieses Monats. Ich hoffe, Sie können daraus einige repräsentative, signifikante, vor allem aber valide und bedeutsame Anregungen für Ihre Arbeit ziehen.
Ihr
Horst Müller-Peters
(Herausgeber)
Exkurs Ausschöpfungsquote
Während die Ziehung einer Bruttostichprobe zwar immer aufwendiger wird, aber weitgehend beherrschbar scheint (siehe Beitrag von Christian von der Heyde "Repräsentativität, wie geht das?"), liegt ein zunehmendes Problem in der sinkenden Ausschöpfungsquote, da in vielen Fällen davon auszugehen ist, dass die Teilnahmebereitschaft der Befragten mit den zu messenden Merkmalen korreliert, und so ein systematischer Messfehler entsteht. Zugleich ist die Auskunftsbereitschaft auffallend gering, in Interviews und Publikationen dazu eindeutige Zahlen zu nennen. Zumindest hat sich die Medienforschung zwischenzeitlich von dem ominösen Ausschöpfungsziel „70%“ zugunsten einer pragmatischeren, aber auch realistischeren Vorgabe getrennt (siehe kommenden Beitrag von Michael Pusler "Repräsentativität in der Medienforschung: Hohes Gut, nicht nur Etikette"). Wie drängend das Problem der Verweigerung ist, zeigt exemplarisch die Antwort der Interviewerin eines großen, internationalen Instituts, die mich letzte Woche telefonisch zu Verkehrsthemen befragte. „Jeder sechste“ lautete die ernüchternde Antwort auf meine Rückfrage, wie denn die Teilnahmebereitschaft der übrigen Zielpersonen sei.
Links zum Thema:
marktforschung.dossier "Repräsentativität 2012 – Fakt, Fake oder Fetisch?"
marktforschung.dossier "Anonymität: Heiliger Gral oder goldenes Kalb? - Special zur GOR 14"
marktforschung.dossier "Online-Panels - gerade etabliert und schon von gestern?"
Gallup: Mit einer Wahlprognose zum globalen Marktforschungsunternehmen – ein Portrait
2022
DIY & DIT
Selber machen oder besser doch Profis ranlassen?
Erschienen: 08/2022
Neue Ansätze in der Konsumentenforschung
Neue Ansätze in der Konsumentenforschung | marktforschung.dossier
Erschienen: 05/2022
Die Vermessung der Marke
Die Vermessung der Marke | marktforschung.dossier
Erschienen: 03/2022
Die Zukunft qualitativer Marktforschung
Die Zukunft der qualitativen Marktforschung | marktforschung.dossier
Erschienen: 02/2022
2021
Sekundärmarktforschung
marktforschung.dossier: Beiträge zum Thema Sekundärforschung im Zeitalter des Datenüberflusses ► Jetzt Dossier-Beiträge lesen!
Erschienen: 12/2021
Customer Experience Management
Customer Experience Management | marktforschung.dossier
Erschienen: 08/2021
Health- und Pharma-Marktforschung
Healthcare- und Pharma-Marktforschung | marktforschung.dossier
Erschienen: 06/2021
Storytelling & Data Viz
Von Storytelling bis Data Viz: Die richtige Vermittlung von Forschungsergebnissen | marktforschung.dossier
Erschienen: 04/2021
KI in Marktanalyse und Kundenmanagement
Künstliche Intelligenz in Marktanalyse, Kundenmanagement und darüber hinaus | marktforschung.dossier
Erschienen: 03/2021
E-Commerce-Boom
E-Commerce-Boom: Daten und Insights als Chance für die Marktforschungsbranche | marktforschung.dossier
Erschienen: 01/2021
2020
Pricing und Preisforschung
Pricing und Preisforschung in digitalen Märkten | marktforschung.dossier
Erschienen: 10/2020
Research Techs & Start-ups
Research Techs und Start-ups | marktforschung.dossier
Erschienen: 08/2020
Alles ist Marktforschung
Alles ist Marktforschung | marktforschung.dossier
Erschienen: 05/2020
Werbeerfolgsmessung
Werbeerfolgsmessung | marktforschung.dossier
Erschienen: 03/2020
Mystery Shopping
Mystery Shopping | marktforschung.dossier
Erschienen: 01/2020
2019
From Insights to Impact
From Insights to Impact | marktforschung.dossier
Erschienen: 11/2019
Gehaltsstudie 2019
Gehaltsstudie 2019 | marktforschung.dossier
Erschienen: 11/2019
Customer Experience Research
Customer Experience Research 2019 | marktforschung.dossier
Erschienen: 09/2019
Data Science und Künstliche Intelligenz
Data Science und Künstliche Intelligenz 2019 | marktforschung.dossier
Erschienen: 06/2019
Text und Voice
Text und Voice | marktforschung.dossier
Erschienen: 05/2019
Plattformen und Datensysteme 2019
Plattformen und Datensysteme 2019 | marktforschung.dossier
Erschienen: 03/2019
Sportmarktforschung
Sportmarktforschung | marktforschung.dossier
Erschienen: 01/2019
2018
Repräsentativität und Zufallsstichprobe
Repräsentativität und Zufallsstichprobe | marktforschung.dossier
Erschienen: 11/2018
Gehaltsstudie 2018
Gehaltsstudie 2018: Gehalt, Arbeitszufriedenheit, Work-Life-Balance – Mehr Transparenz und Attraktivität!
Erschienen: 10/2018
Trendsetter USA
Trendsetter USA - Status Quo, Innovationen, Potenziale | marktforschung.dossier
Erschienen: 08/2018
Imagestudie Marktforschungsdienstleister
Imagestudie Marktforschungsdienstleister 2018 | marktforschung.dossier
Erschienen: 05/2018
Zukunft der betrieblichen Marktforschung
Zukunft der betrieblichen Marktforschung | marktforschung.dossier
Erschienen: 02/2018
2017
Meinungsforschung ohne Meinungsfreiheit?
Meinungsforschung ohne Meinungsfreiheit | marktforschung.dossier
Erschienen: 11/2017
Virtual Reality Marktforschung
Virtual Reality 2017 | marktforschung.dossier
Erschienen: 10/2017
Mobile Research 2017
Mobile Research 2017 | marktforschung.dossier - August/September 2017
Erschienen: 08/2017
Gehaltsstudie 2017
Gehaltsstudie 2017: Gehalt, Zusatzleistungen, Arbeitszufriedenheit – Editorial
Erschienen: 06/2017
Datenschutz 2017
DSGVO-Checkliste
Erschienen: 04/2017
Agiles Projektmanagement
Agiles Projektmanagement: Wie flexibel ist Marktforschung? | marktforschung.dossier - April 2017
Erschienen: 04/2017
2016
Hightech
Marktforschung in Zeiten von Virtual Reality und Scrum | marktforschung.dossier - Oktober 2016
Erschienen: 10/2016
E-Commerce
E-Commerce: Motivationen, Barrieren und Hebel | marktforschung.dossier - September 2016
Erschienen: 09/2016
Gehaltsstudie 2016
Gehaltsstudie 2016: Gehalt, Arbeitsbedingungen, Gender Pay Gap - Editorial
Erschienen: 06/2016
Emotionen, Sinne und Verhalten
Emotionen, Sinne und Verhalten | marktforschung.dossier - Mai 2016
Erschienen: 05/2016
Multikulturelle Forschung
Multikulturelle Forschung | marktforschung.dossier - April 2016
Erschienen: 04/2016
Datenschutz in der Marktforschung
Datenschutz in der Marktforschung | marktforschung.dossier - März 2016
Erschienen: 03/2016
Quick without dirty
Quick without dirty? | marktforschung.dossier - Februar 2016
Erschienen: 02/2016
2015
Apparative Messung
Apparative Messung | marktforschung.dossier - Dezember 2015
Erschienen: 12/2015
Reporting und Visualisierung
Reporting und Visualisierung | marktforschung.dossier - November 2015
Erschienen: 11/2015
Big Data / Predictive Analytics
Das ganz große Ding? Big Data / Predictive Analytics | marktforschung.dossier - Oktober 2015
Erschienen: 10/2015
Teststudios
Teststudios: Rekrutierung, Qualitätssicherung, Forschungsvielfalt - ein Blick hinter den Einwegspiegel | marktforschung.dossier - September 2015
Erschienen: 09/2015
Tourismusforschung
Forschung im Urlaub? Branchenspecial Tourismusforschung | marktforschung.dossier - Juli 2015
Erschienen: 07/2015
Sales und Marketing
Vom Verkaufen der Forschung: Sales und Marketing in der Marktforschung | marktforschung.dossier - Juni 2015
Erschienen: 06/2015
Karriere in der Marktforschung 2015
Karriere in der Marktforschung 2015 - Editorial
Erschienen: 05/2015
Digitalisierung der Kundenbeziehung
Die Digitalisierung der Kundenbeziehung: Customer Feedback, Data Analytics, CRM & Co. | marktforschung.dossier - April 2015
Erschienen: 04/2015
Behavioral Economics
Behavioral Economics: Revolution im Menschenbild - Revolution in den Methoden? | marktforschung.dossier - März 2015
Erschienen: 03/2015
Sekundärforschung/Desk Research
Sekundärforschung / Desk Research: Das Stiefkind der Marktforschung? | marktforschung.dossier - Februar 2015
Erschienen: 02/2015
2014
CATI-Krise
Ruf mich nicht an! - Die CATI-Krise | marktforschung.dossier - Dezember 2014
Erschienen: 12/2014
Sozialforschung: Die Gesellschaft im Fokus
Sozialforschung: Die Gesellschaft im Fokus | marktforschung.dossier - November 2014
Erschienen: 11/2014
Repräsentativität und Relevanz
Repräsentativität und Relevanz | marktforschung.dossier - Oktober 2014
Erschienen: 10/2014
DIY-Forschung
DIY-Forschung: Google, SurveyMonkey & Co. - Großangriff auf Institute? | marktforschung.dossier - September 2014
Erschienen: 09/2014
Finanz- und Versicherungsmarktforschung
Branchenspecial: Finanz- und Versicherungsmarktforschung
Erschienen: 07/2014
Jung und Wild
Jung und Wild? Newcomer in der Marktforschungsbranche
Erschienen: 06/2014
Karriere-Spezial 2014
Karriere-Spezial: Gehaltsvergleich, Wechselneigung, kluge Köpfe
Erschienen: 05/2014
Themenspecial Software
Fokus Automatisierung: Themenspecial Software
Erschienen: 04/2014
Anonymität: Heiliger Gral oder goldenes Kalb
Anonymität: Heiliger Gral oder goldenes Kalb? - Special zur GOR 14
Erschienen: 03/2014
Medienforschung im Wandel
Methodik vs. Technik: Medienforschung im Wandel
Erschienen: 02/2014
Social Media - ein Hype in der Krise
Social-Media - ein Hype in der Krise?
Erschienen: 01/2014
2013
Marktforschungsmanagement
Marktforschungsmanagement: Im Spagat zwischen Kostendruck und Qualitätsanspruch?
Erschienen: 12/2013
Kundenzufriedenheit 2.0
Kundenzufriedenheit 2.0 - gekauft und geliked
Erschienen: 11/2013
Alltagsforschung
Alltagsforschung: Branchenspecial FMCG
Erschienen: 10/2013
Wahlforschung
Basisdemokratie oder Datendiktatur? - Wahlforschung
Erschienen: 09/2013
Zufriedenheit mit Instituten
Zufriedenheit mit Instituten - Forschung für gut befunden?
Erschienen: 08/2013
Innovations- und Zukunftsforschung
Innovations- und Zukunftsforschung - Forscherblick in die Glaskugel?
Erschienen: 07/2013
Preisforschung
Preisforschung - wenn "zu billig" zu teuer wird
Erschienen: 06/2013
Karriere-Spezial 2013
Karriere-Spezial: Geld oder Glück - was sticht im Kampf um Talente?
Erschienen: 05/2013
Marke und Markenführung
Marke und Markenführung - die Erlebbarkeit von Namen
Erschienen: 04/2013
Gesundheit! Branchenspecial Pharma
Gesundheit! Branchenspecial Pharma
Erschienen: 03/2013
Marktforschung 2020
Marktforschung 2020: Besser, anders oder gar nicht mehr da?
Erschienen: 02/2013
Mobile Research
Mobile Research - hybrid unterwegs
Erschienen: 01/2013
2012
Vom Marktforscher zum Berater
Vom Marktforscher zum Berater - Wer braucht noch Research?
Erschienen: 12/2012
Branchenspecial Automotive
Branchenspecial Automotive
Erschienen: 10/2012
Werbung und Wirkung
Werbung und Wirkung - Von der Litfaß-Säule zum Sponsored Tweet
Erschienen: 09/2012
Image
Image: Was muss ein Marktforschungsdienstleister leisten?
Erschienen: 08/2012
Qualitative Forschung
Qualitative Forschung – Marktforschung auf der Couch
Erschienen: 07/2012
Web-Analyse
Web-Analyse – Big Data = Big Success?
Erschienen: 06/2012
Karriere in der Marktforschung
Karriere in der Marktforschung - Traumberuf "Erbsenzähler"?
Erschienen: 05/2012
Online-Panels
Online-Panels - gerade etabliert und schon von gestern?
Erschienen: 04/2012
Repräsentativität 2012
Repräsentativität 2012 – Fakt, Fake oder Fetisch?
Erschienen: 03/2012
