BVM-Kommentar zur gegenwärtigen Diskussion um Repräsentativität

Online-Forschung in der Kritik

Im Zuge der Diskussion um den Umgang mit Umfragedaten und zur Qualitätssicherung wendet sich nun auch der BVM mit einer Pressemeldung an die Öffentlichkeit. Der Vorstandsvorsitzende des BVM mahnt dazu, nicht zwischen "klassischen" und "modernen" Methoden zu differenzieren.

BVM

Im Zusammenhang mit den kürzlich veröffentlichten Stellungnahmen von ADM und DGOF unterstreicht der Vorstandsvorsitzende des BVM, Dr. Frank Knapp, die Wichtigkeit eines sachgerechten Methodeneinsatzes und der entsprechenden Kommunikation. Insbesondere Markt- und Sozialforschung sollte niemals der Beeinflussung von Meinungen, sondern ausschließlich deren Analyse dienen. 

"Die Markt- und Sozialforschung ist von einer dynamischen Methodenentwicklung gekennzeichnet. Es bringt dabei wenig, in "klassische" oder "moderne" Verfahren zu differenzieren", so Dr. Frank Knapp. Sinnvoll sei lediglich eine Unterscheidung in angemessene und weniger angemessene Methoden. Wobei die Qualitätsstandards der Branche auf alle Methoden und Verfahren gleichermaßen Anwendung finden. 

Vor diesem Hintergrund ist es für den BVM wichtig, die Darstellung von Befragungsergebnissen insbesondere um Hintergrundinformationen und Handlungsempfehlungen zum richtigen Umgang mit den Ergebnissen zu ergänzen. 

Dabei sind insbesondere folgende drei Gesichtspunkte zu berücksichtigen: 

1. Repräsentativität 

Der Begriff steht für die gleichmäßige Erreichbarkeit der gesamten Grundgesamtheit und die Vermeidung von systematischen Verzerrungseffekten (Beispiel: Nur thematisch Interessierte nehmen an der Umfrage teil). Je stärker die Einschränkungen bzw. Verzerrungen dabei sind, umso vorsichtiger sollte auch die Ergebniskommunikation erfolgen. 

Auch "pseudokorrekte" Formulierungen wie "hinsichtlich Alter und Geschlecht bevölkerungsrepräsentativ" führen in die Irre. Das ist zwar im engeren Sinne korrekt, nur erklären leider die beiden genannten Merkmale in den meisten Fällen gar nichts. Damit ist der zugehörige Datensatz auch nicht repräsentativ. 

2. Botschaft / Zielsetzung 

Markt- und Sozialforschung dient der Aufklärung aktueller Sachverhalte und niemals der "Stimmungsmache". Daher steht im Vordergrund der Interpretation von Ergebnissen auch das "Warum". Wie und warum ein Ergebnis zustande kommt, ist oft wichtiger als das Ergebnis selbst: 

Denn das konkrete Untersuchungsergebnis hängt von vielen Rahmenbedingungen ab und unterliegt ebenfalls auch zeitlich starken Schwankungen. Komplexe sozialwissenschaftliche Zusammenhänge lassen sich erfahrungsgemäß schlecht mit einem Schlagwort zusammenfassen. 

Daher gilt: Wissenschaftliche Studien regen zum Nachdenken kann, sie vermitteln aber keine unumstößlichen Wahrheiten. 

3. Methode 

Es geht in der Diskussion nicht um eine pauschale Methodenkritik: Innovationen sind nicht per se gut und Althergebrachtes ist nicht per se schlecht (oder umgekehrt). Bei der Wahl der richtigen Methode geht es immer um die Angemessenheit. Entsprechend sind auch Methoden, deren Ergebnisse starke Abweichungen oder Schwankungen hervorrufen, erst einmal kritisch zu hinterfragen. Sie müssen aber nicht zwingend falsch sein bzw. haben einen spezifischen Geltungsbereich (etwa: Trendaussage). Auch hier ist Transparenz bezüglich der eingesetzten Methodik das oberste Gebot für eine angemessene Einordnung der Ergebnisse. Und dies muss gerade bei öffentlicher Kommunikation über allgemeine Angaben hinausgehen: Wer wird eigentlich genau erreicht, was bedeutet das etc. In diesem Sinne fordert der BVM einen verantwortungsbewussten und transparenten Umgang mit Forschungsergebnissen, unter Berücksichtigung des Bezugs, der Aussagekraft und Tragfähigkeit von Methoden und Ergebnissen. 

Kommentare (1)

  1. Christian von der Heyde am 02.11.2018
    In der Diskussion über die Korrektheit von Befragungsergebnissen (Repräsentativitätsdiskussion) sollte man bitte sehr genau zwischen "Repräsentativität" und "Proportionalität" unterscheiden: Ersteres ist das Ergebnis einer Methode, die (wie schon im ADM-Statement geschrieben) jedem Individuum eine berechenbare von Null verschiedene Chance zur Befragung gibt. Demgegenüber bedeutet Proportionalität, dass die Befragung die Bevölkerungsverteilung in ausgewählten Merkmalen proportional abbildet. Das kann das Ergebnis einer repräsentativen Untersuchung sein, es kann aber auch gezielt angestrebt werden, ohne auf repräsentativen Methoden zu basieren. Deshalb ist die Formulierung, eine Studie sei "hinsichtlich Alter und Geschlecht bevölkerungsrepräsentativ" weder "pseudokorrekt" noch gar "korrekt", sondern schlichtweg falsch: Die Studie zeigt nämlich lediglich in diesen Merkmalen eine bevölkerungsproportionale Abbildung, kann (und wird i.d.R.) aber in anderen Merkmalen erhebliche Abbildungsdefizite haben.

Neuen Kommentar schreiben

Kommentare geben ausschließlich die Meinung ihrer Verfasser wieder. Die Redaktion behält sich vor, Kommentare nicht oder gekürzt zu veröffentlichen. Das gilt besonders für themenfremde, unsachliche oder herabwürdigende Kommentare sowie für versteckte Eigenwerbung.

Weitere Meldungen

8. Research plus München

Den Algorithmen auf der Spur: Eindrücke vom achten Research plus Event in München

Foto (DGOF): v.l.n.r. Florian Tress (Norstat Group), Christian Dössel (PRS IN VIVO), Dr. Birgit Bujard (DGOF), Sebastian Stahlhofen (Norstat Deutschland), Dr. Bianca Oehl (Accelerom AG) und Moritz Nüchtern (sobr gmbh)

22.07.2019 - Am vergangenen Donnerstag fand der mittlerweile achte Research plus Abend der DGOF in der Niederlassung in München statt. Eindrücke von Florian Tress. weiterlesen

 
Studie von ADAC und INNOFACT

E-Mobilität: Kaum Ladestationen in Häusern mit mehreren Parteien

Ladesäule an Mehrparteienhaus (Bild: Eisenhans - AdobeStock)

22.07.2019 - Kenner sind sich einig: Elektroautos muss man über das hausinterne Kabel laden können, nicht nur über Ladestationen unterwegs. Aber was ist, wenn man in großen Wohnhäusern mit Mietern oder mehreren Eigentumswohnungen wohnt? INNOFACT hat im Auftrag des ADAC eine Umfrage... weiterlesen

 
Bitkom-Studie

Blick auf das Streaming-Verhalten der Deutschen

Streaming: Filme schauen, wenn man Zeit hat (Bild: Antonio Guillem - pixabay.com)

22.07.2019 - Man könnte sagen, dass wir über das Thema Video-Streaming tendenziell etwas zu häufig berichten. Doch was soll man machen, eine Studie folgt der nächsten und überhaupt: Das Streaming löst das Fernsehen nach und nach ab, der Wandel ist rasant und erlaubt eine ebenso... weiterlesen

 
Einschätzung

Datenspezialisten im Fokus des Marktes

Mit Big Data sind die riesigen Datenmengen da. Jetzt müssen sie nur noch ausgewertet werden. (Bild: NicoElNino - Adobe Stock)

19.07.2019 - Milliarden werden gerade bewegt, wenn es darum geht, sich eine Poleposition bei der Datenauswertung und -visualisierung zu verschaffen: Insbesondere amerikanische Tech-Unternehmen investieren kräftig – aber auch die deutsche Marktforschungsbranche hat die Zeichen der... weiterlesen

 
Studie von Viking und OnePoll

Netzwerk-Verweigerer

Geht doch! (Bild: geralt - pixabay.com)

19.07.2019 - Wer Erfolg im Job haben möchte, muss seine Netzwerke hegen und pflegen. Dumm nur, dass sich eine Mehrheit der Deutschen nicht an diese Regel aus dem Pflichtenheft der Personalberater hält. Eine deutliche Mehrheit macht es einfach nicht. weiterlesen

 
Über marktforschung.de

Branchenwissen an zentraler Stelle bündeln und abrufbar machen – das ist das Hauptanliegen von marktforschung.de. Unser breites Informationsangebot rund um die Marktforschung richtet sich sowohl an Marktforschungsinstitute, Felddienstleister, Panelbetreiber und Herausgeber von Studien, Marktdaten sowie Marktanalysen als auch an deren Kunden aus Industrie, Handel und Dienstleistungsgewerbe.

facebook twitter google plus