CONSULTING.de
PERSONALintern.de
Digitale Transformation Digitale Transformation und Kundenerlebnis: Ein Blick auf verschiedene Branchen
veröffentlicht am
- marktforschung.de
- Marktforschung
- Was an der Kritik an der Studie „Spannungsfeld Männlichkeit“ berechtigt ist und was nicht
Analyse zur Studie „Spannungsfeld Männlichkeit“, Teil 2 Was an der Kritik an der Studie „Spannungsfeld Männlichkeit“ berechtigt ist und was nicht
veröffentlicht am
// hg
Ist die methodische Kritik an der Studie "Spannungsfeld Männlichkeit" gerechtfertigt? (Collage: SNFV)
Vergangenes Wochenende veröffentlichte die NGO Plan International die Studie „Spannungsfeld Männlichkeit“, die zunächst großen medialen Widerhall fand. Mittlerweile mehren sich aber Stimmen, die das methodische Vorgehen der Studie und die verwendete Stichprobe stark kritisieren. Der Hauptkritikpunkt in den meisten Artikel ist der Vorwurf der fehlenden Repräsentativität der Online-Stichprobe.
In der Neue Züricher Zeitung äußert sich Professor Ulrich Kohler, Soziologe von der Uni Potsdam, so:
„Teilnehmer von Online-Access-Panels sind Menschen, die zunächst Medien läsen, in denen Umfrageaufrufe publiziert würden. Danach entscheiden sie sich dazu, an der Umfrage teilzunehmen, und sie sind letztlich dazu bereit, sich für weitere Umfragen zu registrieren.“
„Auf jeder dieser Stufen werden die Menschen, die teilnehmen, spezieller und unterscheiden sich in bestimmten Merkmalen von der deutschen Durchschnittsbevölkerung.»
“Aus meiner Sicht ist es problematisch, dass die Personen für diese Umfrage von Anfang an nicht zufällig, sondern nach einem Selbstselektionsprozess ausgewählt wurden.”
In eine ähnliche Kerbe schlägt Prof. Dr. Sabine Zinn vom SOEP in einem Artikel des Deutschlandfunks. Sie bringt außerdem den Aspekt ein, dass der Migrationshintergrund nicht berücksichtigt worden wäre, der ihrer Meinung nach bei dem Thema aber ein relevanter Aspekt gewesen wäre.
In der Bild-Zeitung äußert sich Prof. Christian Hesse, der die Ergebnisse der Umfrage als „verzerrt“ bezeichnet. Grund dafür wäre das Thema Repräsentativität der Stichprobe und zweitens das bekannte Problem von Bots, die sich als reale Personen ausgeben. Außerdem fehle die statistisch gebotene Aufschlüsselung nach Personen mit und ohne Migrationshintergrund.
Ist die Repräsentativität an der Online-Stichprobe hier wirklich das Problem?
Die Diskussion über die grundsätzliche Repräsentativität von Online-Stichproben ist aus meiner Sicht hier nicht das Problem, und die drei Experten ignorieren in ihrer Kritik, dass es in diesem Fall keine andere sinnvolle methodische Alternative gegeben hätte.
Welche andere Methode außer der Online-Befragung wäre für eine solche Umfrage zu den Tabuthemen rund um die Männlichkeit alternativ in Frage gekommen?
Telefonische Befragung, Face-to-face oder eine schriftliche Befragung?
Was spricht gegen eine persönliche oder telefonische Befragung?
Um einigermaßen ehrliche Antworten der Befragten bei einem Tabuthema zu bekommen, benötigt man einen Befragungs-Mode, der ohne persönlichen Kontakt mit einem Interviewer auskommt, also eine möglichst hohe Anonymität der Erhebungssituation bietet. Damit fallen die telefonische Befragung und Face-to-face-Interview weg.
Warum? Weil der Kontakt mit dem Interviewer oder einer Interviewerin viel stärker den Effekt der sozialen Erwünschtheit getriggert hätte als die Online-Befragung. Details zum Problem der sozialen Erwünschtheit lesen Sie hier.
Bleiben als methodische Alternativen eine Online-Befragung oder schriftliche Interviews.
Warum keine schriftliche Befragung?
Für eine repräsentative schriftliche Befragung benötigt man eine möglichst repräsentative Auswahlgrundlage. In Deutschland wären das Adressdaten aus dem Einwohnermeldeamt, die sowohl nach Geschlecht und dem Alter der Bürger vorselektiert werden könnten. Der Weg über Adressbroker, um Adressen zu kaufen, hätte wahrscheinlich ähnliche Diskussionen wie die Diskussion um die Repräsentativität des Online-Samples nach sich gezogen. Der Weg über die Einwohnermeldeämter ist aber in der Regel öffentlichen Auftraggebern mit Studien von allgemeinem Interesse vorbehalten. Ein privater Auftraggeber wie Plan International hätte keine Daten von verschiedenen Einwohnermeldeämtern bekommen. Damit fällt dieser Befragungs-Mode ebenfalls weg.
Bleibt nur die Online-Befragung übrig, die ja auch gewählt wurde. Ein Befragungsmode, mit dem die Zielgruppe der 18-35-jährigen Männer grundsätzlich erreicht werden kann, gepaart mit einem weitgehend anonymen Befragungs-Mode, der ehrliche Antworten erwarten lässt.
Warum ist das Thema Repräsentativität hier dennoch wichtig?
Der Kardinalfehler von Plan International ist aus meiner Sicht, die Stichprobe überhaupt als „repräsentativ“ zu bezeichnen. Ich kann mir nicht vorstellen, dass die an der Umfrage beteiligten Institute Transpekte und moweb research ihre Freigabe hierzu gegeben haben. Das ist die Stichprobe nicht, auch wenn eine Quotierung nach Altersgruppen und Bildung nach Vorgaben aus der amtlichen Statistik verwendet wurde. Dazu hätte es zumindest noch einer Repräsentativ-Gewichtung mit weiteren Merkmalen wie Regionalität und gegebenenfalls auch Migrationshintergrund benötigt.
Umso mehr, da die Stichprobe - so ist es dem Bericht zu entnehmen - in vier regionale Gebiete gegliedert wurde (Nord, West, Süd, Ost). Falls hier je Region n=250 Befragte erhoben wurden (der Gedanke liegt nahe), so dürfte das zu einer deutlichen Übergewichtung des relativ bevölkerungsarmen Nordens geführt haben, die man durch eine Gewichtung leicht hätte korrgieren können. Eine Gewichtung, so der Studienleiter, wurde aber nicht vorgenommen.
Muss man die Studie unbedingt repräsentativ nennen?
Der Verdacht liegt nahe, dass die PR-Leute von Plan International dies einfach in die Pressemitteilung reingeschrieben haben, weil sie vermuteten, dass die Studie sonst von den meisten Medien überhaupt nicht aufgegriffen worden wäre.
„Repräsentativ“ ist für fast alle Journalisten der Stempel, um zu suggerieren, dass mit der Stichprobe alles in Ordnung ist. Das und die Stichprobengröße von genau 1.000 Befragten, die gemeinhin von Journalisten als das Merkmal für Repräsentativität angesehen wird.
Die obengenannten Kritikpunkte von Kohler, Zinn und Hesse gelten aber genauso für den überwiegenden Großteil von Studien von Instituten, die mit sehr ähnlichen Methoden arbeiten und die regelmäßig auch in den obengenannten Medien oder von der dpa aufgegriffen und veröffentlicht werden. Die Liste ist mittlerweile lang und geht weit über Civey, Appinio oder YouGov hinaus, die zum Beispiel letztes Jahr in den Fokus der Kritik von Thomas Koch geraten waren.
Mehr zum Thema
Diese Diskussion um die Repräsentativität von Online-Samples wird in der Branche seit vielen Jahren geführt, ohne zu einem Abschluss gekommen zu sein, was immer wieder deutlich wird, wenn wie in diesem Fall Experten, die außerhalb der Marktforschungsbranche stehen, um ein Statement gebeten werden.
Die Argumente sind ja auch nicht falsch, nur fernab der Umfragepraxis und damit auch der empirischen Realität.
Wie ist es den jetzt um die Studie bestellt?
- Aus meiner Sicht halte ich die gewählte Befragungsmethode für die Methode der Wahl, allerdings hätte man auch in dem gewählten Szenario mehr dafür tun können, um dem Repräsentativitätsanspruch wenigstens im Ansatz gerecht zu werden.
- Das sage ich, auch wenn ich der Meinung bin, dass die Studie sich besser selbst nicht den Stempel „repräsentativ“ hätte geben sollen. Dann wäre die Studie aber wahrscheinlich nicht von den Medien aufgegriffen worden. Das kann und darf man kritisieren. Aber die Diskussion um die grundsätzliche Repräsentativität von Online-Stichproben ist an dieser Stelle überflüssig, da es keine praktikable Alternative gegeben hätte.
- Der Ruf von Hesse und Zinn nach der Aufschlüsselung der Stichprobe nach dem Migrationshintergrund der Befragten macht an dieser Stelle ein neues Kritikfeld auf. Vermutlich sind zu wenige Menschen mit Migrationshintergrund in der Studie. Das ist in den meisten Online-Access-Panels so. Hätte man die Migranten in der Stichprobe dann höher gewichten sollen? Ja, hätte man machen sollen. Aber ich finde das „Spannungsfeld Männlichkeit“ bietet auch ohne die Aufsplittung der Ergebnisse nach Migrationshintergrund mehr als genügend Diskussionsstoff.
- Die Studie ist, so wichtig das Thema gesellschaftlich auch ist, leider ein Lehrstück dazu, wie das Zusammenspiel zwischen Marktforschenden, PR-Leuten und Journalisten nicht ablaufen sollte. Sie zeigt einerseits das Potenzial, das eine gut gemachte Umfrage besitzt, um mediale Aufmerksamkeit auf ein Unternehmen (Plan International) und ein Thema (Spannungsfeld Männlichkeit) zu lenken. Andererseits sollte man eben auch nichts vorgaukeln, was man nicht halten kann (Repräsentativität), sondern besser den Journalisten vermitteln, warum die Zahlen auch ohne den Repräsentativitätsanspruch genügend Brisanz bieten.
Kommentare (0)
Noch keine Kommentare zu diesem Artikel. Machen Sie gerne den Anfang!
Um unsere Kommentarfunktion nutzen zu können müssen Sie sich anmelden.
Anmelden