Alexandra Wachenfeld-Schell & Prof. Dr. Florian Keusch, DGOF "Aus wissenschaftlicher Sicht kann ich gut ohne den Begriff 'Repräsentativität' leben"

Alexandra Wachenfeld-Schell & Prof. Dr. Florian Keusch, DGOF

marktforschung.de: Vielfach wird kritisiert, dass die Medien zu lax mit dem Begriff der Repräsentativität umgehen? Verstehen Laien den Unterschied zwischen einer "großen" und einer "repräsentativen" Stichprobe überhaupt?

Florian Keusch: Mir sind leider keine empirischen Befunde bekannt, wie Laien den Begriff "Repräsentativität" verstehen. Allerdings kann man wohl davon ausgehen, dass es dazu sehr unterschiedliche Interpretationen gibt. Selbst die Wissenschaft ist sich ja nicht einig darüber, was eigentlich "Repräsentativität" heißt. Kruskal und Mosteller haben schon Ende der 1970er Jahre darauf hingewiesen, dass es mindestens neun unterschiedliche Bedeutungen des Begriffs "repräsentative Stichprobe" in der Literatur gibt. Leider wird der Begriff in der Praxis oft auch als generelles Gütesiegel für die vermeintlich hohe Qualität einer Studie verwendet. Dass aber neben der Art der Stichprobenziehung – und der damit verbundenen Möglichkeit, Rückschlüsse auf die Grundgesamtheit ziehen zu können – auch noch ganz andere Faktoren, wie beispielsweise die Fragenformulierung und -positionierung sowie das Fragebogendesign, einen grundlegenden Einfluss auf die Qualität von Befragungsergebnissen haben, wird dabei oft vergessen.

marktforschung.de: Brauchen wir angesichts rückläufiger Antwortbereitschaft in Telefoninterviews ein neues Verständnis des Repräsentativitätsbegriffs, der sich vom zufälligen Auswahlverfahren löst?

Alexandra Wachenfeld-Schell: Rückläufige Antwortbereitschaften haben ja Ursachen. Dazu zählt sicher die Wahrnehmung der Umfrageforschung in Teilen der Bevölkerung und die Erfahrungen, die Befragte bei ihren Teilnahmen machen. Hier ist die Branche insgesamt gefordert Teilnehmern, unabhängig vom Befragungsmodus, eine wertschätzende "Befragungserfahrung" zu vermitteln. Daneben spielen die veränderten Kommunikationsgewohnheiten eine wesentliche Rolle, wenn es um die Erreichbarkeit der Menschen geht. Ich sehe die Herausforderung daher eher darin, dass wir an den Methoden und der Kombination von Methoden arbeiten müssen, mit denen wir die Menschen heute erreichen und an dem präzisen, nachvollziehbaren Einsatz von Begriffen. Der zum Teil inflationäre und unpräzise anmutende Gebrauch des Wortes "repräsentativ" hat sicher zu der heutigen Diskussion beigetragen.

Florian Keusch: Aus wissenschaftlicher Sicht kann ich gut ohne den Begriff "Repräsentativität" leben. Unbestritten bleibt, dass der statistische Inferenzschluss von einer Stichprobe auf die Grundgesamtheit auf der Theorie der Zufallsauswahl basiert. Fällt dieser Mechanismus weg, bricht auch die dahinterliegende Theorie zusammen. Natürlich können wir aber auch nicht die Augen davor verschließen, dass es durch sehr niedrige Responseraten, vor allem bei Telefonbefragungen, de facto zu nichtzufälligen Auswahlverfahren kommen kann. Nicht zuletzt aufgrund des zunehmenden Interesses an Daten aus sozialen Netzwerken und von digitalen Verhaltensspuren, die in der Regel nicht auf Zufallsstichproben basieren und, was die TeilnehmerInnen betrifft, stark verzerrt sind, arbeitet die Forschung mit Nachdruck an der Frage, unter welchen Bedingungen ein Inferenzschluss – und damit die Übertragbarkeit der Ergebnisse auf die definierte Grundgesamtheit – trotzdem möglich ist.

marktforschung.de: Auch viele Ergebnisse aus Online-Befragungen werden als repräsentativ bezeichnet. Unter welchen Fällen halten Sie dies für gerechtfertigt?

Florian Keusch: Bei vielen Studiendesigns ist ein Rückschluss von der Stichprobe auf eine Grundgesamtheit unproblematisch. Einerseits ist das natürlich bei klar abgegrenzten Grundgesamtheiten, wie den Studierenden einer bestimmten Universität, den MitarbeiterInnen eines Unternehmens, den KundInnen eines Onlineshops oder den Mitgliedern eines Verbandes möglich, sofern alle Personen einen Internetzugang haben und eine vollständige Liste mit E-Mail Adressen vorliegt. Hier wäre es fast schon fahrlässig eine andere Methode als die Onlinebefragung zu nutzen. Bei weniger klar abgegrenzten Grundgesamtheiten oder wenn bestimmte Gruppen keinen Internetzugang haben, dann ist das schon um einiges schwieriger, wenn auch nicht unmöglich. Es gibt eine wachsende Zahl an akademischen Probability Online Panels (in Deutschland zum Beispiel das GIP der Uni Mannheim und das GESIS Panel), die erstens zufallsgesteuert eine Stichprobe aus der Gesamtbevölkerung, meist über persönliche Interviews, in das Panel rekrutieren und dann zweitens Nicht-Onliner mit dem entsprechenden Equipment ausstatten oder aber postalisch befragen. Mittlerweile gibt es auch kommerzielle Anbieter in den USA (zum Beispiel GfK KnowledgePanel, Amerispeak) und den Niederlanden (zum Beispiel I&O Research Panel), die diesen Weg gehen und somit inferenzstatistische Rückschlüsse auf die Grundgesamtheit ermöglichen. Dieser Ansatz ist natürlich teurer, aber er ist machbar und mehrere Studien haben gezeigt, dass die Ergebnisse solcher Probability Online Panels, zum Beispiel im Vergleich zu Benchmarks aus administrativen Daten, zu deutlich weniger verzerrten Ergebnissen führen als nichtzufällige Onlinestichproben.

marktforschung.de: Im DGOF-Statement zu Repräsentativität schlagen Sie vor, dass bestehende Methoden aufgrund von technischer Innovation weiterentwickelt werden sollen. Wie kann das konkret aussehen?

Alexandra Wachenfeld-Schell: Wenn wir einmal ein paar Jahre zurückgehen, da wurden Onlinebefragungen primär auf Desktops beantwortet. Dafür wurde das Layout immer weiter optimiert. Mit der Zunahme der Befragungsteilnahmen über Smartphones war schnell klar, dass sich das Fragebogenlayout nun an dem verwendeten Gerät ausrichten muss, wenn man nicht Verzerrungen, zum Beispiel über nicht vollständig sichtbare Skalen oder den Ausschluss von Befragten, riskieren will. Auch für die telefonischen Stichproben hatte die vermehrte Smartphonenutzung Implikationen, die schließlich im Dual Frame Ansatz mündeten. Beiden Beispielen liegt die Intention zugrunde, dass man dem veränderten Kommunikationsverhalten Rechnung trägt, um eine hohe Datengüte gewährleisten zu können und genau das sollte auch der Motor zukünftiger Weiterentwicklungen oder neuer Ansätze sein. Daher begrüßen wir innovative Methoden und bieten mit der GOR, den regionalen Research plus-Veranstaltungen oder auch der Forschungsförderung einen Rahmen innerhalb dessen die Methoden vorgestellt und der Beitrag, den sie zu einer Verbesserung der Datenqualität leisten, diskutiert werden.

marktforschung.de: Ist Repräsentativität in Ihren Augen ein zentrales Kriterium für Marktforschungsstudien oder geht es in der Marktforschungspraxis um andere Ziele: zum Beispiel Schnelligkeit oder Erreichbarkeit bestimmter Zielgruppen?

Alexandra Wachenfeld-Schell: Das kommt sicher auf die Fragestellung an. In der Marktforschung werden auf Basis von Studienergebnissen oft Entscheidungen getroffen, die eine zentrale wirtschaftliche Bedeutung für die jeweiligen Unternehmen haben – eine solche Entscheidung möchte jeder nur auf Basis von belastbaren Ergebnissen treffen. Entscheidend ist doch, dass bei jeder Untersuchung klar ist, für wen die Ergebnisse gelten. Für die Marktforschung ist Schnelligkeit und die Erreichbarkeit – manchmal recht kleiner Zielgruppen – ein wichtiges Thema. Die Informationen aus der Marktforschung werden heute für Entscheidungen in Unternehmen oft sehr zeitnah benötigt – das aber mit sehr kurzen Feldzeiten auch ein Qualitätsverlust verbunden sein kann, ist ein zentraler Punkt, der im Gespräch zwischen Auftraggeber und Institut immer wieder dargelegt werden sollte.

Florian Keusch: Wir nutzen in unserer Forschung selbst häufig "nicht-repräsentative" Stichproben, in der Regel aus Online Panels. Oft sind wir nämlich gar nicht an genauen Schätzungen einzelner Werte in einer Grundgesamtheit interessiert. Studien haben gezeigt, dass man beispielsweise zur Überprüfung von Zusammenhängen oder kausalen Beziehungen zwischen zwei Variablen oft gar keine teure Zufallsstichprobe benötigt, sondern sich diese auch mittels methodisch sauber durchgeführter Experimente in Online Panels gut abbilden lassen.

marktforschung.de: Vielen Dank für das Gespräch!

Alexandra Wachenfeld-Schell ist stellvertretende DGOF-Vorstandsvorsitzende. 

Prof. Dr. Florian Keusch ist stellvertretender DGOF-Vorstandsvorsitzender und Programmchair der General Online Research 2019 (GOR 19).