Repräsentativität, wie geht das?

Christian von der Heyde, Arbeitsgemeinschaft ADM-Stichproben

Von Christian von der Heyde, Arbeitsgemeinschaft ADM-Stichproben

Was ist Repräsentativität?

Vor rund zwei Jahren hat es ein marktforschung.dossier zum Thema "Repräsentativität" gegeben, in dem eine Fülle teilweise sehr konträrer Meinungen und Überzeugungen zu diesem Thema geäußert wurden. Das jetzige Dossier gibt mir Gelegenheit zu zeigen, dass ich generell am ehesten mit Leslie Kish übereinstimme, einem der großen Statistiker des 20. Jahrhunderts. Der hat einmal geschrieben: "Representative sampling is a term easier to avoid … in general, it often denotes the aims of representing a population well with a sample" (L. Kish, Survey Sampling, 1965, S. 26). Und damit trifft er m.E. den Nagel auf den Kopf, denn die Auftraggeber, die ein Marktforschungsinstitut, mit einer "repräsentativen Untersuchung" beauftragen, haben genau das im Sinn: Sie wollen Ergebnisse haben, mit denen sie auf die sie interessierenden Einstellungen, Verhaltensweisen, Strukturen der Grundgesamtheit schließen können. Repräsentativität in diesem Sinne ist also die Forderung, das Design einer Untersuchung so zu gestalten, dass die Ergebnisse auf die interessierende Population übertragen werden können und möglichst präzise sind. Damit stellt sich für mich nicht mehr die Frage, "was ist Repräsentativität?", sondern die nach deren Operationalisierung:

Wie erhält man Repräsentativität?

Da Repräsentativität immer den Bezug zu einer Gesamtheit haben muss (Stichproben können nie an sich repräsentativ sein, sondern immer nur für eine Grundgesamtheit), ist die erste Voraussetzung, dass man eine Grundgesamtheit hat, die es zu repräsentieren gilt. Diese gilt es in sachlicher, zeitlicher und örtlicher Weise zu definieren – also z.B. die aktuellen (zeitlich) Kunden der Bank X (sachlich) in der Bundesrepublik (örtlicher Definitionsteil). Erst eine so definierte Grundgesamtheit kann in einer Untersuchung adäquat abgebildet werden. So trivial das klingt, so häufig wird gegen diese eigentlich selbstverständliche Voraussetzung verstoßen, oder wie sonst lässt sich erklären, dass immer wieder behauptet wird, man könne "die Einstellung der Bevölkerung zu einem aktuellen Thema mit einer Analyse von Facebook-Einträgen wiedergeben"?

Dann bedarf es zweitens der Möglichkeit, überhaupt eine Stichprobe ziehen zu können. Man braucht also eine Auswahlgrundlage, die der Grundgesamtheit adäquat ist. Sie muss die Grundgesamtheit vollständig enthalten, oder, wenn keine Vollständigkeit erreichbar ist, müssen zumindest die wesentlichen Teile der Grundgesamtheit abgedeckt sein. Und man muss wissen, welche Teile in welchem Maß fehlen oder fehlerhaft abgebildet sind. In diesem Fall muss aber zusätzlich eine Absprache mit dem Auftraggeber stattfinden über die Akzeptanz des Gaps zwischen der Grundgesamtheit und der Auswahlgrundlage und dessen Implikationen. Will man z.B. die Bevölkerung mittels einer Festnetzstichprobe repräsentieren, so muss man sich klar sein darüber, dass inzwischen etwa 10% bis 15% der Bevölkerung nur noch über Mobiltelefon erreichbar sind, dass diese Bevölkerungsgruppe in der gewählten Abbildung fehlen wird und was das für Folgen bezüglich der Abbildungstreue haben wird.

Drittens muss ein Auswahlverfahren entwickelt oder auf die Fragestellung adaptiert werden, das den an der Auswahl beteiligten Personen – in erster Linie natürlich Probanden und Interviewer aber auch Stichprobenpraktiker, Feldsteuerer, Supervisoren usw. – so wenig wie möglich Einfluss auf die Realisierung der Auswahl erlaubt. Wobei das natürlich bei mehrstufigen Auswahlverfahren für alle Auswahlstufen gilt; also z.B. bei Festnetzstichproben nicht nur für die Nummernauswahl sondern auch für die anschließende Auswahl der Zielperson im kontaktierten Haushalt. Je weniger Einfluss diese Personengruppen auf die individuelle Auswahl der Zielpersonen haben, desto stärker nähert sich das Auswahlverfahren einer Zufallsauswahl. Und das bedeutet, dass die Inklusionswahrscheinlichkeiten der letztlich ausgewählten Befragten berechenbar sind und – wie unter fünftens erläutert – ggf. für die Auswertung korrigiert werden können. Je mehr Einfluss die Personengruppen auf die individuelle Auswahl haben, desto eher muss vermutet werden, dass die Auswahl anderen als reinen Zufallseinflüssen unterliegt, mithin die Möglichkeit einer Verzerrung zunimmt.

Viertens muss man die Größe der Stichprobe so wählen, dass die Ergebnisse den Genauigkeitsvorstellungen entsprechen, die der Auftraggeber mit seiner Datenanforderung verbindet. Das hat man gerade jetzt in der Diskussion gesehen, die über die Genauigkeit der Stichprobe zur Ergänzung und Präzisierung des Zensus 2011 entbrannt ist. Diese sog. 10-Prozent-Stichprobe, mit der vor allem die Fehler in den Melderegistern abgeschätzt werden sollten, wurde so angelegt, dass sie rund 8 Mio. Befragte umfasste. Allerdings mit sehr unterschiedlichen Auswahlsätzen in unterschiedlich großen Gemeinden – je größer die Gemeinde, desto geringer der Auswahlsatz. Die Art und Größe der Stichprobe wurden so gewählt, dass der Gesamtfehler bei den relevanten Merkmalen nicht größer als 0,5% würde; leider ist bei so einer Stichprobe unvermeidlich, dass die Konfidenzintervalle auf der Basis von Teilgesamtheiten größer als 0,5% werden können – was jetzt zu der zum Teil sehr hitzigen Diskussion über die wahre Bevölkerungszahl einzelner Kommunen geführt hat.

Und schließlich fünftens müssen die Inklusionswahrscheinlichkeiten der Probanden in den Auswertungsprozess in der Weise einbezogen werden, dass sie über alle Probanden hinweg aneinander angeglichen werden. In der Regel führen nämlich die in der Marktforschung üblichen Auswahlverfahren zunächst zu unterschiedlichen Auswahlwahrscheinlichkeiten - z.B. durch disproportionale Stichprobenanlage, mehrstufige Stichprobenbildung, Kombination verschiedener Auswahlgrundlagen, Teilnahme-Verhinderung oder -Verweigerung. Auch die 10-Prozent-Stichprobe zum Zensus 2011 war disproportional angelegt, so dass sie zur Auswertung von Gesamtergebnissen zunächst durch entsprechende Gewichtungsfaktoren proportionalisiert werden musste. Erst mit diesem letzten Nivellierungs-Schritt kann man eine proportionale Abbildung der Grund- oder Teil-Gesamtheit erreichen, über die in der Untersuchung Aussagen gemacht werden sollen.

Wie relevant ist Repräsentativität?

Braucht man das denn alles bei jeder Untersuchung? Muss man immer diesen Aufwand treiben in einer Befragung?

Nein, man muss nicht. Denn Abbildungstreue und Präzision braucht man nur in dem Maß, in dem die Ergebnisse einer Untersuchung verallgemeinert werden sollen. Wenn also, wie bei der Zusatzstichprobe des Zensus 2011, höchste Präzision und höchste Abbildungstreue gefordert sind, muss der Aufwand für die Stichprobe entsprechend extrem sein. Will man (um ein ebenfalls extremes Gegenbeispiel zu nennen) lediglich wissen, wie sich jemand am Eröffnungstag auf dem Oktoberfest fühlt ("jemand" heißt: irgendein Besucher; "Eröffnungstag" heißt: am 20.09.2014 zwischen 11 und 24 Uhr, "Oktoberfest" heißt: Auf der Theresienwiese in München, wo die Fahrgeschäfte und die Bierzelte stehen), dann reicht es durchaus, wenn man dorthin geht und ein paar willkürlich ausgesuchte Personen – die noch in der Lage sind, ein paar Fragen zu beantworten – zu interviewen. Hier kommt es nicht auf Präzision an, denn niemand kann bei so einer Fragestellung eine wie auch immer geartete quantifizierbare Genauigkeit erwarten.

Und damit ist auch schon klar, was den Aufwand für das Design der Untersuchung verursacht: Die Anforderungen, die der Auftraggeber an die Quantifizierbarkeit der Untersuchungsergebnisse stellt. Je höher diese sind im Sinne von Abbildungstreue und Präzision, desto mehr Aufwand muss betrieben werden, um diese Ziele zu erreichen.

Repräsentative Bevölkerungsstichproben

Es ist verhältnismäßig einfach, die Kunden eines Unternehmens mittels einer Stichprobe zu repräsentieren, denn i.d.R. verfügt der Auftraggeber über eine aktuelle Kundenkartei, die als Auswahlgrundlage geeignet ist. Hingegen gibt es in Deutschland praktisch keine Datei der Bevölkerung, auf die man im Rahmen normaler Marktforschungsprojekte für Zwecke der Stichprobenziehung zugreifen könnte. Denn die Einwohnerdateien der Meldeämter stehen nur für Projekte zur Verfügung, die "in öffentlichem Interesse" sind, was auf Marktforschungsprojekte normalerweise nicht zutrifft.

Da aber der Bedarf an bevölkerungsrepräsentativen Informationen groß ist, hat eine Gruppe von Instituten innerhalb des ADM schon vor rund 40 Jahren eine für solche Stichproben geeignete Auswahlgrundlage geschaffen und kontinuierlich verbessert – das ADM-Stichproben-System für Face-to-Face-Befragungen. Vor rund 15 Jahren haben sich die meisten im ADM versammelten Institute mit CATI-Studios zu der Arbeitsgemeinschaft ADM-Telefonstichproben zusammengefunden, um den Auswahlrahmen zu schaffen und ständig zu verbessern, der bevölkerungsrepräsentative Telefonstudien erlaubt.

Beide Stichprobensysteme sind der State of the Art der deutschen Stichprobenlandschaft. Das zeigen z.B. die Etablierung einer von den Bezirksgliederungen für politische Wahlen unabhängigen Flächeneinteilung zur Auswahl von Sample Points für Face-to-Face-Stichproben oder die mit erheblichem Aufwand betriebene Entwicklung von Standards für Dual-Frame-Ansätze. Das sind Stichproben, in denen Festnetz- und Mobilfunk-Nummern so miteinander kombiniert sind, dass die Bevölkerung verzerrungsfrei abgebildet werden kann, obwohl es sowohl Personen gibt, die beide Kommunikationsmittel (in unterschiedlicher Intensität) nutzen, als auch solche, die entweder nur über Festnetz oder nur über Mobiltelefon erreichbar sind.

Telefonstichproben sind derzeit das Mittel der Wahl, wenn es um die repräsentative Abbildung der Bevölkerung geht, denn mit ihnen kann man alle oben genannten Voraussetzungen für repräsentative Untersuchungsansätze erfüllen. Dabei sind die erste und die vierte Voraussetzung natürlich unabhängig von den gewählten Methoden und Verfahren und beruhen ausschließlich auf den vertraglichen Vereinbarungen zwischen Auftraggeber und Institut. Telefonstichproben haben aber zusätzlich eine Reihe von Vorteilen gegenüber anderen Verfahren:

• Die beiden von der Arge ADM-Telefonstichproben zur Verfügung gestellten und jährlich aktualisierten Auswahlgrundlagen für Festnetz und Mobilfunk beinhalten alle von der Bundesnetzagentur vergebenen Telefonnummern in Deutschland. Sie sind damit derzeit die einzigen Auswahlgrundlagen, über die alle Privathaushalte bzw. Privatpersonen ausgewählt werden können, denn sie enthalten alle für Gespräche genutzten Rufnummern – und auch alle, die (noch) nicht vergeben oder genutzt werden. Damit ist die zweite Voraussetzung für Abbildungstreue erfüllt.
• Die Datei der Festnetznummern enthält zusätzlich die Möglichkeit regionaler Zuordnungen für jede vorhandene Nummer, so dass regional geschichtete Stichproben realisiert werden können.
• Da die Stichproben aus beiden Auswahlgrundlagen den Vorgaben der Arge entsprechend mittels (ggf. geschichteter) Zufallsziehung generiert, mit Hilfe strukturierter Sample-Management-Systeme (S-M-S) zentral verwaltet und in Telefonstudios kontaktiert werden, haben weder Interviewer noch sonstiges Personal irgendeinen Einfluss auf die Auswahl einzelner Telefonnummern und – innerhalb der Haushalte – der Individuen. Damit ist die dritte Voraussetzung soweit erfüllt, wie es bei freiwilliger Befragungsteilnahme möglich ist.
• Die Kombination von Festnetz- und Mobilfunknummern in der Stichprobe sorgt dafür, dass die Nutzungsgewohnheiten bezüglich der telefonischen Kommunikation der Zielpersonen in den Telefonstichproben berücksichtigt werden. In einer groß angelegten Studie des ADM wurden Standards entwickelt, die eine Optimierung der Mischung beider Nummernarten in der realisierten Gesamtstichprobe erlauben.
• Die wahrscheinlichkeitsbasierte Auswahl der Nummern und ihre ausschließlich programmtechnische Verwaltung im S-M-S führen dazu, dass die Auswahlwahrscheinlichkeiten bekannt oder zumindest berechenbar sind. Mittels geeigneter Abfrageinstrumente lassen sich zusätzlich die Inklusionswahrscheinlichkeiten ermitteln, mit denen die Zielpersonen in die Untersuchung einbezogen werden, bis auf den Rest, der sich aus der persönlichen Teilnahmebereitschaft und -möglichkeit der ZP ergibt. Damit ist auch die fünfte Voraussetzung erfüllt – wenn man von den Verhaltenseinflüssen der ZP absieht, die jedoch durch entsprechende Intensität der Feldarbeit minimiert werden können.

Zusammenfassend kann man sagen, dass die ADM-Telefonstichproben derzeit die für die Marktforschung in Deutschland beste Möglichkeit darstellen, mit vertretbarem Aufwand und akzeptablem Zeithorizont zu repräsentativen Abbildungen der Bevölkerung zu gelangen.