Stichwort Repräsentativität

Von Richard Hilmer, Geschäftsführer, und Michael Kunert, Bereichsleiter Wahlberichterstattung, bei Infratest dimap

Bei der Veröffentlichung von Umfrageergebnissen ist immer wieder von "repräsentativen Bevölkerungsbefragungen" die Rede. Was versteht man darunter eigentlich?

Das Prinzip

Um Erkenntnisse über Meinungen, Einstellungen oder Verhalten der Bevölkerung zu gewinnen, muss man nicht die gesamte Bevölkerung befragen. In aller Regel reicht es aus, eine kleine Teilgruppe - eine sog. Stichprobe - zu befragen und aus deren Antworten auf die Gegebenheiten in der Gesamtbevölkerung zu schließen. Dies erspart Zeit und Geld. Damit dies möglich ist, muss die Stichprobe ein möglichst exaktes verkleinertes Abbild der Gesamtheit sein - und zwar insbesondere in Bezug auf die zu untersuchenden Merkmale. Nur wenn dies zutrifft, kann man von einer "repräsentativen Stichprobe" oder einer "repräsentativen Bevölkerungsbefragung" sprechen.

Zur Anlage, Durchführung und Auswertung repräsentativer Befragungen gibt es zahlreiche verschiedene Verfahren mit jeweils spezifischen Vorteilen und Schwächen, z. B. hinsichtlich der Genauigkeit und der Zuverlässigkeit der Ergebnisse, aber auch hinsichtlich des Aufwandes und der Kosten. Die renommierten Umfrage-Institute in Deutschland beraten ihre Kunden, welche Methode vor dem Hintergrund der zu untersuchenden Fragestellung, der verfügbaren Zeit und des verfügbaren Budgets am besten geeignet ist.

Die wichtigsten Regeln

Um dem Anspruch der Repräsentativität gerecht zu werden, müssen folgende Punkte bedacht werden:

• Definition der Grundgesamtheit
  Damit von Repräsentativität gesprochen werden kann, muss zwingend die Grundgesamtheit benannt sein, für die Aussagen aus der Stichprobe abgeleitet werden sollen. Zur Definition der Grundgesamtheit gehören in der Regel die drei Dimensionen: sachlich, zeitlich, örtlich. Im Falle einer Bevölkerungsbefragung können dies bspw. Personen ab 18 Jahren sein, die 2012 in Deutschland leben. Weitere Beispiele wären: die Wahlberechtigten zur Bundestagswahl in NRW im Jahre 2013, Unternehmen mit Messestand auf der Internationalen Funkausstellung 2012 in Berlin oder Besucher einer spezifischen Internetseite in einem bestimmten Zeitraum.

• Geeigneter Auswahlrahmen
  Um eine repräsentative Stichprobe zu ziehen, benötigt man idealerweise eine Datei, die alle Elemente der Grundgesamtheit enthält. Diese Situation ist in Deutschland in den meisten Fällen nicht gegeben, so dass möglichst gute Annäherungen gefunden werden müssen. Für telefonische Stichproben beispielsweise waren lange Zeit die Telefonbücher eine gute Ziehungsgrundlage, weil fast alle Telefonanschlüsse dort eingetragen waren. Inzwischen gibt es jedoch viele Personen, die sich nicht in die Verzeichnisse eintragen lassen. Infratest dimap greift deshalb für telefonische Befragungen auf ein Mastersample zurück, in dem alle erdenklichen Telefonnummern enthalten sind. Der Aufbau, die Pflege und die Nutzung eines solchen Mastersamples ist zwar mit zusätzlichem Aufwand verbunden, schließt aber systematische Verzerrungen infolge von Nicht-Eintragungen aus.

• Verfahren zur Auswahl einer Stichprobe
  Der Königsweg ist die Zufallsauswahl von Elementen der Grundgesamtheit in die Stichprobe. Bei einer Bevölkerungsbefragung heißt das, dass jede Person der Grundgesamtheit prinzipiell eine Chance hat, befragt zu werden. Im einfachsten Fall sind die Auswahlchancen für alle Elemente gleich groß, das muss aber nicht sein. Es genügt, wenn die Auswahlwahrscheinlichkeit für möglichst alle Elemente der Grundgesamtheit größer als 0 und für die Elemente der Stichprobe mathematisch berechenbar ist. Nur für Zufallsstichproben liefert die Statistik die theoretische Grundlage für eine Verallgemeinerung von der Stichprobe auf die Grundgesamtheit (Inferenzschluss).
  Selbstverständlich können auch andere Auswahlverfahren nützliche Informationen erbringen, allerdings müssen diese ihre Brauchbarkeit begründen und können sich NICHT einfach auf ein "Gesetz der Großen Zahlen" berufen – auch Zehntausende von Interviews können ein verzerrtes Abbild liefern. Dieser Vorbehalt gilt insbesondere für das sogenannte Online-Voting: Nur Besucher der entsprechenden Internet-Seite haben eine potentielle Chance zur Teilnahme und von diesen klicken wiederum nur besonders am Thema Interessierte auf die Abstimmungsbuttons. Hinzu kommt, dass eine Mehrfachteilnahme und damit eine bewusste Manipulation möglich ist. Die gleichen Einschränkungen gelten prinzipiell gegenüber den Abstimmungen via TED und SMS, wie sie in vielen Unterhaltungsshows üblich sind. Deren Ergebnisse lassen keine Rückschlüsse auf das Verhalten oder die Ansichten aller Bürger oder Fernsehzuschauer zu.

• Befragungsmodus
  Jeder Befragungsmodus (mündlich-persönlich, telefonisch, online, schriftlich-postalisch) ist mit bestimmten Stichprobenverfahren und auch mit unterschiedlichen Auswahlrahmen (s.o.) verknüpft. Geht es um Bevölkerungsbefragungen in Deutschland, dann kann per se mit allen Personen ab 14 Jahren ein mündlich-persönliches Interview durchgeführt werden. Fast alle Personen in Deutschland sind per Telefon erreichbar. Nur rund ein Prozent verfügt über kein Telefon. Insofern ist bei entsprechendem Mastersample und Auswahlverfahren die Voraussetzung für eine repräsentative Befragung erfüllt, dass fast alle Personen die prinzipielle Chance haben, in eine Stichprobe zu gelangen. Online-Befragungen können zwar Teilgruppen der Bevölkerung gut abbilden, aber (noch) liegt der Anteil der Personen ab 14 Jahren mit Internetnutzung nur bei etwa 75 %. Insbesondere gibt es große Strukturunterschiede in Bezug auf das Alter (fast alle Personen unter 30 nutzen das Internet, aber nur etwas mehr als die Hälfte der Personen ab 50 Jahren). Im streng wissenschaftlichen Sinn sind die Ergebnisse von Online-Befragungen deswegen nur für die online-erreichbare Population verallgemeinerbar.

• Fallzahl
  Hat man ein angemessenes Stichproben- und Befragungsverfahren ausgewählt, so bleibt immer noch die Frage nach der Fallzahl. Die Fallzahl ist entgegen einer weit verbreiteten Annahme für die Repräsentativität einer Befragung kein ausreichendes Qualitätsmerkmal, sie bestimmt allerdings die Genauigkeit von stichprobenbasierten Aussagen. Statistisch betrachtet handelt es sich hierbei immer nur um Schätzwerte, die zwangsläufig mit einem mehr oder minder großen Zufallsfehler behaftet sind (z.B. 27 % Anteilswert +/- 3 Prozentpunkte). Die Größe des Intervalls des Zufallsfehlers bedingt die Präzision der Ergebnisse. Mit steigender Fallzahl nimmt die Genauigkeit kontinuierlich zu. Bei Bevölkerungsbefragungen halbiert sich der Zufallsfehler, wenn die Fallzahl vervierfacht wird. Eine gewünschte Halbierung des Zufallsfehlers bedeutet also eine viermal so große Fallzahl und entsprechend höhere Feldkosten. Deswegen muss in der Praxis immer zwischen dem Anspruch an die Genauigkeit und den Kosten abgewogen werden.
  Zur Erhebung von politischen Einstellungen und Meinungen wird in Deutschland eine Fallzahl von 1.000 Interviews in der Regel als angemessen angesehen, weil damit die Schwankungsbreite in einer akzeptablen Größenordnung gehalten werden kann und auch Ergebnisse für Bevölkerungsuntergruppen z.B. junge oder alte Menschen ausweisbar sind.
  Die Güte einer Erhebung hängt letztlich aber nicht nur von der Stichprobenqualität ab, sondern vom Studienkonzept, den Fragenformulierungen, der Feldarbeit sowie der Aufarbeitung und Präsentation der Ergebnisse. Aufgrund der dazu erforderlichen Fachkenntnisse und praktischen Erfahrungen ist eine Beratungsleistung der Institute unverzichtbar.