Repräsentativität von Stichproben

Von Dr. Volker Bosch, Head of GfK Marketing Sciences, GfK SE 

Einleitung

Repräsentativität ist ein häufig verwendeter aber ein selten wirklich verstandener Begriff. Die in der Praxis häufig gehörte Frage "Wie groß muss eine Stichprobe mindestens sein, damit sie repräsentativ ist?" belegt das sehr anschaulich. Der Glaube, es müssten mindestens tausend Personen befragt werden oder aber fünf Prozent der Grundgesamtheit hält sich hartnäckig.

Brauchbare Definitionen von Repräsentativität sind in der Fachliteratur kaum zu finden. Wichtige stichprobentheoretische Lehrbücher wie z.B. das hervorragende Buch von Tucker (1998) oder der Klassiker von Cochran (1977) verzichten sogar vollständig auf den Begriff. Vermutlich geschieht das aus gutem Grund. Denn so wird vermieden, sich mit von den vielen Nebenbedeutungen und der Unschärfe des Begriffes auseinandersetzen zu müssen. Bortz und Döring (1995) bilden eine lesenswerte Ausnahme, indem sie sich dem Begriff gut annähern. Eine kurze Definition wollen oder können auch sie nicht liefern.  Und sie bestehen auf Zufallsstichproben. Wie im Schlussteil argumentiert wird, ist das aber nicht zwingend notwendig, und manchmal ist es sogar kontraproduktiv.

Repräsentativität wird in ihrer Bedeutung für Markt- und Sozialforschungsstichproben oft überschätzt, die Relevanz des Stichprobenfehlers dagegen unterschätzt. Im Folgenden wird daher versucht, Repräsentativität in einer für die Praxis sinnvollen Weise zu definieren und zu erklären. Dazu sind mathematisch-statistische Formeln nicht nötig. Zunächst wird von einer sehr strengen, formal-methodischen Definition ausgegangen. Daraus wird eine pragmatische Definition abgeleitet, die sich einfach umsetzen lässt.

Theoretische Grundlagen

Sinngemäß bedeutet Repräsentativität, dass etwas Kleines - im vorliegenden Fall eine Stichprobe - für etwas Großes - die Grundgesamtheit - steht.  Die methodische Definition von Repräsentativität von Stichproben kann abstrakt und knapp formuliert werden:

Methodische Definition der Repräsentativität:
Eine Stichprobe ist genau dann repräsentativ bezüglich einer zu schätzenden Größe der Grundgesamtheit, wenn der entsprechende Stichprobenschätzer erwartungstreu dafür ist.

Erwartungstreue heißt, dass der aus der Stichprobe gewonnene Schätzer (z.B. das mittlere Einkommen in der deutschen Bevölkerung über 18 Jahre) nicht systematisch vom wahren Wert der Grundgesamtheit abweicht und somit unverzerrt ist. Eine Verzerrung wäre z.B. beim Einkommen der Fall, wenn wohlhabende Personen sich der Teilnahme an einer Umfrage mit größerer Wahrscheinlichkeit verweigerten als weniger wohlhabende Personen. Denn dann würde das mittlere Einkommen systematisch unterschätzt. Solch eine systematische Über- oder Unterschätzung wird Bias genannt. Er ist definiert als die Differenz zwischen dem Erwartungswertes des Schätzers (das ist der mittlere Schätzwert bei theoretisch unendlich häufiger Wiederholung der Stichprobe) und dem wahren Wert in der Grundgesamtheit. Bias tritt in der Regel immer dann auf, wenn die Stichprobe in einer Weise verzerrt wurde, die sich weder quantifizieren noch korrigieren lässt.  Die wichtigsten Ursachen für Bias sind

• Teilnahmeverweigerung
• unbekannte bzw. unkorrigierte Heterogenität der Auswahlwahrscheinlichkeiten (z.B. sind Personen mit Reisetätigkeit schwerer erreichbar.)
• Nichterreichbarkeit von Teilen der Grundgesamtheit (z.B. Haushalte ohne Festnetzanschluss in Telefonstichproben, Adressbasen mit Unterdeckungen in Unternehmensstichproben).
• Charakteristika der Feldarbeit und der Erhebungsmethode
• Selbstselektion
• etc.

Die Größe des Bias ist in der Regel nicht bestimmbar. Und er kann nicht durch eine noch größere Stichprobe reduziert werden. Der Stichprobenfehler – das ist die zufällige Abweichung des Schätzers vom Erwartungswert des Schätzers - hingegen reduziert sich sehr wohl mit steigender Stichprobengröße. Der Gesamtfehler der Stichprobe ist somit die Summe aus Bias und Stichprobenfehler.

Wichtig: Der Gesamtfehler ist das eigentliche Qualitätskriterium einer Stichprobe.

Es mag überraschen, dass eine Stichprobe repräsentativ für eine bestimmte Größe (z.B. die Altersverteilung oder das mittlere Einkommen in der Grundgesamtheit) sein kann, nicht aber notwendigerweise für andere Größen. So kann z.B. ein gewichtetes Online Accesspanel repräsentativ für die Verwendung von Verbrauchsgütern sein, niemals aber für die Internetnutzung. Denn Nicht-Nutzer können naturgemäß online nicht befragt werden.

In allen Anwendungsfällen wird Repräsentativität dadurch angestrebt, dass die Stichprobe zumindest in ihrer gewichteten Struktur bezüglich wichtiger Strukturmerkmale (z.B. Region, Alter, Geschlecht, Haushaltsgröße etc. bei Bevölkerungsstichproben) ein Abbild der Grundgesamtheit darstellt. Gewichtung ist somit ein unverzichtbares Instrument zur Erzeugung qualitativ hochwertiger Ergebnisse aus Stichproben.

Praktische Anwendung

In der Markt- und Sozialforschungspraxis können Stichproben ohne jeglichen Bias im Allgemeinen nicht hergestellt werden. Die oben genannten Bias-Ursachen können zwar reduziert, selten aber vollständig eliminiert oder durch Gewichtung ausgeglichen werden. Das aber führt zu der unangenehmen Situation, dass die Markt- und Sozialforschung strenggenommen gar keine repräsentativen Ergebnisse liefern kann.

Die Forderung des völligen Fehlens von Bias als notwendige und hinreichende Bedingung für Repräsentativität mag theoretisch schlüssig sein, praktisch ist ein kleiner Bias aber ohne weiteres tolerierbar. Denn wenn beispielsweise der zufällige Fehler der Stichprobe den Bias um ein mehrfaches übersteigt, spielt Bias effektiv  keine Rolle mehr. Somit ist es in der Praxis vollkommen ausreichend, wenn anstelle der methodischen eine pragmatische Definition der Repräsentativität verwendet wird.

Pragmatische Definition der Repräsentativität:
Eine Stichprobe ist genau dann repräsentativ bezüglich einer zu schätzenden Größe, wenn der Bias des entsprechenden Stichprobenschätzers hinreichend klein ist.

Man mag darüber streiten, was unter "hinreichend klein" genau zu verstehen ist, zumal die Größe des Bias in der Regel nur sehr grob, wenn überhaupt, abgeschätzt werden kann. Für die praktische Anwendung stellen sich die Anforderungen jedoch recht einfach dar:

1. Mögliche Ursachen von Bias müssen den geltenden Standards entsprechend bei der Stichprobenerhebung minimiert werden.
2. Gewichtung nach geeigneten Strukturmerkmalen muss in der Regel durchgeführt werden.

Somit stellt sich das Problem der Repräsentativität in seiner pragmatischen Form deutlich gutmütiger dar als in seiner theoretisch-abstrakten Form. Allerdings muss noch bestimmt werden, was geltende Standards und geeignete Strukturmerkmale sind, doch in erster Annäherung kann von der gängigen Praxis guter Institute ausgegangen werden.

Ausblick: Was ist eine gute Stichprobe?

Dieser kurze Artikel kann keine allgemein anerkannte Definition des Begriffs der Repräsentativität geben. Eine solche Definition existiert nicht. Das ist umso unbefriedigender, da der Repräsentativitätsbegriff sogar in juristischen Auseinandersetzungen oft falsch wie in der Einleitung angedeutet verwendet wird. Der Artikel ist mehr ein Entwurf, wie er aus Sicht des Autors praktikabel ist. Und er ist ein Versuch, den Begriff der Repräsentativität auf seine eigentliche Bedeutung eines fehlenden bzw. kleinen Bias zu begrenzen. Denn eine repräsentative Stichprobe ist nicht notwendigerweise eine gute Stichprobe. Eine gute Stichprobe liegt vielmehr genau dann vor, wenn die Summe aus Bias und Stichprobenfehler – der Gesamtfehler - unter Berücksichtigung der verfügbaren Geld- und Zeitressourcen nahe dem möglichen Minimum ist.

Daraus folgt unter anderem, dass nicht immer Zufallsstichproben benötigt werden, denn diese können unter Umständen sehr teuer sein. Dem Minimum des Gesamtfehlers kann man unter bestimmten Umständen mit geeigneten und deutlich günstigeren Quotenstichproben näher kommen als mit Zufallsstichproben. Die Qualität gut gemachter Quotenstichproben ist belegt und steht außer Frage. Dennoch herrscht in der akademischen Literatur weiterhin das Dogma vor, dass ausschließlich Zufallsstichproben Repräsentativität gewährleisten könnten. Als Grund dafür wird die nicht vorhandene Fehlertheorie der Quotenstichprobe angeführt. Ein Argument, das in der Theorie, nicht aber notwendigerweise in der Praxis sticht.