Näher an der Repräsentativität mit Sample Matching und Turbo Sampling

Von Holger Nowak, Senior Manager Strategic Projects bei YouGov

Die Zeit der seriösen Marktforschung scheint vorbei zu sein, so rufen es die Unken. Gefühlt jedes gezogene probability based sample wird durch die Unwägbarkeiten zunehmender systematischer Verzerrungen durch nonresponse in ein non-probability sample verwandelt. Die Ziehungswahrscheinlichkeit mancher Elemente der Grundgesamtheit tendiert gegen „nicht mehr bestimmbar“. Somit wäre in der Marktforschung mit vertretbarem Aufwand keine gute geschichtete Zufallsauswahl mehr zu realisieren. 

Schließen wir also die Bücher und suchen nach neuen Jobs?

Zugleich wollen jedoch immer mehr Personen Daten ausgewertet wissen, die aus vielen verschiedenen Quellen von immer mehr Personen gesammelt wurden.

In Anlehnung an die Ballade des Poeten S.T. Coleridge beschrieben Iacus/King/Porro im Jahre 2011 die Situation der Datenerhebung als das Drama des im Meer treibend Verdurstenden:  „information, information everywhere, nor a datum to trust“ (doi:10.1093/pan/mpr013, Volltext).

Im Kern beschreibt dies das Dilemma der Umfrageforschung: Aus einer bekannten und klar definierten Grundgesamtheit brauchen wir zur These passend genügend viele zufällig gezogene Elemente mit einer bekannten Wahrscheinlichkeit, die nur stichprobenneutrale Ausfälle aufweist. Wir haben zwar am Ende viele Erhebungspunkte, was ist jedoch „sauber“ erhoben und „richtig“? Eine Optimierung beider zentraler Parameter gleichzeitig wird immer schwieriger, selbst beim letzten Zensus ist dies nicht perfekt gelungen. Dabei sollten doch Behörden wissen, wer wo in Deutschland wohnt. Außerdem sind Befragte zur Auskunft verpflichtet.

Die naheliegende Lösung liegt in der Kombination verschiedener Ansätze, jeder Ansatz schließt eine andere Lücke. 

Letztlich ist der Ausgangspunkt bei YouGov eine „Quotenstichprobe de luxe“. Dank der technischen Errungenschaften können wir die Nachteile einer nicht-probabilistischen Stichprobe minimieren. Wir nennen den Ansatz Turbo Sampling.

Hierzu wählen wir nicht einmalig und pro Studie auf Basis bestimmter Quoten die Stichprobe, sondern nehmen die Gesamtheit aller zur Zeit im Feld befindlichen Studien als Basis und ziehen aus unserem Panel ca. 24-mal am Tag eine klassische Zufallsstichprobe. Die Zielgröße definiert sich immer als Zwischenzielgröße basierend auf dem Füllgrad der einzelnen Quotenzellen in Bezug auf die Zeit. Wenn wir also z.B. in 48h 2.000 Personen befragen wollen, ist das Zwischenziel 1.000 Personen nach 24 h. Aus der Differenz zu den tatsächlich geführten Interviews und der Antwortwahrscheinlichkeit ergibt sich die Stichprobengröße. Wie erwähnt passiert dies nicht auf Basis einer einzelnen Studie, sondern aller Studien und allen gesetzten Quoten, die wir auch in beliebiger Verschachtelung setzen können.

An diese Stichprobe werden vollautomatisch Einladungen verschickt. Dies sind generische Einladungen, denn auch bei der Teilnahme steuern wir das Sample vollautomatisch mit Hilfe eines Surveyrouters. 

Erst beim Click auf die Einladung wird die Studie ausgewählt, zu der der Teilnehmer zum jeweiligen Zeitpunkt am besten passt. Egal zu welcher Studie der Teilnehmer ursprünglich eingeladen wurde und egal, wann der Teilnehmer auf den Einladungslink clickt. Early Response bias, Interviewereffekte, leidensfähige Teilnehmer, die sonst häufig „Studie bereits beendet, sie gehören nicht zur Stichprobe“ lesen, gehören der Vergangenheit an.

Unser System adjustiert sich also an mehreren Stellen selber: bei der kontinuierlichen Ziehung von Zufallsstichproben und bei der Aufteilung auf die quotenbasierten Projekte. 

Wir können Fehler bei der Stichprobenziehung und der Teilnahme nicht ausschließen, aber alleine durch die 150.000 Interviews pro Monat minimieren. Nicht die Anzahl der Interviews minimiert den Fehler, sondern die detaillierte Kenntnis unserer Panelisten in Raum und Zeit.

Wir minimieren den Fehler: nicht nur unsere Systeme adjustieren sich stetig, sondern wir adjustieren unser Panel ebenso. 

Das Sampling, unser Einladungssystem und unser Surveyrouter stellen einen Strom an Einladungen und Antworten bereit. Internetbefragungen werden selber mit einem Netz realisiert. Wir betreiben keine Transportfähren mehr, die nur zu einer bestimmten Zeit fahren, entweder sehr lange warten müssen, bis sie voll genug sind oder Passagiere abweisen müssen.

Manchmal ist gut jedoch nicht gut genug, denn nicht alle Variablen verteilen sich dank des turbo samplings perfekt gemäß der Grundgesamtheit. 

In diesem Falle kann die Methode des Sample Matchings helfen. Ursprünglich aus der experimentellen Psychologie kommend ist die Grundidee bestechend einfach. Die unabhängigen Variablen sollen weitgehend zwischen Experimental- und Kontrollgruppe gleich sein und zwar in ihrer Verteilung auf Individualebene, nicht auf einer aggregierten Ebene.

Überträgt man dies auf die Umfrageforschung, nimmt man aus einer realisierten Befragung nur diejenige Elemente, die ein möglichst ähnliches Geschwister in einer Stichprobe der Grundgesamtheit haben, also im wörtlichen Sinne repräsentativ sein. „Möglichst ähnlich“ heißt nicht „exakt gleich“ und der Abgleich erfolgt auf einer Fall- und nicht einer aggregierten Ebene. Hierzu müssen im ersten Schritt mehr Personen befragt werden als für die Nettostichprobe benötigt.

Bei einer Untersuchung über Schlager darf die Oma aus dem Saarland, die im Hühnerstall Motorrad fährt, nicht fehlen. Schwer erreichbar, doch der Opa aus dem Südwesten von Rheinland-Pfalz, der im Hühnerstall Motorrad oder die Oma aus Südwesten von Rheinland-Pfalz, die im Hühnerstall Moped fährt, werden auch brauchbare Auskünfte geben. Der 18-Jährige Hamburger, der gerne im Schweinestall mit seinem Quad fährt, wird aus der Stichprobe gelöscht.

Wir machen uns so den unbestreitbaren Vorteil der (geschichteten) Zufallsauswahl zu Nutze. Wir ziehen aus einer möglichst guten, amtlichen Quelle nach allen Regeln der Kunst die gewünschte Auswahl und suchen ex ante und ex post aus unserem pool ein gutes matched sample. Weniger ist eben manchmal mehr.

Die Nachteile der klassischen Zufallsauswahl: Kontaktadresse, Teilnahmebereitschaft und weitere systematische Ausfälle werden so umgegangen, da sie bei der Ziehung des target Datensatzes gar nicht notwendig sind.

Gerade in den USA stehen viele hervorragende anonymisierte amtliche Daten zur Verfügung und YouGov konnte seine extrem guten Prognosen bei Wahlen dort mehrfach bestätigen. Ich bin mir sicher, dass bei Veröffentlichung dieses Artikels die von uns für die New York Times / CBS News erstellten Prognosen für die Zwischenwahlen wieder unter den Besten liegen werden.

Die Qualität wird nicht nur durch die Wahl einer bestimmten Methode bestimmt, sondern beruht vielmehr auf der richtigen Anwendung. Welche Kritierien sind relevant? Nach welchen Merkmalen schichte ich mein frame und wie definiere ich gemäß der Fragestellung die Ähnlichkeit und wo lasse ich welche Abweichungen zu?

Natürlich ruft dies Kritik hervor, wie im August durch die American Association of Public Opinion Research (AAPOR) vehement vertreten, was auch sein Echo hier auf marktforschung.de gefunden hat.

YouGov wird weiterhin den Ansatz des Sample Matching verfolgen und vertraut auf die zentralen wissenschaftlichen Gütekriterien: Validität, Reliabilität und Intersubjektivität. 

Unsere Ergebnisse kommen keineswegs durch Zusatz von Geheimzutaten zustande, sondern wir beteiligen uns auch weiterhin aktiv am wissenschaftlichen Diskurs. So schließt sich der Kreis zum oben zitierten Aufsatz. Sample matching ist kein YouGov-Exot sondern in der Mitte des Diskurses angekommen.