Thorsten Thierhoff, forsa Die Gretchenfrage der empirischen Sozialforschung

Das Ergebnis der Wahl zum CDU-Parteivorsitz war mit Spannung erwartet worden – nicht zuletzt, weil eine verlässliche Prognose über den Ausgang nicht möglich war. Zahlreiche Journalisten versuchten sich zwar vor laufender Kamera als empirische Sozialforscher, scheiterten aber meist kläglich, weil die überwiegende Anzahl der Befragten zu ihrer Wahlabsicht keine Auskunft geben wollte. "Echte" Sozialforscher hätten (ohne Kamera) geeignetere Befragungstechniken angewandt. Doch auch damit wäre dieses Wahlergebnis nicht präzise vorherzusagen gewesen. Zu aufwendig war es, ohne die vom Datenschutz bewachten Adressverzeichnisse der Parteien, die Delegierten vor dem Parteitag zu erreichen. Zu viele der Abstimmenden waren zudem noch unentschlossen und zu knapp der Wahlausgang.
 
Am Ende war es bekanntermaßen eine Differenz von 35 Stimmen, die den Ausschlag gab. Hätten nur 18 Delegierte in ihrer Tischwahlkabine das Kreuz an anderer Stelle gesetzt, wäre die politische Wetterlage heute eine andere. Und auch wenn es keine Befragung gab, die das Ergebnis dieser Wahl vorhersagen konnte, so dürften Umfrageergebnisse bei dieser Wahl doch eine große Rolle gespielt haben. Es ist legitim und kaum verwunderlich, wenn einzelne Delegierte bei ihrer Wahlentscheidung berücksichtigt haben, welcher Kandidat von den CDU-Anhängern oder den Wählern insgesamt bevorzugt wird. Übereinstimmend sahen das ZDF-Politbarometer, der ARD-Deutschlandtrend und das RTL/n-tv-Trendbarometer eine Präferenz sowohl bei den CDU-Anhängern als auch bei allen Deutschen für die spätere Wahlsiegerin Kramp-Karrenbauer. Spiegel-Online hingegen war sich bereits einige Stunden, nachdem mit Friedrich Merz ein Überraschungskandidat seinen Hut in den Ring geworfen hatte, sicher, dass die Deutschen ihn am liebsten an der Spitze der CDU sehen würden.
 
Was war passiert? Wenige Stunden nachdem Merz am 29. Oktober seine Kandidatur bekannt gegeben hatte, hatte eine Online-Umfrage bereits Zehntausende Abstimmungs-Klicks eingesammelt. Nahezu jeder zweite Klick gehörte dabei Merz und damit einem Bewerber, bei dem sich selbst erfahrene politische Beobachter erst einmal erinnern mussten, für welchen Politikstil der Kandidat eigentlich stehen würde. In der Darstellung auf Spiegel-Online wurde die Klickorgie trotzdem schon nach rund 30 Stunden zu einem angeblich "repräsentativen" Ergebnis. Für die Redaktion stand fest: "Mehrheit wünscht sich Friedrich Merz als neuen CDU-Chef." Der Merz-Zug rollte und zahlreiche Kommentatoren überschlugen sich geradezu im Lob für den überraschenden Politikrückkehrer. Nur wenig später, am 9. November, eine weitere bemerkenswerte Schlagzeile: "Umfrage-Überraschung im CDU-Machtkampf", war diesmal auf Bild-Online zu lesen, nachdem das ZDF-Politbarometer nicht etwa Merz, sondern Kramp-Karrenbauer in der Wählergunst vorne sah und der Befund der Forschungsgruppe Wahlen durch weitere seriöse Untersuchungen von Infratest dimap und forsa bestätigt wurde.
 
In der aktuellen Repräsentativitäts-Diskussion sind immer wieder Stimmen zu hören, die darauf abstellen, dass es im wissenschaftlichen Sinne gar keine exakte Definition des Begriffs "Repräsentativität" gebe. Darüber hinaus stünden Befragungen generell vor dem Problem sinkender Teilnahmebereitschaft. Beide Hinweise sind grundsätzlich richtig. Falsch ist jedoch der Umkehrschluss, den manch andere daraus ziehen, nämlich dass klassische Umfragetechniken ausgedient hätten und nur eine "Revolution" die Meinungsforschung retten könne.
 
"Habe nun, ach! Philosophie,
Juristerei und Medizin. 
Und leider auch Theologie! 
Durchaus studiert mit heißem Bemühen.
Da steh ich nun, ich armer Tor!
Und bin so klug, als wie zuvor."
 
Mit diesen dramatischen Worten lässt Johann Wolfang von Goethe seinen Titelhelden Faust im Jahr 1808 erstmals auf die Bühne treten. Der promovierte Akademiker Dr. Faust verzweifelt daran, dass er trotz seines geballten Wissens nicht versteht, "was die Welt im Innersten zusammenhält". Denn wissenschaftliche Erkenntnis beruht auf Modellen und Theorien, schafft jedoch niemals Wahrheiten absoluter Gültigkeit. Die empirische Sozialforschung, eine wissenschaftliche Disziplin die zu Goethes Lebzeiten noch gar nicht begründet war, kennt dieses Dilemma. Untersuchungsergebnisse sind im Idealfall Annäherungen an die Realität, aber keinesfalls absolute Wahrheiten. Jeder seriöse Forscher weiß das und kommentiert seine Ergebnisse entsprechend. Und doch ist es berechtigt, Untersuchungen als "repräsentativ" zu bezeichnen, wenn sie sorgfältig und nach anerkannten wissenschaftlichen Maßstäben durchgeführt wurden. Dennoch verzweifeln – ähnlich wie der Faust – auch heute manche daran, dass selbst sorgfältigste Forschung zu fehlerhaften Ergebnissen führen kann. Oft und gerne ist dann der Spruch von den Statistiken, die man nur dann glauben solle, wenn man sie selbst gefälscht habe, zu hören. Aber die empirische Sozialforschung ist keine alchemistische Wissenschaft der Vergangenheit, bei der einzelne Forscher mit ominösen "Geheimformeln" operieren. Allerdings begeben sich einige Datensammler im Internet – um in der Faust-Analogie zu bleiben – auf die gelegentlich teuflische Suche nach "des Pudels Kern".  
 
Die Suche nach zusätzlichen neuen oder erweiterten Methoden der Sozialforschung ist dabei durchaus legitim und im Prinzip lobenswert. Doch ein guter Zweck heiligt nicht jedes Mittel, und die Gretchenfrage der empirischen Sozialforschung lautet: "Nun sag, wie hast du's mit der Repräsentativität?" Der ADM hielt dazu jüngst in einer Pressemeldung fest: "Da der Begriff 'Repräsentativität' Befragungsergebnissen eine hohe Glaubwürdigkeit verleiht, müssen alle Beteiligten verantwortungsvoll mit dem Begriff umgehen." Die Sozialforschung muss sich aktiv mit dieser Frage auseinandersetzen und die eingesetzten Methoden kontinuierlich an die Gegebenheiten der Zeit anpassen. Telefonstichproben sind daher beispielsweise im Dual-Frame-Ansatz um Mobilfunknummern erweitert worden, um weiterhin eine 99%ige Abdeckung der Grundgesamtheit zu gewährleisten, was mit reinen Festnetzstichproben nicht mehr möglich ist.
 
Mindestens ebenso notwendig ist es aber, auf Umstände hinzuweisen, die dazu führen, dass bestimmte Stichproben erwiesenermaßen nicht geeignet sind, um auch nur annähernd Repräsentativität zu gewährleisten. "Ausschließlich online durchgeführte Umfragen sind nicht repräsentativ", hat Prof. Dr. Rainer Schnell gerade in einem wissenschaftlich fundierten Aufsatz deutlich gemacht. Ein nicht-auflösbarer Widerspruch, so beschreibt Karl Popper es in der Theorie des Kritischen Rationalismus', führt dazu, dass eine Behauptung als erwiesenermaßen falsch bezeichnet werden muss. Nicht-auflösbar ist der Widerspruch, dass Personen, die das Internet nicht nutzen, Teilnehmer von Online-Umfragen werden könnten. Und nicht einmal im Internet-Zeitalter geborene Millennials oder Chefredakteure von Online-Medien bestreiten, dass strukturell nennenswerte Anteile der Gesamtbevölkerung keine Internet-Nutzer sind.  
 
Dies bedeutet jedoch nicht, dass Online-Umfragen kein Instrument der empirischen Sozialforschung sein können. Doch die Vorstellung, es würde ausreichen, auf möglichst vielen Webseiten, eine Einzelfrage zu schalten und dann würde sich aus der großen Menge der eingesammelten Daten schon etwas Verwertbares ergeben, ist nicht nur naiv, sondern im Falle falscher Umfrageergebnisse zu politisch brisanten Themen auch brandgefährlich.
 
Auch für Online-Umfragen gilt daher, dass diese nur auf Basis sehr guter Stichproben durchgeführt werden dürfen. Gute Stichproben, dem stimmen Anhänger von Zufalls- wie Quoten-Stichproben gleichermaßen zu, beruhen darauf, die repräsentative Auswahlgrundlage möglichst gut zu kennen. Das Argument, dass Forschung damit zu teuer oder zu langsam würde, kann in diesem Zusammenhang nicht gelten. Denn die teuerste Forschung ist diejenige, deren Ergebnisse keine Aussagekraft haben. Und auch "konventionelle" Forschung ist heute so schnell geworden, dass Ergebnisse innerhalb von wenigen Tagen zur Verfügung stehen können. Beispiele für qualitativ hochwertige Forschung auch über Online-Technologien gibt es ja – eines ist das von forsa aufgebaute forsa.omninet-Panel. Alle Teilnehmer des forsa.omninet-Panels werden nicht per willkürlicher Selbstrekrutierung gewonnen, sondern ausschließlich auf Basis von telefonischen Befragungen auf Grundlage des ADM-Mastersamples.  
 
Doch für einen seriösen Forscher stellt sich vor jeder Untersuchung auch immer die Frage, ob eine Online-Befragung für die konkrete Fragestellung überhaupt geeignet ist. Jede Erhebungsmethode hat ja Vor- und Nachteile, so dass sorgfältig überlegt werden muss, welches Erhebungsverfahren adäquat ist, um möglichst zuverlässige Ergebnisse zu gewährleisten. Full-Service-Institute, die, wie forsa, ein über breites Spektrum verschiedener Erhebungsinstrumente – von CATI-, Face-to-Face- und Online-Befragungen bis hin zu Mess- und Beobachtungsverfahren – verfügen, können ihre Auftraggeber schon bei der Auswahl der Erhebungsmethode entsprechend beraten. Nischenanbieter, die nur über ein einzelnes Erhebungstool verfügen, sind dazu nicht in der Lage. Und schließlich kommt es – nach der richtigen Auswahl der Befragten und der Entscheidung für die am besten geeignete Erhebungsmethode – auch auf die Formulierung der Fragen an, um Erkenntnisse zu gewinnen, die sich der Realität annähern. Eine Einzelfrage in immer unterschiedlichen Kontexten zu stellen, führt nur zu wirren und absurden Daten. Bei jeder Ergebungsform gilt daher auch weiterhin der Grundsatz, dass der Fragebogen "schlau" sein muss, damit ein "armer Tor" wie Faust am Ende klüger wird.
 
Getchen, der Geliebten von Faust, bereitet "des Pudels Kern" Unbehagen: "Der Mensch [Mephisto], den du da bei dir hast, ist mir in tiefer innrer Seele verhasst, […] und halt ihn für ein Schelm dazu!" – "Eine Tragödie", hat Goethe den Faust betitelt, an dessen Ende die Wahrhaftigkeit untergeht. Die empirische Sozialforschung hat trotz "schwarzer Schafe" noch die Chance, ihren Untergang als seriöse Wissenschaft abzuwenden. Als Reclam-Ausgabe ist "Faust" für gerade einmal 2,20 Euro im Buchhandel erhältlich; ein Lehrbuch der empirischen Sozialforschung ist etwas teurer. Dennoch sei beides zur Lektüre empfohlen.