Thorsten Thierhoff, forsa "Repräsentativ" ist nicht nur ein schmückendes Füllwort

In der Diskussion um Methoden des Berliner Unternehmens Civey hat sich vergangene Woche Holger Geißler, DCORE, zu Wort gemeldet und einige Fragen gestellt. Eine Replik.

Thorsten Thierhoff, forsa

Thorsten Thierhoff, forsa

Der Kommentar von Holger Geißler hat mit den gegenwärtig diskutierten Problemen der Arbeitsweise von Civey leider wenig zu tun: Denn im Kern geht es ja um die Frage, ob Civey, nach den Fälschungsvorwürfen des SPIEGEL, mit den auf mehr als fragwürdige Art generierten und von einigen Medien unbedarft verbreiteten Meldungen der gesamten Branche weiteren Schaden zufügt.

Da der Rat der Deutschen Markt- und Sozialforschung lange Zeit nicht handlungsfähig war, hatten forsa, die Forschungsgruppe Wahlen und infas eine Veröffentlichung von Civey-Daten durch FOCUS ONLINE, die nicht mit dem vor kurzem erfolgten Hinweis des Presserats ("Problematische Online-Votings", Aktenzeichen 0490/17/1, siehe unten) zur Veröffentlichung von Umfrageergebnissen übereinstimmt, zum Anlass für ihre Beschwerde beim Presserat genommen.

Bei der beanstandeten Berichterstattung ging es um den bis heute öffentlich diskutierten Auftritt von Özil und Gündogan mit dem türkischen Staatspräsidenten. Hierbei geht es ja um weit mehr als nur eine sportliche Frage, sondern vielmehr um den Umgang der Zivilgesellschaft mit sensiblen Themen wie Migration und Herkunft. Umso sorgfältiger hätte FOCUS ONLINE mit den wenig plausiblen Daten von Civey umgehen müssen und hätte sie – gerade nach den verbindlichen Hinweisen des Presserats – nicht als "repräsentativ" bezeichnen dürfen.

Die Civey-Frage, ob Özil und Gündogan weiterhin in der deutschen Fußballnationalmannschaft spielen sollten wurde – unabhängig von den generellen Stichprobenproblemen bei Civey – auf FOCUS ONLINE in einen Kommentar eingebunden, der die beiden Spieler als "Schulbuben" tituliert, die "mit breitem Grinsen" neben einem "Despoten, der Deutsche in erschreckender Regelmäßigkeit inhaftiert oder als Nazis beschimpft" posiert hätten. "Dümmer geht’s nicht", so das Resümee des Kommentars. Dass in diesem Kontext die Antwort auf die Frage, ob beide weiter in der deutschen Nationalmannschaft spielen sollen, bei Civey grundlegend anders als bei seriösen Instituten ausgefallen ist, kann niemanden verwundern. Ein Beleg für die Missachtung jedweder wissenschaftlicher Standards bei Civey, obwohl die Branche sich auch in Deutschland zur Einhaltung dieser Standards verpflichtet hat.

Anlass für die Beschwerde der drei Institute war so auch keinesfalls irgendeine Angst vor vorgeblich innovativen Entwicklungen bei Civey, deren "Umfragen" ähnlich wie die früher geübten "TED-Umfragen" völlig beliebig und willkürlich zusammengesetzte Teilnehmer zu irgendeinem Votum veranlassen. Was ist daran "innovativ", wenn Civey nach eigenen Angaben über 7,6 Millionen Personen – also über 12 Prozent der Wahlberechtigten – fragen muss, um darunter 23 Prozent AfD-Anhänger zu finden, obwohl bei der Bundestagswahl nur 9,5 Prozent aller Wahlberechtigten der AfD ihre Stimme gaben? Und was ist daran innovativ, wenn Civey rund 660.000 Personen nach ihrer politischen Selbsteinschätzung gefragt haben will – und dann herausfindet, dass noch nicht einmal ein Drittel sich in der politischen Mitte verortet, obwohl es seit Jahren mehr als die Hälfte der Bevölkerung tut. Und was ist "innovativ" daran, wenn sich von über 145.000 angeblich von Civey-Befragten 43,9 Prozent als Fans von Borussia Dortmund bezeichnen, obwohl sich in weltmeisterschaftsfreien Zeiten überhaupt nur 35 Prozent für Fußball interessieren? Wenig innovativ ist auch, wenn man rund 47.000 Wahlberechtigte fragen muss, um dann feststellen zu können, dass die Zufriedenheit mit der Arbeit des bayerischen Ministerpräsidenten Söder nicht allzu groß ist. Nicht nur abenteuerlich, sondern brandgefährlich ist es vor dem Hintergrund der aktuellen Diskussion über rechtsextreme Gefahren in Deutschland, wenn sich von über 266.000 Teilnehmern an einem Civey-TED nur 24,3 Prozent sicher in Deutschland fühlen, obwohl es in Wirklichkeit nach einer Untersuchung der Stiftung "Lebendige Stadt" die große Mehrheit von 87 Prozent tut. Das alles hat mit innovativen Methoden wenig zu tun, sondern ist schlicht ein Rückfall in die Steinzeit der Forschung, also in eine Zeit, in der Forscher wie Paul F. Lazarsfeld, Hans Zeisel, Marie Jahoda oder auch Georg Gallup die empirische Sozialwissenschaft noch nicht zu ihrer großen Blüte gebracht hatten.

Auf all dies geht Geißlers Kommentar nicht ein. Notwendig ist aber ein Aufschrei der Branche, um einen weiteren Schaden für alle, wie durch die durch den SPIEGEL aufgedeckten Fälschungen einiger schwarzer Schafe, zu verhindern.

Thorsten Thierhoff ist Geschäftsführer der forsa Gesellschaft für Sozialforschungund statistische Analysen mbH

Die Pressemittelung des Presserats im Wortlaut
Nicht-repräsentative Online-Umfragen müssen als solche gekennzeichnet sein. Das Plenum des Deutschen Presserats hat entschieden, dass derartige Votings ohne entsprechende Kennzeichnung die im Pressekodex definierte journalistische Sorgfaltspflicht verletzen. Allerdings verzichtet der Presserat auf eine Sanktion, weil es sich bei der behandelten Beschwerde um eine in der Form neue Fragestellung handelte. Auch die Redaktion hatte den Presserat ersucht, eine Grundsatzentscheidung zu treffen. Wegen der grundsätzlichen Bedeutung wurde der Fall nicht in einem der Beschwerdeausschüsse, sondern im Plenum bewertet.
Ein User hatte sich beim Presserat beschwert, weil er an einer Umfrage der Online-Ausgabe des Münchner Merkurs gleich mehrfach teilnehmen und so das Ergebnis massiv beeinflussen konnte. Bei einer Umfrage zu einer dritten Startbahn am Münchner Flughafen gab er insgesamt 192 Mal seine Stimme ab, indem er die Speicherung von Cookies deaktivierte und den Router mehrfach neu startete. Damit sank die Zustimmung zum Ausbau in der Umfrage von 43 auf 39 Prozent, die Ablehnung stieg von 54 auf 58 Prozent.
"Nicht-repräsentative Umfragen – z.B. auf der Straße – hat es immer in den Medien gegeben. Entscheidend ist, dass sie für den Leser als solche wahrnehmbar sind. Online-Umfragen sind als neue Form dazugekommen. Sie sind nach allen Erfahrungen nicht vollständig gegen unsachgemäße Beeinflussung geschützt", so der Sprecher des Plenums Volker Stennei.  
"Transparenz ist grundsätzlich ein wichtiges Mittel der Medien, um ihre Glaubwürdigkeit gegenüber den Usern zu gewährleisten." Der Pressekodex muss für dieses Thema nicht erweitert werden. In Richtlinie 2.1 heißt es bereits: "Bei der Veröffentlichung von Umfrageergebnissen teilt die Presse die Zahl der Befragten, den Zeitpunkt der Befragung, den Auftraggeber sowie die Fragestellung mit. Zugleich muss mitgeteilt werden, ob die Ergebnisse repräsentativ sind".
http://www.presserat.de/presserat/news/pressemitteilungen/ (22. März)

Lesen Sie auch:

Beschwerde beim Presserat wegen Civey-Umfrage

Das sagt Civey zur Beschwerde beim Presserat

Wer liegt richtig, wenn die Zahlen auseinander gehen, was ist dran an neuen Methoden? In unserem Dossier zu Repräsentativität und Stichprobenmethoden, das wir Ende November veröffentlichen, gehen wir unter anderem dieser Frage auf den Grund.

 

Diskutieren Sie mit!     

  1. Holger Geißler am 08.10.2018
    Hallo Herr Thierhoff!
    Respekt! Das finde ich schon mal großartig, dass Sie antworten. Genauso eine offene Diskussion brauchen wir doch jetzt.
    Innovativ finde ich an Civey, dass es ein neuer Weg ist, um Menschen zu befragen. Die Zahlen die Sie gegen Civey anführen, kann ich nachvollziehen. Da kann ich auch noch ein paar Beispiele nennen. Das meinte ich mit: noch nicht perfekt.
    Es geht mir nicht darum Civey zu verteidigen, sondern darum, dass wir uns gemeinsam als Branche konstruktiv mit der Frage auseinandersetzen, wie wir zukünftig befragen wollen. Vor dem Hintergrund, dass die Methoden der Vergangenheit zunehmend Schwierigkeiten haben und es eben noch keinen neuen Königsweg gibt. Ich würde mir wünschen, dass wir darüber als Branche miteinander ins Gespräch kommen - und weniger gegeneinander.
  2. Janina Mütze am 08.10.2018
    Sehr geehrter Herr Thierhoff,

    wir müssen feststellen, dass Sie falsche Angaben veröffentlichten und bewusst Irreführung betreiben. Anstatt Ergebnisse der repräsentativen Stichprobe zu zitieren, referieren Sie auf die Rohdaten - also die aufaddierten Antwort-Klicks über den gesamten Zeitraum der Befragung (ggf. sogar über Jahre). Diese Rohdaten veröffentlicht Civey zusätzlich zum repräsentativen Ergebnis zur besseren Transparenz. Wir fragen uns, wieso veröffentlicht forsa eigentlich seine Rohdaten nicht. Haben Sie etwas zu verbergen?

    Hätten Sie sich informiert, bevor Sie öffentlichkeitswirksam unsere Methodik in Abrede stellen, wüssten Sie, dass wir in unseren Stichproben lediglich registrierte und verifizierte Teilnehmer berücksichtigen. Schon ein Besuch unserer Website hätte erste Missverständnisse beseitigt: https://civey.com/blog/umfragen_methode_unterschied_rohdaten_repraesentative_ergebnisse/

    Wir laden Sie herzlich zum Gespräch ein und führen Sie dabei auch gerne durch unsere Stichprobenziehung und Gewichtung. Eine Einladung zur Terminfindung finden Sie heute noch in Ihrem E-Mail Postfach.

    Mit freundlichen Grüßen
    Janina Mütze
  3. Thomas Schäfer am 08.10.2018
    Mich wundert, dass hier irgendwer irgendetwas als innovativ ansieht. Das ist einfaches Riversampling, welches wir für die wirklich relevanten Themen schon vor Jahren wieder zur Seite gelegt haben. Gewogen und für zu leicht befunden. Ich sage nicht, dass man das gar nicht machen kann. Aber wenn man es genau wissen will: eher nicht. Auch die genannten Gewichtungsansätze sind Schnee von gestern: na klar wird nach Alter/Geschlecht/Ortsgröße/Bundesland gewichtet. Da sprechen wir doch gar nicht drüber. Und dass Rohdaten (=Halbfertigprodukte) nicht veröffentlicht werden (sollten): auch kein Thema. Wozu? Allenfalls zur Dokumentation der Erhebungsqualität und in diesem Zusammenhang wird das (Kunden gegenüber) gemacht. Ich wiederhole mich: kein Thema.
    Wirklich innovativ sind doch ganz andere Ansätze, die das Problem geringer werdender Teilnahmebereitschaft an Befragungen sehr viel besser addressieren: Z.B.: Wie komme ich zu Antworten (die heutzutage als Insights bezeichnet werden) ohne Befragung? Große Player (hier Ipsos, aber sicher auch Wettbewerber) experimentieren und arbeiten seit Jahren hiermit mit sehr zufriedenstellenden Ergebnissen (die unsere Kunden nicht umgehend publizieren). Wirklich innovativ. Auch Textanalytics, VR etc. Hier läuft mehr als Frau Mütze sich vielleicht vorstellen kann - weswegen ich die von ihr getätigten Branchendresche nicht nur nicht verstehe, sondern sie zudem bäte, (ebenfalls) ihre Hausaufgaben zu tätigen, bevor sie austeilt. Die von ihr gescholtene Branche ist viel weiter.
  4. Prof. Dr. Sven Dierks am 08.10.2018
    Ich halte den Weg Civeys, Menschen zu befragen, für keinen neuen Weg, sondern für einen sehr alten Weg. Man befragt eben irgendwen. Dieser Weg ist schon vor 80 Jahren gescheitert, weshalb sich ja daraufhin erst avancierte Stichprobentechniken entwickelt haben. T

Um unsere Kommentarfunktion nutzen zu können müssen Sie sich anmelden.

Anmelden

Weitere Highlights auf marktforschung.de