Zum ZEIT-Artikel DIE ZEIT wirft neue Fragen im Streit zwischen forsa und Civey auf

Die Auseinandersetzung zwischen Civey und forsa & Co. über die Frage, mit welchen Methoden repräsentative Ergebnisse erzielt werden können, schwelt schon eine ganze Weile vor sich hin. Dass es hier nicht mehr nur um Methodendiskussionen geht, sondern ein regelrechter Wirtschaftskrimi stattzufinden scheint, thematisierte vorgestern ZEIT ONLINE. Der Artikel mit dem Titel "Kampf der Torten", der am 5.2.2020, erschienen ist, wirft neue Fragen auf. Fragen nach den Umgangsformen im Streit. Und Fragen nach den Urhebern des Twitter-Accounts @civey_watch.

Von der Methodendiskussion zur Tortenschlacht

Lt. den Autoren des ZEIT-Artikels erneuerte forsa am 10. September 2019 in einer E-Mail an Politiker und Journalisten die Vorwürfe, Civeys Ergebnisse seien nicht repräsentativ. Laut ZEIT war sie mit dem Titel "Kokolores, Fake-News und Manipulationen" überschrieben. Unterzeichnet vom forsa-Chef Prof. Manfred Güllner.

Ausgangspunkt der Repräsentativitätsdebatte war ein Bericht von FOCUS ONLINE im Frühjahr 2018 zum Verbleib zweier Fußballer in der Nationalmannschaft. Die Redaktion des FOCUS verwies damals darauf, dass die Ergebnisse repräsentativ seien. Die den Ergebnissen zugrunde liegenden Daten wurden von Civey erhoben. Der Vorwurf der Beschwerdeallianz aus forsa, Forschungsgruppe Wahlen und infas lautete damals wie heute, dass die Online-Umfragen von Civey nicht repräsentativ seien könnten. Das liege unter anderem an der Selbstselektion der Teilnehmer und der ausschließlich online und nur auf bestimmten Webseiten abzurufenden Umfrage.

Die Folge war eine Beschwerde der drei Meinungsforschungsinstitute beim Presserat. Man - in diesem Falle FOCUS ONLINE - müsse doch bitte darauf achten, dass sich die Ergebnisse von Umfragen auch wirklich auf die Grundgesamtheit übertragen lassen, wenn man das Wort "Repräsentativität" in den Mund nehme. Die Methodik von Civey sei hierfür unzureichend.

Janina Mütze, Geschäftsführerin von Civey, stellte damals klar, dass ihre Daten repräsentativ seien. Der Presserat entschied, dass die Verwendung der Civey-Ergebnisse presseethisch unbedenklich sei und die FOCUS-Redaktion ihrer Sorgfaltspflicht nachgekommen sei. marktforschung.de berichtete darüber im Dezember 2018. Der Presserat argumentierte in seiner Entscheidung, dass die FOCUS-Redaktion keinen Grund gehabt habe, an der Seriosität der Umfrage zu zweifeln, da gegen Civey weder Wettbewerbsklagen noch Maßnahmen der Selbstkontrolle der Markt- und Sozialforschung vorgelegen hätten. Die Entscheidung des Presserats kritisierten die Beschwerdeführer damals auf Grund dieser Formulierung, weil sie nahelege, dass ein Anbieter schon dann als seriös gelten könne, wenn keine Klagen gegen ihn vorlägen. Auch der ADM bezog, hinsichtlich der Frage wie Repräsentativität erreicht werden könne, unmissverständlich Stellung, ohne sich dabei direkt auf die Streitparteien zu beziehen oder Partei gegen das Online-Verfahren zu ergreifen.

Während forsa, infas und die Forschungsgruppe Wahlen versuchen, Repräsentativität durch eine Zufallsstichprobe aus der Bevölkerung zu erreichen, erhebt Civey seine Daten über breit gestreute Medienkooperationen im Internet und gewichtet die so gewonnenen Daten im Anschluss, um die Teilnehmerstruktur so an die Struktur der Bevölkerung anzupassen. Man könnte sagen, dass es sich um den Kampf der Vertreter zweier Paradigmen handelt.

Die "Tortenschlacht" zwischen forsa und Civey

Ein Kampf, der im Frühjahr 2018 durch den Twitter-Account @civey_watch abermals befeuert wurde, so der ZEIT-Artikel weiter. In den Tweets wird Civey verunglimpft. "Junk-Institut" wird das Berliner Start-up hier genannt. Sie werden bezichtigt, Zahlen in letzter Sekunde abzukupfern und das "Jenny und Gerry [Anm. d. Red.: die Geschäftsführer heißen mit Vornamen Janina und Gerrit] eigene Mitarbeiter ausspionieren". Auch vermeintlich interne Dokumente von Civey wurden hier veröffentlicht. 1.114 Tweets hat der Account bislang abgesetzt, alle mehr oder weniger imageschädigend für Civey.

In den Folgemonaten veröffentlichte Civey Watch dann einen Screenshot. Darauf zu sehen sein soll eine interne Eingabemaske hinter einer Civey-Umfrage. Der Tweet dazu behauptet, dass Civey die Ergebnisse seiner Umfragen durch das Festlegen von Zielwerten, denen sich die Befragungsergebnisse dann annäherten, vorher festlege und die Daten so manipuliere.

Ein mysteriöser Nutzer namens Herr.Tee

Die Veröffentlichung dieses Screenshots veranlasste Civey, die eigenen IT-Spezialisten Nachforschungen anzustellen. Die ZEIT-Redakteure beschreiben, wie die Suche immer weiter eingegrenzt wurde, bis ein studentischer Mitarbeiter als vermeintlicher Übeltäter identifiziert werden konnte. Dieser Mitarbeiter soll früher auch schon mal für forsa tätig gewesen sein, legt der ZEIT-Artikel nahe.

Civey kündigte ihn und erstattete Anzeige. Die Staatsanwaltschaft Berlin erhob wegen mangelndem öffentlichen Interesse keine Anklage, so die ZEIT. Auch den Studenten lässt die ZEIT zu Wort kommen, der aber nach dem Gespräch nicht mehr zitiert werden wollte.

Wohl von den Geschehnissen sensibilisiert, wurden darüberhinausgehende Nachforschungen angestellt. Die Civey-Internetseite sei immer wieder von Nutzern eines bestimmten Netzwerkes aufgerufen worden. Dem ZEIT-Artikel ist zu entnehmen, dass die IP-Adressen hinter den Zugriffen vermeintlich der forsa zugeordnet werden konnten.

Eine ungewöhnliche Umfrage zur Gesundheitsbranche

Weil tausende Zugriffe aus dem gleichen Netzwerk rund um die Uhr eingingen, vermutete Civey, dass sie von Bots systematisch "überwacht" würden. Einer der Nutzer aus dem vermeintlichen forsa-Netzwerk loggte sich regelmäßig bei Civey ein. Seine E-Mail-Adresse beginnt mit herr.tee@. Er greift mehrmals auf eine Umfrage zur Gesundheitsbranche zu und speichert diese auch.

Dass später bei Civey Watch ein Screenshot dieser Umfrage und Bedenken hinsichtlich der Glaubwürdigkeit der Umfrage veröffentlicht werden, bringen die Civey-Techniker mit Herr Tee in Verbindung. Er sei einer von zwei Nutzern gewesen, die die entsprechende Umfrage in ihrem Profil gespeichert hätten.

Tweet von @civey_watch in dem es heißt, Civey würde Zahlen in letzter Sekunde abkupfern.

Tweet von @civey_watch in dem es heißt, Civey würde Zahlen in letzter Sekunde abkupfern.

Einen Tag später, so die ZEIT weiter, habe dann Güllner einen Newsletter verschickt, der sich mit derselben Umfrage beschäftigte. Das Ganze sei ein Zufall, sagt Thorsten Thierhoff, einer der forsa-Geschäftsführer, dem Artikel zufolge. Mit Civey Watch habe forsa aber nichts zu tun. 

Die Stellungnahme von Civey zu dem Artikel können Sie hier nachlesen.

Hier geht es zur Stellungnahme von forsa.

jvdm

 

Diskutieren Sie mit!     

  1. Mafo_Nbg am 07.02.2020
    Ich denke, die Schärfe hat sich daraus entwickelt, dass Civey in der Politik- und Sozialforschung symbolhaft für den aktuellen Diskurs über das "postfaktische Zeitalter" steht. Die Medienpartner freuen sich dabei über günstigen Stoff für ihre Berichterstattung und ignorieren bereitwillig methodische Einwände. Durch mantrahafte Wiederholung von Gewichtungs-Worthülsen wird dabei suggeriert, dass die Ergebnisse tatsächlich bevölkerungsrepräsentativ seien, was es bei der Auswahlgesamtheit aber faktisch nicht sein kann (ebenso gut könnte man behaupten, es ließen sich US-Umfragen repräsentativ auf Deutschland übertragen, solange man nur die soziodemographischen Merkmale entsprechend gewichtet).

    Grundsätzlich ist gegen Online-Umfragen gar nichts einzuwenden, insbesondere in der (Wirtschafts-)Marktforschung und bei passenden Fragestellungen ist sie anderen Methoden häufig überlegen. Aus gutem Grund hat sich aber bisher kein Online-Institut in die für Demokratien durchaus wichtige Wahl- und Politikforschung begeben. Selbst YouGov hält sich hier zurück, wobei deren Auswahlansätze sogar etwas umfangreicher sind. Die zunehmende Verwendung von Civey-Umfragen öffnet daher aus meiner Sicht tatsächlich Tür und Tor für politische Manipulation und Fake-News, was sich z.B. bereits durch die überdurchschnittliche Beteiligung von AfD-Wählern an Civey-Umfragen zeigt. Warum Civey sich in diesem Feld nicht zurückhält und auf weniger kritische Themen konzentriert, bleibt unklar.
  2. Volker Wohlert am 07.02.2020
    Postfaktisch haben wir doch schon immer gehabt, oder?
    Zahlen mit Kommastellen. Konfidenzintervalle verwirren (wobei beim Wetterbericht ist der Temperaturverlauf mittlerweile mit graphischem Konfidenzintervall versehen), Grundgesamtheit ist immer bekannt ;-)

    Beim Klimaindex der Markforschung gab es bei der Kritikreplik folgende Aussage von Prof. Fank:
    "Stattdessen wird immer wieder auf das theoretische Konstrukt der Repräsentativität verwiesen. Repräsentativität ist in der Praxis kaum zu erreichen. Die Realität ist zu komplex und vielschichtig, um den theoretischen Anforderungen gerecht zu werden."
    Zitat aus https://www.marktforschung.de/aktuelles/interviews/marktforschung/diese-kritik-kann-ich-nachvollziehen-vermisse-aber-eine-inhaltliche-auseinandersetzung-und-diskussion/

    Kernsatz: Repräsentativität ist in der Praxis kaum zu erreichen.
    Ich warte noch auf ein Siegel für Repräsentativität ;-)
  3. Thomas Perry am 10.02.2020
    Die Art der Auseinandersetzung zwischen forsa und Civey ist das eine, die in der Sache das andere. Die Auseinandersetzung in der Sache ist zu wichtig, um sie diesem angeblichen Wirtschaftskrimi zu opfern und sich darin zu verheddern. Denn es geht um sehr viel, keineswegs nur um kleinlichen Methodenstreit. Dazu dies: https://www.cicero.de/wirtschaft/civey-yougov-umfragen-meinungen-empirie-methoden-demokratie
    Und in der Methodensache dies: ‪https://www.sowi.uni-mannheim.de/blom/news/?tx_news_pi1%5Bnews%5D=7113&cHash=2b7676c880703130333460ab736d269a‬

Um unsere Kommentarfunktion nutzen zu können müssen Sie sich anmelden.

Anmelden

Weitere Highlights auf marktforschung.de