Janina Mütze, Gründerin und Geschäftsführerin Civey "Wir befinden uns mitten in einer Revolution der Marktforschung"

Civey-Gründerin und Geschäftsführerin Janina Mütze reagiert auf die Vorwürfe um die vermeintlich fehlende Repräsentativität der Civey-Methoden, spricht über die Beschwerde beim Deutschen Presserat und lädt Kritiker zum Gespräch ein. Warum ihre Methoden zu den fortschrittlichsten gehören und wieso sie sich um den Innovationspreis der Marktforschung bewerben könnte, sagt sie im Interview.

Janina Mütze (Bild: Civey)
Janina Mütze (Bild: Civey)

 

marktforschung.de: Frau Mütze, Sie haben bei ihrer Gründung 2015 eine Revolution der Marktforschung versprochen: Jetzt, drei Jahre später, wurde gegen FOCUS ONLINE eine Beschwerde beim Presserat eingereicht, weil die Redaktion von Ihnen erhobene Daten für die Berichterstattung nutzt. Waren Sie überrascht? Was sagt der FOCUS bzw. andere Medienpartner: Immerhin richtet sich die Beschwerde ja gegen den FOCUS und nicht gegen Civey als Unternehmen?

Janina Mütze: Wirklich überrascht waren wir über dieses Vorgehen nicht, denn wir schütteln ja einen etablierten Markt kräftig durch. Außerdem haben wir seit unserer Gründung viele erfolgreiche Medienkooperationen gestartet. Dadurch büßen einige alte Hasen der Meinungsforschung mediale Präsenz und Marktanteile ein. Das tut weh, nicht umsonst poltern Akteure wie Manfred Güllner oder Matthias Jung schon seit längerem verbal gegen uns. Und dass die Beschwerde nicht beim Rat der Marktforschung eingereicht wurde, kam auch nicht überraschend. Bei einer fachlichen Instanz bestünde eine hohe Wahrscheinlichkeit, dass diese sogar kontraproduktiv für die Beschwerdeführer wäre. FOCUS ONLINE und unsere anderen Medienpartner haben sich seit Beginn unserer Partnerschaft intensiv mit unserer Methodik beschäftigt. Viele von ihnen haben uns in den letzten Wochen den Rücken gestärkt. Gemeinsam sehen wir der Sitzung am 18. Dezember mit aller Ruhe und großem Interesse entgegen.   

marktforschung.de: Was glauben Sie passiert, falls der Presserat tatsächlich eine Rüge ausspricht?

Janina Mütze: Ganz ehrlich, an dieser Stelle steht es uns nicht zu, darüber zu spekulieren, wie sich der Presserat entscheidet. Aber egal, was dabei herauskommt, es wird die Diskussion um die richtigen Umfragemethoden in der Branche befeuern. Die Methodik der deutschen Meinungsforschung, das Verständnis von "repräsentativ" sowie der notwendige Technologie-Einsatz und die Zukunftsfähigkeit der Branche werden noch intensiver diskutiert werden. Darauf freuen wir uns sehr, denn diese Diskussion ist überfällig.

marktforschung.de: Die Diskussion um die vermeintlich fehlende Repräsentativität Ihrer Daten wird ja in Teilen sehr emotional geführt. Da ist zum Beispiel von "Bullshit" die Rede. Andererseits äußert sich Civey selbst sehr skeptisch "zum Zustand der klassischen Marktforschung". Was glauben Sie, sind die Fragen, auf die die Marktforschungsbranche jetzt eine Antwort braucht?

Janina Mütze: Als interdisziplinäre digitale Gründung haben wir uns anfangs nicht als Teil der Marktforschungsbranche verstanden. Wir sind angetreten, um die bisherigen Methoden und Geschäftsmodelle bewusst in Frage zu stellen, indem wir zum Beispiel gewichtete Umfrageergebnisse live veröffentlichen, um Teilnehmer wieder zum Mitmachen zu motivieren. Seit Anfang 2017 sind wir nun auch Mitglied beim DGOF Verband und seit 2018 auch in der AAPOR, wo wir auf der Jahreskonferenz in Denver unsere Methode der Stichprobenziehung vorgestellt haben. Denn wir sehen letztendlich, dass der Zustand der Branche – denken Sie beispielsweise an die Spiegelberichterstattung zur Marktforschung Anfang des Jahres – auch auf uns abfärbt. Es ist offensichtlich, dass die klassischen Methoden der Callcenter-Institute mit ihrer Telefonbefragung auf dem Prüfstand stehen. Dazu gehört auch das Zufallsprinzip in der Stichprobe. Und die neuen Möglichkeiten der Big Data Analytics werden sowohl wissenschaftlich als auch methodisch einen stärken Eingang finden. Es bedarf hier einer fachlichen und wissenschaftlichen Debatte! Der angelsächsische Raum ist schon viel weiter und viel transparenter.

marktforschung.de: Ihr Stichprobenkonzept haben Sie gemeinsam mit der Hochschule Rhein-Waal entwickelt, Prof. Oliver Serfling ist Mitgründer von Civey. Ist die Methode "fertig" oder noch in der Entwicklung, und gibt es schon Studien zur Validierung?

Janina Mütze: Unser Stichprobenkonzept basiert auf einer funktionierenden, wissenschaftlichen Methode. Wir sind allerdings ein Technologieunternehmen, unsere Methode ist daher nie "fertig", sondern wird laufend weiterentwickelt. Das ist das Grundprinzip eines lernenden Startups. So forschen wir derzeit beispielsweise an multivariaten Modellen, ganz konkret mit "multilevel regression with poststratification" (MRP). Dieser Ansatz ist mit Sicherheit das Fortschrittlichste, was Statistik in unserem Bereich zu bieten hat. Statt mit einem a priori festgelegten Modell zu arbeiten, findet der Algorithmus nun selbstständig die entscheidenden korrelierenden Gewichtungsvariablen. So können wir dem Modell eine Vielzahl von Variablen anbieten, ohne uns die Probleme einer größer werdenden Varianz ins Haus zu holen. Wir werden dabei in unterschiedlicher Form wissenschaftlich begleitet und innerhalb der nächsten Monate eine wissenschaftliche Validierung zu dieser Methodik vorstellen.

marktforschung.de: In einem aktuellen Beitrag auf marktforschung.de erwähnen Sie, dass vergleichbare Methoden international längst anerkannt und von Leitmedien genutzten seien. An welche Institute und Medien denken Sie dabei?

Janina Mütze: Die Befragungsmethode von Civey ist natürlich innovativ und damit auch einzigartig. Allerdings kombinieren wir unterschiedliche Methoden, die derzeit schon international im Einsatz sind. So hat beispielsweise die American Association for Public Opinion Research schon länger ihren Standpunkt zu Zufallsstichproben geändert: Sie gibt klar vor, unter welchen Bedingungen eine non-probability Stichprobe trotzdem repräsentativ ist. Und auch Real-Time-Analysen sind inzwischen bei US-Medien Standard, so beispielsweise bei den Polls der New-York-Times.

marktforschung.de: Sie haben in den Kommentaren unter unseren Artikel zum Thema angekündigt, Kritiker einzuladen und mit ihnen zu sprechen. Hatten Sie schon Besuch?

Janina Mütze: Ja, wir haben diese Einladungen ausgesprochen und auch schon die ersten Interessierten und Kritiker getroffen. Darunter sowohl klassische Marktforschungsinstitute, die sich für unsere Methode interessieren, als auch Wissenschaftler. Forsa hat nicht auf unsere Einladung reagiert. Das wundert uns, denn Thorsten Thierhoffs Replik auf Holger Geißler von DCORE bei marktforschung.de zeigt deutlich, dass fachlicher Austausch hilfreich für alle wäre. Ansonsten hätte er nicht einfach nur aus unseren Rohdaten ohne Gewichtung zitiert. Unser Angebot zum Gespräch besteht weiterhin.

marktforschung.de: Sie selbst nennen Ihre Methoden innovativ. In einem anderen Kommentar schlägt man Ihnen vor, sich beim Kongress der Deutschen Marktforschung für den Innovationspreis zu bewerben. Was halten Sie von dieser Idee?

Janina Mütze: Heute werfen uns ausgewählte Vertreter der klassischen Zunft vor, die Marktforschung in die Steinzeit vor Gallup zurückzuwerfen und vergleichen uns mit den guten alten TED-Umfragen. Deshalb können wir uns vorstellen, den Vorschlag, uns für den Innovationspreis der Marktforschung zu bewerben, bei Gelegenheit aufzugreifen. Wenn wir ihn gewinnen sollten, haben dann wahrscheinlich auch die Institute, die derzeit lautstark unsere Methoden angreifen, das Läuten gehört.

marktforschung.de: Wo sehen Sie die Marktforschung in fünf Jahren?

Janina Mütze: Wir sind immer noch fest davon überzeugt, dass wir uns mitten in einer Revolution, zumindest in einer tiefgreifenden Evolution, in der Marktforschung befinden. Telefonbefragungen werden weiterhin stetig an Relevanz und Glaubwürdigkeit verlieren. Wer zukunftsfähige Marktforschung betreiben will, wird an der Forschung zu non-probability Methoden für Online-Befragungen, multivariaten Verfahren und Echtzeit-Berechnungen nicht mehr vorbeikommen. Gleichzeitig braucht es neue Anreize für Befragte. Mit der Echtzeit-Veröffentlichung der gewichteten Ergebnisse für Befragte setzen wir neue Maßstäbe. 

marktforschung.de: Wo wird Ihr Unternehmen da seinen Platz haben?

Janina Mütze: Wir sind als Innovationstreiber gestartet und sind sicher, dass wir dank dieses Vorsprungs in den nächsten Jahren unsere Marktposition deutlich ausbauen können.

marktforschung.de: Vielen Dank für das Gespräch, Frau Mütze!

 

Diskutieren Sie mit!     

  1. Helmut Jung am 16.10.2018
    Frau Mütze redet erneut mit viel Eigenlob über den angeblich so fortschrittlichen Civey-Ansatz, bleibt aber klare Antworten schuldig, warum dieser tatsächlich methodisch und wissenschaftlich korrekt ist. Dazu muss man Transparenz schaffen und Verfahren offen legen und nicht nur die eigene Methodik als fortschrittlich und die der Konkurrenz als steinzeitlich bezeichnen. Übrigens hängt ja die Repräsentativität angesichts der Internet-Dichte nicht von der Erhebungsmethode per Online, sondern von der Art der Rekrutierung ab.

    Hier gibt es bis zur völligen Offenlegung der Civey-Methodik mehr als erhebliche Zweifel. So lange man - wie ich das kürzlich getan habe - darüber hinaus in der Lage ist, an einer Bayern-Umfrage vor der Landtagswahl als in Schleswig-Holstein gemeldeter Bürger innerhalb von zehn Minuten fünf Mal "abzustimmen", kann man Civey und die das Institut wohl nur aus Preisgründen unterstützenden Medien sowieso nicht ernst nehmen.

    Dr. Helmut Jung
    (ehem. ESOMAR-Präsident)
  2. Guido Kiell am 16.10.2018
    Hallo marktforschung.de,
    ich fände es gut, wenn im Zuge der Online-CATI-Repräsentativitätsdebatte auch noch einmal einige schwer verdaulichere Kost präsentiert würde.
    Erstens das Vorgehen bei der jeweiligen Stichprobenziehung,
    zweitens das jeweilige Vorgehen bei der Berechnung von Vertrauensintervallen (also via klassischen Standardfehler vs. via bayesianischen statistischen Fehlers) und
    letztlich etwas zur Vorhersagevalidität der über so unterschiedliche Stichproben gewonnen Parameter.
    Ich habe den Eindruck - ich habe ja auch selber mal bei einem größeren Player in der Online-Forschung gearbeitet -, dass die schönste Methodik zur Berechnung von Konfidenzintervallen nix nützt, wenn man sich letztlich doch nur den Wert in der Mitte des Intervalls anschaut. Also z.B. die Wahlprognose, stiefmütterlich sieht man dann irgendwo manchmal +/- soundsoviel Prozent sind möglich.
    Der Punkt ist ja der: Wenn die Stichprobenziehung vollkommen krude ist, dann nutzt einem auch ein größeres Konfidenzintervall nichts, denn am Ende wird eben die Wahrnehmung auf den berichteten geschätzten Parameter gelenkt, nicht auf die Spannweite der möglichen Parameter.
    So eine fachlich tiefergehende Darstellung gab es hier auch schon einmal, vielleicht reicht es auch dort hin zu verlinken. Oder hier einfach unter das Interview mit Frau Mütze ein paar Links zu wissenschaftlichen Artikeln zu den angesprochenen Techniken zu setzen.
    Wenn ich mich recht entsinne, wurde das aber tatsächlich nicht wirklich in der Tiefe diskutiert. Ich finde es jedenfalls leichter, mich online über das ADM Mastersample oder das Rösch-Verfahren zu informieren, als über Ziehungs- und Gewichtungstechniken etc. bei einzelnen Panels.
    Dann noch etwas zur Spiegelberichterstattung zur Marktforschung Anfang. Das hat ja nun erst mal nichts mit besseren oder schlechteren repräsentativen Stichprobenziehungstechniken für Online- vs. CATI-Befragungen zu tun. Wenn ein Feldinstitut hingeht, sich beim ADM oder Rösch Telefonnummern nach allen Regeln der Kunst zufällig generieren lässt und nachher Interviews faked / fälscht dann ist das ganz einfach Betrug. Das könnte einem bei einem böswilligen Panelanbieter genau so passieren, wenn dort in einem stillen Kämmerlein irgendwelche Leute die Fragebögen ausfüllen, weil z.B. eine bestimmte Fallzahl in einer schwierigen Zielgruppe nicht erreicht wird. Ich denke aber mal, so ein systematischer Betrug ist eher die Ausnahme.
  3. Gerhard Graf am 16.10.2018
    Die "Revolution in der Marktforschung", die Frau Mütze voller Selbstbewußtsein vorträgt, besteht offenbar insbesondere in der Negierung von wissenschaftlichen Standards: Selbstrekrutierung ist und bleibt ein Ausschlusskriterium für Repräsentativität, da sind Echtzeit-Berechnungen u.a. völlig irrelevant. Falsch rekrutierte Personen können nicht "richtig" gerechnet werden. Multivariate Verfahren als "neue Methoden" für sich zu reklamieren spricht ebenfalls Bände.

    Diese Verwässerung der wissenschaftlichen Standards ist ein in den letzten Jahren zu beobachtender allgemeiner Trend, der sich u.a. in der Beschreibung der Ergebnisse aus Online Access-Panels als "repräsentativ" niederschlägt - was aus Gründen der fehlenden Zufallsauswahl bei der Rekrutierung mindestens diskussionswürdig ist. Deshalb macht es übrigens auch gar keinen Sinn, sich bei derartigen Fragen an den Rat der Marktforschung zu wenden - die Mitglieder dort betreiben größtenteils derartige Online-Access-Panels, und sind damit Partei.

    Der Versuch, wissenschaftliche Standards zu verwässern, ist nicht neu, hat aber in der Vergangenheit in der Regel zu einstweiligen Verfügungen geführt - ein Mittel, das offenbar in Vergessenheit geraten ist, das aber äußerst heilsam war.

    Neu ist allerdings die Chuzpe, mit der unzureichende Methoden als zeitgemäß vorgetragen werden: Die Forschung war früher sicher nicht doofer, allem Anschein nach aber durchaus seriöser.
  4. Janina Mütze am 16.10.2018
    Lieber Herr Jung,

    das nehme ich als Einladung zu einem Dialog auf. Ihre fachlichen Anmerkungen kann ich nur zustimmen. Da haben wir wenig, worüber wir uns streiten können. Aber wir finden sicherlich spannende Themen zur Diskussion. Ach und zu Ihrer „Testabstimmung“: Sie können zwar online als Bürger Schleswig-Holsteins abstimmen, aber sie schaffen es bei uns gar nicht in die Stichprobe. Das zeige ich Ihnen gerne auch in einem persönlichen Termin, wie das funktioniert. Besonders gerne möchte ich mich mit Ihnen zu ESOMAR austauschen. Ich maile Sie hierzu einfach mal an.

    @ Herr Kill,

    gerne können wir uns ja mal am Rande von research and results dazu austauschen. Ich maile Sie an.

    @ Herr Graf,

    Sie sprechen von Verwässerung, wir sprechen von Veränderung. Diesen wissenschaftlichen Konflikt und Diskurs sollten wir unbedingt führen. Ich hoffe, die Verbände bieten dafür eine sinnvolle Plattform.
  5. Edzard Nitzsche am 16.10.2018
    Lieber Herr Graf,

    vielen Dank für Ihren Kommentar, dem ich zu 100% zustimmen kann.
    Es scheint ja tatsächlich Kunden zu geben, die für solche Ergebnisse von Civey zahlen...
  6. Bernad Batinic am 17.10.2018
    Frau Mütze revolutioniert die Marktforschung, setzt die allerbeste und total abgefahrenste wissenschaftliche Methode der Welt ein – die aber noch nicht ganz fertig ist – und gewinnt bald den Innovationspreis der Deutschen Marktforschung. Toll & Glückwunsch im Voraus!

    Ich versuche gerade die vielen Phrasen, die ich teilweise als echte Zumutung empfinde, zu überlesen und die Fakten zu erkennen. Letztendlich kann man meiner Ansicht nach die Qualität der eingesetzten Methode aktuell gar nicht seröse bewerten. Alles ist komplett intransparent bzw. ich verstehe leider gar nichts; ein Artikel zu der „Revolution“ in einem internationalen Journal konnte ich auch nicht finden. Oder ist MRP (ne ganz coole Methode in der Statistik; die übrigens YouGov / Holger Geißler auch schon eingesetzt hat) die besagte Revolution!?

    Ich wüsste gerne (genau!) wie Civey auf repräsentative Schätzungen kommt (und dies bitte ohne Drama und Eigenlob). Nutzt man tatsächlich selbstrekrutierte – und thematisch sich selbst selektierte! – Personen auf Online-Portalen als Ausgangspunkt und Gewichtet diese? Anhand welcher Daten wird die Gewichtung vorgenommen? Irgendwo habe ich etwas von einem Panel gelesen; gibt es dieses und welche Rolle spielt es bei dem Verfahren usw. usw. Egal, man kann sicher in dem besagten Artikel, der ja in mehreren Monaten erscheint (wo? bestimmt public opinion quarterly oder Journal of Consumer Research), alles nachlesen!?

    Herzliche revolutionäre Grüße

    Bernad Batinic

    P.S. Tatsächlich zeigt die Berichterstattung zu dem Thema aber sehr gut, in welchem (wissenschaftlich) desolaten Zustand sich die (deutschsprachige) Mafo-Branche befindet. So hat nach meinem Gefühl die enge Verzahnung der Marktforschung mit der Wissenschaft in den vergangenen Jahren stetig abgenommen. Die Gründe hierfür sind vielfältig. Die GfK, eigentlich der methodische Innovator der Branche, hat Marktforschung immer mehr als Teil des Marketings gesehen und dies an Universitäten (insb. Erlangen-Nürnberg) gefördert. Zwischen der Markt- _und_ Sozialforschung ist es zu einer Entfremdung gekommen und viele neue, kleine Player konzentrieren sich auf technologische Innovationen. Wenn es zu methodischen Grundsatzfragen kommt, dann fehlen jetzt die neutralen Instanzen an den Universitäten, die dazu Stellung nehmen könnten und Verkäufer reden mit Verkäufern über Wissenschaft ihre "Forschung". Selbst schuld.
  7. Rolf Kirchmair am 22.10.2018
    Auch ich habe das Gefühl, dass die Verzahnung der Marktforschung mit der Wissenschaft in den vergangenen Jahren eher abgenommen hat. Und wenn sich Frau Mütze als "Revolutionärin" erlebt und sich besonders innovativer Methoden rühmt, wäre ich besonders vorsichtig. Ich habe gelernt, dass eine Stichprobe dann repräsentativ ist, wenn alle Elemente bzw. Merkmalsträger der Grundgesamtheit die gleiche Chance haben, in die Stichprobe zu gelangen. Und das ist bei der Civey-Methode nicht der Fall - Schätzwerte hin oder her!
    Schöne Grüße,
    Rolf Kirchmair
    (Hochschule Fresenius)
  8. Eckart Strangfeld am 22.10.2018
    Dass die Marktforschung einige Probleme und Herausforderungen vor sich erkennen muss, ist sicher allen klar. Eine sachliche, weniger polemisch polarisierende Diskussion über die richtige Begegnung dieser Herausforderungen (Zunehmende Schwierigkeit für Zufallsstichproben, weitgehende Aufgabe des Validitätsanspruchs, Absinken des Qualifikationsstands der MaFo-Akteure u.v.a.) tut hier schon Not. Da freut es mich, dass nach einigen Tagen eher polemischer Hau-Drauf-Kommentatur Herr Batinic mit seinem Kommentar ein wenig den emotionalen Wind aus den Segeln herausnimmt. Denn von der Entwicklung der Methoden - sei sie nun revolutionär oder nicht - können am Ende alle profitieren. Und da nützt es weder, das kritische Hinterfragen als Beratungsresistenz ewig Gestriger hinzustellen, noch einen Ansatz mit dem Label "Scharlatanerie" zu versehen, bevor die Methodik tatsächlich a) in Einzelheiten dargelegt oder b) mit der Veröffentlichung entsprechender Methoden-Tests untersucht werden kann.
    Contenance, meine Damen und Herren
    Eckart Strangfeld

Um unsere Kommentarfunktion nutzen zu können müssen Sie sich anmelden.

Anmelden

Weitere Highlights auf marktforschung.de