Herberts Welt „Was erlauben Böhmermann?!“

Der an Giovanni Trapattoni angelehnte Ausbruch lag sicher vielen Markt- und Meinungsforschenden als Antwort auf die Branchenkritik im "ZDF Magazin Royale" auf der Zunge. In seiner aktuellen Kolumne erläutert Herbert Höckel, warum er Beleidigt-sein jetzt für keinen guten Rat hält, welche Kritikpunkte er nachvollziehen kann und wo Jan Böhmermann und seine Redaktion aus seiner Sicht überzogen haben.

Jan Böhmermann vom Neo Magazin Royal (Bild: picture alliance/dpa | Rolf Vennenbernd)

Jan Böhmermann widmete sich kürzlich im "ZDF Magazin Royale" der Meinungsforschung  – und die kam dabei nicht allzu gut weg. (Bild: picture alliance/dpa | Rolf Vennenbernd)

Sie werden es mitbekommen haben: Jan Böhmermann ist in seiner Show, dem "ZDF Magazin Royale" vom 13. Mai, über uns Meinungs- und Marktforscher hergefallen. Was fällt dem denn ein? Gibt's nicht genug andere, wichtigere Probleme auf der Welt, um die sich seine aufgeblasene, teure und vor allem öffentlich-rechtlich finanzierte Redaktion kümmern sollte? Was für eine Sauerei und Schweinerei! RACHE!

Beleidigt sein? Rache? Nein, natürlich nicht. Coachings lehren uns schließlich, bei Kritik auf der Sach- statt auf der emotionalen Ebene zu bleiben und vor allem erst einmal zuzuhören. Und sogar DANKE zu sagen. Immerhin hat sich da einer beziehungsweise eine ganze Abteilung mit unserer Thematik auseinandergesetzt und zumindest aus deren Sicht einiges an kritischen und fragwürdigen Punkten zusammengetragen. Jetzt beleidigt zu sein und verbal zurückzuschlagen? Wie unsouverän wäre das denn?

Ich sage tatsächlich laut: DANKE, lieber Jan. Danke, dass Du und Dein Team von außen in unsere Branche hineingeschnüffelt hast, um sie zu analysieren, zu prüfen, zu bewerten sowie schlussendlich zu verurteilen.

Ob richtig oder falsch: Ganz grundsätzlich ist jede andere Perspektive als unsere eigene immer eine Bereicherung. Punkt!

Die sechs Hauptkritikpunkte

Aber der Reihe nach. Was für Problematiken hat das Magazin denn zum Thema Meinungsumfragen aufs Tableau gebracht?

  • Das Problem der Suggestivfragen: Mehrfach forderte der Moderator seine Zuschauer auf, mit zuvor verteilten Abstimmungsgeräten ("Abstimmungnauten") auf diverse Fragen per Knopfdruck zu antworten. Dabei demonstrierte er den verzerrenden Einfluss von Suggestivfragen. Natürlich stark überzeichnet aber im Kontext von Satire und Comedy ist das wohl völlig okay. Hier das Beispiel zur Abstimmung, ob das Böhmermann-Magazin künftig den Sendeplatz der "heute-show" übernehmen sollte. 

  • Mit Umfragen wird Politik gemacht: Diese These besagt, dass Meinungsumfragen Politiker, Medien und Gesellschaft beeinflussen. Das stimmt wohl. Wer kann schon bestreiten, dass die Politiker unserer Zeit wohlgesonnene Umfragen für ihre Agenda nutzen, kritische Ergebnisse aber herunterspielen? Ist ein Problem. Klar. Und zwar für alle Figuren in diesem Spiel, die mit unterschiedlich redlichen Motiven ihre Ziele verfolgen und damit am Ende den Bürger irritieren, manipulieren oder mindestens strapazieren.

  • In dieselbe Kerbe schlägt die Feststellung, dass zu viele Institute um Aufmerksamkeit buhlen. Hier nennt das Magazin stellvertretend forsa, INSA, Allensbach, CIVEY, YouGov, die Forschungsgruppe Wahlen und infratest dimap. Alles große Player, die sich in verschiedensten Ausprägungen einen TV-Sender "halten". Oder war's umgekehrt?
  • Weiter ging's mit dem guten alten Festnetztelefon: Wurden früher große Befragungen meistens über diese Anschlüsse durchgeführt und darüber auch die Repräsentativität gewährleistet, geht das ja bekanntlich schon lange nicht mehr. Böhmermann platzierte dafür ein schönes altes Retro-Telefon auf seinem Tisch, um zu demonstrieren, dass DAS ja nun wirklich von gestern ist und daher heutzutage alles online laufen muss. Als entsprechender Repräsentant dafür musste CIVEY herhalten, nur um sie sogleich mit einem aktuellen Umfragebeispiel (auf SPIEGEL.de) zu diskreditieren, bei dem CIVEY in der Fußnote eine Fehlertoleranz von 11,8 Prozent einräumen musste. Ist das zu viel für eine Veröffentlichung? Zumindest Böhmermann ließ daran keinen Zweifel. 

  • Die geheimnisvollen Methoden: Von einem Experten der FU Berlin, Thorsten Faas, wurden weitere marktforschungskritische Aspekte per Einspieler geäußert. Zum Beispiel wie die Institute eigentlich zu ihren Zahlen kommen. Genauso wie die konkrete Erhebungsmethode bleibt das aber ein Geheimnis. Der Moderator kommt daraufhin zu dem Schluss, dass Meinungsforschung keine Meinungen misst, sondern lediglich Launen. Launen, die heute so aber morgen anders sind und sich wiederum durch die veröffentlichten Forschungsergebnisse beeinflussen lassen. Da beißt sich doch die Katze …

  • Die personelle Verquickung diverser Institute mit bestimmten Parteien: Beispiel Manfred Güllner von forsa und die SPD. Oder Hermann Binkert von INSA mit der AFD. Ich selbst mag dieser Tatsache hinzufügen, dass solchen Konstellationen nicht erst seit heute nachgesagt wird, eine ganz eigene Agenda zu verfolgen und mit "leicht eingefärbten" Fragemethoden exakt die Ergebnisse zu erreichen, die ihnen in den Kram passen.

Ein weiterer Kritikpunkt betrifft die Aufmachung von Umfrageergebnissen, die mit offensichtlich präzisen Prozentpunkten und wissenschaftlich anmutenden Diagrammen und Grafiken Seriosität vorgaukeln, was aber allzu oft nicht wirklich nachvollzogen werden kann – siehe mangelnde Transparenz bei Methoden und Prozessen.

Nichts unter den Teppich kehren

Soweit diese kleine Magazin-Inventur, denn hier soll nichts unter den Teppich gekehrt werden. Zu allen Punkten möchte ich auch gar nicht Stellung nehmen.

Wie in jeder Branche gibt es gute und schlechte Performer, Trittbrettfahrer und sogar korrupte Gesellen. In solchen Fällen darf es natürlich nie bei kritischen Stimmen von außen bleiben, da müssen wir auch selbst immer wieder unsere Stimme erheben.

Schließlich geht es um unser wichtigstes Gut, das Vertrauen in unsere Leistungen. Sowie unser Renommee, das von Blendern in Geiselhaft genommen wird.

20 Minuten sind natürlich denkbar knapp, um auf unterhaltsame Weise einen sehr komplexen Stoff zu behandeln. Wohl auch deswegen sind manche Themenfelder doch arg verkürzt und auch fehlerhaft dargestellt. Daher erlaube ich mir an dieser Stelle nun einige kleine Richtigstellungen für alle nicht-marktforschenden Leser dieser Kolumne – übrigens ausdrücklich, ohne den Tenor der Sendung als Ganzes infrage zu stellen.

Richtigstellen, wo verkürzt und fehlerhaft argumentiert wird

Das Festnetz: Die Thematik rund ums olle Festnetztelefon hat die Show so ausgetreten, als wären wir ein Haufen technischer Analphabeten, die die Zeichen der Zeit nicht erkannt haben. Und die Alternative der Erhebungen per Internet wird so dargestellt, als gäbe es das nur zum Preis von indiskutablen Fehlertoleranzen.

Also, liebe ZDF-Redaktion! Die meisten Institute, die früher Befragungen ausschließlich mittels Telefon-Interviews (CATI - Computer Assisted Telephone Interview) geführt haben, sind längst zu mixed-mode-Methoden ge-switched. Neben Telefon-Interviews werden hier andere Teilnehmende auf der digitalen Ebene erreicht beziehungsweise befragt, um so die Probleme der Repräsentativität zu lösen. Wer's genau(er) wissen will: Hier weitere Erläuterungen dazu.

Läuft eine Erhebung dennoch ausschließlich telefonisch, verfügt eine Mehrheit heute zwar über keinen Festnetzanschluss mehr, dafür aber in der Regel über ein Mobiltelefon. Das sind die sogenannten „Mobile-Onlys“. Am Ende wird eine Erhebungsstichprobe dann zum Teil aus dem Festnetz abgedeckt, der andere Teil aus dem Mobilfunknetz. Beide Stichproben müssen noch korrekt gewichtet werden, fertig ist das „Dual-Frame-Verfahren“ vom Arbeitskreis Deutscher Markt- und Sozialforschungsinstitute (ADM). Das war jetzt SEHR vereinfacht dargestellt, deswegen hier die etwas ausführlichere Erläuterung.

Vier Gütekriterien seriöser Markt- und Meinungsforschung

Zur Erinnerung: Wir machen das ja beruflich, also Meinungsforschung.

Für alle Methoden, Verfahren und Design-Prozesse haben wir deshalb Experten, um eben genau jene Probleme anzugehen und zu lösen, die in der Sendung gestreift wurden.

Und zumindest für jeden seriösen Marktforscher kann ich reklamieren, dass alle ihre Leistungen an den folgenden vier Gütekriterien ausrichten:

  • Objektivität: Die Befragungsergebnisse dürfen nicht vom Fragenden beeinflusst werden.
  • Reliabilität: Sprich Zuverlässigkeit. Die Wiederholung der Befragung unter gleichen Bedingungen muss das gleiche Ergebnis haben.
  • Validität: Kann man die Resultate als gültig bezeichnen? Ist das erfasst worden, was auch Gegenstand der Untersuchung war?
  • Repräsentativität: Entsprechen die Befragten in Struktur und Zusammensetzung der sogenannten Grundgesamtheit?

Auch hier ein freundlicher Link zum Weiterinformieren.

Letzter Punkt: Die Suggestivfragen. Hier nur so viel: Jeder seriöse Marktforschende wird bestmöglich versuchen, die Erhebung so unsuggestiv wie möglich zu halten. Denn sonst– da benennt Böhmermann einen wichtigen Punkt – ist die Antwort die Grafik nicht wert, auf der solche Angaben am Ende landen.

Qualität, Qualität, Qualität! Genau darauf kommt es an. Immer. Von der sorgfältigen Planung zur exakten Durchführung, der präzisen Analyse bis hin zur tragfähigen Interpretation der Daten.

Zurück zum Anfang – zum Nicht-Beleidigt sein: Liebes ZDF-Team: Nochmals Danke für Eure Kritik, selbst wenn sie in Teilen recht oberflächlich rüberkam. Ich zumindest habe mich gut unterhalten gefühlt und spüre noch mehr als sonst die Motivation, mich und mein Institut zu hinterfragen und zu prüfen: Wo müssen wir uns den Vorwürfen stellen und Prozesse verbessern?

Und wir sollten immer auch über den aktuellen Status quo hinausblicken, denn die Welt um uns herum bleibt ja nicht stehen. Dazu ein kleiner Kalenderspruch:

Die Methoden von heute sind schon morgen die von gestern!

Unsere Entwicklung darf folglich nie stehen bleiben. Auch die Qualifizierung und Integrität der Marktforscher selbst gilt es stets von Neuem zu beleuchten. An meine Zunft gerichtet: Bitte lasst uns regelmäßig die Frage stellen, welche Rolle wir im Spektrum von Politik, Gesellschaft und Wirtschaft denn tatsächlich spielen möchten.

Ich lade Euch ein!

Zurück zu Dir, Jan & Team: Wie wäre es denn mit einer Einladung zu mir nach Düsseldorf, wo ich Euch bei einer Runde leckerem Altbier meine Welt der Marktforschung präsentiere? Damit Ihr mit eigenen Augen seht, dass sicherlich nicht alles schlecht ist in unserer Branche. Für diesen Einblick muss man aber auch bereit sein, ganz in die Materie einzutauchen. Seid Ihr das? Einladung hiermit ausgesprochen!  

Und hey, vielleicht macht Ihr in einem Jahr noch mal eine Sendung über das Thema? Für eine hoffentlich positive Vorher-Nachher-Betrachtung helfe ich auch bei der Recherche – ganz neutral natürlich! Soweit also mein Kommentar zu Eurer Sendung. Ich habe fertig!

Euer Herbert Höckel

Über Herbert Höckel

Herbert Höckel von moweb
Herbert Höckel ist geschäftsführender Gesellschafter bei moweb. Seit mehr als 25 Jahren ist er Marktforscher. 2004 gründete er die moweb GmbH, welche er bis heute als Inhaber führt. Das Unternehmen aus Düsseldorf ist international tätig und eines der ersten deutschen, auf digitale Verfahren spezialisierte Marktforschungsinstitute.

Täglicher Newsletter der Insightsbranche

News +++ Jobs +++ Whitepaper +++ Webinare
Wir beliefern täglich mehr als 9.000 Abonnenten

 

Diskutieren Sie mit!     

  1. Holger Lütters am 24.05.2022
    Danke, lieber Herbert für diese tolle Aufarbeitung, die dann hoffentlich bei euch als Blog regelmäßig aktualisiert wird.

    Zunächst ist es ja fast traurig, dass die Branche nach der Sendung eigentlich einfach weitermachen kann. Fynn Kliemann hat es in der Woche davor viel härter erwischt mit erheblichen Konsequenzen.
    Gleichzeitig müssen wir wohl ernst nehmen, dass die meisten Menschen überhaupt nicht auf Marktforschung reagieren und das Thema vielleicht sogar ein Quotengift ist.

    Ich selbst ärgere mich über die vielen Fehler in der Darstellung seriöser Forschung im TV. Wenn im Politbarometer oder ähnlichen Formaten mit irren Skalen gearbeitet wird und der Erhebungszeitraum und die Stichprobe einfach unterschlagen werden, will ich das Ergebnis gar nicht wissen. Es sind aus meiner Sicht eher Vereinfachungen in der Kommunikation, die das ganze noch schlimmer machen. Auch hier könnte die Branche mit etwas mehr Transparenz und ergänzenden Infos Klarheit schaffen.

    Und insgesamt müssen wir mit mehr Qualität auf allen Ebenen den Menschen den Wert von Marktforschung vermitteln. Kommunikation ist und bleibt ein Senderproblem. Es ist unsere Aufgabe das Feld zu bearbeiten.

    Gruß und nochmals Danke

    H

    P.S.
    Ist Deine Einladung zu "leckerem Altbier" nicht auch bereits suggestiv?
    Oder nur eine Düsseldorfer Tautologie?
  2. Herbert Höckel am 30.05.2022
    Lieber Holger,

    vielen herzlichen Dank für Deinen kluge und zugleich schönen Kommentar.

    Und ja, Du hast völlig Recht. Wir alle müssten uns viel mehr Zeit einräumen: Für kritische Reflexion, vor allem aber auch für das anschließende Beheben von Schwachstellen, die es sicherlich in jeder Branche gibt. Und wer wenn nicht wir verfügen schlussendlich über die besten Instrumente und Methoden, diese Schwachstellen zu beobachten, zu erkennen und schließlich zu beheben.

    Und noch mal "ja": Mehr und bessere Kommunikation ist (fast) der Schlüssel zu allem. Daran kann man sich selbst nicht oft genug erinnern.

    Lieben Gruß,
    Herbert

    P.S.: Das "leckere Altbier" ist keine Suggestion, sondern der Versuch, den bekennenden Malzbier-Fan Böhmermann von einem "richtigen" Bier mit echter Tradition zu überzeugen. :-)

Um unsere Kommentarfunktion nutzen zu können müssen Sie sich anmelden.

Anmelden

Weitere Highlights auf marktforschung.de