Bettina Klumpe (ADM) & Dr. Bernd Nauen (ZAW) "Wie wichtig Standards in der heutigen Zeit sind, zeigen die Diskussionen rund um das Thema Repräsentativität"

Dr. Bernd Nauen & Bettina Klumpe

marktforschung.de: Wann wurde das ZAW Rahmenschema ursprünglich eingeführt und wofür braucht die Werbewirtschaft das?

Bernd Nauen:Qualitativ überzeugende Werbeträgeranalysen sind für den professionellen Mediamarkt unverzichtbar. Das Rahmenschema hat eine lange Geschichte – sie reicht zurück bis in das Jahr 1968. So sehr sich die Werbeträgerlandschaft und die Mediaforschung seitdem auch verändert haben, die Funktion des Rahmenschemas ist unverändert aktuell, ich würde sogar sagen, sie ist wichtiger denn je: Es definiert klare Qualitätsmaßstäbe für die Durchführung von Werbeträgeranalysen und die Ermittlung von Nutzerschaften einzelner Medien bei Reichweitenstudien. Die Erfüllung dieser Anforderungen stellt nicht nur Transparenz, sondern auch die Vergleichbarkeit der Medienanbieter sicher. In einem immer weiter fragmentierten Medienmarkt, angesichts des veränderten Mediennutzungsverhaltens der Verbraucher, auch wegen ihrer veränderten Einstellung gegenüber Befragungen durch Marktforschungsinstitute ist ein einheitlicher Qualitätsstandard wichtiger denn je. Für Medienangebote in ihrer Eigenschaft als Werbeträger legt das ZAW-Rahmenschema die gute marktforscherische Praxis bei den Standards für die Konzeption, Durchführung und Dokumentation von Werbeträgeranalysen fest. Für Mediaagenturen und Werbungtreibende, die Investitionsentscheidungen treffen müssen, ist dies wiederum wichtig, weil nur dergestalt qualifizierte Studien verlässlich Auskunft über KPI's für Werbeschaltungen geben und somit eine effiziente Werbeplanung ermöglichen.

Bettina Klumpe: Standards waren immer ein notwendiger Bestandteil in der Markt-, Meinungs- und Sozialforschung und werden in einer sich immer schneller entwickelnden Branche mit neuen Playern, die nicht aus dem Forschungsumfeld kommen, zunehmend wichtiger. Nur mit verbindlichen Standards werden gleiche Voraussetzungen und Rahmenbedingungen geschaffen, die eine Vergleichbarkeit der Daten überhaupt erst ermöglichen. Zusätzlich schaffen sie Vertrauen auf Seiten der Auftraggeber und Sicherheit für die Institute. Von diesem Vertrauen und von dieser Sicherheit profitiert auch die Bevölkerung. Ein akzeptierter Standard – wie das ZAW-Rahmenschema – gibt vor, wie sich die Protagonisten zu verhalten haben. Außerdem geht es um Fairness und Ethik. Wie wichtig Standards in der heutigen Zeit sind, zeigen aktuell die Diskussionen rund um das Thema "Repräsentativität". Auch hier gibt das ZAW Rahmenschema Vorgaben und Orientierungen. Sicherlich ist das Rahmenschema in erster Linie für Werbeträgeranalysen und zur Ermittlung von Nutzerschaften von Medien erarbeitet worden, dennoch können die dort ausführlich beschriebenen Themen zur "Grundgesamtheit und Stichprobe" sowie zu den Dokumentationspflichten auch für andere Umfragen herangezogen werden. Dies kann insbesondere auch eine gute Unterstützung für die neuen Player sein.

marktforschung.de: 1994 fand die letzte Überarbeitung statt. Warum hat es so lange gedauert, bis ein neues Regelwerk entstand und warum genau jetzt?

Bernd Nauen: In der Tat, die letzte Überarbeitung liegt schon eine ganze Zeit zurück. Vorausgegangene Anläufe haben aus verschiedenen Gründen nicht zu einer gemeinsamen Ausrichtung aller Marktbeteiligten – Medien, Werbungtreibende, Agenturen und Institute – geführt. Die nunmehr erfolgte Überarbeitung fand indes unter veränderten Vorzeichen statt. Niemand kann heute mehr bezweifeln, dass sich die Markt-, Meinungs- und Sozialforschung im Allgemeinen und die Werbeträgerforschung im Besonderen auf veränderte Bedingungen einstellen müssen. Sie haben sich seit der 8. Auflage grundlegend geändert. Die Institute sind mit erheblichen Herausforderungen bei der Erreichbarkeit von TeilnehmerInnen an Umfragen konfrontiert und die Teilnahmebereitschaft der Befragten generell ist in den letzten Jahren gesunken. Auch die regulatorischen Anforderungen haben sich mit der Datenschutzgrundverordnung, die seit Mai 2018 verbindlich ist, wenn auch nicht fundamental, so aber doch in einigen wichtigen Punkten geändert. Wir sehen in einem zunehmend komplexeren Werbeträgersystem neue marktforscherische Ansätze, die Ansprüche an Qualität, Validität und Transparenz von Studien sind aber nicht gesunken, das Gegenteil ist richtig. Deshalb mussten zusätzliche oder ersetzende wissenschaftliche und praktische Kriterien entwickelt werden, über die die Qualität des zugrunde gelegten Datenbestands, die Feldarbeit und die Dokumentation von Studien auch in Zukunft sichergestellt und valide bewertet werden kann.

Bettina Klumpe: Die von Dr. Nauen erwähnte abnehmende Bereitschaft der Bevölkerung, an Umfragen teilzunehmen, sowie die zunehmenden Schwierigkeiten zur Erreichbarkeit beschäftigen die Markt-, Meinungs- und Sozialforschung schon seit einiger Zeit. Die Gründe für diesen Rückgang sind sicherlich vielfältig. Zum einen spielt das geänderte Kommunikationsverhalten durch die Nutzung von Smartphones und Internet eine große Rolle. Darüber hinaus sind aber auch eine Menge äußerer Einflüsse zu nennen. Bereits in den frühen 2000er Jahren gab es einen ersten Einbruch in der Teilnahmebereitschaft. Unter dem Begriff "Marktforschung" versuchten Unternehmen damals Produkte am Telefon zu verkaufen. Es kam zu drastischen Einbrüchen in Bezug auf die Teilnahmebereitschaft. Die Branche reagierte zwar mit höchster Transparenz für die potentiellen Befragungsteilnehmer, indem sie bei jedem Anrufversuch ihre Telefonnummern übermittelten. Aber das Vertrauen der Bevölkerung war stark beschädigt. Ab den frühen 2010er Jahren folgten dann NSA Abhörskandale, Berichte über Datenschutzverstöße bei Telekommunikationsunternehmen sowie Skandale über Datenmissbrauch und das "muntere Sammeln" von Daten durch Internetunternehmen. Alles Themen, die sich dramatisch auf die Bereitschaft, an Umfragen teilzunehmen, auswirkten. Im Jahr 2015 startete dann die gemeinsame Initiative von ZAW, ADM, den Medien und Werbungtreibenden zur Überarbeitung des ZAW Rahmenschema. Neben dem Qualitätsmerkmal "Ausschöpfung" mussten neue Qualitätsgrößen gefunden werden, die zur Bewertung von Stichproben geeignet sind. Eine der neuen Qualitätsgrößen ist der sogenannte Gini-Koeffizient, mit dem die Struktur der Befragten-Stichprobe mit der Idealstruktur der Grundgesamtheit verglichen wird, so dass die verwendete Datenbasis valide einschätzbar wird. Darüber hinaus wurden dezidierte Abarbeitungsregeln für die Feldarbeit der Institute entwickelt und vorgegeben. Zusammen mit umfangreichen Dokumentationspflichten zu den Studien wird dieser Bereich abgerundet. Letztere sollen den gesamten Prozess transparenter machen, was von Seiten des ADM begrüßt und unterstützt wird.

marktforschung.de: Nach einer sechsmonatigen Übergangsfrist tritt das neue ZAW Rahmenschema in Kraft. Wie weit gehen die Änderungen? Sind nur bestimmte Teile betroffen, wie zum Beispiel Richtlinien für Stichproben und Dokumentationspflichten, oder geht es darüber hinaus?

Bernd Nauen: Die entscheidende Aufgabe des ZAW-Rahmenschemas war und ist das definierte Untersuchungsziel, die Methode und die Auswahltechniken von Werbeträgeranalysen erkennbar und für den Wettbewerb vergleichbar zu machen. Die erste Stufe der Überarbeitung hat hier umfänglich angesetzt.

Bettina Klumpe: Dabei lag der Fokus der Überarbeitung auf Kapitel 1 "Grundgesamtheit und Stichprobe" sowie auf Kapitel 3 "Dokumentationspflichten". Das Kapitel 1 wurde umfangreich überarbeitet. Ausschlaggebend für diese Vorgehensweise war, dass  – wie schon vorhin genannt – alle Bereiche der Markt-, Meinungs- und Sozialforschung und somit auch die Werbeträgeranalyse mit der abnehmenden Erreichbarkeit und einer verringerten Teilnahmebereitschaft der Bevölkerung an Umfragen konfrontiert waren. Innerhalb der Fachkreise ist es unstrittig gewesen, dass das bisherige Kriterium der Ausschöpfung von Stichproben als alleiniger Faktor zur Beurteilung der Qualität von Stichproben nicht mehr ausreicht. Deshalb mussten zusätzliche Kriterien entwickelt werden, über die erstens eine gute Qualität der Datenbasis definiert und, zweitens, die Ergebnisse einer Befragung sicher bewertet und valide überprüft werden können. Die Neuerungen sind bereits bei den ma-Studien der agma sowie bei Markt-Media Studien, wie z.B. der b4p oder bei der VUMA, im Einsatz bzw. werden integriert.

Erstmals werden im neuen RZAW Rahmenschema dezidierte Abarbeitungsregeln für die Feldarbeit der Institute vorgegeben. Diese beinhalten neben den Vorgaben zur genutzten Auswahlgrundlage, umfangreiche to dos im Bereich Schulung und Kontrolle der Interviewer sowie exakte Regeln zur zeitlichen Abarbeitung einer Stichprobe und Empfehlungen zur Dauer von Feldzeiten. Hinzu kommen klare Vorgaben zur Kontrolle der Erhebungen und ihrer Dokumentation, sprich der Durchführung von Befragungen und der getroffenen Kontrollmaßnahmen samt ihren Ergebnissen. Die Dokumentationspflichten wurden neu strukturiert, präzisiert und umfangreich erweitert.

Und schließlich wurde eine neue Qualitätsgröße eingeführt, der schon erwähnte sogenannte Gini-Koeffizient. Über den Gini-Koeffizienten wird die Struktur der Befragten-Stichprobe mit der Idealstruktur der Grundgesamtheit (Außenvorgabe wie zum Beispiel Mikrozensus) verglichen, so dass die verwendete Datenbasis für die Fachkreise valide einschätzbar wird. Die Qualität einer Stichprobe spiegelt sich in dem Maß, in dem die befragten Personen oder Haushalte in Struktur und Verteilung der definierten Grundgesamtheit entsprechen. Er gibt das Verhältnis einer definierten Normverteilung zu einer entsprechenden tatsächlichen, realen Verteilung wieder, liefert also ein Maß für die Repräsentativität und die Qualität der Stichprobe.

Im zweiten Teil des Interviews geht es um Transparenz in der Marktforschung und welche Kosten mit dem ZAW Rahmenschema verbunden sind.