Interview "Die immer schnellere Durchführbarkeit von Studien verleitet dazu, grundlegende Qualitätskriterien aus den Augen zu verlieren."

marktforschung.de: Herr Degen, Herr Funke, das Thema Qualität in der Marktforschung bietet seit Jahren Stoff für Diskussionen. Was ist für Sie qualitativ gute Online-Forschung? 

Ron Degen: Qualitativ gute Onlineforschung liefert mir solide und verlässliche Ergebnisse auf deren Basis meine Kunden wichtige Entscheidungen treffen können. Aber qualitativ gute Onlineforschung bewegt sich heute natürlich in einem schwierigen Spannungsfeld: Die Daten sollen valide sein, schnell erhoben werden und das Ganze zu einem möglichst niedrigen Preis. Das klingt zunächst nach einem unlösbaren Konflikt. Andererseits ist Qualität auch direkt ermittelbar - das ist eine ganz reelle Chance, die die Marktforschung nutzen sollte.

Dr. Frederik Funke: Hohe Qualität bedeutet, dass Studien klassische Gütekriterien wie Objektivität, Reliabilität und Validität erfüllen. Nur dann können die richtigen Schlüsse gezogen werden und die richtigen Entscheidungen getroffen werden. Das Problem ist, dass man Tabellen und Graphiken häufig nicht ansieht, auf welcher Datenbasis sie gewonnen wurden. Es bleibt also nur, im Vorfeld möglichst viele etablierte Gütekriterien zu kennen und sie in der Onlineforschung möglichst konsequent umzusetzen. Eine gewisse Unsicherheit bleibt dennoch bestehen, aber diese wohnt empirischer Forschung immer inne, kann aber durch die Anwendung von Gütekriterien minimiert werden. Sich auf den Standpunkt zurückzuziehen, dass Studien sowieso nie perfekt sind und deshalb grundsätzlich auf die Anwendung von Gütekriterien verzichtet werden kann, ist eine schlechte Praxis und kommt dem Auswürfeln von Ergebnissen bedrohlich nahe. Eine wichtige Ressource, um Unsicherheit zu minimieren, ist Zeit. Zeit hilft dabei, sich die aktuellen Herausforderungen einer Studie bewusst zu machen. Ein Punkt, der mir häufig vernachlässigt scheint, ist die Durchführung von (nicht nur technischen, sondern auch inhaltlichen) Pretests mit einer kleinen Stichprobe. Und so simpel es klingt, dass sich auch ausreichend Zeit für die Feldphase genommen wird, um eine möglichst ausgewogene Stichprobe zu erhalten. Die Geschwindigkeit der Lieferung eines Ergebnisberichts sollte nicht zu Lasten dessen Aussagekraft gehen.

marktforschung.de: Woran orientieren sich Ihre Gütekriterien?

Dr. Frederik Funke: Zum einen gibt es externe Kriterien, die in Standards (zum Beispiel von ADM, DGOF oder ESOMAR) formuliert wurden und auf deren Einhaltung Studienleitung, Projektmanagement und Felddienstleister achten sollten. Zum anderen gibt es Anforderungen, die auf Ebene der erhobenen Daten sichtbar werden. Dabei werden unter anderem Antwortkonsistenz und Antwortverteilung geprüft, aber es werden auch Paradaten wie Antwortzeiten oder Antwortänderungen analysiert. Diese Prüfungen sollten bereits während der Feldphase erfolgen. Darüber hinaus gibt es immer auch studienspezifische Gütekriterien, die zusammen mit Kunden im Vorfeld erarbeitet werden sollten. Diese Kriterien im Vorfeld - intern, mit dem Kunden und dem Felddienstleister - noch einmal zu diskutieren, ist ein erster Schritt zu einer hohen Studienqualität.

marktforschung.de: Warum ist das Thema immer noch so aktuell?

Dr. Frederik Funke: Der Prozess der Datenerhebung und die hohe Qualität der Rohdaten sind die Grundlage sämtlicher Entscheidungen, auf denen eine Studie beruht. Unzulänglichkeiten auf Ebene der Datenerhebung beeinflussen den gesamten Analyseprozess und verringern die Aussagekraft einer Studie. Die immer schnellere Durchführbarkeit von Studien verleitet dazu, grundlegende Qualitätskriterien aus den Augen zu verlieren.

Ron Degen: Ich möchte den letzten Punkt noch mal unterstreichen. Es ist meiner Meinung nach immer wieder aufs Neue ein Thema, weil sich die Herausforderungen an die Qualität wandeln. Heute ist Onlineforschung Standard, es wird mit unterschiedlichen Access-Panels gearbeitet, es wird über unterschiedlichste Kanäle rekrutiert, SocialMedia-Rekrutierung spielt heute eine viel größere Rolle, als noch vor ein paar Jahren. Daneben gibt es neue Anbieter im Markt, die versprechen noch "agiler" und immer schneller befragen zu können. Es ist es verständlich, dass beim Stichwort "Qualität" zunächst an die Antwortqualität gedacht wird, denn die Qualität der Daten ist am Ende Ergebnisqualität. Allerdings spielen bei der Qualität ja weitere Dimensionen eine Rolle, die Einfluss haben: Unter anderem die Fragebogenlänge, die optische Fragebogengestaltung, die Feldzeit, die richtige Stichprobengröße und Zielgruppendefinition.  

marktforschung.de: Warum sollten betriebliche MarktforscherInnen, aber auch solche aus Instituten sich um die Qualität Ihrer Marktforschung besonders kümmern?

Ron Degen: Die Projektverantwortlichen, ob sie nun in Instituten oder in der betrieblichen Marktforschung sitzen, müssen sich überlegen, welche Qualität sie bekommen möchten. Was meine ich damit: Kann ich die gleiche Qualität erwarten, wenn ich die Befragten über Social-Media-Kanäle rekrutiere, wie wenn ich sie über ein Online-Access einkaufe? Wie gehe ich mit sinkender Teilnahmebereitschaft um, bei dem gleichzeitigen (verständlichen) Bedürfnis, mit einer Studie möglichst viele Fragestellungen abzudecken, was zu langen Fragebögen führt. Auf der anderen Seite möchten die Befragten am liebsten die Befragung an ihrem Smartphone ausfüllen, was wiederum nicht gleichermaßen für alle Fragestellungen, Methoden und Fragebogenlängen geeignet ist. D.h. die Projektverantwortlichen müssen die verschiedenen Dimensionen, die Einfluss auf die Qualität haben, im Blick behalten und wissen, was in welcher Situation der Qualität zuträglich ist oder nicht. Nur so kann Marktforschung entscheiden, welche Kompromisse sie eingehen will und an welcher Stelle sie keine Kompromisse zulässt. Wichtig ist dabei, dass man eben nicht nur auf den unmotivierten Befragten, den schlechten Feldpartner, etc. schimpft, sondern sich als MarktforscherIn fragt, was man selbst dazu beitragen kann, um die Qualität der Antworten zu erhöhen. Das Wissen, wie man Daten prüft ist dabei ein wichtiger Bestandteil, aber nicht der einzige.   

marktforschung.de: Vielen Dank für das Gespräch!

Mehr Informationen zum DGOF-Workshop finden Sie hier.