Qualität hat ihren Preis

Von Dr. Helen Lauff, Senior Projektleiterin, und Alexandra Wachenfeld, Research Director, LINK Institut für Markt- und Sozialforschung GmbH

Eine gute quantitative Marktforschungsstudie erfüllt eine Reihe von Qualitätskriterien. Unabhängig von der Durchführungsmethode sollten Forschungsergebnisse auf einer angemessenen Stichprobengrundlage, einem durchdachten Befragungsinstrument, einer sorgfältigen Feldarbeit und einer aussagekräftigen – und auf den Punkt gebrachten – Auswertung basieren.

Diesen Qualitätskriterien werden jedoch häufig klare Grenzen durch Budget und Zeit gesetzt, die alle der vier genannten Qualitätsbereiche negativ beeinflussen können. Daher muss erfolgreiches Marktforschungsmanagement zugleich auch Beratungsmanagement sein und im Sinne von Forschungsfrage und Belastbarkeit der Ergebnisse Lösungen und Grenzen im Spagat zwischen Qualität, Zeit- und Budgetrestriktionen aufzeigen.

Was sind die Kostentreiber im Forschungsprozess?

„Aus Kostengründen wird schnell auf Online gesetzt.“

Bevor die Stichprobenbasis zum eigentlichen Thema wird, stellt sich die Frage nach der sinnvollsten Erhebungsmethode. Aus dieser wiederum ergibt sich der Ansatz für eine Stichprobenbildung. Vergleichsweise kostengünstig und schnell ist die Operationalisierung via Online-Interviews. Aber ist diese auch für alle Fragestellungen geeignet? Leider nein. Zwar sind rund 80% der Deutschen im Internet, es bleiben jedoch 20% Nicht-Nutzer, die sich nicht gleichmäßig über alle soziodemographischen Gruppen verteilen sondern in bestimmten Alters- und Bildungsgruppen ballen. Darüber hinaus sind die 80% Internet-Nutzer unterschiedlich internetaffin. So bestehen verschiedene Barrieren und (Sicherheits-)Ängste, die Personengruppen wie Digital Immigrants und Outsider (Definition analog zur DIVSI-Milieustudie zu Vertrauen und Sicherheit im Internet) davon abhalten, sich in Online-Panels anzumelden. Helfen können dabei offline rekrutierte Internet Panels, die durch die vorgeschaltete persönliche Ansprache solche Barrieren ausräumen.

Grundsätzlich eignet sich die Onlinemethode sehr gut für die Befragung vieler Zielgruppen und Nutzerkreise. Sollen aber bevölkerungsrepräsentative Ergebnisse erzielt werden, die auch internetfernere oder kritischere Gruppen umfassen, sind bei Onlineerhebungen Einschränkungen in der Stichproben- und somit Datenqualität zu erwarten. Fällt die Entscheidung dann auf telefonische Befragungen, ist auch hier ein Spagat zwischen Qualität und Kosten wahrnehmbar. So stehen sich in punkto Auswahlgesamtheit beispielsweise die reine Festnetzstichprobe und das Dual Frame Design gegenüber, bei dem ein Anteil der Stichprobe über Mobilfunknummern realisiert wird. Neben den so genannten Mobile Onlies, die über keinen Festnetzanschluss mehr verfügen, werden auch mobile Zielgruppen deutlich besser über einen solchen Dual Frame Ansatz erreicht. Den höheren Kosten dieses Ansatzes steht bei bevölkerungsrepräsentativen Studien ein klarer Qualitätszugewinn gegenüber.

Das durchdachte Befragungsinstrument

„Aus Kostengründen wird gern das gesamte Erkenntnisinteresse in einem Fragebogen verarbeitet.“

Aus Forschersicht soll ein Fragebogen alle notwendigen Fragen beinhalten, valide und reliabel messen und keine Methodeneffekte (z.B. Reihenfolgeeffekte) provozieren. Aus Befragtensicht ist es wünschenswert, dass ein Fragebogen leicht verständlich und kurzweilig ist und bestenfalls Spaß macht. Diese beiden Sichtweisen sind oft schwierig zu vereinen, da Kostengründe dazu verleiten, sämtliches Kenntnisinteresse in einem Fragebogen zu verarbeiten, anstatt mehrere Studien durchzuführen. Das Ergebnis ist ein für den Befragten nicht mehr kurzweiliger Fragebogen. Lange und sehr gleichförmige Erhebungsinstrumente bargen schon immer die Gefahr in sich, dass die Aufmerksamkeit des Befragten im Laufe des Interviews abnimmt. In Zeiten wachsender Mobilität kann dies die Datenqualität noch deutlicher tangieren:

So stehen telefonische Befragungen vor der Herausforderung, Fragebögen so zu konstruieren, dass auch eine Person, die die Befragung unterwegs vom Mobiltelefon aus beantwortet, mit höchst möglicher Aufmerksamkeit beantwortet.

Ähnlich ist es bei Online-Befragungen. Diese werden immer häufiger auf Smartphones und Tablets ausgefüllt. Damit Ergebnisse vergleichbar bleiben, sollte ein Fragebogen entsprechend so gestaltet sein, dass es zumutbar bleibt, diesen auf allen verschieden großen Displays mit Freude auszufüllen. Dies muss darüber hinaus nicht nur technisch möglich sein, das Layout sollte auch so angepasst werden, dass die Ausfüllsituation sowohl mobil als auch stationär vergleichbar ist (z.B. Sichtbarkeit der Matrixbeschriftungen ohne Scrollen zu müssen). Dies ist z.B. durch ein Responsive Design möglich, bei dem Fragebögen den entsprechenden Endgeräten angepasst werden. Dadurch wird die Vergleichbarkeit sichergestellt und zur Datenqualität beigetragen. Durch umfangreichere Programmierarbeit entstehen jedoch auch höhere Kosten. 

Sorgfältige Feldarbeit

„Schnelle Ergebnisse führen zu schnellen Befragten.“

Weiter geht es mit der Feldarbeit – bezogen auf Interviewer/Innen und die Länge der Feldzeit.

Gute Interviewer kosten mehr – denn sie werden nicht per Interview bezahlt. Wird doch per Interview entlohnt, besteht schnell die Gefahr, dass Überzeugungsversuche entfallen, die zunächst skeptischen Personen doch noch für ein Interview zu gewinnen. Dies kann einen nicht unwesentlichen Einfluss auf die Datenqualität haben, da schon vielfach erforscht wurde, dass Umfrageeinstellungen Einfluss auf verschiedene inhaltliche Fragestellungen haben.

Die Länge der Feldzeit hat wesentlichen Einfluss auf die Datenqualität. Vielfach sollen Ergebnisse schnellstmöglich vorliegen, was nicht nur – wie oben bereits beschrieben – das Samplemanagement hemmt. In den ersten Feldtagen werden auch bestimmte, weil gut erreichbare Personengruppen überproportional häufig erreicht, per Telefon sind das vermehrt ältere Personen, online verstärkt Internet-Intensivnutzer, die regelmäßig ihre E-Mails abrufen. Telefonisch sind so mobile Personen, wie Berufstätige, Pendler oder sozial aktivere Menschen unterrepräsentiert. Diese jedoch sind für viele Fragestellungen von besonderem Interesse. Dies gilt auch für Onlineerhebungen, bei denen bei zu kurzen Feldzeiten Personen übergangen werden, die nicht so häufig online sind und sich auch in anderen Einstellungs- und Verhaltensdimensionen von Internet-Intensivnutzern unterscheiden.

Aussagekräftige – auf den Punkt gebrachte – Auswertung

„Aus Kostengründen wird häufig an der Fallzahl gespart.“

Eine schnelle und kostengünstige Auswertung ist rein deskriptiv, was für viele Fragestellungen durchaus ausreichend ist. Aber reicht die Fallzahl, um das Analysepotential auszuschöpfen und den bestmöglichen Mehrwert aus den Ergebnissen zu erzielen? Aus Kostengründen wird häufig an der Fallzahl gespart. Sollen nur Totalergebnisse betrachtet werden, ist das eine sinnvolle Möglichkeit der Kostenersparnis ohne Qualitätsverluste einzugehen. Sind jedoch spezielle Subgruppen für die Betrachtung relevant, kann dies schnell zu kleinen Basen führen, bei denen Unterschiede häufig nur vermutet, nicht jedoch statistisch belegt werden können. Im Sinne der Erkenntnistiefe ist ein Sparpotenzial bei der Fallzahl kritisch zu hinterfragen.

Darüber hinaus steckt in den meisten erhobenen Daten ungenutztes Analysepotenzial, das beispielsweise durch Wirkungsmodelle oder Mehrebenanalysen erschlossen werden kann und aus dem tiefergehende Erkenntnisse und Zusammenhänge extrahierbar sind, die manchmal das Zünglein an der Waage für die richtige Marketingentscheidung sein können.

Fazit
Oft wirken sich Kosteneinsparungen im Marktforschungsprozess zuungunsten der Qualität aus. Ein erfolgreiches Marktforschungsmanagement muss entsprechend der individuellen Fragestellung entscheiden, an welcher Stelle Einsparungen sinnvoll sind und muss beraten, wo sie zu Lasten von Qualität, Belastbarkeit für den Befragten und Erkenntnisinteresse des Kunden gehen.