Steht der Fragebogen mit der Panelmortalität und Ausschöpfungsrate in Verbindung?

Von Marc Smaluhn, Managing Director Central Europe, Research Now

Einleitung

Im Jahr 2011 nutzten 76 Prozent der deutschen Bevölkerung ab 10 Jahren das Internet. Zwei Jahre zuvor waren es noch 70 Prozent. In der Gruppe bis 45 Jahre sind 99 Prozent der Menschen online, unabhängig vom Geschlecht. Lediglich in der Gruppe 65+ gibt es noch deutliche Unterschiede zwischen Mann und Frau. So gehören nur 22 Prozent der Frauen aber 43 Prozent der Männer zur Kategorie Internetnutzer. Allerdings ist die Wachstumsrate der Internetnutzer im Vergleich zu den Vorjahren gesunken. Dies liegt daran, dass das Medium bereits stark verbreitet ist. (Quelle: Statistisches Bundesamt, 2012)

Aufgrund der weiten Verbreitung können Markforschungsinstitute und Panelanbieter große Onlinepanels aufbauen, die auch bei geringerer Inzidenz noch repräsentative quotierte Stichproben ermöglichen. Jedoch gibt es auf der anderen Seite weniger neue Internetnutzer, die rekrutiert werden können. Daher ist es für Marktforschungsinstitute und Panelanbieter unerlässlich zu wissen, wie die Panelmortalität reduziert und die Ausschöpfungsrate eines Panels optimiert werden können.

Diesem Thema hat sich das Panelqualitäts-Team von Research Now gewidmet und in einer internationalen Studie Faktoren zur Panelmortalität in Verbindung mit dem Fragebogendesign erforscht. Denn nur mit einem "gesunden Panel" können valide und brauchbare Forschungsergebnisse über einen langen Zeitraum geboten werden.

Ziel der Studie

Research Now untersuchte den Einfluss des Onlinefragebogendesigns auf die Panelmortalität, und damit einhergehend, die Ausschöpfungsrate. Es wurde erforscht, inwieweit sich die Qualität von Fragebögen auf das Verhalten von Panelmitgliedern hinsichtlich ihrer weiteren Aktivität beziehungsweise Inaktivität auswirkt.

Methode

Panelmitglieder wurden zu Umfragen eingeladen und am Ende einer jeden Umfrage konnten die Umfrageteilnehmer den beantworteten Fragebogen bewerten (fünf Kriterien, siehe Anhang). So konnten, über einen Zeitraum von sechs Monaten, Zufriedenheitswerte aus über 400 Projekten (in USA, Großbritannien, Deutschland und Australien) gesammelt werden. Anhand dieser Zufriedenheitswerte wurden die oberen zehn Prozent als beste und die unteren zehn Prozent als schlechtesten Fragebögen ermittelt. Die restlichen 80 Prozent der Fragebögen wurden als Mittelklasse kategorisiert. Außerdem ging aus den Daten hervor, welche Umfrageteilnehmer mindestens einen der schlechten oder mindestens einen der besten Fragebögen beantwortet hatten. Anschließend wurden diese Daten gegenüber gestellt, um zu sehen, wie sich die Qualität des Fragebogens auf die Inaktivität der Umfrageteilnehmer auswirkt.

Ergebnis der Studie

Verglichen wurden Umfrageteilnehmer, die mindestens einen der schlechten Fragebögen beantworteten, mit denen, die mindestens einen der sehr guten Fragebögen beantwortet haben. Somit konnte die Neigung zur Inaktivität in beiden Gruppen gemessen werden.

Die Wahrscheinlichkeit zur Inaktivität für Panelmitglieder, die mindestens einen der sehr schlechten Fragebögen beantworteten betrug 1.5 Prozent. Jedoch nur 0.7 Prozent für Teilnehmer, die mindestens einen der sehr guten Fragebögen vorgelegt bekamen (siehe Tabelle 1).

Nach vollständiger Beantwortung eines schlechten Fragebogens sind mehr als doppelt so viele Panelteilnehmer inaktiv geworden als nach der vollständigen Beantwortung eines sehr guten. Für abgebrochene Umfragen ist die Differenz geringer, mit 5,4 Prozent für die sehr guten und 6 Prozent für die sehr schlechten.

Allerdings ist deutlich zu erkennen, dass eine sehr gute Umfrage zu einer geringeren Inaktivität führt als eine sehr schlechte Umfrage, unabhängig davon wie hoch die Abbruchrate ist. Aus diesem Grund kann man annehmen, dass ein sehr gutes Fragebogendesign der Inaktivität der Umfrageteilnehmer und der Panelmortalität messbar entgegenwirkt!

Neben der Wahrscheinlichkeit zur Inaktivität ist auch die reine Abbruchrate interessant. Sie ist sicher kein direkter Hinweis auf die Panelmortalität, trotzdem kann allgemein angenommen werden, dass eine hohe Abbruchrate mit hoher Unzufriedenheit der Umfrageteilnehmer einhergeht. Dies wiederum ist ein Indikator für die Panelmortalität und die Ausschöpfquote.
In der hier präsentierten Studie scheint die Gestaltung der Umfrage sehr stark mit der Abbruchrate zu korrelieren. Haben bei den sehr guten Fragebögen lediglich 10 Prozent der Befragten die Umfrage abgebrochen, so waren es bei den sehr schlechten ganze 32 Prozent der Teilnehmer (siehe Tabelle 2). Die Auswirkung des Fragebogendesigns auf die Abbruchrate ist enorm, für die Umfragen, die als sehr schlecht eingestuft wurden.

Faktoren, die die Umfragezufriedenheit beeinflussen sind weitreichend bekannt, trotzdem soll an dieser Stelle noch einmal kurz auf die wichtigsten hingewiesen werden:

• Eine Einleitung, die die Wichtigkeit des Teilnehmers an der Studie darlegt
• Leicht verständliche Sprache, keine "Nomenklatur"
• Die Möglichkeit "keine Angabe", "weiß nicht" etc. als Antwort anzugeben
• Die Möglichkeit komplexe Fragen zu überspringen
• Offene Textboxen
• Einsatz von Rich-Media Möglichkeiten
• Eine Fortschrittsanzeige
• Info-Anzeige für direkte Anmerkungen
• Auf Wiederholungen verzichten
• Dauer der Umfrage beachten, nicht zu lang

Dies sind nur einige Punkte, die bei der Erstellung eines Fragebogens beachtet werden müssen. In der universitären wie auch in der wirtschaftlichen Forschung gibt es zahlreiche Veröffentlichungen, auf die zurückgegriffen werden kann.

Schlussfolgerung

Anhand der hier vorgestellten Studie wurde gezeigt, dass Panelteilnehmer deutlich inaktiver werden, wenn sie schlecht entworfene Fragebögen beantworten müssen. Dieser Effekt scheint anfangs nicht problematisch. Steigt jedoch Zahl schlechter Fragebögen, so muss davon ausgegangen werden, dass die Wahrscheinlichkeit zur Inaktivität ebenfalls zunimmt! Und da Inaktivität der Panelmitglieder eine sich allmählich entwickelnde Eigenschaft ist, sollte alles nur Machbare getan werden, diesem Prozess entgegenzuwirken. Anschließend drei Punkte, die helfen können:

1. Auch unter Zeit- und Leistungsdruck genug Zeit nehmen den Fragebogen zu entwerfen und ggf. auf Schwachstellen zu testen. Wenig valide Ergebnisse nutzen weder dem Marktforscher noch den Kunden.
2. Den Fragebogen so gestalten, dass alle relevanten Antwortmöglichkeiten abgedeckt sind. Die Befragten müssen sehen können, dass ihre Meinung wichtig ist. Dies erzeugt ein gutes Gefühl und steigert die intrinsische Motivation an Befragungen teilzunehmen, was sich wiederum positiv auf die Ausschöpfungsrate und die Panelmortalität auswirkt.
3. Ein sehr gut designter Fragebogen beugt Inaktivität der Panelteilnehmer vor und wirkt sich vorteilhaft auf die Abbruchquote aus.

Besonders Punkt 3, die "positive Wirkung eines sehr gut designten Fragebogens", macht deutlich wie wichtig es ist alle zur Verfügung stehenden Möglichkeiten zu nutzen, die Zufriedenheit der Panelmitglieder und somit die Ausschöpfungsrate zu erhalten oder zu steigern und gleichzeitig die Panelmortalität zu verringern. Aus diesem Grund ist Onlinemarktforschung äußerst prädestiniert auch zukünftig valide Forschungsergebnisse zu liefern, denn es gibt viele Funktionen einen abwechslungsreichen Fragebogen zu entwerfen.

Anhang:

Fünf Items zur Bestimmung der Teilnehmerzufriedenheit:

• Die Umfrage war interessant
• Die Umfrage war gut verständlich
• Die Umfrage war Benutzerfreundlich
• Die Belohnung war Angemessen für den Umfrageaufwand
• Wahrscheinlich werde ich zukünftig an ähnlichen Umfragen teilnehmen