Interview zum Webinar am 26.04. 14 Uhr "Halten Sie Ihre Umfrage so kurz wie möglich – beschränken Sie sich auf das wirklich Notwendige"

„Quality first - Vermeidung von Fehlern bei der Fragebogen-Umsetzung“, so lautet das Thema Ihres Webinars am 26. April. Welche Fehler begegnen Ihnen immer wieder bei Fragebögen?

Dies reicht von klassischen Übertragungsfehlern aus den Fragebogen-Vorlagen (z.B. fehlende oder unvollständige Antwort-Items, Fragetexte, Skalen, Tippfehler) bis hin zu sogenannten „Umfrage-Stopper“-Fehlern, die ein Voranschreiten in der Umfrage unmöglich machen – sei es bedingt durch fehlerhafte oder unvollständige Filterungen und/oder unzureichend abbildende Antwortoptionen. Oft kommen auch Fehler in der Fragebogen-Logik hinzu, die sowohl bei der Fragebogenkonstruktion als auch später bei der Umsetzung übersehen wurden, meist bedingt durch unzureichendes „kreatives Testing“ – also dem Durchspielen möglicher Antwortkonstellationen und Antwortpfade.

Ein „Klassiker“ sind zudem Unzulänglichkeiten bei der Eindeutigkeit / Vollständigkeit von Fragestellungen und Überschneidungen oder Lücken in Antwortmöglichkeiten und Skalen, sowie das Fehlen von Residualkategorien („Sonstiges“ / „keine Angabe“).

In Online-Umfragen auch häufig anzutreffen sind nicht (korrekt) gesetzte Eingabe-Limitierungen in Text- oder Zahlen-Eingabefeldern.

Und welche Fehler halten Sie bei Umfragen für besonders gravierend?

Die Fehler mit dem aus meiner Sicht gravierendsten „impact“ sind Fehler in den Filterbedingungen. Diese können dazu führen, dass ganze Frageblöcke entweder gar nicht oder (teilweise) an die falsche Zielgruppe gestellt werden. Hierdurch können komplette Studien in ihrer Auswertung unbrauchbar werden oder – falls nicht spätestens bei der Auswertung bemerkt – Daten generieren, die gar nicht der benötigten Zielgruppe entsprangen und zu fatalen Fehleinschätzungen und Schlussfolgerungen führen könnten.

Einen besonderen „GAU“ stellen bei Online-Fragebögen die „Umfrage-Stopper“-Fehler dar. Hier ist es der teilnehmenden Person nicht mehr möglich, eine Umfrage fortzusetzen, zum Beispiel durch einen kapitalen Filterfehler, welcher nicht erfüllbare Filterbedingungen hervorruft.

Ein simples Beispiel: Durch einen Filterfehler wird KEINE der dynamisch eingeblendeten Antworten angezeigt. Ein gesetzter Antwortzwang verhindert zugleich, dass die Umfrage ohne Antwortauswahl fortgesetzt werden kann. Ein für Teilnehmende unlösbares Problem, das zu einem Umfrage-Abbruch sowie zu sinkenden Teilnahmequoten und zurecht verärgerten Teilnehmenden führt.

Natürlich ebenso gravierend sind komplett fehlende Antworten oder gar Fragen, die bei der manuellen Übertragung aus der Vorlage auftreten können. Da diese Übertragungsfehler leider doch recht häufig vorkommen, besitzt zum Beispiel die Rogator Software auch eine Fragebogen-Importfunktion, die hilfreich ist, um diese Fehlerquelle zu eliminieren.

Welche Konsequenzen entstehen aus einer mangelhaften Qualität von Fragebögen für die Aussagekraft von Umfrageergebnissen?

Im Schlimmsten Fall – wie bereits beschrieben – werden ganze Frageblöcke durch fehlerhafte Filterbedingungen für gewisse Merkmalsgruppen unzugänglich, oder der falschen Zielgruppe gestellt.

Die Verwendbarkeit dieser Daten ist dann, abhängig von ihrem Kontext, bestenfalls als „eingeschränkt“ zu beurteilen.

Noch schlimmer ist es im Falle eines „Umfrage-Stoppers“ – hier können zum einen wertvolle Daten nicht erhoben werden. Zum anderen kann der Umfrageabbruch bei den oft verärgerten („unschuldig“ am Abschluss des Fragebogens gehinderten) Teilnehmenden die zukünftige Teilnahme-Motivation senken. Bei Befragungen von Panelisten ist dies besonders fatal, vor allem wenn diese aufgrund von Umfrage-Fehlern um ihre versprochene Incentivierung gebracht wurden und in Folge dessen aus dem Panel-Pool ausscheiden.

Auch Layout-bezogene Unzulänglichkeiten (z.B. schwer lesbare Texte, nicht intuitive Beantwortungs-Mechaniken, monotone Fragebogenstruktur, mangelnde Struktur und Gliederung, Skalen in wechselnder Orientierung / Skalenbreite) tragen zu einer steigenden Abbrecherquote bei. So sinkt folglich bei geringem Rücklauf die Aussagekraft der Studie. Darüber hinaus können Layout-Fehler sogar das Antwortverhalten selbst manipulieren oder zu Fehleingaben führen.

Außerdem können missverständliche und uneindeutige Fragestellungen und Antwortmöglichkeiten zu einer Fehlinterpretation auf Seiten der Teilnehmenden führen. Die Beantwortung erfolgt dann auf Basis unterschiedlicher Wahrnehmungen und kann zur Ergebnisverzerrung führen. Hier reicht zum Beispiel in bestimmten Fällen bereits ein Wort aus, beispielsweise: „Gehen Sie regelmäßig schwimmen?“. Person A interpretiert in seinem persönlichen Kontext die Grenzziehung zu „regelmäßig“ als „1x monatlich“, während Person B dies bei „1x wöchentlich“ als zutreffend erachtet. Diese subjektiv konnotierte Bewertungsgrundlage macht es schwer, die Daten skalierbar auszuwerten.

Auch eine mangelnde Repräsentativität der Antwortmöglichkeiten bei gleichzeitigem Fehlen von Residualkategorien birgt die Gefahr, dass Teilnehmenden-Gruppen sich „nicht abgebildet“ fühlen. Trifft keine Antwortmöglichkeit auf sie zu und haben sie keine Möglichkeit, dies auch zu artikulieren, so sind Teilnehmende dann entweder genötigt, nichtzutreffende Antworten zu geben, um im Fragebogen voranschreiten zu können – oder die Umfrage im Sinne der Ehrlichkeit an dieser Stelle abzubrechen. An dieser Stelle erweisen sich Pretests im Zielgruppenbereich oder schon der Vier-Augen-Check durch Kolleginnen und Kollegen als hilfreich, um evtl. Blind Spots im Antworten-Katalog zu identifizieren. Wir bei Rogator haben diesbezüglich eine eigene Quality Assurance Abteilung eingerichtet, welche jedes Kundenprojekt durchlaufen muss.

Hier geht es zur kostenlosen Webinar-Anmeldung

Heutzutage ist die Rekrutierung von Umfrageteilnehmenden oftmals schwierig. Welches Optimierungspotenzial zeigt sich bei Fragebögen, um diesem Problem entgegenzuwirken und Abbrüche im Laufe der Umfrage zu vermeiden?

Prinzipiell: halten Sie Ihre Umfrage, so kurz, wie möglich – beschränken Sie sich nur auf das wirklich Notwendige. Setzen Sie sich VOR der Konstruktion eine Liste derjenigen Erkenntnisgewinne und benötigten Fakten, die Sie maßgeblich zur Beantwortung der zentralen Fragestellungen bzw. Ihres Forschungsauftrags benötigen. Prüfen Sie bei der Konstruktion jede Frage daraufhin, ob sie zu diesen Fragestellungen einen essentiellen Beitrag leistet.

Beschränken Sie Themenblöcke zudem nur auf den Personenkreis, der auch die potentielle Befähigung zur Beantwortung spezifischer Fragen mit sich bringt.

Dies kann idealerweise in Form eines möglichst frühzeitigen Screenings von Teilnehmenden erfolgen. Auch wenn sich dieses negativ auf die Teilnahmequote auswirken kann – die Qualität der Daten sollte immer Vorrang haben.

Widerstehen Sie der Versuchung, Fragen in übermäßig langen Matrix-Antwort-Batterien „einzudampfen“, um die Fragebogenlänge zu „kürzen“. Die Beantwortung von Antworten wird aus Sicht vieler Teilnehmenden nicht „einfacher“ oder „schneller“ dadurch, dass man 10 Fragen in einen Matrix-Skalen-Block auf eine Umfrageseite presst. Im Gegenteil – durch diese Umfragegestaltung wird das Ausfüllen zunehmend monotoner, entsprechend kann die Zahl der Abbrecher ansteigen. Versuchen Sie viel mehr, durch inhaltliche / thematische Strukturierung des Fragebogens eine bessere Übersicht und Leitplanken für die Teilnehmenden zu schaffen, zum Beispiel durch Setzen von Themen-Kapiteln, mit einleitenden, am besten motivierenden Texten (worum geht es hier, was soll erfahren werden und weshalb, warum sind die Teilnehmenden dafür wichtig).

Wenn Ihr Umfragetool dies ebenso anbietet, benutzen Sie bevorzugt die Möglichkeit, dass Teilnehmenden ein Wiedereinstieg in die laufende Umfrage ermöglicht wird – besonders bei umfangreicheren Fragebögen. Sowohl Rogator-intern als auch bei unseren Kundinnen und Kunden gilt diese Funktion als elementar wichtig für die Steigerung der Rücklaufquoten und trägt somit letztendlich direkt zum Erfolg von Umfrageprojekten bei. Denn die Möglichkeit, die Umfrage bei Unterbrechungen fortsetzen zu können (notfalls auch auf einem anderen Gerät), ist ein effektiver Schutz gegen Umfrageabbruch und zugleich ein „Komfort-Feature“.

Die teilnehmende Person sollte sich in der Umfrage möglichst „wohl fühlen“ – dazu gehören auch Punkte wie Optik und Funktionalität. Ein ansprechendes, zielgruppenorientiertes, modernes Design mit komfortablen Ausfüllmöglichkeiten trägt nicht nur maßgeblich zum Ersteindruck / zur Credibility bei den Teilnehmenden bei, sondern wirkt sich auch auf die Bereitschaft zum Umfrage-Abbruch aus. Hierzu zählen zum Beispiel ausreichend dimensionierte Buttons, wechselnde Fragetypen, Dropdowns statt lange Listen, Bilder und Piktogramme statt monotone Erklärungstexte, Multimedia-Elemente und je nach Zielgruppe auch Fragestellungen, die durch behutsamen Einsatz von „Gamification“-Elementen die Umfrageteilnahme auflockern (z.B.: Warenkorb-Drag n´drop statt Produkt-Checkbox-Listen, Produkt-Karussell statt Matrix-Bewertungs-Blöcke). Unser Fragetypen-Showroom bietet Ihnen hierzu gerne Inspirationen für interaktive und dynamische Gestaltungsmöglichkeiten.

Was sind die wesentlichen Abläufe und Prozesse, um die Qualität eines Fragebogens sicherzustellen?

Die Qualitätssicherung sollte sich nicht nur auf den fertig erstellten Fragebogen konzentrieren, sie sollte in die drei Phasen der Konzeption, der Umsetzung und der Ergebnisse integriert werden. So wurde die QA bei Rogator beispielsweise in Form eigenständiger Prozess-Schritte in den Ablauf dieser drei Phasen verankert und bildet eine zentrale Komponente in unserem gesamten Qualitätsmanagement-System. Alles, was hier an möglichen Fehlerquellen „herausgefiltert“ wird, bedeutet eine deutliche Zeitersparung für die darauffolgende Phasen, da Feedback- und Korrekturschleifen minimiert werden. Zudem können zu diesem Zeitpunkt noch wesentlich einfacher Tipps für eine optimalere Fragebogen-Struktur bzw. Mechanik angebracht und eingearbeitet werden. In der Konzeptionsphase erfolgt dies zum Beispiel in Form eines 4-Augen-Checks des Konzepts oder der Fragebogenvorlage.

Am Ende der Umsetzungsphase sollte nach einem Erstcheck durch die erstellende Person im zweiten Schritt ein finaler Check durch die Qualitätssicherung erfolgen. Ein Vier-Augen-Check kann hier durch eine unverbrauchte und neutralere „Fremd“-Wahrnehmung Verständnis- und Inhalts-Probleme aufzeigen, die Umfrage-Erstellende bedingt durch die intensive Beschäftigung mit dem Thema übersehen könnten („Tunnel-Blick“). Wir empfehlen, sich bei diesem Check-Prozess anhand einer Checkliste zu orientieren, die den Ablauf und die zu prüfenden Belange festlegen. Diese sollte auf Basis neu identifizierter Fehlerquellen kontinuierlich ergänzt werden. Auf diese Weise wird auch eine möglichst gleichbleibende und umfassende Qualitätsprüfung gewährleistet. Wir stellen Ihnen gerne eine Vorlage für eine solche Liste zur Verfügung.

In diesem Schritt sollten zugleich von erstellender und prüfender Person die in der Konzeptionsphase gesetzten Erkenntnisziele oder Hypothesen überprüft werden: werden diese ausreichend und umfassend genug behandelt, um in der Ergebnisphase erfolgreich, aussagekräftig und methodensicher ausgewertet werden zu können? Hierzu empfiehlt es sich auch, nach der Fragebogen-Check-Phase den entsprechenden Rohdatensatz abzuziehen und zu prüfen, ob die Daten in einem für die gewählte Auswertung geeigneten Format / Inhalt vorliegen. Die spätere Auswertbarkeit sollte also in jedem Schritt berücksichtigt werden.

Mehr zum Thema

Karsten Polthier, CEO / Sprecher des Vorstands INNOFACT AG „Wir bieten in stürmischen Zeiten einen sicheren Hafen für die Entwicklung neuer Ideen“

Rückblick CX summit in Wiesbaden "Die Grenzen zwischen Marktforschung und CX sind fließend"

Christian Schuldt, The Future:Project „Zukunftsforschung ist eine universalistische Disziplin“

Interview mit Marc Trömel, VICO Research & Consulting „Die Vorschläge der KI waren nicht nur höchst innovativ, sondern erschreckend realistisch und überzeugend“

Ist es auch für Anfänger möglich, durch heutige Möglichkeiten mithilfe von DIY-Tools fehlerfreie und qualitativ hochwertige Fragebögen zu erstellen?

Vom Standpunkt der rein technischen Umsetzung – ja. Die heutigen Tools machen die Erstellung, Umsetzung und selbst das Hosting von Online-Fragebögen meist ohne IT- Fachkenntnisse möglich und ermöglichen ein Look and Feel wie bei moderner Office-Software üblich. Darauf legen wir bei unserer eigenen Software ebenfalls großen Wert. Auch grobe Umsetzungsfehler, wie z.B. unvollständig ausgefüllte Filterbedingungen, Doubletten, fehlende Texte, werden bei vielen DIY-Tools via Syntax-Check-Funktionen im unterschiedlichen Maße abgedeckt.

Leider können moderne DIY-Tools die inhaltlichen und methodischen Belange einer Fragebogen-Konzeption meist (noch) nicht befriedigend bedienen.

Hierzu zählen unter anderem Logik betreffende Aspekte (z.B. richtige Zielgruppe, alle Antwortmöglichkeiten abgedeckt, stimmige Fragebogen-/Filter-Struktur), aber auch Inhaltliche Faktoren, wie die Verständlichkeit und Eindeutigkeit der Texte und Antworten oder die Eignung der ermittelten Datenbasis für eine methodisch-korrekte Auswertung.

Es sollten daher aus meiner Sicht schon Grundlagen in der Fragebogenmethodik und am besten empirisches Grundlagenwissen vorhanden sein, bevor man sich mit der Fragebogenkonstruktion eingehender beschäftigt. Dies betrifft unter anderem Strukturierung und Aufbau eines Fragbogens, Wahl geeigneter Skalenniveaus und Skalenbeschriftungen, die grundlegenden DO´s und Dont´s. Es reicht hierzu oft bereits ein Basiswissen im Gebiet der Fragebogen-Konstruktion und deren Auswertung. Alternativ können Fachleute für diese Themen an Bord geholt werden.

Zum Start eignet sich oft die Lektüre von Grundlagen-Artikeln und HOW-TOs. Viele Marktforschungs-Dienstleister bieten hierzu auf ihren Webseiten entsprechende Artikel, Rogator zum Beispiel neben Artikeln und Case Studies auch gratis abrufbare Webinare und Download-Materialien aus der „RogAcademy“ oder „Roadshow“ -Reihe.

Dennoch sehe ich hier Grenzen: Bei der Durchführung einer unternehmensweiten Mitarbeitenden-Befragung oder eines Produkt- / Kampagnen-Checks würde ich empfehlen, eine erfahrene, beratende Person an der Seite zu haben, seien es geeignete Kollegen oder eine externe Unterstützung. Viele unserer Software-Kunden erstellen zum Beispiel einen Großteil ihrer Umfragen mit unserer agilen Software G3plus selbst und nehmen bei komplexeren Projekten das Know-How des Rogator-Consultings in Anspruch, welche bei der Konzeption, der Durchführung und auch bei der Auswertung unterstützen und helfen, eventuelle Klippen zu umschiffen– von der Festlegung der benötigten Rahmenbedingungen bis hin zu erforderlichen rechtlichen und Datenschutz- / Datensicherheits-Belangen.

An wen richtet sich Ihr Webinar? Wer sollte es nicht verpassen?

Das Webinar richtet sich an alle Marktforscherinnen und Marktforscher aus den verschiedensten Branchen, die Unterstützung bei der Vermeidung häufiger Fehlerquellen während der Erstellung und Programmierung eigener Fragebögen suchen. Es eignet sich sowohl als Einstieg als auch für Erfahrenere als Ergänzung eigener Erfahrungswerte.

Die aus diesen Fehlerquellen abgeleiteten DO´s und DONT´s werden nicht nur genannt, sondern auch gleich anhand eines Demo-Fragebogens in der Praxis veranschaulicht. Ferner wird anhand des Praxisbeispiels der Rogator AG dargestellt, wie die Qualitätssicherung in die Strukturen, Abläufe und Prozesse von der Konzeption, Umsetzung bis zur Auswertung von Fragebögen implementiert werden kann. Zum Abschluss soll Raum zum gegenseitigen Erfahrungs- und Meinungs-Austausch und zum Aufgreifen von Fragen der Teilnehmenden gegeben werden.

Hier geht es zur kostenlosen Webinar-Anmeldung