Experten-Interview: TOP10 zur erfolgreichen Umfrage

Sie sind einer der bekanntesten deutschen Experten zum Thema Fragebogen und seit vielen Jahren bei der Rogator AG für die Bereiche Kunden- und Mitarbeiterforschung zuständig. 
Wie wird man zu einem Spezialisten für Befragungen?

Axel Theobald: Da hat der Zufall eine große Rolle gespielt. Vor ca. 30 Jahren habe ich im Studium die Aufgabe bekommen, im Rahmen eines Drittmittelauftrages ca. 2.000 Papierfragebögen einzutippen, auszuwerten und die Ergebnisse bei der betreffenden Firma vorzustellen. Ich war sofort begeistert und habe mich im weiteren Studium auf die Marktforschung konzentriert und später dann auch Vorlesungen dazu gehalten.

Dann nahm das Internet Fahrt auf und ein paar verrückte Forschende (unter anderen ich selbst) meinten, man könne doch auch Interviews online machen. Die Online-Forschung war ja damals absolut neu und ziemlich umstritten. So bin ich dann aber zu meinem Thema für die Doktorarbeit und schließlich zur Rogator AG gekommen.

Und hier hatte ich es auf einmal mit „echten“ Projekten und gestandenen Unternehmen als Kunden zu tun, das war dann auch nochmal ein Sprung gegenüber den Umfragen, die wir an der Uni gemacht haben. Im Laufe der Jahre lernt man dann einfach beständig dazu und macht viele Erfahrungen – positiv wie negativ. Und irgendwann geht einem das Thema in Fleisch und Blut über. Ich denke, das wird vielen Fachleuten auf ihren Gebieten so gehen.

Für mich persönlich ist wichtig: Ich bin nach wie vor begeistert von der Marktforschung. Ich mache es (fast) jeden Tag gerne. Und mit der Freude an der Arbeit kommt dann fast zwangsläufig die Expertise im Fachgebiet.

Wo sollte man als Einsteigerin und Einsteiger bei der Planung einer Online-Umfrage beginnen?

Axel Theobald: Ohne Vorkenntnisse oder Erfahrungen in der Marktforschung ist es sicher nicht so einfach, einen passablen Fragebogen zu entwickeln. Einer der wichtigsten Punkte ist aber, NICHT direkt mit der Formulierung der ersten Frage zu beginnen, sondern „top-down“ vorzugehen. Also zuerst das Erkenntnisinteresse genau zu definieren, daraus die Befragungsthemen zu strukturieren und schließlich im letzten Schritt die einzelnen Fragen anzugehen.

Bei den Fragen selbst kann man natürlich auch eine Menge falsch machen. Hierfür gibt es zahlreiche Listen im Internet mit Do’s and Don’ts, die sich manchmal sogar widersprechen. Am Ende des Tages muss man so ehrlich sein und konstatieren: Viele Weg führen zum Ziel, die perfekte Lösung gibt es nicht und alle Forschenden haben ihre Vorlieben. Dennoch muss man sich – gerade als Fragebogen-Neuling – mit diesen Aspekten grundlegend befassen, um zumindest die Basics richtig zu machen.

Manchen Menschen fällt es vielleicht leichter, mit Zahlen zu arbeiten als mit Worten. Diesem Gedanken folgend, gibt es auch die Möglichkeit, mit sogenannten „Dummy-Tables“ zu arbeiten. Der Gedanke erscheint zunächst widersinnig, aber es kann bei der Fragebogenerstellung durchaus helfen, wenn man sich vorstellt, welche Inhalte am Ende die Auswertung oder die Präsentation haben soll, die man zu den Befragungsergebnissen halten möchte. Das heißt, man entwirft vor der Befragung bereits pro forma eine Auswertung (in Form von Tabellen oder einer Präsentation) und befüllt diese mit Fantasiezahlen.

Dann geht man diese Auswertung durch und überlegt dabei, welche Fragen man stellen muss, um am Ende alle Informationen zu haben, um mit den späteren empirischen Daten genau eine solche Auswertung erstellen zu können. Hat man bspw. in der Dummy-Auswertung eine durchschnittliche Zufriedenheit in drei Kundengruppen vorgesehen, dann ist klar, dass man 1. die Zufriedenheit in geeigneter Form abfragen und 2. die Zugehörigkeit der Teilnehmenden zur Kundengruppe speichern muss etc. Auf diese Weise ist gesichert, dass wirklich alle Meinungen und Daten auch abgefragt werden, die für die gewünschte Auswertung unerlässlich sind. Gleichzeitig hilft das Verfahren dabei, sich auf die Fragen zu beschränken, die man auch wirklich benötigt.

Welche wichtigen Aspekte gilt es für Neulinge bei der Umsetzung zu beachten?

Axel Theobald: Wie bereits erwähnt, gibt es diverse Listen mit Tipps im Internet. Meine Top10 sind die folgenden, wobei man jeden einzelnen Punkt eigentlich umfangreich erläutern müsste, wofür hier aber der Platz fehlt:

1. Genaue Definition von Zweck und Zielrichtung der Befragung (Wo genau möchte ich hinterher „schlauer“ sein als zuvor?)
2. Möglichst kurzer und fokussierter Fragebogen (Ist mein Fragebogen so lang wie nötig, aber so kurz wie möglich?)
3. Abstimmung des Fragebogens und des sonstigen Forschungsdesigns auf die Zielgruppe (Was können meine Probanden überhaupt sicher beantworten?)
4. Einfache und prägnante Fragen (Werden alle Fragen und Antworten wahrscheinlich von allen Teilnehmenden in derselben Weise verstanden oder gibt es unerwünschte Mehrdeutigkeiten und Interpretationsspielräume?)
5. Keine suggestiven Formulierungen (Wird die persönliche Meinung des Forschers über den Fragebogen bevorzugt?)
6. Einheitliche Skalenlandschaft (Werden möglichst wenige, einheitlich aufgebaute Skalen verwendet oder herrscht ein Skalen-Wirrwarr?)
7. Erschöpfende Antwortkategorien (Wird ein Themengebiet durch die vorgegebenen Antworten wirklich abgedeckt?)
8. Motivierende Fragebogen-Dramaturgie (Ist die Reihenfolge der Fragen logisch und nachvollziehbar?)
9. Beachtung von Kontexteffekten (Wird die Beantwortung einzelner Fragen möglicherweise von vorherigen Fragen beeinflusst?)
10. Durchführung eines Pretests (Wurde die Verständlichkeit des Fragebogens an Personen getestet, die mit dem vorherigen Prozess nichts zu tun hatten?)

Welche Skills sind empfehlenswert für eine erfolgreiche Befragung?

Axel Theobald: Mir erscheint zum einen vor allem die Fähigkeit wichtig, seine eigene Person zurückzustellen bzw. sich in andere Personen eindenken zu können und zu erkennen, dass die persönliche Meinung und das eigene Verständnis von Texten nicht immer der Meinung anderer Menschen entsprechen.

Man sollte bei jeder Frage einen Schritt zurücktreten und überlegen, wie dies eine Person deutet, die bis zu diesem Moment nichts mit der Umfrage zu tun hatte. Wissenschaftlich würde man diese Anforderung unter dem Gütekriterium der Objektivität zusammenfassen.

Zum anderen ist eine gewisse Befragungserfahrung günstig für den gesamten Prozess. Vor allem dann, wenn in verschiedenen Prozessphasen Hindernisse auftauchen oder wenn eine Umfrage live geht und nicht so läuft, wie man es sich vorgestellt hat. Erfahrene Marktforschende kennen zahlreiche Tricks und Kniffe, wie man auf solche Dinge reagieren kann. Als Befragungs-Novize hat man diese Erfahrungen natürlich noch nicht. Darum empfiehlt es sich, nach Möglichkeit eine Person mit entsprechendem Know-how für den Fall der Fälle „an der Hand“ zu haben.

Was sollte eine Befragungssoftware mindestens leisten können?

Axel Theobald: Es gibt mittlerweile eine Unzahl von Softwareangeboten. Und die Auswahl hängt natürlich vom Preis der Angebote ab und von den Anforderungen, die die Umfrage selbst stellt. Wichtig erscheint mir zunächst ein seriöses Datenschutzkonzept mit vom Anbieter selbst (am besten in der EU) betriebenen Umfrageservern. Der nächste Punkt ist die Verfügbarkeit benötigter Funktionen (bspw. Filter, Quotierungen, besondere Fragetypen, Verknüpfung mit bereits vorhandenen Daten, Pseudonymisierung etc.). Und schließlich die Bedienbarkeit, sprich: Wie viel Mühe kostet die Einarbeitung und die Bedienung des Tools?

Beim letzten Punkt sollte man überlegen, wie häufig man Umfragen machen möchte. Viele gute und mächtige Tools benötigen mehr Zeit für die Einarbeitung, dafür bieten sie aber auch mehr Optionen für zukünftig steigende Ansprüche. Mit einem einfacheren Tool hat man die erste Umfrage vielleicht rascher erstellt, aber beim nächsten Projekt fehlt oftmals ein dann entscheidendes Feature.

Wie erzielt man nach Ihren Erfahrungen die höchsten Rücklaufquoten und welche Bedeutung hat dabei die Länge einer Umfrage?

Axel Theobald: Die Bedeutung der Fragebogenlänge für die Rücklaufquote wird häufig überschätzt. Die meisten Abbrecher findet man so gut wie immer bei den ersten paar Fragen, in denen die Länge noch gar keine Wirkung zeigen kann.

Der wichtigste Motivator ist immer ein Thema, das die befragten Personen interessiert. Nun sind Befragungsthemen in aller Regel ja durch den Forschungszweck vorgegeben und insofern nicht wirklich veränderbar. Aber es gibt die Möglichkeit, die Einladung und den Fragebogen so interessant und abwechslungsreich und spannend wie möglich zu gestalten.

Im Grunde geht es um zwei Ziele:
1. die Teilnehmenden in den Fragebogen hineinzubekommen und
2. die Teilnehmenden im Fragebogen zu halten.
Man kann es gut mit einem Film vergleichen: einen langweiligen Film sieht man sich eher nicht bis zum Ende an, auch wenn er nur eine Stunde dauert. Einen spannenden Film von 2 Stunden hält man aber locker durch.

Ein wichtiger Punkt ist also die Vermeidung von Abbrüchen. Dies bewerkstelligt man dadurch, dass man wenig Gelegenheiten bzw. Beweggründe für Abbrüche schafft. Dazu gehört das Vermeiden von langen Texten, von unverständlichen Fragen oder von großen Frageblöcken im Matrixformat, die viele Einzelentscheidungen auf einer Seite erfordern etc. Aber auch die sorgfältige Erstellung und Gestaltung der Umfrage. Schon wenige Rechtschreib- oder Grammatikfehler können destruktiv wirken, weil sie vermitteln, dass sich der Umfrageersteller offenbar wenig Mühe gegeben hat. Warum sollte sich eine Teilnehmerin dann die Mühe machen, bis zum Ende durchzuhalten?

Welche Literatur oder Online-Veröffentlichungen können Sie empfehlen, um eine Umfrage erstmalig selbst zu gestalten?

Axel Theobald: Etwas uneigennützig würde ich mein Buch „Praxis Online-Marktforschung“ empfehlen. Aber das geht auch sehr stark ins Detail und ist zum Einstieg und für die allererste Umfrage vielleicht etwas übertrieben. Ansonsten kann man natürlich immer Google bemühen und z.B. nach „Fragebogen erstellen Dos and Don'ts“ oder „Tipps zum Erstellen eines Fragebogens“ suchen.

Allerdings findet man dann eine Vielzahl von 7-, 10- oder 20-Punkte-Listen, deren Inhalte ich in manchen Fällen für fragwürdig halte. Außerdem enthalten diese Tipps eher allgemeine Empfehlungen wie „so wenig Fragen wie möglich“. Konkrete Formulierungen sind eher selten zu finden und wenn, dann wieder in unterschiedlichsten Ausprägungen. An dieser Stelle muss man eben auch anerkennen, dass die Marktforschung in der gelebten Praxis keine exakte Wissenschaft ist. Alle machen es irgendwie anders und es gibt einfach nicht „DEN besten Fragebogen“.

Meiner Erfahrung nach kann man sich auf den Seiten der professionellen Marktforschungs-Dienstleister (z.B. DIY-Software-Anbieter, kleinere Institute etc.) ganz gut informieren. Mit studentischen Publikationen, die man auch rasch über Google findet, wäre ich eher vorsichtig.

An welchen besonderen Umfrage-Fehler erinnern Sie sich, aus dem andere lernen könnten?

Axel Theobald: Was jeder erfahrene Online-Marktforschende sicher schon erlebt hat ist, einen Filter falsch gesetzt zu haben, so dass bestimmte Fragen gar nicht oder an die falsche Gruppe gestellt wurden. Ich denke, das ist ein Klassiker. Hier helfen nur Erfahrung, eine gesunde Skepsis gegenüber den eigenen Fähigkeiten sowie eine strenge Prüfdisziplin (mindestens 4-Augen-Prinzip), bevor die Umfrage online geht.