Qualitätssicherung bei Mystery Shopping

Von Dr. Gunnar Grieger, Gründer und Inhaber von Dr. Grieger & Cie. Marktforschung

Mystery Shopping wird eingesetzt, um die Qualität einer Dienstleistung zu messen. Damit diese Messung richtig durchgeführt werden kann, bedarf es hoher Qualitätsstandards im gesamten Prozess von der Konzeption über die Durchführung bis zur Analyse der gewonnenen Daten. Daneben sollte die Qualität des Tester-Panels durch verschiedene Maßnahmen gesichert werden.

Qualitätssicherung bei der Konzeption

Bei der Konzeption einer Mystery Shopping-Studie sollte die Qualität durch Beachtung der Gütekriterien sozialwissenschaftlicher Methoden Repräsentativität, Validität und Reliabilität gesichert werden.

Eine Stichprobe kann als repräsentativ betrachtet werden, wenn das Ergebnis der Stichprobenerhebung stellvertretend für die Gesamtheit gewertet werden kann. Bei Mystery Shopping lässt sich dies erreichen, indem beispielsweise Mindestfallzahlen vorgegeben werden, damit die Erhebung nicht nur eine zufällige Momentaufnahme ist. Ferner sollten die Tests an mehreren Tagen stattfinden, wobei Zeitzonen und Ausschlusszeiten zu benennen sind. 

Validität beschreibt, ob tatsächlich das gemessen wird, was gemessen werden soll. Zur Erreichung ist ein realistischer Gesprächsleitfaden zu erstellen, der treffend für die zu testende Dienstleistung ist. Die Befragungsinhalte sind adäquat zu operationalisieren, d.h. sie sind in messbare Beobachtungskriterien umzusetzen. Die eingesetzten Mystery Shopper sollten der Zielgruppe entsprechen und müssen folglich aus der Zielgruppe des zu testenden Unternehmens rekrutiert werden. Die Teststrategie ist unauffällig zu gestalten, damit der Mystery Shopper nicht enttarnt wird oder sich das Verhalten des Mitarbeiters ändert. 

Mit Reliabilität wird beschrieben, dass die Ergebnisse reproduzierbar und zufällige Einflüsse ausgeschlossen sind. Es sind objektive oder objektivierte Bewertungskataloge zu entwickeln, die die Äußerung einer subjektiven Meinung ausschließen. Für die Beobachtungen sind Skalenstufen zu entwickeln, die eine eindeutige Beurteilung ermöglichen. Es ist ein homogenes Testszenario anzusetzen, damit die Ergebnisse der unterschiedlichen Mystery Shopper miteinander vergleichbar sind. Letztlich sind die Mystery Shopper durch gleiche Vorgaben und idealerweise ein Testerhandbuch sowie eine Bewertungseinübung zu eichen, damit gleiche Situationen auch gleich bewertet werden.

Aus den drei Kriterien Repräsentativität, Validität und Reliabilität wird deutlich, dass die Konzeption eines Mystery Shopping-Projektes komplex ist und viele wichtige Einzelaspekte zu beachten sind, um zu möglichst wahren Ergebnissen zu gelangen.

Qualität des Tester-Panels

Gute Mystery Shopper sind das Herzstück eines Mystery Shopping-Anbieters. Was aber sind gute Mystery Shopper? Einerseits sind gute Tester schnell verfügbar, wenn ein Projekt ansteht. Andererseits sind sie gewissenhaft in der Vorbereitung, Durchführung und bei der Berichtslegung. Da vor einem Einsatz schwer abzuschätzen ist, ob ein Tester gute Arbeit leistet, gibt es einige Anhaltspunkte, die eine Einschätzung ermöglichen. So können Tester im Rahmen ihrer Bewerbung für die Teilnahme am Tester-Panel ihre Motivation in eigenen Worten schriftlich darlegen. Hierdurch kann in Erfahrung gebracht werden, ob der Tester hauptsächlich monetär motiviert ist oder sich vorrangig durch die Aufgabe angesprochen fühlt. Ferner erhält man eine Schreibprobe, deren Qualität hoch sein sollte, da Tester häufig Berichte in Fließtext schreiben müssen. So kann schon im Vorwege mühsame und bei Projektleitern wenig beliebte Korrekturarbeit reduziert werden. Die Qualität des Testkundenfeldes kann durch eine Bewertung der Mystery Shopper während des gesamten Projektverlaufs (von Testannahme über Durchführung bis zur abschließenden Berichtslegung) sichergestellt werden. Der verstärkte Einsatz von Testern, die sich bereits bewährt haben, steigert so langfristig die Qualität des Tester-Panels. Allerdings ist bei erfahrenen Testern darauf zu achten, dass die Gewissenhaftigkeit und Genauigkeit nicht durch vermeintliche Erfahrung leidet.

Qualität der Feldarbeit

Die Qualität der Organisation der Testdurchführung hängt eng mit den bereits im Rahmen der Konzeption vorbereiteten Punkten zur Sicherstellung von Repräsentativität, Validität und Reliabilität zusammen. Allerdings sind in der Feldphase einige ergänzende Maßnahmen sinnvoll und erforderlich:

Der Beobachtungsbogen sollte vor dem Einsatz mit ausgewählten Testern überprüft werden. Im Rahmen solcher Pre-Tests wird geklärt, ob der Test plausibel, durchführbar und vollständig ist und ob die Situation vor Ort im Rahmen der Konzeption richtig eingeschätzt wurde. 

Bei einer entsprechend großen Datenbank können Tester am entsprechenden Zielort nach Zielgruppenrelevanz, Wohnort und demographischen Anforderungen ausgewählt werden. 

Briefingunterlagen sollten durch ein persönliches oder mindestens telefonisches Briefing ergänzt werden. Neben der Sicherstellung des Verständnisses und der Klärung offener Fragen wird so auch ein hohes Maß an Verbindlichkeit bei den Testern aufgebaut. Die Ergebnisse aus der jährlich durchgeführten Studie „Mystery Shopper Monitor“ zeigen allerdings, dass nahezu die Hälfte der Mystery Shopping Anbieter lediglich ein schriftliches Briefing durchführt. Die Ergebnisse sind dann nur mit gebotener Skepsis zu bewerten.

Sobald alle Tester im Feld sind, sollte ein Help-Desk vorgehalten werden, damit Unklarheiten und Unvorhergesehenes schnell beseitigt werden können. Durch Fotos, die die Tester am Testort mit Zeitstempel machen, kann sichergestellt werden, dass der Test auch tatsächlich zum vereinbarten Zeitpunkt durchgeführt wurde. Sofern Tester nicht zum verabredeten Zeitpunkt vor Ort waren und ihre Daten geliefert haben, ist ein Nachbesetzungsprocedere zu implementieren, damit die Feldphase fristgerecht abgeschlossen werden kann.

Qualität der Analyse und Berichtslegung

Die Daten sollten von den Testern online übermittelt werden. Einerseits können die Daten so einfacher weiterverarbeitet werden, andererseits kann schon bei der Eingabe die Qualität überprüft werden. Allerdings erübrigt dies keinesfalls eine händische Überprüfung der Daten. Alle Datensätze sind auf Plausibilität zu überprüfen und aus Gesamt-Projektsicht zu validieren. Auftretende Ungereimtheiten sind direkt mit den Testern zu klären. Nach Prüfung eines Datensatzes sollte eine Zweitprüfung durch einen anderen Projektleiter erfolgen. Gerade Freitexte sollten erst nach einer sorgfältigen Grammatik- und Rechtschreibprüfung an den Auftraggeber weitergeleitet werden. Grund ist die fehlende Akzeptanz getesteter Mitarbeiter, wenn ein Mystery Shopper das Erlebte nicht fehlerfrei wiedergeben kann.

Die Ausführungen verdeutlichen, dass die Qualitätssicherung von Mystery Shopping vielschichtig sein kann und muss, damit Daten generiert werden, auf denen Auftraggeber guten Gewissens aufbauen können. Für Auftraggeber ist es aufgrund der am Markt sehr unterschiedlich praktizierten Qualitätssicherung ratsam, sich die genauen Maßnahmen des jeweiligen Mystery Shopping Feldinstituts zeigen zu lassen.