CONSULTING.de
Frauen in der Marktforschung: Susanne Maisch, Business-Coach & Trainerin "Noch mal etwas Neues machen, das die Welt eventuell ein kleines bisschen besser macht"
veröffentlicht am
Dr. Peter Pirner, i-CEM Institut Die Kalibrierung des NPS – Schönrechnen oder sinnvolles Vorgehen bei internationalen Studien?
veröffentlicht am
// /pj
Das Thema Kalibrierung ist nicht nur etwas für methodische Feinkostliebhaber. Im Forschungsalltag meint man damit letztendlich, dass ein bestimmter Wert, der z.B. durch eine Befragung erhoben wird, nach oben oder unten angepasst wird, wenn er gegenüber dem Referenzwert als zu hoch oder zu niedrig angesehen wird. Das gilt auch für andere Erhebungsmethoden wie die Beobachtung oder physikalische Messungen.
Ich messe also etwas, stelle fest, dass es falsch gemessen hat und berichtige den Wert. Das macht ja Sinn. Ihre Uhr geht immer fünf Minuten vor? Dann ziehen Sie im Kopf fünf Minuten ab – Sie kalibrieren auf den richtigen Wert. Schließlich haben Sie sie ja als alter Trödler fünf Minuten vorgestellt, damit Sie früher losgehen und seltener zu spät kommen. Wenn Sie jetzt aber kalibrieren, stimmt zwar die Uhrzeit, allerdings kommen sie wohl wieder zu spät. In die falsche Richtung zu kalibrieren, kann also trotzdem seinen Zweck erfüllen.
Das Problem mit dem NPS und der Kalibrierung
In der Marktforschung kalibriert man regelmäßig Stichproben – das nennt man dann Gewichtung. Wenn z.B. eine Stichprobe zu viele Männer enthält und ich kenne die richtige Verteilung in der untersuchten Zielgruppe, dann spricht nichts dagegen, meine Stichprobe entsprechend zu berichtigen – also zu kalibrieren. Schöne Sache im Prinzip und macht auch alles gleich noch viel genauer.
Der Knackpunkt ist dabei der Referenzwert. Kann ich mir wirklich sicher sein, dass ich den genauen Anteil der Männer kenne? Denn wenn nicht, kann das auch schnell recht beliebig werden oder manipulativ, wenn man so will.
Und jetzt sind wir beim Problem der Kalibrierung des NPS. Wenn ein NPS ungewöhnlich hoch oder niedrig ausfällt und man sich sicher ist, dass der wahre Wert anders ist, könnte man doch auf die Idee kommen, den Wert genauer zu machen – also zu kalibrieren. Und eigentlich ist immer irgendjemand der festen Überzeugung, dass der NPS-Wert zu niedrig ist.
Die Diskussion taucht spätestens dann auf, wenn man in einer globalen Organisation arbeitet und Länder miteinander verglichen werden. Spiegelt ein NPS von 50 in Deutschland das gleiche Leistungsniveau wie eine 70 in den USA wider? Wenn ja, dann sollten doch bitte auch alle den gleichen Leistungsbonus bekommen – oder?
Schon wird gefordert, dass man Länderunterschiede schon wegen der unterschiedlichen Mentalitäten "irgendwie" berücksichtigen muss. Sonst wäre das doch unfair … Jeder weiß doch, wie kritisch der Deutsche ist und wie schnell ein Südamerikaner begeistert werden kann. Und was kann man als deutsche Landesgesellschaft schließlich dafür, dass die deutschen Kunden so ungnädig die eigene großartige Leistung beurteilen?
Das Qualtrics XM Institute hat aktuell eine Studie mit dem suggestiven Titel “Calibrating NPS Across 18 Countries“ herausgegeben, die man hier kostenlos herunterladen kann.
NPS: Der Vergleich hinkt
Die wichtigsten Erkenntnisse: Konsumenten in Indien und Mexiko geben den höchsten NPS, wenn sie Unternehmen mögen (64 und 60). Mexikaner und Brasilianer haben den größten Gap zwischen Unternehmen, die sie mögen und solchen, die sie nicht mögen (131 und 137 Punkte). Südkoreaner und Japaner haben den kleinsten Gap. Das liegt auch daran, dass Südkoreaner und Japaner negative NPS Werte sogar für Unternehmen geben, die sie eigentlich mögen (-11 und -47). Da sitzen also die echten Miesepeter. Die Deutschen Konsumenten bewerten durchschnittlich mit einer 24 für Unternehmen, die sie mögen und einer -78 für die, die sie nicht mögen – nur der Vollständigkeit halber.
Offensichtlich gibt es also Unterschiede im Beurteilungsprofil zwischen Ländern und diese können sicher auch irgendwie teilweise auf Mentalitätsunterschiede zurückgeführt werden. Können wir aber jetzt daraus schließen, dass eine 24 in Deutschland vergleichbar zu einer 64 in Indien ist und man einfach immer 40 Punkte auf den NPS draufschlagen muss oder 40 Punkte abziehen? So ähnlich wie ein Handicap beim Golfen?
Kann man schon so machen, ist aber halt auch irgendwie ganz schön falsch. Denn das XM Institut liefert hier bestenfalls anekdotische Informationen und sicher keinen Referenzwert. Man hat 1.000 Personen bevölkerungsrepräsentativ in 18 Ländern nach dem NPS gefragt und zwar jeweils für „die Unternehmen, die man mag“ und „für Unternehmen, die man nicht mag“ – also ein gedanklicher Durchschnittswert über eine unbestimmte Gruppe von Unternehmen.
Hatten einige Brasilianer jetzt auch ihre Lieblingssambaschule im Kopf und die Franzosen ihre exquisite Weinbergschneckenzucht – um mal bei ganz dämlichen Stereotypen zu bleiben? Man weiß es nicht.
Am besten kein Quervergleich
Mit ziemlicher Sicherheit ist aber die Zusammensetzung der Unternehmen und damit die Verteilung über einzelne Branchen, an die die Befragten dachten, nicht die gleiche. Da man aber auch weiß, dass bestimmte Branchen besser, andere systematisch schlechter bewertet werden, wäre das eine ganz wichtige Information, um die Landesergebnisse schon mal untereinander zu kalibrieren, um eben diese Brancheneffekte auszuschließen. Und dann müsste man natürlich noch einen B2B Faktor anlegen, der wahrscheinlich in jedem Land leicht anders ist. Und denkt ein Einkaufsmanager in Schweden überhaupt wirklich so viel anders als z.B. einer in Spanien? Ich habe dafür ehrlich gesagt eher keine Belege gefunden.
Solche Diskussionen und das Suchen nach Erklärungen für vermeintlich falsche Werte können den CX Manager wochenlang lahmlegen. Ich selbst suchte für einen Kunden aus der Telekommunikationsindustrie in Saudi-Arabien immer wieder nach Erklärungen, warum die Werte im Vergleich zu Ägypten so hoch seien? Konnten wir nie klären, der Unterschied war aber über Jahre stabil.
In allen Fällen habe ich als Berater immer darauf gedrängt, keine Zeit mit unnützen Kalibrierungen zu verschwenden. Zielsysteme sollten positive Veränderungen innerhalb eines Landes belohnen – aber besser nicht im Quervergleich zu anderen wegen all der bisher geschilderten Probleme.
Es ist tatsächlich viel wichtiger, den Prozess der Kundenbefragung systematisch aufzusetzen und innerhalb eines Landes immer gleich vorzugehen – Reliabilität nennt man das im Fachjargon. Ein Kunde von mir hatte das bis zur Perfektion betrieben und kontrolliert. Das machte die Ergebnisse viel besser interpretierbar und damit lernt eine Organisation letztendlich am meisten. Und dann richten wir unser Augenmerk aufs Machen statt aufs Rechnen. Da haben dann auch die Kunden was davon.
Über die Person:
Kommentare (1)
Um unsere Kommentarfunktion nutzen zu können müssen Sie sich anmelden.
Anmelden