Michael Witzenleiter, Kameleoon Die sieben größten Fallen beim A/B-Testing

1. Anfängerfehler: Zu viel auf einmal

Bitte nichts überstürzen - wer alles auf einmal möchte, erreicht in der Regel wenig oder gar nichts. Bleiben Sie locker und geduldig, besonders bei A/B-Tests. Zu große Schritte und zu komplizierte Tests gehen am Anfang garantiert in die Hose. Lassen Sie sich Zeit und beginnen Sie lieber mit kleinen, einfachen Tests. Diese sorgen dafür, dass sich schnell erste Erfolgserlebnisse einstellen, zudem steigern sie die Motivation. Zu komplexe Aufgaben sorgen hingegen für Frust. Liegt die Hürde hingegen erst mal niedrig, macht auch der nächste Sprung noch Spaß. Gute Übungen für den Testing-Einstieg stellen beispielsweise Produkttexte und Landing Pages dar.

2. Anfängerfehler: Nur große Erfolge feiern

Kleinvieh macht auch Mist. Wer nur auf Riesenfortschritte schaut, vergisst die kleinen Erfolge. Unterschätzen Sie nie die Mathematik, denn Kleinigkeiten, die permanent ignoriert werden, häufen sich im Laufe der Zeit zu einem großen Berg an. Ein Beispiel: Bei einem Test vergrößerte die bessere Variante die Conversions um fünf Prozent - da sammelt sich von Monat zu Monat einiges an, bis zu 80 Prozent in einem Jahr. Hinzu kommt, dass die Webseite mit jedem Test mehr Gewinn abwirft, da wirken die Ergebnisse bei jedem Test nicht mehr so spektakulär. Wer nur noch kleine Sprünge nach vorne macht, muss nicht irgendwo falsch abgebogen sein. Vermutlich bedeutet es nur, dass die Seite bereits eine gute Performance aufweist und nur noch wenig Luft nach oben besteht.

3. Anfängerfehler: Keine Hypothesen im Hinterkopf

A/B-Tests ohne Ideen und solide Datengrundlagen bringen nichts, sonst können Sie ja gleich eine Münze werfen oder ausschließlich aufs Bauchgefühl hören. Bleiben wir seriös: Jedem professionellen Test sollte eine Analyse der Webseitendaten vorausgehen, um Schwächen zu identifizieren. Nur mit soliden Theorien und Hypothesen kann es klappen. Diese lassen sich mithilfe von Analytics, Heatmaps, Umfragen, Interviews, Usability-Tests oder heuristischen Analysen aufstellen. Versetzen Sie sich immer auch in den Kunden: Wieso verhält er sich nicht so, wie Sie es erwarten? Surfen Sie selbst über die Seiten und notieren Sie sich, was Sie stört. Ein bisschen Abstand schadet nie - wer Dinge mit anderen Augen aus der Distanz betrachtet, entdeckt einiges. Vor diesem Hintergrund fällt das Erstellen einer Hypothese leichter. Zum Beispiel so: "Indem ich Änderung x vornehme, wird Messgröße y oder z kaum, etwas oder deutlich besser, weil ... (Daten/Theorie einfüllen)". Das optimiert nicht nur die Tests, sondern auch die Conversions.

4. Anfängerfehler: Ohne Roadmap und Prozesse losmarschieren

Ohne Roadmap und Prozesse kein Erfolg. Beginnen wir mit der Roadmap: Sie hilft dabei, wichtige Elemente zu testen und das Ziel fest im Auge zu behalten. Sie wirft elementare Fragen auf: Welchen Geschäftszielen dient die Website? Wie hilft sie beim Erfüllen dieser Ziele? Welche Seiten erfreuen sich großer Beliebtheit, welche nicht? Welche Probleme tauchen im Conversion-Prozess auf? Und: Nach welcher Messgröße wollen Sie den Erfolg beurteilen? Notieren Sie sich alle Punkte und sorgen Sie dafür, dass die Beteiligten diese Elemente beherzigen. Zu den Prozessen lässt sich sagen: A/B-Tests ähneln wissenschaftlichen Experimenten, die eine methodische, präzise Vorgehensweise erfordern. Damit alles läuft, ist ein Korsett aus immer wiederkehrenden Prozessen und Sicherheitsmaßnahmen nötig - individuell abhängig von der jeweiligen Firma. Häufig sehen die Schritte folgendermaßen aus: Messen, Priorisieren, Testen, Lernen, Kommunizieren.

Täglicher Newsletter der Insightsbranche

News +++ Jobs +++ Whitepaper +++ Webinare

Newsletter abonnieren

Wir beliefern täglich mehr als 9.000 Abonnenten

Datenschutz

5. Anfänger: Mangelnde oder gar keine Priorisierung

Fein, Sie haben einige sinnvolle Testideen zum Abarbeiten entwickelt - aber in welcher Reihenfolge bitte schön? Schmeißen Sie das Zufallsprinzip so schnell wie möglich über Bord. Wer den Überblick bewahren und keine Zeit verschwenden möchte, muss die Tests priorisieren. Dabei sollten Sie sich nicht in nebensächlichen Details verlieren, etwa der Farbe eines Anklick-Buttons - wichtig ist in erster Linie, dass sich dieser deutlich vom Rest der Seite abhebt. Grundsätzlich gilt: Wenn Sie eine Testidee nicht überzeugt, lohnt sich auch der Testzeitaufwand nicht. Konzentrieren Sie sich lieber auf die Tests mit den größten Auswirkungen und viel Potenzial. Jeder Testlauf wird nach drei Kriterien mit je maximal zehn möglichen Punkten bewertet: potenzieller Gewinn (Verbesserungsspielraum auf dieser Seite?), Wichtigkeit (Wie wertvoll ist der Traffic auf dieser Seite?) sowie Machbarkeit (Wie leicht kann der Test auf der entsprechenden Seite umgesetzt werden?). Zählen Sie die erzielten Punkte zusammen - schon können Sie Prioritäten setzen.

6. Anfängerfehler: Optimierung der falschen KPIs

Es gibt zwei Conversion-Arten: Mikro- und Makro-Conversions. Mikro-Conversions sind ein erster Schritt (zum Beispiel "Teilen" in sozialen Netzwerken, Newsletter-Anmeldung, "In den Warenkorb") auf dem Weg zur Makro-Conversion. Unter Letzterer verstehen wir das eigentliche Ergebnis mit konkreten Auswirkungen (etwa den Check-out-Prozess), also die grundsätzlichen Conversion-Ziele der Website. Beide müssen bei jedem Test ermittelt werden, die Abläufe sollten sich also nicht allein auf Mikro-Conversions konzentrieren. Richten Sie Ihre Aufmerksamkeit auf Optimierungen, die geradlinig auf eine Makro-Conversion hinauslaufen. Diese Prozessecksteine zeigen, wo UX-Verbesserungen besonders viel bringen. Zweitrangige Aktionen sollten Sie ebenfalls messen, da diese Stolpersteine aufdecken und den Überblick über den gesamten Prozess vervollständigen. Das soll jedoch nicht heißen, für zweitrangige Conversions zu optimieren - siedeln Sie Ihre Ziele so nah wie möglich am Umsatz an.

7. Anfängerfehler: Verzicht auf permanente Tests

Auch wenn irgendwann nicht mehr viel Raum nach oben existiert: Testen Sie weiter und weiter. Denn jeder Arbeitstag ohne Experimente ist ein verlorener Tag mit verpassten Chancen. Durch Tests erfahren Sie viel über Ihre Kundschaft, wodurch Sie unter dem Strich mehr Geld verdienen können. Ach ja, noch etwas: Informieren Sie sich, wann Sie einen Test beenden. Hier geht es um Signifikanzniveau, Stichprobengröße, Dauer und Datenvariabilität. Hören Sie zu früh auf, sind die Ergebnisse verfälscht. Und das wollen wir ja nicht.

Über den Autor

/mvw