Heuristische Evaluation

[engl.: heuristic evaluation]

Die Heuristische Evaluation (selten: Heuristische Evaluierung, Heuristisches Testen) prüft Benutzeroberflächen (User Interfaces, UI) beispielsweise von Websites, Apps oder Geräten auf Usability-Probleme. Dabei wird das Interface anhand grundlegender Usability-Prinzipien (Daumen- oder Faustregeln: Heuristiken) durch eine kleine Gruppe von Fachleuten analysiert.

Im Unterschied zum empirischen Usability-Test, der ein Interface an einer Stichprobe mit Nutzenden umfassend testet, handelt es sich bei der Heuristischen Evaluation um ein auf die Problemidentifikation fokussiertes Experten-Review (bzw. Gutachten, Inspektion).

Hintergrund

Bereits Ende des 20. Jahrhunderts wurden Heuristiken und Evaluationsleitfäden zur Optimierung von Mensch-Maschine-Schnittstellen entwickelt. Das Konzept der Heuristischen Evaluation geht auf Nielsen & Molich (1990, vgl. Nielsen 1994) zurück und soll eine schnelle, effiziente und kostengünstige Prüfung von Interfaces ermöglichen, so dass nicht (immer sofort) aufwändigere empirische Nutzungstests durchgeführt werden müssen.

Mittlerweile wurden die Evaluationsheuristiken und -leitfäden überarbeitet und erweitert, wobei teilweise noch mit den zehn Usability Heuristiken von Nielsen (2020) gearbeitet wird.

Mittlerweile wurde zugleich die Effizienz des User Testing gesteigert durch die Professionalisierung des UX Research mit Ausbau einer entsprechenden Infrastruktur. Die Durchführung von Remote-Tests (befeuert durch die Beschränkungen in der Corona-Pandemie) hat eine weitere Effizienzsteigerung gebracht.

Anwendung in der Markt- und User Experience Forschung

Heute ist die Heuristische Evaluation als Ergänzung, nicht Ersatz für User Tests zu sehen. Expert-Reviews können vor allem in frühen Phasen der Designentwicklung hilfreich sein, beispielsweise

• zur Ideengenerierung: Test bestehender Interfaces auf Probleme als Ausgangspunkt für anschließende (iterative) Entwicklungsprozesse
• zum ersten Test früher Prototypen auf grobe Probleme, um diese für die weiteren Entwicklungsstufen und empirischen User Tests zu beseitigen

Markt- und UX Forschung haben zwar grundsätzlich einen empirischen Ansatz, bieten aber häufig auch analytische Verfahren wie den Cognitive Walkthrough oder die Heuristische Evaluation an. Das liegt auch insofern nahe, als sie mit ihren Erfahrungen Verhalten und Bedürfnisse der Nutzenden kennen, sich damit gut in die Nutzungssituation eindenken können und die für die Evaluation notwendige Expertise mitbringen.

Dabei kann das zu evaluierende Objekt eine Benutzeroberfläche sein, aber auch Informationstexte, Werbekonzepte, Service-Kontakte etc. (wobei die Heuristiken hier andere sind).

Vorgehensweise bei der Heuristischen Evaluation

Eingangs werden Nutzungsszenario und Evaluationsziel definiert, relevante Heuristiken und evaluierende Fachleute ausgewählt. Nach Nielsen & Landauer (1993, vgl. Nielsen 1994) hat eine Gruppe von drei bis fünf Fachleuten eine Problemaufklärungsquote von 60-75 Prozent und damit ein optimales Kosten-Nutzen-Verhältnis.

Abbildung: Vorgehen bei der Heuristischen Evaluation

Anschließend werden Use Tasks formuliert, Evaluationsleitfaden und -protokoll entwickelt. Für das Briefing der evaluierenden Fachleute werden außerdem Informationen zu Nutzung und Nutzenden erstellt, in der Regel in Form von anschaulichen User Personas. Ggf. wird ein Prototyp entwickelt.

Bei ihrer Evaluation führen die Fachleute die definierten Nutzungsaufgaben durch und nehmen dabei die Perspektive der Nutzenden ein. Gleichzeitig beobachten und prüfen sie ihre Interaktion mit dem System anhand der Heuristiken und dokumentieren die gefundenen Probleme. (Damit hat die Heuristische Evaluation Kennzeichen einer teilnehmenden Beobachtung.)

Bei der gemeinsamen Auswertung beispielsweise im Rahmen eines Workshops werden die gefundenen Probleme zusammengetragen, strukturiert, gewichtet und priorisiert. Davon ausgehend werden die nächsten Umsetzungsmaßnahmen und weiteren Prüfschritte (mit Heuristischer Evaluation oder User Tests) definiert.

Vorteile der Heuristischen Evaluation

Eine sorgfältig durchgeführte Heuristische Evaluation hat folgende Stärken und Einsatzfelder:

• Relativ schnelle, effiziente und kostengünstige Prüfung (sofern entsprechende Fachleute verfügbar sind)
• Identifikation grundlegender Probleme von Interfaces mit Blick auf deren Usability (Nutzungsfreundlichkeit bzw. Gebrauchstauglichkeit)
• Systematische Begutachtung anhand eines Katalogs grundlegender Kriterien
• Geeignet für frühe Phasen des Designprozesses, kann gut mit anderen Methoden kombiniert werden, z. B. mit nachgelagertem empirischen Usability-Test

Nachteile der Heuristischen Evaluation

Wegen folgender Beschränkungen und Probleme sollte die Heuristische Evaluation nie als alleiniges Instrument zur Usability-Prüfung eingesetzt, sondern immer mit User Tests kombiniert werden.

• Beschränkte Verlässlichkeit der Erkenntnisse, da kein empirischer Test mit realen Nutzenden in realen Nutzungsszenarien erfolgt
• Fokus auf Problemerkennung, das Nutzungserleben wird nicht ganzheitlich erfasst
• Unklare Güte der Heuristiken: Der Review kann nur dann relevante Probleme aufdecken, wenn die zugrundeliegenden Heuristiken und damit verbundenen Best Practices in der Realität Gültigkeit haben. Realitätsadäquanz und Aktualität der Heuristiken werden aber kaum überprüft
• Mögliche Überschätzung von Problemen (falsch-positive Ergebnisse): Nicht alle im Review identifizierten Probleme müssen von den Nutzenden als störend wahrgenommen werden
• Mögliche Unterschätzung von Problempotenzialen: Erfolgt der Review durch Projektbeteiligte, besteht die Gefahr von Befangenheit und wohlwollender Prüfung, die nur besonders grobe Schnitzer aufdeckt
• Hohe Anforderungen an Evaluationsprozess und Evaluierende, die sich die Nutzungsperspektive aneignen und aus dieser heraus beobachten müssen. Dies erfordert psychologische und methodische Kompetenzen ebenso wie die zuverlässige (empirisch fundierte) Kenntnis der Zielgruppe

Literatur:

Nielsen, J. (1994). How to Conduct a Heuristic Evaluation. https://www.nngroup.com/articles/how-to-conduct-a-heuristic-evaluation/
Nielsen, J. (2020). 10 Usability Heuristics for User Interface Design. https://www.nngroup.com/articles/ten-usability-heuristics/