Was sind «user-focused Metrics» und wofür braucht man die?

Welche Metriken tracken Sie, wenn es um User und digitale Produkte geht? Die Antworten fallen je nach Bereich ganz unterschiedlich aus. Tester, Marketeers oder Designer verfolgen unterschiedliche Ziele und benötigen dementsprechend andere Daten.

Software Tester fokussieren typischerweise auf sämtliche technische Aspekte einer Software. Ihr Ziel: möglichst viele Fehler aufspüren und beheben. Die Entwicklung des Produkts oder der Software steht im Zentrum. Es gibt konkrete Anforderungen, welche die Software erfüllen muss. Auf Basis dieser finden die Software Tests statt. Grundsätzlich messen Tester Metriken wie Anzahl behobener Bugs, Anzahl ungelöster Bugs, Fehlerdichte oder Anzahl gefundener Fehler pro Tester.

Woher wissen wir, wie das Produkt beim User ankommt?

Das Problem: Bei diesem Ansatz des Testings wird die Perspektive des Nutzers komplett aussen vor gelassen. Natürlich ist es wichtig, dass keine groben technischen Fehler auftauchen (z.B. permanente Abstürze). Doch genauso wichtig ist es, den User im Blick zu behalten. Ein kleiner Bug ist manchmal weniger schlimm als die Tatsache, dass das Produkt schwierig zu benutzen ist.

Marketingverantwortliche beschäftigen sich hingegen sehr eingehend mit dem Nutzer. Sie wissen, wie viele Nutzer auf ihrer Website sind, welche Seiten sie besuchen, wie lange sie bleiben, wie viele Seiten pro Sitzung angeschaut werden, wie hoch die Absprungrate ist, usw. Diese Metriken sind marketingorientiert. Sie geben deshalb wenig Aufschluss über die User Experience. Also wie fühlt sich das Produkt für den User an? Ist es leicht verständlich und nutzbar? Rückschlüsse auf Designfaktoren sind aus diesen Daten nur schwer abzulesen.

Kürzlich habe ich folgendes Beispiel bei Yannick Waeny auf LinkedIn gesehen:

Mit der «simplen» Verschiebung eines Links steigt die Conversion Rate um 22% werden. Doch darauf muss man erst mal kommen. Dieses Beispiel zeigt: designorientiertes Denken und entsprechende Messgrössen sind enorm wichtig. 

Metriken für das User Experience Testing

Die sogenannten «user-focused metrics» basieren auf den Kategorien Usability, Engagement und Conversion, die in Zusammenhang mit einer erfolgreichen User Experience stehen [1].

Usability Metriken messen, wie leicht die User eine bestimmte Aufgabe erfüllen können. Beispielsweise: «Bestelle Produkt XY in einem konkreten Online-Shop.» Man bewertet, ob sie die Bestellung erfolgreich abschliessen konnten, wie lange sie dafür gebraucht haben und ob sie es als einfach oder schwer empfunden haben. Ebenfalls beobachtet wird, wie die Nutzer zum Ziel gelangt sind: Benutzen sie das Menü oder Suchfeld? Gibt es Momente der Unsicherheit / Verwirrung?

Engagement Metriken beschäftigen sich damit, wie die User mit einer Seite interagieren. Dazu zählen beispielsweise die Aufmerksamkeitsspanne, die Dauer des  Userflows, Anzahl angeschauter Unterseiten oder die Lesedauer. Diese Metriken sind teilweise schwierig zu interpretieren. Beispielsweise kann eine lange Lesedauer gut (Artikel ist interessant und fesselnd) oder schlecht (Artikel ist schwer verständlich und manche Sätze müssen mehrfach gelesen werden) sein. Verfestigen Sie diese Daten deshalb mit qualitativen Fragen.

Die Conversion Metriken sind mit Abstand die interessantesten für jedes Unternehmen. Hierzu zählen (Beispiel Online-Shop), die Anzahl abgeschlossener Bestellungen, aber auch Weiterempfehlungen oder Bewertungen. Nutzen Sie die Gelegenheit, um die Gründe zu hinterfragen: Warum wurde die Bestellung nicht ausgeführt? Was braucht es, damit der Shop weiterempfohlen wird?

Yannick Waeny, Senior Digital Growth Freelancer, gibt für die Verwendung dieser Metriken folgende Hinweise: «Um die Testings valide auswerten zu können, ist die Wahl der richtigen Metriken zentral. Je weniger Metriken, desto besser, auch wenn das in der Konzeptionsphase herausfordernd sein kann. Die Usability-Metriken eignen sich insbesondere für qualitative Erkenntnisse (z. B. Reason Why's, explorativer Charakter). Die Engagement- und Conversion-Metriken sollten für quantitative Testings (z. A/B-Testings, Online-Umfragen, Klick- und Heatmaps, Session Recordings usw.), die statistische Signifikanz generieren, verwendet werden.»

Verstehen Sie Ihre Zielgruppe

Aus diesen verschiedenen Daten ergeben sich Ansatzpunkte für Verbesserungen. Aber - bei aller Nutzerzentriertheit: User sind auch nur Menschen. Die Wahrnehmung ist von Person zu Person unterschiedlich. Was der eine als störend empfindet, ist für den anderen nicht so schlimm. Versetzen Sie sich in Ihre Zielgruppe hinein und verstehen Sie, worauf sie achtet. Bleiben 10/10 Testpersonen an der gleichen Stelle hängen, braucht es dort eine Anpassung; tauchen jedoch nur bei 1/10 Testpersonen Schwierigkeiten auf, kann man diesen User Experience Issue vermutlich vernachlässigen.

Denken Sie user-focused Metriken ab Beginn der Produktentwicklung mit. Damit sparen Sie Zeit und Geld im späteren Verlauf des Produktentwicklungszyklus. Arbeiten Sie zunächst mit einfachen Prototypen. So erhalten Sie ein Verständnis, wie User mit dem Produkt interagieren, was ihnen gefällt und wo sie Verbesserungspotenzial sehen. Idealerweise entwerfen Sie mehrere Variationen desselben Produkts und messen dann, welches am besten bei den Nutzern ankommt und warum (beispielsweise mittels A/B-Testings). So stellen Sie sicher, dass Sie die Bedürfnisse des Nutzers richtig verstanden haben und das Produkt nicht an ihm vorbei entwickeln.