Zo meet je het succes van User Experience

Het doel van een usability onderzoek is producten gebruiksvriendelijker maken. Dat doe je door kwalitatieve inzichten op te doen over wat (niet) werkt. Als je toch (alleen) een score wil hebben dan kan het natuurlijk ook.

Geen objectieve score

Spoiler: het is niet mogelijk een objectieve score te geven aan de gebruiksvriendelijkheid van een digitaal product. Je kan alleen de perceptie van de gebruiksvriendelijkheid meten, oftewel of de klanten het gebruiksvriendelijk vinden. Daarbij is het belangrijk te beseffen dat mensen die een sterke zelf-monitoring als karaktereigenschap hebben, vaak inconsistente antwoorden en sociaal wenselijke reacties geven.

Sinds de jaren tachtig zijn er meerdere vragenlijsten ontwikkeld die gebruikt worden om de (perceptie van) gebruiksvriendelijkheid te meten. Ze bevatten allemaal verschillende formuleringen en structuur, maar komen op hetzelfde neer: je krijgt een eenduidig cijfer als resultaat.

Vragenlijsten

De SUS (System Usability Scale) is een van de oudste en meest populaire vragenlijsten die gebruiksvriendelijkheid meten. Dit is te danken aan het feit dat het open source is, dat het bekend is en ook dat het vertaald is naar meerdere talen. Deze vragenlijst, met 10 stellingen, is wetenschappelijk getest op validity (of het meet wat het moet meten) en reliability (of het consistente resultaten geeft wanneer het getest is in meerdere testrondes).

In 2010 is het UMUX (Usability Metric for User Experience) ontworpen die met 4 stellingen dezelfde resultaten bereikt als SUS. In 2013 is een UMUX-Lite getest die het zelfs met 2 vragen kan:

De tevredenheidsscore geeft aan in hoeverre de daadwerkelijke prestatie van het product correspondeert aan de verwachtingen van de gebruiker. Vooraf vragen stellen over de verwachtingen en daarna over de daadwerkelijke ervaring lijkt een goede oplossing te zijn. In praktijk is dit niet altijd even handig. Dit kan komen omdat je de klant zo snel mogelijk door de onboarding heen wilt laten gaan of omdat je de klant niet tweemaal met een vragenlijst wilt vermoeien, hoe kort deze ook is.

Disconfirmation scale

Gelukkig kan het makkelijker. Er zijn aanwijzingen dat een Disconfirmation Scale de tevredenheid even goed kan meten als de methode die we zojuist beschreven. Met deze methode vraag je de klant over zijn/haar tevredenheid met het product ten opzichte van de verwachtingen vooraf.

Het is bekend dat mensen hun herinneringen onbewust achteraf kunnen aanpassen zodat die een consistent beeld vormen met de gedachten van nu (dit effect heet rationalisering). Maar ook al kan dat effect aanwezig zijn in de Disconfirmation scale, dan nog is dat niet per sé erg. Het belangrijkste is welke indruk het product uiteindelijk heeft achtergelaten bij de klant, en wat hij daarvan vindt.

Deze aanpak werkt het best voor het meten van een ‘algemene’ tevredenheid van het product.

Wil je een kleinere flow of onderdelen van een digitaal product meten? Dan is de Disconfirmation scale niet de meest praktische methode. Over het algemeen zijn mensen veel minder bewust over hun verwachtingen wat betreft kleinere of transactionele onderdelen. Vragen zoals ‘Was de onboarding beter of slechter dan je het had verwacht?’ zullen weinig zinvolle antwoorden opleveren.

Voor dit soort doelen is de Customer Satisfaction Index (CSAT) een goede keuze. Het meet de tevredenheid in het ‘hier en nu’, en daarmee kan je inzoomen op specifieke activiteiten of onderdelen van het product - checkout flow, bezorging, klantenservice enz.

Om realistische resultaten te krijgen moet je ervoor zorgen dat de vraagstelling neutraal is, dus geen ‘Hoe tevreden ben je met X?’ maar wel ‘Wat vind je van X?’

De Net Promoter Score (NPS) wordt vaak gebruikt als een methode om de tevredenheid te peilen. De NPS is echter een waarde die de loyaliteit en uitgesproken intenties meet en niet per sé de tevredenheid (ook al zit daar een correlatie tussen).

Daarnaast is er veel kritiek over de manier hoe de calculaties van de NPS gedaan worden. Jared Spool, expert, onderzoeker en spreker op het gebied van usability, software, en design vat het hier duidelijk samen. Er zijn dus genoeg redenen om NPS niet te gaan gebruiken voor dit doel.

Andere parameters

Parameters zoals adoption rate, retention rate en churn rate zijn ook nuttig om te volgen. Ze geven alleen een indirecte indicatie van tevredenheid en kunnen niet als een losstaand getal bekeken worden: op zichzelf zegt ‘39% adoption rate’ weinig. Daarom worden deze metingen per periode gemeten zodat je de trends in de loop van de tijd kan zien, en ze moeten ook in de context van de industrie benchmark bekeken worden. Hiermee kan je zien of het beter of slechter aan het worden is.

Achterhalen of het product relevant is en matcht met de behoeften van de klanten is de heilige graal van het productontwikkelingsproces. Je wil weten of wat je bouwt ertoe doet, en of er een product-market fit bereikt is. In het kort: ‘Verkopen we iets wat mensen nodig hebben?’

Er is helaas geen silver bullet om deze vraag makkelijk te beantwoorden, laat staan met een harde cijfer of percentage. Was het wel gemakkelijk, dan zou ‘Geen marktbehoefte’ niet de belangrijkste reden zijn waardoor 42% van de startups faalt.

Om zo goed mogelijk in te schatten hoe relevant jouw product is moet je een mix van kwalitatieve en kwantitatieve methodes gebruiken. Wat betreft kwantitatief meetbare opties kan je de volgende methodes gebruiken om aanwijzingen te krijgen of jouw product relevant is voor de eindgebruiker.

‘Hoe teleurgesteld zou je zijn…’

Een van de manieren om de relevantie van het product te meten is beschreven in het boek ‘Hacking Growth: How Today's Fastest-Growing Companies Drive Breakout Success’. Stel de volgende vraag aan jouw klanten die het product recentelijk heeft gebruikt: ‘Hoe teleurgesteld zou je zijn als je dit product niet meer zou kunnen gebruiken?’.

Als meer dan 40% van de klanten aangeeft dat ze teleurgesteld zouden zijn, heb je de product market fit bereikt (oftewel: jouw product is nuttig en relevant). Deze aanpak is goed te gebruiken voor producten die nog in ontwikkeling zijn en nog niet gedefinieerd hebben wat hun Unique Selling Points zijn.

Stel dat je product nog niet ontwikkeld hebt, of nog geen customer base hebt. In dat geval moet je het doen met jouw eigen aannames en de voorspellingen die jouw doelgroep maakt over hun eigen gedrag. De antwoorden op dit soort hypothetische vragen zijn minder betrouwbaar dan vragen over gedrag in het verleden.

Technology Acceptance Model (TAM) wordt gebruikt om onder andere de perceptie van het nut te meten. Dit kan je gebruiken om een gevoel te krijgen of er behoefte is aan het product. Het is nodig om de vragenlijst aan te passen en te customizen per product en enquête op basis van het model.

Een ander model met meer nuances dan TAM is het Universal Theory of Acceptance and Use of Technology (UTAUT). Deze nuancering houdt echter in dat je ook heel veel meer vragen zult moeten stellen.

Combinatie van kwantitatieve en kwalitatieve methodes nodig.

Omdat product relevantie een heel complex onderwerp is kan je het niet (alleen) met een vragenlijst meten en met een cijfer uitdrukken. Zorg dat je meerdere methodes gebruikt, bijvoorbeeld customer journey mapping, Jobs To Be Done interviews, verschillende LEAN experimenten (pre-selling, landing page, explainer video), enz. Meerdere methodes bij elkaar geven een duidelijker beeld en zekerheid in het antwoord.

Nadat de basis van jouw digitale dienst op orde is, kijk je verder. Hoe overtref je de verwachtingen van de klant en maak je hem/haar enthousiast over jouw product/organisatie? Het bereiken van de customer delight, die vluchtige ‘extra’ is het nieuwe doel.

Wat houdt ‘delight’ dan precies in? Dat ligt aan jouw organisatie. Er bestaat geen eenduidige definitie van delight, en het wordt door verschillende organisaties en mensen op verschillende manieren geïnterpreteerd.

De vraag is dan ook of jouw product per sé het gevoel van ‘delight’ moet creëren. Het is geen ultiem doel van UX. Voor sommige industrieën zou je naar een ander gewenst gevoel moeten zoeken. Voor een belastingadviseursbureau kan het ‘solide’ of ‘kalm’ zijn. Voor een b2b shipping bedrijf is ‘betrouwbaar’ of ‘zakelijk’ een passend gevoel. ‘Delight’ kan in dit soort industrieën onterecht zijn of zelfs averechts werken.

Lijst van bijvoeglijke naamwoorden

Een van de makkelijkste manieren om delight te meten is om een aantal bijvoeglijke naamwoorden die de door jullie geambieerde emoties en waardes vertegenwoordigen, voor te leggen aan de klant. Zet ook negatieve emoties in die lijst, en waardes die tegenovergesteld zijn aan wat je wil bereiken. De klant moet aangeven hoe vaak hij of zij die emoties ervaart met het product.

In veel definities impliceert ‘delight’ dat het een positieve verrassing is. Als je iets eenmaal hebt ervaren of gezien, is het geen verrassing of delight meer, maar iets gewoons wat je verwacht. Het KANO model biedt verdere inzicht in hoe dit effect werkt.

Het gebruiken van UX als een manier om de business doelen te bereiken is de laatste stap in de reis naar UX maturity. Daarbij hoort ook het meten van het effect van UX op de beoogde businessdoelen.

Hoe pak je dit aan?

Hier bestaat geen one-size-fits-all oplossing voor. Afhankelijk van wat jouw bedrijf wil bereiken en welke producten of oplossingen het aanbiedt, ga je het op verschillende manieren meten.

Je begint met de businessdoelen. Dit is van toepassing voor NGO’s en voor for-profit bedrijven. Is dit groei? Efficiëntie? Gedragsverandering? Welke rol speelt het (digitaal) product in het bereiken van dat doel? Leg het vast. Deze rol vertaal je naar de specifieke doelen, die je daarna met de techniek Goals-Signals-Metrics van de Google HEART methode verder kan definiëren.

Klinkt ingewikkeld? Een voorbeeld om dit te verduidelijken. De doelen die niet direct uitgedrukt worden in aantallen conversies of in verdiensten zijn moeilijker te behandelen, dus bespreken we een fictief product voor een non-profit als voorbeeld.

Voorbeeld

Stel dat de Ministerie van Volksgezondheid, Welzijn en Sport een app uitbrengt die anoniem mensen begeleidt in het stoppen met roken.

Wat is het doel van de Ministerie? Wat doen ze om deze visie te verwezenlijken?

• Nederland gezond en wel is de visie

• Een van de stappen is de ‘Stop met roken’ app

Wat is het doel van deze app?

• De gebruikers begeleiden bij het succesvol stoppen met roken

Wat zijn de signalen dat de gebruikers (gaan) stoppen met roken?

• De gebruikers beginnen aan het stappenplan

• De gebruikers volgen het stappenplan van stoppen met roken

• De gebruikers houden de nieuwe gewoonte vol en beginnen niet opnieuw met roken

Wat zijn de digitale metrics van de stap ‘volgen het stappenplan’?

• Totale percentage van mensen die in de laatste 7 dagen minstens 5 keer hebben aangegeven niet te hebben gerookt

• Percentage van mensen die halverwege het stappenplan dagelijks blijven inchecken

• Percentage van mensen die het stappenplan afrondt

Dit soort metrics moeten in de loop van de tijd gemeten worden. Hierbij ben je vooral benieuwd naar de trend, en niet per sé naar het absolute getal. Op het moment dat een percentage ná de UX-verandering hoger is geworden dan voor, heb je een meting van de impact van het UX werk. Als er meerdere aanpassingen in die periode zijn geweest binnen en buiten het UX gebied van de app is de trend natuurlijk minder direct toe te schrijven aan UX.

Experience metrics en metrics van het effect van UX

Je ziet: hier geen voorbeelden van conversion rate, tevredenheid, task success. Dit zijn de metrics van de ervaring en zijn instrumenteel in het bereiken van goede experience - en indirect de business doelen. Maar deze scores, ook al zijn ze belangrijk, betekenen niet per sé dat het business doel van de app is bereikt.

Deze metingen zijn moeilijk te definiëren en eisen volwassenheid van de organisatie en duidelijkheid vanuit het management over wat ‘succes’ betekent. Gesprekken hierover helpen de rol van UX dichterbij de business en strategische bedrijfskeuzes te brengen.

Een score is geen inzicht!

De methodes in dit artikel zijn kwantitatief en resulteren dus in een score. Maar hoe handig ze ook zijn, ze vertellen alleen het ‘wat’ van het verhaal en moeten verder aangevuld worden met andere onderzoeksmethodes om het ‘waarom’ te achterhalen. Met deze kwantitatieve inzichten kan je vaak de verbeteringen in de loop van de tijd meten of de huidige score vergelijken met een benchmark van de industriegemiddelde. Verder biedt zo’n score geen inzicht in welke stappen je moet nemen om het te verbeteren. Zo’n kwantitatieve meting kan je het best aanvullen met kwalitatief onderzoek die ook antwoorden biedt op vragen zoals ‘waarom vinden mensen dit?’, of ‘wat verwachten onze klanten?’.

Een score is maar een score. Wat je daarmee doet is wat het echte verschil maakt.