userneeds @anous

user checksagile usability testing

One day workshop by Userneeds - Anouschka Scholten Assisted by Arjanne Anouk Interact - Arjanne de Wolf

Hosted by Design by Fire23th of January 2015, Fort aan de Klop

userneeds @anous

learningby doing

zelf agile usability testen

userneeds @anous

agenda

Introduction9:30 uur

We split up10:15 uur

LUNCH12:30 -13:00 UUR

Plenair15:00 uur

Background & practical need to knows

Plan the user check (till 10:50)

Conduct the user check, 1st round (till 12:00)

Analyse the findings

Translate findings into a better design (till 14:15)

Conduct the user check with other user(s), 2nd round(till 14:45)

Wrap it all up (till 15:00)

Share your experiences: 10 minute presentation per group (till 15:40)

Learnings

userneeds @anous

person

needs

goal

Image: source http://thenextweb.com/dd/2014/05/27/context-design-seize-magic-moment/

userneeds @anous

Start- en eindlocatie

invullen

Route voorbereiden

Hoe lang duurt de reis,

ik wil echt op tijd zijn!

userneeds @anous

Waar? Hoe kan ik

die andere locatie

ingeven?Ik wil niet delen, opslaan of

favoriet maken…

Opnieuw proberen, misschien

eerst de eindlocatie ingeven?

Verdorie ik moet weg

Wat is dit nou??!!!Wat ben ik toch dom…

Dan maar naar de webversie

van Google Maps

userneeds @anousImage source: http://www.techrepublic.com/blog/web-designer/balancing-the-website-design-between-business-

objectives-and-user-experience/

userneeds @anous

A good user experiencefit users’ expectations and meet their goals

It goes beyond

usability:

the facets of UX

by Peter Morvillehttp://semanticstudios.com/us

er_experience_design/

userneeds @anous

Slides with the hierarchy:

http://www.slideshare.net/stephenpa/creating-pleasurable-

interfaces-getting-from-tasks-to-experiences

userneeds @anous

userneeds @anousUCD process diagram (© Tom Wellings)

Source http://www.emotivesystems.co.uk/ucd-process-diagram-and-guidelines/

userneeds @anous

Definitie Usability Test

” The extent to which a product can

be used by specified users to

achieve specified goals with

effectiveness, efficiency, and

satisfaction in a specified context

of use.”

The International Organization for Standardization (IOS)

userneeds @anous

Misvattingen

Iedereen kan usability testenJawel, iedereen kan het doen, maar weinigen doen het goed: ervaring is een belangrijke factor, wat zeg je wel en wat juist niet, hoe coordineer je…

Usability testen gaat alleen om het testen van de usability De meeste usability testen, testen de volledige user experience

Het gaat met name om kwantitatieve metingenNee, het gaat juist om het achterhalen van WAAROM er iets gebeurt

See all 17 myths: http://www.uxmatters.com/mt/archives/2015/01/17-

usability-testing-myths-and-misconceptions.php

userneeds @anous

Getting to

empathyA key function of usability testing

userneeds @anous

Usability testing

is about

observing behaviour

Watch the user do what comes naturally,while performing a task. Don't help.Not asking about opinion.

userneeds @anous

Hardop denken

Synchroon hardop denkenje vraagt de testpersoon tijdens het uitvoeren van de taak hardop te

denken

Retrospectief hardop denkende testpersoon voert eerst de taak uit en licht deze achteraf toe door de

opgenomen acties opnieuw te bekijken

userneeds @anous

Usability Test traditional

1 round of testing

In a lab environment, eye tracking

Moderator is a UX’er, designer indirectly involved

Process based

userneeds @anous

Nadelen traditioneel

Usablity test

• Blijft vaak allleen bij aanbevelingen

• Meestal geen hertest

• Kosten en resources: beschikking over lab,

eyetracking apparatuur en UX researcher

• Lang van te voren inplannen (zeker 1 mnd)

• Niet in werkelijke context van gebruik,

kunstmatige omgeving

userneeds @anous

Guerilla Usability Testing

No testplan, just do

it

In the user context

(on the street, in

house,…)

Designer, product

owner involved

Result based

userneeds @anous

Nadelen Guerilla usability

testing

• Te ad hoc, geen plan, geen focus

• Niet perse met de doelgroep

• Vaak geen ervaren UX interviewers

• Observatie wordt vaak onvoldoende vastgelegd

waardoor de evaluatie en vertaalslag discutabel

kan zijn

• Vaak geen hertest

userneeds @anous

Test and retest within 1 week

In the users context, easy set up

Designer conducts the test

Value based

User Checks Agile Usability Test

userneeds @anous

Nadelen Agile Usability

Test

• Designer kan te betrokken zijn, te onervaren

• Zware druk op verbeteren ontwerp binnen agile

process (keeping in pace with development)

• ‘high fidelity’ testing vraagt om hoge kwaliteit en

snelheid van teams voor hertest, multi disciplinaire

inzet: product owners, IxD, visual design en

content

userneeds @anous

What’s your focus?

Do you aim for

• One usability test, thoroughly, the result is scoped and used in the final design> Process first

• Getting out of the building, seeing a or several people use your design and learn from that> Result first

• Usability test often and iterate within each test, learning more each time, aiming for a better design> Value first

userneeds @anous

Design new site ggdhaaglanden.nl

User check with a doctor in his office

GGD Haaglanden project Angi Studio:

http://angistudio.com/cases/ggd-haaglanden.html

userneeds @anous

Ik weet niet wat OGGZ betekent, Milieu en Gezondheid…is dit voor mij?

Van

GGD Haaglanden project Angi Studio: http://angistudio.com/cases/ggd-haaglanden.html

Menu indeling: geen overzicht, inzicht, herkenning, focus… voldoet niet aan verwachting, weg wordt

niet gevonden

userneeds @anous

Natuurlijk, ook SOA en bezorgd over kinder-mishandeling… ja, belangrijk!

Naar

GGD Haaglanden project Angi Studio: http://angistudio.com/cases/ggd-haaglanden.html

Wijzigingen op verschillende niveaus: wat waar onder valt, naamgeving, hiërarchie, toevoeging visuele

cues (affordance), less is more…

userneeds @anous

Herontwerp LINDA abonnement afnemen

Tijdens de user

check…brandoefening?!

userneeds @anous

Bij Meiden verwacht ik 14 tot 21...oh, ik denk dat ik toch wel in die doelgroep val als ik het zo lees

Bij de pop-up informatie LINDA.meiden

Project van Angi Studio: http://angistudio.com

Herontwerp

LINDA abonnement afnemen

userneeds @anous

“Zo onder elkaar is duidelijk, je kunt er zo doorheen”

Sub home abonnementen

met cadeau - mobiel

Lange lijst om te scrollen

vormde geen enkel

probleem

2e ronde: de footer met

next steps menu werd wel

gebruikt

Navigeren met hoofdmenu

gebeurde 1e ronde niet

Sticky menu bood ook geen

oplossing… dead end

Project van Angi Studio: http://angistudio.com/

userneeds @anous

zooming inagile usability testing

userneeds @anous

2e ronde

1e ronde

1Design en Testdoel

2 Gebruikers

doelen

3 Taak

scenario’s

4Testen

5 Bevindingen

Evalueren

6Ontwerp

verbeteren

7 Hertesten

8 Bevindingen

Evalueren

Opnieuw

of

Naar

definitief

ontwerp

Agile usability test cycle in 1 week

userneeds @anous

Focus van de test

• Welke organisatiedoelstelling is key:

Meer/of iets nieuws verkopen, service kosten

verminderen, kennisdeling bevorderen, meer

abonnees, self service…

• High of low fidelity design, of de live site

• Doelgroep: hoofd- en sub doelgroepen; eerste

keer gebruik, terugkerend; met name mobiel…

1Design en Testdoel

userneeds @anous

Aantal respondenten

Steve Krug zegt dat 3 testpersonen genoeg zijn,

terwijl Jacob Nielsen het over 5 gebruikers heeft.

Nielsen gaat ervan uit dat je met 5 testpersonen

75% van de problemen achterhaalt. Daarna zul je

niet zoveel nieuwe problemen meer tegenkomen.

Bij Agile usability testen, per ronde minimaal 2 en

idealiter 4 gebruikers

userneeds @anous

Met betrekking tot de focus

Wat is het doel, de

motivatie van de gebruiker

• <Reis site> Een exclusief reisje voor de familie met de

kerst, eentje die ze zich blijven herinneren

• <Telefoonaanbieder site> Ik wil een aantrekkelijk

telefoonabonnement waar ik niet te lang aan vast zit

• <Bank site> Mijn kinderen verdienen een fijne

toekomst en ik wil ze op weg helpen als ze op hun

eigen benen gaan staan, is sparen of beleggen het

beste

2 Gebruikers

doelen

userneeds @anous

Met betrekking tot het gebruikersdoel

In welke realistische

situatie, welke taak

• Gebruikersdoel: De druilerige zondag doorkomen met mijn vrienden, naar een leuke film.

• Taak: Het is zondagochtend en het regent, je hebt zinom naar de film te gaan met je vrienden vanmiddag en gaat meteen kijken.Kijk op <site> voor een film om met je vriendennaartoe te gaan vanmiddag.

• Zeg niet: Gebruik <site> en zoek naar een film om naartoe te gaan vanmiddag. Vertel me waar je op geklikt hebt

3 Taak

scenario’s

userneeds @anous

Observeer en luister

actief

• Voorgesprek• Introductie: doel test en duur + opname toestemming

Kort interview, wie heb je voor je

• Taakopdracht(en)• Hardopdenk instructies, niet jij wordt getest

Prototype uitlegTaak voorleggen/vertellenTaak hardop denkend laten uitvoeren, niet onderbreken

• Evaluatie taak• Open vragen, pad doorlopen, verwachtingen checken

en doorvragen

• Afsluitende vragen, bedanken en evt. vergoedingof incentive geven.

4Testen

userneeds @anous

Testopstelling en rollen

• 1 proefleider

• 1 observator (2 of meer mag, maar kan de

gebruiker te veel afleiden)

• Testopstelling: proefleider en observator zitten

schuin achter de respondent (kunnen meekijken

op device en gezichtsuitdrukking zien)

• Audio opname (via je telefoon) ter naslag

• Wat ook kan, maar maakt het minder eenvoudig:

Video opname apparatuur

Evt. screen recording software: TechSmith’s Morae (PC only) of

Silverback (Mac only)

userneeds @anous

Actief luisteren & Vragen

stellen

userneeds @anous

Observeren en eigen houding

8% Inhoud

37% Intonatie

55% Houding

Bron: Training Interviewtechnieken van de Rabobank

userneeds @anous

Basishouding

• Toon: warm, rustig, zachtjes, harmonieus

• Houding: open, uitnodigend, naar voren gebogen, rustig aankijken

• Sfeer: belangstellend, vertrouwd

• Gedrag: vriendelijk, geïnteresseerd, betrokken, nieuwsgierig

alles wat gebruiker zegt/doet is goed

zelf geen oordeel hebben

Bron: Training Interviewtechnieken van de Rabobank

userneeds @anous

Test wenselijk gedrag

doorbreken

• Niets of heel weinig zeggen

Waar denk je aan? Wil je blijven praten?

• Niet hardop voor zichzelf, maar tegen jou als

proefleider

‘Goed om te weten, maar wil je voor jezelf praten,

niet tegen mij?’

• ‘Ik denk dat het voor de meeste mensen heel

handig is’

Okay, maar hoe is het voor jou? Waarom?

userneeds @anous

De kunst van de juiste vragen stellen

op het juiste moment

• Taakuitvoering eerst

Niet interfereren, laten aanmodderen dus

• Open evaluatievragen na de taakuitvoering

Actief luisteren

Luisteren, Samenvatten en Doorvragen

• Evt. extra (open) vragen

Wat verbeteren, Hoe benoemen, Aanbevelen?

userneeds @anous

Standaardzinnen evaluatie

“Als ik je goed begrijp zeg je…”

“Kun je daar een voorbeeld van geven?”

“Wat vind jij er zelf van? Wat zou jij graag willen?”

“Wat verwacht je/ is voor jou het meest logisch?”

“Wat zou jou het meest helpen (in jouw werkzaamheden)?”

“Jij bent vast niet de enige die er zo over denkt…”

“Hoe zou het beter kunnen?”

“Wanneer ben jij tevreden?”

“Wat vind je het belangrijkst?”

userneeds @anous

Plenair evalueren5 Bevindingen

Evalueren

• Zet de plus- en knelpunten op rij, wat zijn de

grootste issues (tav doelstellingen van de

test)?

• Maak een lijst met mogelijke verbeterpunten

(volgorde is nog niet van belang)

userneeds @anous

Wat verbeteren en

hoe

6Ontwerp

verbeteren

Per verbeterpunt

• Prioriteer de Impact (tav test-/gebruikersdoel): 1 Lage impact 2 Gemiddelde impact 3 Hoge Impact

• Maak een inschatting van de inzet van expertise, tijden/of geld:1 Kost veel moeite2 Lastiger door te voeren3 Eenvoudig door te voeren

• Bepaal met de verantwoordelijke belanghebbenden watverbeterd wordt voor de hertest en voer dat door

> Hertest (7) en Evalueer de bevindingen (8)

userneeds @anous

Hertest hypothese formuleren

In de lean startup methode wordt elke validatiemoment via hypotheses getest. Dit kun je ook op ronde 2 toepassen:

Op basis van de 1e user check ronde, denken we dat de UX verbetert door

{een herindeling van..; toevoegen van persoonlijke artikelen; het toevoegen van testimonials; een subtielere manier van feed forward; beter contrast…}

We hebben gelijk wanneer in de 2e ronde user checks{dit en dat gebeurt of juist niet gebeurt, gezegd wordt; gezienwordt; op geklikt wordt…} en daardoor {gebruikersdoel x} (beter) bereikt wordt.

userneeds @anous

This is how we do it…

SitatieschetsAnouschka gaat over 1 maand naar Oostenrijk op vakantie en realiseert zich dat haar rijbewijs dan nietmeer geldig is.Ze wil snel haar rijbewijs verlengen en besluit ditdirect te regelen.

Ze gaat hiervoor naar de site van de gemeenteUtrecht

…

userneeds @anous

short 10 minbreak

userneeds @anous

Opsplitsen in 2 groepen

Elke groep krijgt een eigen site toegewezen

waar zij user checks mee gaan uitvoeren

userneeds @anous

Group I

Interaction15.com

userneeds @anous

Group II

UIE.com – User Interface Engineering

userneeds @anous

Nu jullie, per groep

Ronde 1 Voorbereiding samen- Bedenk de mogelijke organisatiedoelstellingen, kies er eentje voor de test

- Welke doelgroepen hierbij met welke gebruikerdoel(en)? Kies…

- Formuleer taakscenario(‘s): vanuit een werkelijke situatie, context van gebruik, actiegericht, in de taal van de gebruiker

Voer een user check uit met het vastgestelde taakscenario(doe twee user checks achter elkaar, mits de tijd het toelaat)

- Bedenk per keer: wie vervult welke rol en hoe wordt er geobserveerd, hoe vastgelegd

- Vraag iemand uit de andere groep als respondent en voer de test uit

- Na taakuitvoering, de ‘respondent’ gaat weer terug naar zijn groep

Evalueer de test met elkaar, nadat beide user checks zijngeweest

- Zet de bevindingen op geeltjes, wat zijn de grootste knelpunten (t.a.v. de gekozen test-/gebruikersdoel(en))

Om 12:30 uur LUNCH tot 13 uur

userneeds @anous

De 2e ronde – na de lunch

Brainstorm wat er verbeterd kan worden nav de belangrijksteknelpunten

- Maak een lijst met mogelijke verbetervoorstellen (volgorde is nog nietvan belang), max. 10

Per verbeterpuntPrioriteer de Impact (tav test-/gebruikersdoel): 1 Lage impact 2 Gemiddelde impact 3 Hoge Impact

Maak een inschatting van de inzet van expertise, tijd en/of geld:1 Kost veel moeite2 Lastiger door te voeren3 Eenvoudig door te voeren

Voer voor vandaag iets door wat haalbaar is voor de workshop: in paper prototyping, in elkaar gehackt via prototype tool of anderszins. Formuleer het evt. in een hypothese

Hertest 2x (voer opnieuw 2 user checks uit), telkens met eenandere persoon uit de andere groep (zie ronde 1)

Evalueer de test, in hoeverre heeft de verbeterslag gewerkt? Watkan beter, waarom en hoe? > zet de conclusies op rij

Om 15:20 uur: korte pauze 10 min

userneeds @anous

Tot slot

Presenteer per groep hoe het is gegaan

Learnings wat neem jij mee?

Afronding van de dag

userneeds @anous

Wat neem jij mee van de workshop?

userneeds @anous

Vragen?

userneeds @anous

Dank jullie wel!

Image source: http://www.satukyrolainen.com/cartoons/ux-cartoons/

userneeds @anous

Voorbeeld Voorstellen

In spreekstijl

Hallo, hoe is het met u? Fijn dat u tijd voor ons vrijmaakt!Mijn naam is Anouschka Scholten. Ik neem dit interview af en met mij is <naam collega> die het interview vastlegt. Ook hebben we <naam> meegenomen, hij werkt sinds kort bij ons en kijkt graag een keertje mee.Wij zijn van Userneeds en helpen <organisatie x> met het neerzetten van websites en in dit geval eigenlijk meer een webapplicatie.

<Organisatie x> vindt het belangrijk dat de webapplicatie gemakkelijk werkt voor degenen die er mee aan de slag gaan. Daarom willen we u een aantal vragen stellen en u de eerste ontwerpschetsen voorleggen. Het interview neemt ongeveer een uur in beslag.

Heeft u er bezwaar tegen als we de sessie opnemen ter naslag ? Alles wat we bespreken en opnemen wordt vertrouwelijk behandeld!Heeft u nog vragen?

userneeds @anous

Voorbeeld instructies (1)Prototype instructieWe testen een ontwerp en daarvoor maken we gebruik van een prototype. Het prototype presenteert webpagina’s zoals het moet gaan worden. Dit betekent dat niet alles klikbaar is of werkt en dat onderdelen niet ingevuld zijn. Schrik dus niet als er iets niet werkt, daar kunt u niets aan doen!

<Na voorleggen van de situatieschets en opdracht>

Hardopdenk instructie (formeel)Tijdens het uitvoeren van de taak wil ik u vragen om hardop te praten terwijl u bezig bent: probeer alles waar u aan denkt, hardop te verwoorden. Dus ook al denkt u tussendoor ‘ik moet niet vergeten nog boodschappen te doen’ ik wil het allemaal horen, niks is fout! Zegt u niets dan zal ik vragen waar u aan denkt.U praat niet tegen mij, maar voor uzelf en ik zal dus ook geen antwoord geven.

Hardopdenk instructie (minder formeel)

Ga uw gang en…Als u zo de site doorloopt, wilt u proberen hardop te zeggen wat u denkt? Niet tegen mij, maar voor uzelf?Niets is fout, alles is goed, bijv. ook ’wat is dit nou weer?!’

userneeds @anous

Voorbeeld Testsessie agenda en instructies (2)

Onderdeel Duur in minuten

1 Introductie en interview vooraf 102 Taakopdrachten (hardopdenkend) + evaluatie

per taak30

3 Overall evaluatie/vragen 104 Afsluiting

Agenda per testsessie

Elke respondent doorloopt één testsessie van driekwartier tot maximaal een uur. Een

sessie bestaat uit de volgende onderdelen:

Introductie en interview vooraf (20 min.)

• Welkom, koffie/thee/water

• Korte achtergrondschets geven van de doelstellingen van de test (organisatie vindt

het belangrijk dat datgene wat wordt ontwikkeld ook te gebruiken is en gewaardeerd

wordt…. etc.).

Benadrukken: niet de persoon wordt getest maar het ontwerp, hij/zij hoeft zich

niet druk te maken over wat anderen ervan vinden, we zijn geïnteresseerd in

haar/zijn/ervaringen.

• Uitleg over hoe lang het ongeveer duurt en wat de respondent te wachten

staat (agenda).

• Gegevens worden vertrouwelijk behandeld.

• Toestemming vragen om opname.

userneeds @anous

Voorbeeld Vragen voorafPersoon & Context

1. Wat is uw leeftijd (voor zover onbekend).

2. Hoe ziet uw (werk)dag er uit? (doorvragen om te achterhalen wat focus heeft/wat niet en hoe, om aan te sluiten bij de taak zo dadelijk)

3. Zit u vaak op internet, waar gebruikt u het zoal voor: e-mailen, sites bekijken, bankzaken regelen? (Ervaringsvraag)

4. Gebruikt u internet ook op uw mobiel? Zo ja, welk type/wanneer/waarvoor/ hoe vaak?En op een tablet? Zo ja, welk type/wanneer/waarvoor/ hoe vaak?

5. Wat maakt dat u met een glimlach op staat (om te gaan werken, dat u er echt zin in heeft)?

6. Waar ligt u wel eens wakker van, vindt u minder makkelijk (in uw werk)?

userneeds @anous

Voorbeeld Afronding sessie

Voorbeeld overall vragen

• Mist u iets? Zou u zo aan de slag kunnen denkt u? Waarom wel/niet? Wat heeft u nog nodig?

• Hoe zou het beter kunnen vindt u? Waarom?

• Als u de website zoals u deze heeft gezien, zou omschrijven in 3 woorden, welke woorden zou u dan noemen? (Bijv. standaard, spannend, warm, saai,…Waarom per woord, in welke mate).

Afronding

Hartelijk dank voor uw medewerking!

Hoe heeft u het interview ervaren? Bent u evt. bereid nogmaals deel te nemen aan een interview?

Vindt u het goed als we een fotootje van u nemen voor het verslag dat alleen aan de betrokken projectleden wordt getoond?

Uw foto wordt absoluut niet zonder uw toestemming verspreid!

userneeds @anous

toetje…the usability test of fruit