CHI: evaluation

evaluatie van gebruikersinterfaces

erik duvalK.U.Leuven

http://www.cs.kuleuven.be/~erikd 1

Wednesday 18 February 2009

http://www.cs.kuleuven.be

http://www.cs.kuleuven.be

2


3

http

://ww

w.sli

desh

are.

net/e

rik.d

uval


http://www.slideshare.net/erik.duval

http://www.slideshare.net/erik.duval

Criteria voor evaluatie•consistentie

•makkelijk aan te leren

•gelijke functionaliteit groeperen

•snelheid om iets te doen

•duidelijk wat je aan het doen bent

•één handeling voor meer functies

•maar 3 handels op 1 venster

•kans om fouten te maken, aantal en aard

• feedback

• leeftijd: terminologie


ook...

•meetbaar


Criteria voor evaluatieverband tussen wat je ziet en wat je wil doen

weinig clicks

“platform-onafhankelijk”

overzichtelijk

leesbaar - kleurcombinatie

consistentie

geen onnodige dingen

lage leertijd

esthetisch uitzicht

fouten opvangen & ongedaan maken

welke toestand? navigatie?


criteria

•Usability

•Usefulness

•Meaning

•(esthetic) Qualities

•Sociability


Criteria


Criteria

•Leertijd


Criteria

•Leertijd •Tijd om taak uit te voeren


Criteria

•Leertijd •Tijd om taak uit te voeren •Aantal en soort fouten


Criteria

•Leertijd •Tijd om taak uit te voeren •Aantal en soort fouten•Tijd dat gebruikers zich herinneren hoe taken te

volbrengen


Criteria


volbrengen •Subjectief gevoel van voldoening bij gebruikers


Criteria


volbrengen •Subjectief gevoel van voldoening bij gebruikers

Vaak compromis nodig, explicitering belangrijk!


Factoren die invloed uitoefenen

• ervaren

• taal, cultuur

• kennis acterliggend systeem

• frekwentie

• afleiding (auto)

• interactie modus (geluid op bouwwerf)

• vermoeidheid, comfort


Factoren die invloed uitoefenen

• scholing

• fysische omgeving (onder water)

• apple fans

• intelligentie

• lichaamsbouw

• hoe vaak gebruikt

• lichamelijke beperkingen

• geslacht

• flexibiliteit

• reden waarom gebruikt

• grootte doelgroep


Factoren: Fysisch


Factoren: Fysisch•Ook zonder computers


Factoren: Fysisch•Ook zonder computers •Antropometrie


Factoren: Fysisch•Ook zonder computers •Antropometrie•Afmetingen arm, hand, vinger, hefkracht, enz.



•Aanpasbaar indien gebruikers te verschillend



•Aanpasbaar indien gebruikers te verschillend•vb. helderheid




•Zicht (perifeer en centraal, kleuren, enz.), tast, gehoor




•Zicht (perifeer en centraal, kleuren, enz.), tast, gehoor•Ergonomie: hoogte werkblad, beenruimte, hoek

van leuning, verlichting, enz.




•Zicht (perifeer en centraal, kleuren, enz.), tast, gehoor•Ergonomie: hoogte werkblad, beenruimte, hoek

van leuning, verlichting, enz. •Lay-out van kantoor of leslokaal voor meer of

minder interactieWednesday 18 February 2009

Factoren: Cognitief


Factoren: Cognitief

•Probleemoplossend vermogen


Factoren: Cognitief

•Probleemoplossend vermogen•Geheugen (korte en lange termijn)


Factoren: Cognitief

•Probleemoplossend vermogen•Geheugen (korte en lange termijn)•Concentratie


Factoren: Cognitief

•Probleemoplossend vermogen•Geheugen (korte en lange termijn)•Concentratie•Beïnvloed door

vermoeidheid, verveling, stress, angst, leeftijd, ...


Factoren: Cognitief


vermoeidheid, verveling, stress, angst, leeftijd, ...•Intelligentie is meer omstreden


Factoren: Cognitief


vermoeidheid, verveling, stress, angst, leeftijd, ...•Intelligentie is meer omstreden•Kennis van het domein en computerervaring


Factoren: Persoonlijkheid



•Assertief vs. passief



•Assertief vs. passief•Angst voor/verslaving aan computers



•Assertief vs. passief•Angst voor/verslaving aan computers•Grafisch versus tekst



•Assertief vs. passief•Angst voor/verslaving aan computers•Grafisch versus tekst•Man versus vrouw ('abort')



•Assertief vs. passief•Angst voor/verslaving aan computers•Grafisch versus tekst•Man versus vrouw ('abort')•Myers-Briggs Type Indicator (skepsis alert!)




•Extrovert vs. introvert




•Extrovert vs. introvert •Denken vs. intuitie




•Extrovert vs. introvert •Denken vs. intuitie •Waarnemen vs. beoordelen




•Extrovert vs. introvert •Denken vs. intuitie •Waarnemen vs. beoordelen •Voelen vs. denken


Factoren: Cultureel

•Klassiek Chinees:van rechts naar links, kolom per kolom➪ scherm anders scannen•Belangrijker naarmate software universeler

gebruikt wordt•Aanpasbaarheid aan taal, etiquette, enz.

(ook iconen!) •Internationalisation & localisation•i18n


Trash can in Thailand


Trash can in Thailand


Evaluatie: planning


Evaluatie: planning

•Fase in ontwikkeling


Evaluatie: planning


•Ervaring met gelijkaardige projecten


Evaluatie: planning



•Verwacht aantal gebruikers


Evaluatie: planning




•Belang van toepassing


Evaluatie: planning





•Kosten en budget


Evaluatie: planning





•Kosten en budget

•Beschikbare tijd


Evaluatie: planning





•Kosten en budget

•Beschikbare tijd

•Op een bepaald moment moet natuurlijk wel opgeleverd worden!


Evaluatie-mogelijkheden



• Door experten



• Door experten

• Usability engineering



• Door experten


• Enquete



• Door experten


• Enquete

• Acceptatie-testen



• Door experten


• Enquete

• Acceptatie-testen

• Tijdens gebruik


Evaluatie door experten



•Expertise: HCI of domein




•Zeer effectief




•Zeer effectief

•Moment in ontwikkeling: vroeg of laat




•Zeer effectief


•Delicate relatie met ontwikkelaars




•Zeer effectief



•Doel:




•Zeer effectief



•Doel:

•problemen identificeren




•Zeer effectief



•Doel:

•problemen identificeren

•veranderingen voorstellen


Evaluatie door experten (2)

•Richtlijnen: intern of extern

•‘Cognitive walkthrough'

•Typische gebruikers en taken

•Formele inspectie

•Woord en wederwoord

•‘Bird's eye view‘

•schermafdrukken op grond of muur

•Best 3 tot 5 expertenWednesday 18 February 2009

Usability engineering

•Versus ‘wetenschappelijk’ experiment

•Vergelijkende test van meerdere UI's

•Benadrukt eerste gebruik

•complementair met evaluatie door experten


Usability Labhttp://www.cc.gatech.edu/gvu/images/lab/usability-lab.jpg


http://www.cc.gatech.edu/gvu/images/lab/usability-lab.jpg

http://www.cc.gatech.edu/gvu/images/lab/usability-lab.jpg

Usability engineering (2)

•‘Think-aloud protocol‘

•Video-opnames met annotatie

•Log, opmerkingen, enz. voor analyse

•‘Discount usability engineering’

•‘Field test':

•Realistisch (Win95: 400.000 pre-releases)

•Papieren versie


Usability Engineering

voor

Na

http://www.acm.org/interactions/vol2no1/feature/savage2.htmWednesday 18 February 2009

http://www.acm.org/interactions/vol2no1/feature/savage2.htm

http://www.acm.org/interactions/vol2no1/feature/savage2.htm

Deelnemers

• Moeten representatief zijn

• Computerervaring, taal, taak, motivatie, opleiding, enz.

• Ook fysisch: geslacht, ouderdom, enz.

• Ook andere factoren: tijdstip, achtergrondgeluid, enz.

• Moeten weten dat niet zij maar de gebruikersinterface beoordeeld wordt



Dank!Wednesday 18 February 2009

Dank!

Vragen?


Dank!

Vragen?http://www.cs.kuleuven.ac.be/~erikd


http://www.cs.kuleuven.ac.be/~erikd

http://www.cs.kuleuven.ac.be/~erikd

Education

CHI: evaluation