In the hands of children: Exploring the use of mobile …...robotic toy animal? A long-term study of Pleo. Proceedings of IDC'10. Fernaeus, Y. (2009). Human Action and Experience as

Ylva Fernaeus

Interaction Design- enligt Ylva

(med total mix av engelska/svenska, SORRY!! )

Ylva FernaeusYlva Fernaeus

Översikt

Definitioner

Exempel från mitt arbete

Diskussion


Interaktion och interaktiva system

När människor och saker påverkar varandra

Överallt, hela tiden!


”Proof of concept” färdig produkt

Design


”Proof of concept” färdig produkt

Design


Design av ”datorartefakter”

Inte bara de ”yttre” delarna (”gränssnittet”)

Även ”inre” egenskaper (programspråk, databaser, etc)

Samt syftet, vad är den underliggande tanken? Konceptuell design.

Det kulturella sammanhanget? Sociala regler för användning. Manualer, support. Vilka värderingar återspeglas? Etik och estetik. Vilka är de sociala konsekvenserna? Vem är designern? Spelar det någon roll??!


Yrken inom interaktionsdesign

Interaktionsdesigners - utformar de interaktiva aspekterna av en produkt

Usability engineers - utvärderar produkter med hjälp av användbarhetsmetoder och principer

Webbdesigners - den visuella designen av webbplatser, layouter etc

Formgivare av alla slag

Informationsarkitekter –systemets logiska struktur och innehåll

User experience designers (UX) - allt ovan men kan genomföra fältstudier för utformningen av produkter

Experttyckare och recencenter

Forskare

…


Vårt ämnes tradition

Rötter i matematik, logik, vetenskapliga, formella metoder

+ Ingenjörsvetenskap (software engineering)

+ Psykologi och sociologi (t ex experimentella studier för att

mäta användbarhet)

+ Aktionsforskning (participatory design)


Men IxD är (faktiskt) varken:

Naturvetenskap Det som byggs, studeras, och används är inte givet av ”naturen” utan

måste förstås som skapat av människor!

Ingenjörsvetenskap Framgång baseras alltmer på användares ”upplevelse” och ”tolkning” av

det vi bygger, vilket inte rättvist kan bedömas och utvärderas endast som lösningen på väldefinierade tekniska problem.

Psykologi eller sociologi Målet är inte att förstå hur människor fungerar, utan snarare hur det som

byggs kan förstås i och anpassas till sina respektive sammanhang.


Är detta ett problem?

Ja, t ex för

Hur man ser på ”kunskap” i vårt område, vad som anses

viktigt, bra och korrekt

Hur utbildningen bör se ut – inklusive hur man utformar sitt

examensarbete!

Hur praktiker som programmering, systemering,

interaktionsdesign och utvärdering, kan passa in i och ligga som

grund för ”forskning”

Ylva Fernaeus

HUMAN-

COMPUTER

INTERACTION

INTERACTION

DESIGN

not only computers!

not only for research!

design discipline

social sciences & engineering

Löwgren and Stolterman (2004): “Thoughtful Interaction Design”

Ylva Fernaeus

HUMAN-

COMPUTER

INTERACTION

INTERACTION

DESIGN

(the shaping)(the study)


Interaktiva produkter inte bara existerar i världen, de påverkar även

vår kultur, identitet, hur vi mår, och (såklart) vad vi gör

I vårt samhälle ses upplevelse som väsentligt och viktigt för

människors välbefinnande

Går ej att ignorera i hur människor faktiskt värderar teknik

Men hallå? Kan man styra över någon annans upplevelse?

Design av upplevelser?en

joym

en

t

wellbeing


Skissa, prototypa, finslipa, färdigställa

Konceptuell och fysisk design

Vad är en prototyp?

Varför bygger man prototyper?

Olika sorters prototyper

low fidelity

high fidelity

Från prototyp till färdig produkt



I andra designområden:

Ett testexemplar

En småskalig modell, t ex en miniatyrbil eller en modell

av en byggnad



I interaktionsdesign kan det vara (bland annat):

en serie skärmskisser

en storyboard, en serietidnings-sekvens av scener

ett PowerPoint-bildspel

en video som beskriver tänkt användning

en träbit (för att testa t ex mobiltelefon)

en mock-up av kartong

ett datorprogram med begränsad funktionalitet (byggt I samma

eller annat verktyg än slutprodukten)


Varför bygger man prototyper?

Utvärdering och återkoppling är centrala för

interaktionsdesign

Intressenter kan se, hålla, interagera med en prototyp lättare

än med ett dokument eller en ritning

Designteamet kan kommunicera sinsemellan om dem

Man kan testa fram idéer för dig själv

Det uppmuntrar reflektion: centralt i all design

Prototyper svarar på frågor, hjälper till att välja mellan olika

alternativ


Sammanfattning

Interaktionsdesign som praktik inom MDI

En designprocess (visionspecifikation) stöds genom

olika metoder för:

undersökning, utforskning, komposition, värdering, och koordination

Skissa, prototypa, finslipa

Centralt i varje designprocess

Inte endast realisering av färdiga idéer!

Även för att utveckla, kommunicera och jämföra idéer och lösningar

Samt för att generera ny kunskap och förståelese om problemet och

de material vi har att tillgå


Och nu?

Några exempel på vad jag gjort tidigare och brukar jobba med…


Skärmbaserade publika system för museer

Bör bl a London Science Museum, Bristol Science Museum, Waltham Abbey, Think

Tank in Birmingham, The Forum in Norwich, Children City in Dubai

Spiral Productions, 2000

Science museum, London

Think Tank, Birmingham



Digital Disturbances

Panthihorn Electron,

Chang Mai, 2005

Ylva FernaeusYlva Fernaeus Nödvändighetens estetik, galleri mejan, 2006



The Rolling Stones




Avhandling, mars 2007


Doktorand


The Patchwork Metaphor

Making a whole out of pieces

Possibility to work alone and together

Media-sensitive design, crafting


Patcher

skärm

matta

lådorkort

Ylva Fernaeus

Det färdiga systemet - Video


Current research projects

LIREC: ”Living with Robots and Interactive Companions”

(EU, Sics)

Embodied Programming

(VR, Södertörn)

Playful Experiences

(Nokia, Ericsson, Microsoft research, Mobile Life)

Work with international research conferences

Mobile HCI 2011

TEI 2011

IDC 2011



Hantverksmetoders koppling till digital teknik

Det fysiska i nya former av programmering

Praktiker för programmering av robotar, distribuerade system, fysiska

rum, mobila applikationer, etc

Hur fungerar hålkort i traditionella sidenväverier?

Ylva Fernaeus

Ylva Fernaeus and Mattias Jacobsson

ActDressesProgramming Robots by Dressing them Up!


Robotic consumer products

Inherently physical

Often no screen display surface

Behaviour may be difficult to control,

modify, predict

Programming usually requires a PC-based

mode of interaction

Roomba

Pleo


Designing physical languages

Tobobo

Programming by physical demonstration:

Very direct and usable

Easy to learn and understand

No code

But

Programmers often want some ”code”

That can be revisited, edited, examined...

Hard to make more complex programs, using

conditionals, combined behaviours...

Curlybot


Semiotics: the study of signs

Signs: anything (words, images, sounds, gestures, acts, and physical objects)

that represent something other than themselves

Programming languages: signs and symbols representing computational

actions

Includes both the actual signs, as well as their coupling to specific

computational action

signifier

(the manifestation of the sign)

signified

(what the sign refers to)

r.spinn(300);


Semiotics: the study of signs

Signs: anything (words, images, sounds, gestures, acts, and physical objects)

that represent something other than themselves

Programming languages: signs and symbols representing computational

actions

Includes both the actual signs, as well as their coupling to specific

computational action

signifier

(the manifestation of the sign)

signified

(what the sign refers to)


Textiles and clothing

Fundamental in human culture

Physical features (fabric, texture, transparency, shape...)

Modular qualities, layers and collections combined in many ways

Serves communicative functions:

indicating e.g. current “mode” or activity, appropriate behaviour, group belongings, and

expected interactions

Robots may also have different modes, but how do you tell?



People dress up and accessorize their personal

robots

Laptops and phones tailored with stickers,

customized cases, etc

Also the digital ”inside” (skins, options,macros,

own scripts and programs...)

Appearances of robots explored in research

Roomba

Pleo



People dress up and accessorize their personal

robots

Laptops and phones tailored with stickers,

customized cases, etc

Also the digital ”inside” (skins, options,macros,

own scripts and programs...)

Appearances of robots explored in research

Roomba

Pleo

Stickers Charms Repliee Q1Expo My Real Baby


Programming robots by dressing them up?

Different levels of abstraction

Full ”personas”

Costumes switching the robot into a new mode, collecting a range of behaviours

Collection of behaviours

Simple garments that can be combined in a variety of ways

Algorithm structures

E.g. bracelets with pearls/amulettes that each represent a simple instruction

Ylva Fernaeus


Two main features:

1. Displayed in the immediate physical context of the objects that they refer to

2. Close connection between appearance/action by focusing on perceivable actions,

e.g. sound, movement, interactions

Example

Combining physical glasses with computer vision algorithms

E.g. red glasses make the robot “see” and attend to red objects

ActDresses – design concept


Explorations: Paper Mockups


Explorations: Movement and Physicality


Interaction Scenario 1: Pleo


Interaction Scenario 2: Vacuum


Interaction Scenario 3: GlowBots


The Hat Trick


The Square Dancer


Roomba ActDresses


ActDresses for Mobile Phones?


ActDresses for Mobile Phones?


ActDresses: Conclusions

ActDresses: A design concept for

physical control & interaction

Aiming for meaningful interaction,

inspired by what people do

Two main features:

1. Displayed in the immediate physical context of the objects that they

refer to.

2. Close connection between appearance/action by focusing on

perceivable actions, e.g. sound, movement, interactions.


Now:

LIREC: ”Living with Robots and Interactive Companions”

(EU, sics)

Book ”Robot Mythology”, antology


(VR, sh)

Follow up on actdresses & patcher

Playful Experiences

(Nokia, Ericsson, Microsoft research, Mobile Life)

Book ”please enjoy the mobile life”, inventory of projects at ML


Selected publications Jacobsson, M., Fernaeus, Y., and Tieben, R. (2010). The Look, the Feel and the Action: Making

Sets of ActDresses for Robotic Movement. Proceedings of DIS'10.

Fernaeus, Y., Håkansson, M., Jacobsson, M., and Ljungblad, S. (2010). How do you play with a

robotic toy animal? A long-term study of Pleo. Proceedings of IDC'10.

Fernaeus, Y. (2009). Human Action and Experience as Basis for the Design and Study of

Robotic Artefacts. Proceedings of Ro-Man'09.

Fernaeus, Y. & Jacobsson, M. (2009). Comics, Robots, Fashion and Programming: outlining the

concept of actDresses. Proceedings of TEI'09.

Jonsson, M., Tholander, J., Fernaeus, Y. (2008). Setting the stage – Embodied and spatial

dimensions in emerging programming practices. Interacting with Computers, Elsevier 21(1-2),

pp. 117-124.

Fernaeus, Y., Tholander, J. and Jonsson, M. (2008) Beyond representations: Towards an action-

centric perspective on tangible interaction. International Journal of Arts and Technology,

Inderscience, 1(3/4), pp. 249-267.

Jacobsson, M., Fernaeus, Y., Holmquist, L. E. (2008). GlowBots: Designing and Implementing

Engaging Human-Robot Interaction. Journal of Physical Agents, 2(2), pp. 51-59.

Fernaeus, Y., Tholander, J., Jonsson, M. (2008). Towards a New Set of Ideals: Consequences of

the Practice Turn in Tangible Interaction. Proceedings of TEI'2008.

Documents

In the hands of children: Exploring the use of mobile …...robotic toy animal? A long-term study of Pleo. Proceedings of IDC'10. Fernaeus, Y. (2009). Human Action and Experience as