Tactile Interfaces: Past, Present & Future

Tactile Interfaces: Past, Present, and Future

Lozano Reyes, M., Marfil Olink, A., Martin Checa, J.A.,Molina Castro, J.J., Muñoz Capo, S.D.

(Sistemas de Información Cooperativos)Master in Software Engineering & Artificial Intelligence

Tactile Interfaces: Tactile Interfaces: Past, Present, and FuturePast, Present, and Future

Lozano Reyes, M., Marfil Olink, A., Martin Checa, J.A.,Lozano Reyes, M., Marfil Olink, A., Martin Checa, J.A.,Molina Castro, J.J., MuMolina Castro, J.J., Muññoz Capo, S.D. oz Capo, S.D.

(Sistemas de Informaci(Sistemas de Informacióón Cooperativos)n Cooperativos)Master in Software Engineering & Artificial IntelligenceMaster in Software Engineering & Artificial Intelligence

Computer Science DepartmentUniversity of Malaga

Group-32011


Group-32011

2

Index of contentsIndex of contentsIndex of contents

1. Wigdor 2010 (Architecting ext-Generation User Interfaces) 2. Brewster 2002 (Overcoming the Lack of Screen Space on Mobile

Computers) 3. Buxton 1985 (Issues and Techniques in Touch-Sensitive Tablet Input) 4. Mauney 2010 (Cultural Similarities and Differences in User-Defined

Gestures for Touchscreen User Interfaces) 5. Scott 2004 (Territoriality in Collaborative Tabletop Workspaces) 6. Stößel 2010 (Gestural Interfaces for Elderly Users: Help or Hindrance?) 7. Stößel 2010 (Mobile Device Interaction Gestures for Older Users)8. Döring 2010 (Exploring Gesture-Based Interaction Techniques in Multi-

Display Environments with Mobile Phones and a Multi-Touch Table)9. Moscovich 2008 (Indirect Mappings of Multi-touch Input Using One and

Two Hands)

1. Wigdor 2010 (Architecting ext-Generation User Interfaces) 2. Brewster 2002 (Overcoming the Lack of Screen Space on Mobile

Computers) 3. Buxton 1985 (Issues and Techniques in Touch-Sensitive Tablet Input) 4. Mauney 2010 (Cultural Similarities and Differences in User-Defined

Gestures for Touchscreen User Interfaces) 5. Scott 2004 (Territoriality in Collaborative Tabletop Workspaces) 6. Stößel 2010 (Gestural Interfaces for Elderly Users: Help or Hindrance?) 7. Stößel 2010 (Mobile Device Interaction Gestures for Older Users)8. Döring 2010 (Exploring Gesture-Based Interaction Techniques in Multi-

Display Environments with Mobile Phones and a Multi-Touch Table)9. Moscovich 2008 (Indirect Mappings of Multi-touch Input Using One and

Two Hands)

Tactile Interfaces: Past, Present, and Future Group-3 CIS Dep, University of MalagaCIS Dep, University of Malaga

3

1. Wigdor 2010“Architecting

ext-Generation User Interfaces”

1. Wigdor 2010“Architecting

ext-Generation User Interfaces”

4

1. Wigdor 2010 (Architecting ext-Generation User Interfaces) 1. 1. WigdorWigdor 20102010 (Architecting ext(Architecting ext--Generation User Interfaces) Generation User Interfaces)

1.1. Resumen

nuevas tecnologías 5 áreas clave

1. Detección y procesamiento2. Lenguage de partida3. Potencialidad del lenguaje4. Lenguaje de realimentación5. Aplicación y validación

1.1. Resumen

nuevas tecnologías 5 áreas clave

1. Detección y procesamiento2. Lenguage de partida3. Potencialidad del lenguaje4. Lenguaje de realimentación5. Aplicación y validación

1. 1. Wigdor 2. 2. Brewster 3. 3. Buxton 4. 4. Mauney 5. 5. Scott 6. Stößel 7. Stößel 8. Döring 9. Moscovich


5


1. Detección y procesamiento

desarrolladores nuevas experiencias

ejemplos:- entrada múltiple- tacto directo- gestos en el aire

1. Detección y procesamiento

desarrolladores nuevas experiencias

ejemplos:- entrada múltiple- tacto directo- gestos en el aire



6


2. Lenguage de partida

taxonomía comunicación con interfaz usuario

2. Lenguage de partida

taxonomía comunicación con interfaz usuario



7




8


3. Potencialidad del lenguaje

lenguaje: definición implementación ShadowGuides: aprendizaje del gesto (Ms)- visualizaciones mano usuario- captura sombra mano- estructura:- guía del registro de poses- anotaciones de sombra

3. Potencialidad del lenguaje

lenguaje: definición implementación ShadowGuides: aprendizaje del gesto (Ms)- visualizaciones mano usuario- captura sombra mano- estructura:- guía del registro de poses- anotaciones de sombra



9


4. Lenguaje de realimentación

toque pantalla respuesta

estados:- básicos- multi-touch

4. Lenguaje de realimentación

toque pantalla respuesta

estados:- básicos- multi-touch



10


básicosbásicos



11


multi-touchmulti-touch



12


5. Aplicación y validación

WeSpace: stma. visual investigación colaborativa

- estudios etnográficos- prácticas actuales: reuniones de grupo- oportunidades de colaboración- requerimientos del sistema- display e infraestructuras

5. Aplicación y validación

WeSpace: stma. visual investigación colaborativa

- estudios etnográficos- prácticas actuales: reuniones de grupo- oportunidades de colaboración- requerimientos del sistema- display e infraestructuras



13


1.2. Madurez

- últimos años gran avance dispositivos táctiles- diversidad: fabricantes, tecnologías

- estudio más maduro: aplicación y validación de interfaces(millones usuarios en el mundo)

1.2. Madurez

- últimos años gran avance dispositivos táctiles- diversidad: fabricantes, tecnologías

- estudio más maduro: aplicación y validación de interfaces(millones usuarios en el mundo)



14


1.3. Estudio adicional?

- trabajos relacionados

- trabajos futuros

- seguimiento de implantación de la interfaz

1.3. Estudio adicional?

- trabajos relacionados

- trabajos futuros

- seguimiento de implantación de la interfaz



15

2. Brewster 2002“Overcoming

the Lack of ScreenSpace on Mobile

Computers”

2. Brewster 2002“Overcoming

the Lack of ScreenSpace on Mobile

Computers”

16


2.1. Fundamento: sonido como soporte usabilidad

sonido reducción de botones smartphonesoptimización del espacio pantalla

“The design of sonically-enhanced widgets”1998, del propio autor.

2.1. Fundamento: sonido como soporte usabilidad

sonido reducción de botones smartphonesoptimización del espacio pantalla

“The design of sonically-enhanced widgets”1998, del propio autor.



17


2.2. Técnicas experimentales

sonidos botones PDA PALM-III Usabilidad?

Experimento-1: 16 participantesintroducir dígitos, botones 8x8(px) < 16x16(px)conclusiones: fácil de usar, aumenta eficiencia

Experimento-2: idem. pero en el exterior (calle)conclusiones: disminuye algo la eficiencia

(debido a ruido ambiental)

2.2. Técnicas experimentales

sonidos botones PDA PALM-III Usabilidad?

Experimento-1: 16 participantesintroducir dígitos, botones 8x8(px) < 16x16(px)conclusiones: fácil de usar, aumenta eficiencia

Experimento-2: idem. pero en el exterior (calle)conclusiones: disminuye algo la eficiencia

(debido a ruido ambiental)



18


2.3. Puntos débiles

- población reducida (16 personas)

- población experimentada (grupo investigación)

- experimentos muy básicos

2.3. Puntos débiles

- población reducida (16 personas)

- población experimentada (grupo investigación)

- experimentos muy básicos



19


2.4. Prácticas reales

actualidad smartphones poseen botones

adecuados al tamaño de los dedos,

sin necesidad de sonidos

2.4. Prácticas reales

actualidad smartphones poseen botones

adecuados al tamaño de los dedos,

sin necesidad de sonidos



20


2.5. Precisión del título del artículo?

título:- no hace referencia a la falta de espacio (pantalla)- el artículo no aclara la distribución óptima

sugerencia título: “Utilización de sonidos para la optimización del tamaño de los botones en dispositivos móviles”

2.5. Precisión del título del artículo?

título:- no hace referencia a la falta de espacio (pantalla)- el artículo no aclara la distribución óptima

sugerencia título: “Utilización de sonidos para la optimización del tamaño de los botones en dispositivos móviles”



21

3. Buxton 1985“Issues

and Techniques inTouch-Sensitive Tablet

Input”

3. Buxton 1985“Issues

and Techniques inTouch-Sensitive Tablet

Input”

22


3.1. Novedades posteriores al artículo

Tip Pressure: representa la fuerza realizada por un puntero/dedo.

Barrel Pressure: indica la fuerza que ejerce el usuario.

In Range: indica donde la digitalización es posible.

Touch: indica si un dedo está tocando la pantalla.

Untouch: indica si el dedo ha perdido contacto con la superficie de la pantalla.

Tap: indica que se ha realizado un toque con el dedo en la pantalla, levantándolo rápidamente sin prolongar el contacto.

3.1. Novedades posteriores al artículo

Tip Pressure: representa la fuerza realizada por un puntero/dedo.

Barrel Pressure: indica la fuerza que ejerce el usuario.

In Range: indica donde la digitalización es posible.

Touch: indica si un dedo está tocando la pantalla.

Untouch: indica si el dedo ha perdido contacto con la superficie de la pantalla.

Tap: indica que se ha realizado un toque con el dedo en la pantalla, levantándolo rápidamente sin prolongar el contacto.



23


3.2. Dispositivos táctiles VS interfaces de ratón

Ambiente: dispositivos táctiles, mejores en ambientes hostiles

Distinciones básicas:Limitación en la capacidad para señalizar eventos.Adecuación para percibir múltiples puntos de contacto.La aplicabilidad de plantillas táctiles.

3.2. Dispositivos táctiles VS interfaces de ratón

Ambiente: dispositivos táctiles, mejores en ambientes hostiles

Distinciones básicas:Limitación en la capacidad para señalizar eventos.Adecuación para percibir múltiples puntos de contacto.La aplicabilidad de plantillas táctiles.



24


3.3. Ambientes adecuados para disp. táctiles?

Hostiles: aulas, terminales acceso público, etc. (no tienen piezas a perder)

Vibraciones: fábricas, etc.

Sistemas empotrados: mobiliario, etc. (dado su reducido tamaño)

Fiables: entornos de uso intenso y que requieran gran fiabilidad

3.3. Ambientes adecuados para disp. táctiles?

Hostiles: aulas, terminales acceso público, etc. (no tienen piezas a perder)

Vibraciones: fábricas, etc.

Sistemas empotrados: mobiliario, etc. (dado su reducido tamaño)

Fiables: entornos de uso intenso y que requieran gran fiabilidad



25

4. Mauney 2010“Cultural Similarities and

Differences inUser-Defined Gestures for

Touchscreen User Interfaces”

4. Mauney 2010“Cultural Similarities and

Differences inUser-Defined Gestures for

Touchscreen User Interfaces”

26


4.1. Extensible a otros tipos de interacción?

No.

Gesture recorder empleado: específico de este tipo de interacciones

4.1. Extensible a otros tipos de interacción?

No.

Gesture recorder empleado: específico de este tipo de interacciones



27


4.2. Objetividad?

- 8 countries (40 participants/each)- native speakers- 20-60 yrs old- users of computers (> 3 times/week)- 50% (fe) male- 50% owned a touchscreen device

4.2. Objetividad?

- 8 countries (40 participants/each)- native speakers- 20-60 yrs old- users of computers (> 3 times/week)- 50% (fe) male- 50% owned a touchscreen device



28


4.3. Gasto VS culturas?

Escritura simbólica (ej. China)

4.3. Gasto VS culturas?

Escritura simbólica (ej. China)



29


4.4. Diseño VS culturas?

Hay que tener en cuenta que el diseño sea adecuado a cada cultura

4.4. Diseño VS culturas?

Hay que tener en cuenta que el diseño sea adecuado a cada cultura



30

5. Scott 2004“Territoriality in

Collaborative TabletopWorkspaces”

5. Scott 2004“Territoriality in

Collaborative TabletopWorkspaces”

31


5.1. Extensible a dispositivos tipo “tablet” o PDA?

Tablet:

Posible. Necesario mecanismo de sincronización entre tablets,permitiendo “conectarse” y compartir recursos (aps, ficheros, etc.)

Uso individual o colocadas todas juntas (emulando “tabletop”)

PDA: Inviable. Reducido tamaño. Imposibilitan trabajo sobre una superficie común

5.1. Extensible a dispositivos tipo “tablet” o PDA?

Tablet:

Posible. Necesario mecanismo de sincronización entre tablets,permitiendo “conectarse” y compartir recursos (aps, ficheros, etc.)

Uso individual o colocadas todas juntas (emulando “tabletop”)

PDA: Inviable. Reducido tamaño. Imposibilitan trabajo sobre una superficie común



32


5.2. Característica humana de trabajo colaborativo?

Territorialidad humana:

“sistema de actitudes, sentimientos y comportamientos que son específicos de un determinado lugar, el cual en el contexto de individuos o pequeños grupos reflejan las características de oportunismo, responsabilidad ycontrol de las actividades desarrolladas”

5.2. Característica humana de trabajo colaborativo?


“sistema de actitudes, sentimientos y comportamientos que son específicos de un determinado lugar, el cual en el contexto de individuos o pequeños grupos reflejan las características de oportunismo, responsabilidad ycontrol de las actividades desarrolladas”



33


5.3. Territorialidad humana. Contextos?


más evidente en situaciones que requieren:

- acceso compartido- transferencia (herramientas, objetos, espacio, tpo.)

5.3. Territorialidad humana. Contextos?


más evidente en situaciones que requieren:

- acceso compartido- transferencia (herramientas, objetos, espacio, tpo.)



34

6. Stößel 2010“Gestural Interfaces

for Elderly Users:Help or Hindrance?”

6. Stößel 2010“Gestural Interfaces

for Elderly Users:Help or Hindrance?”

35


6.1. Característica = f (edad, otros aspectos)?

Cambios: sensorial, perceptual, cognitivo, sistema motor.

- Envejecimiento

- Accidente

- Factores psicológicos (trauma)

- Factores genéticos

6.1. Característica = f (edad, otros aspectos)?

Cambios: sensorial, perceptual, cognitivo, sistema motor.

- Envejecimiento

- Accidente

- Factores psicológicos (trauma)

- Factores genéticos



36


6.2. Interacción táctil VS personas mayores?

Ventajas:

- Naturalidad de uso (basada en gestos comunes cotidianos)

Desventajas:

- Reducida movilidad de muñeca- Deficiencias en la percepción- Carencia de fuerza para ejecutar movimientos rápidos/precisos

continuados en el tiempo

6.2. Interacción táctil VS personas mayores?

Ventajas:

- Naturalidad de uso (basada en gestos comunes cotidianos)

Desventajas:

- Reducida movilidad de muñeca- Deficiencias en la percepción- Carencia de fuerza para ejecutar movimientos rápidos/precisos

continuados en el tiempo



37


6.3. Metodología experimental?

Método experimental:

- 2 grupos de usuarios (jóvenes VS mayores)- Estudio: facilidad para simular serie de gestos (42 posibles)

Crítica:

- Incompleta. No considera casos de interés:zurdos, ambidiestros, escasa visión, movilidad reducida(brazos, muñecas, dedos)

6.3. Metodología experimental?

Método experimental:

- 2 grupos de usuarios (jóvenes VS mayores)- Estudio: facilidad para simular serie de gestos (42 posibles)

Crítica:

- Incompleta. No considera casos de interés:zurdos, ambidiestros, escasa visión, movilidad reducida(brazos, muñecas, dedos)



38

7. Stößel 2010“Mobile Device

Interaction Gestures for Older Users”

7. Stößel 2010“Mobile Device

Interaction Gestures for Older Users”

39


7.1. Técnica experimental?

Usuarios: mayores (60-75) VS jóvenes (25-35)Cuestiones: - Gestos más convenientes para los mayores? - Gestos más convenientes para los jóvenes?- Similitudes/diferencias2 Monitores TFT (17”)- superior: 34 tareas secuenciales- inferior: reproducir videoclips (4 tareas, gestos dedos,

repetir patrones de movimiento)

7.1. Técnica experimental?

Usuarios: mayores (60-75) VS jóvenes (25-35)Cuestiones: - Gestos más convenientes para los mayores? - Gestos más convenientes para los jóvenes?- Similitudes/diferencias2 Monitores TFT (17”)- superior: 34 tareas secuenciales- inferior: reproducir videoclips (4 tareas, gestos dedos,

repetir patrones de movimiento)



40


7.2. Técnicas alternativas?

Tablet táctil:- usuarios repiten gestos visualizados y valoran- almacenar intentos de gestos realizados por cada gesto

visual- dificultades de gestos pero valorados?- similitudes: gestos visuales / realizados- movilidad de dedos, precisión, etc.

7.2. Técnicas alternativas?

Tablet táctil:- usuarios repiten gestos visualizados y valoran- almacenar intentos de gestos realizados por cada gesto

visual- dificultades de gestos pero valorados?- similitudes: gestos visuales / realizados- movilidad de dedos, precisión, etc.



41

8. Döring 2010“Exploring Gesture-Based

Interaction TechniquesIn Multi-Display Environments

with Mobile Phones and a Multi-Touch Table”

8. Döring 2010“Exploring Gesture-Based

Interaction TechniquesIn Multi-Display Environments

with Mobile Phones and a Multi-Touch Table”

42


8.1. Utilidad?

- Interacción simultánea con distintos dispositivos táctiles- Múltiples pantallas gestión de información pública Vs privada- ej. Transacciones, comunicaciones interpersonales, juegos.

- Idea: combinar superficie (pública) + disp. móviles (privados)- Futuro: técnicas de interacción multi-touch + motion gestures

CONS:

- Detalle de los experimentos.

8.1. Utilidad?

- Interacción simultánea con distintos dispositivos táctiles- Múltiples pantallas gestión de información pública Vs privada- ej. Transacciones, comunicaciones interpersonales, juegos.

- Idea: combinar superficie (pública) + disp. móviles (privados)- Futuro: técnicas de interacción multi-touch + motion gestures

CONS:

- Detalle de los experimentos.



43

9. Moscovich 2008“Indirect Mappings of

Multi-touch Input UsingOne and Two Hands”

9. Moscovich 2008“Indirect Mappings of

Multi-touch Input UsingOne and Two Hands”

44


9.1. Aplicable a otras formas de interacción?

- Sí Ej: utilización de las 2 manos y varios/todos dedos - No Ej: teclado, ratón, etc.

Conclusiones:

- situación, orientación IU usar 1 (pulgar + íncide) ó 2 manos (índices)- Entrada multitáctill:

1 mano: transporte, rotación, estiramiento, etc.2 manos: manipulación de ventana, marquesina selección, recorte

de imágenes, control de objetos separados, etc.

9.1. Aplicable a otras formas de interacción?

- Sí Ej: utilización de las 2 manos y varios/todos dedos - No Ej: teclado, ratón, etc.

Conclusiones:

- situación, orientación IU usar 1 (pulgar + íncide) ó 2 manos (índices)- Entrada multitáctill:

1 mano: transporte, rotación, estiramiento, etc.2 manos: manipulación de ventana, marquesina selección, recorte

de imágenes, control de objetos separados, etc.



45


9.2. Experimentación?

- Experimento-1Compatibilidad movimientos dedos VS información visual

- Experimento-2 Estructura de 1 y 2 manos en interacción multitouch

(manipulación objeto)- Conclusiones:

qué tareas requieren control separado sobre 2 puntos 1 ó 2 manos- Crítica:

causa del aumento error de rotación unimanualcondiciones / 1 mano puede coordinar grados libertad mejor que 2sólo 12 personas (informáticos)

9.2. Experimentación?

- Experimento-1Compatibilidad movimientos dedos VS información visual

- Experimento-2 Estructura de 1 y 2 manos en interacción multitouch

(manipulación objeto)- Conclusiones:

qué tareas requieren control separado sobre 2 puntos 1 ó 2 manos- Crítica:

causa del aumento error de rotación unimanualcondiciones / 1 mano puede coordinar grados libertad mejor que 2sólo 12 personas (informáticos)



46


9.3. Alternativas experimentales?

- Sí- Ej. juegos usuarios experimentan encuesta

9.3. Alternativas experimentales?

- Sí- Ej. juegos usuarios experimentan encuesta



47

You might be thinking...You might be thinking...You might be thinking...

Now you can impress your friends talking about TactileInterfaces ...please, ask!

Now you can impress your friends talking about TactileInterfaces ...please, ask!


Tactile Interfaces: Past, Present, and Future

Lozano Reyes, M., Marfil Olink, A., Martin Checa, J.A.,Molina Castro, J.J., Muñoz Capo, S.D.

(Sistemas de Información Cooperativos)Master in Software Engineering & Artificial Intelligence

Tactile Interfaces: Tactile Interfaces: Past, Present, and FuturePast, Present, and Future

Lozano Reyes, M., Marfil Olink, A., Martin Checa, J.A.,Lozano Reyes, M., Marfil Olink, A., Martin Checa, J.A.,Molina Castro, J.J., MuMolina Castro, J.J., Muññoz Capo, S.D. oz Capo, S.D.

(Sistemas de Informaci(Sistemas de Informacióón Cooperativos)n Cooperativos)Master in Software Engineering & Artificial IntelligenceMaster in Software Engineering & Artificial Intelligence


Group-32011


Group-32011

Technology

Tactile Interfaces: Past, Present & Future