IRIS, HACIA LA COMUNICACIÓN E INTERACCIÓN …dihana.cps.unizar.es/~iris/docs/d91seminar/IRIS_presentacion... · Los socios pueden ser universidades y empresas de todos los tipos

IRIS, HACIA LA COMUNICACIN E INTERACCIN NATURAL Miguel Sales Dias, Sara Candeias, Joo Freitas, Eduardo Lleida, Alfonso Ortega, Paola Garca, Antnio Teixeira, Samuel Silva, Cengiz Acarturk, Vernica Orvalho

This project has received funding from European Unions Seventh Framework Programme for research, technological and demonstration under Grant agreement no 610986.

Colaboran

www.iris-interaction.eu

Todos los pictogramas utilizados provienen de araasac.org

DESCRIPCIN Marie Curie IAPP (FP7-PEOPLE-2013-IAPP) - Project No 610986 Accin: Pasarelas y Asociaciones entre la industria y la universidad

(IAPP) 2014-2017 Objetivos de la accin IAPP

intercambios de conocimientos tcnicos y experiencia mediante cesiones unilaterales o mutuas de personal investigador entre los socios empresariales y acadmicos

contratacin de investigadores experimentados ajenos a la asociacin para que participen en la transferencia de conocimientos y/o la formacin de investigadores.

talleres, conferencias y creacin de redes con la participacin de investigadores tanto externos como de los socios.

En definitiva: se favorece la colaboracin entre investigacin pblica y privada. Los socios pueden ser universidades y empresas de todos los tipos y tamaos.

IRIS Iris, la diosa del arcoiris, mesajera de los dioses. Objetivo: avanzar en la comunicacin e interaccin natural .

Mejorar la experiencia de usuario Socios:

Portugal: Microsoft (coordinador), FaceinMotion, Universidade de Aveiro Espaa: Universidad de Zaragoza Turqua: Orta Dogu Teknic Universitesi (Universidad tcnica del medio Este)

Colaboradores: Zaragoza: Colegio de Educacin Especial Alborada, Jos Manuel Marcos y David Romero como usuarios y expertos en comunicacin aumentativa Lisboa: ISTAR-Information Sciences and Technologies and Architecture Research Center

INSTRUMENTOS DISPONIBLES

ToK

Estancias

Seminarios &

Conferencias

Aprendizaje

Experimentos

Contribucin Tecnolgica

& Cientfica

Impacto Econmico

& Social

www.iris-interaction.eu

LOS SOCIOS

Microsoft

Voz

Voz silenciosa

Lenguaje Natural

Visin por computador

Lab. de usabilidad y entornos inmersivos virtuales

Face in Motion

Animacion Facial

Universidad de Zaragoza

Voz

Autentificacion Biomtrica

Herramientas de comunicacin aumentativa y

alternativa

Universidade de Aveiro

Portugues Europeo

Modelos de sntesis

articulatoria

Diseo y evaluacin de

interfaces multimodales

Diseo, desarrollo y evaluacin de

sistemas de interaccin

METU

Interaccin Persona-Mquina

Ciencia Cognitiva

Procesado de imagen, audio y

acstica

Laboratorio de investigacin y aplicacin en la

interaccin persona-mquina.

OBJETIVOS DEL PROYECTO

Relacin con otros proyectos AAL Paelife -

Personal Assistant to Enhance the Social Life of the Seniors (2012-2014)

FP7-PEOPLE-2009-IAPP Marie Curie GOLEM - Realistic Virtual Humans (2010-2014)

Avances en la interaccin persona-mquina Trastornos del

habla Habla, habla

silenciosa, gestos, dispositivos tctiles.

Pictogramas, caracteres animados y sntesis de voz personalizada.

Medidas fisiolgicas y biolgicas (EMG, Seguimiento de ojos, fNIR,..)

Idiomas: Portugus, Espaol, Ingls y Turco

Escenarios en el mundo real Evaluacin de la

usabilidad en entornos reales y virtuales.

Plataforma de interaccin accesible y adaptada para todos De nios a ancianos.

PAQUETES DE TRABAJO Study and define a profile based on user pathologies and case scenarios

Univ. of Zaragoza - Spain

Multimodal interaction based on speech, silent speech, gesture and tactile/haptic devices Microsoft - Portugal

System output based on animated characters, pictograms and Personalized Synthetic Voices Face in Motion

Fusion of modalities and Interaction Management Univ. of Aveiro Portugal

Authentication and Authorization based on biometrics Univ. of Zaragoza Spain

Development of an ambient assisted living platform for indoor scenarios Microsoft Portugal

Framework for objective evaluation including biological and psychophysical measures METU Turkey

Usability evaluation in virtual and real world indoor scenarios Univ. of Aveiro Portugal

Dissemination and exploitation

Project Management Microsoft - Portugal

LA PLATAFORMA (IRINA)

Habla Habla silenciosa Gestos Mirada Dispositivos

tctiles Pictogramas Caracteres

animados Voces sintticas

personalizadas

Diseo Universal

Redes sociales (amigos y familia)

Acceso informacin Control dispositivos Aprendizaje Combatir la

exclusin social Complementar

las necesidades de comunicacin

Servicios

Juegos formativos Entornos de

realidad virtual Escenarios de

ayuda a la vida diaria.

Comunicacin.

Aplicaciones


Contexto de usuario (U,P,E): modelo de Usuario (quin), Plataforma

(cmo), Entorno fsico y social (dnde, cundo).

*accordingly with the ETSI technical documents ETSI EG 202 848 and TR 108 849*

LA PLATAFORMA (IRINA) Modelo de usuario: representacin explicita de las

propiedades de un usuario concreto incluyendo sus necesidades, preferencias y sus habilidades fsicas, cognitivas y de comportamiento. Descripcin de acuerdo con la clasificacin ICF (International Classification of Functioning, Disability and Health) de la Organizacin Mundial de la Salud.

Adaptacin: a partir del modelo de usuario se personaliza la plataforma

Impairment ICF Code Social Function: basic, interpersonal and with family

d710.3, d710.2, D750.2 and D760.3

Impaired in speech: receiving and producing spoken and nonverbal messages

d310.2, d315.4, d330.4, d335.3

Repetitive behavior b7653 consciousness functions b110 intellectual functions b117 memory functions b144 perceptual functions b156 thought functions b160 higher-level cognitive functions b164 focusing attention d160 thinking d163 hearing functions b230 listening d115 receiving spoken speech d130

EL ESCENARIO Un da en la vida de la familia Ramos-Castro IRINA debe cubrir las necesidades de comunicacin

de la familia: red social familiar

COMPONENTES PARA LA COMUNICACIN

AGENDA COMUNICADOR

CHAT GALERA

JUEGOS

IRINA

COMPONENTES PARA LA COMUNICACIN Qu estamos desarrollando?

AGENDA Cronograma de las actividades del da con las tareas asociadas. Geolocalizacin. Informa del contexto al comunicador

IRINA, COMUNICACIN PARA TODOS Qu estamos desarrollando? Componente de comunicacin inteligente:

Comunicador contextual Un comunicador que se adapta y personaliza al usuario, al entorno y al servicio. Permitir:

Comunicacin bsica informativa Comunicacin bidireccional: Dilogo

Hablado Escrito

Escritura/lectura lineal (lenguaje natural) Escritura conceptual, Lectura lineal (lenguaje naturalizado) Subtitulado (escrito / pictogramas)

IRINA, COMUNICACIN PARA TODOS Comunicador Contextual

Dependencias: Hora/parte del da Localizacin fsica Persona con la que se comunica Contexto del dilogo Agenda

Pictogramas

Texto Reconocimiento del habla Reconocimiento de hablante

Dialogan sobre lo que han hecho por la tarde. Puede ser presencial o virtual

IRINA Lenguaje naturalizado Texto y voz sinttica

Sugerencias de acuerdo con la evolucin del dilogo y el histrico de comunicacin

Grupo cerrado

IRINA, COMUNICACIN PARA TODOS Comunicador Contextual

Tecnologas: Reconocimiento del hablante

Seguridad y personalizacin Reconocimiento del habla

Seguimiento del dilogo Subtitulacin

Sntesis de Voz pesonalizada Procesamiento del lenguaje natural

Comprensin del mensaje Geolocalizacin

Posicionamiento y personalizacin

JORNADA SOBRE ADAPTACIN DE HERRAMIENTAS DE COMUNICACIN PARA PERSONAS CON NECESIDADES ESPECIALES ZARAGOZA 28/02/2015

ViVoLab

Tecnologas del Habla y Accesibilidad ViVoLab

Grupo de Tecnologas del Habla Instituto de Investigacin en Ingeniera de Aragn

Universidad de Zaragoza


ViVoLab

Lnea Tareas Procesado de la informacin acstica Identificacin y Clasificacin de eventos acsticos

Diarizacin y clustering de locutores Identificacin y verificacin de locutor Identificacin de idioma, dialecto y acento Identificacin y deteccin de patologas del habla

Tecnologas para la interaccin persona-mquina

Sistemas de adquisicin de voz robusta Reconocimiento automtico del habla Conversin texto-voz Sistemas de dilogo hablado Personalizacin

Tecnologas para la transcripcin e indexado de contenidos multimedia

Clasificacin y segmentacin de documentos audiovisuales Reconocimiento audiovisual de personas y eventos Indexado y recuperacin de contenidos audiovisuales

Aplicaciones de las tecnologas del habla Subtitulado Sistemas de seguridad biomtrica Documentacin de archivos audiovisuales Tecnologas del habla para la e-inclusin


ViVoLab

Aplicaciones de las Tecnologas del Habla (TH)

Las TH pueden utilizarse Mejorar la accesibilidad Control Comunicacin Evaluacin y tratamiento de trastornos

Voz o estructurales Habla o funcionales Lenguaje o cognitivas


ViVoLab

Tecnologas del Habla: Reconocimiento del Habla

Reconocimiento Automtico del Habla Cada da mejoran las prestaciones con vocabularios grandes. Funciona muy bien con habla leda y locutor cooperativo. Necesidad de personalizar en personas con trastornos en el

habla, nios y ancianos

Su principal dificultad es la variabilidad de la seal de voz Entre diferentes locutores En el mismo locutor en diferentes das Por caractersticas propias del locutor Por el ruido ambiente Por el modo de hablar


ViVoLab

Tecnologas del Habla: Conversin Texto-Voz Hay sintetizadores comerciales muy buenos y

en mltiples lenguas Mayor dificultad: Generar correctamente la

prosodia Posibilidad de personalizacin en la voz y locucin

(voz con emocin) Posibilidad de clonar la voz de una persona


ViVoLab

Con la tecnologa actual se puede: Bancos de voz

Personas con enfermedades degenerativas o motoneuronales que pueden llevar a una prdida parcial o total del habla. Almacenar la voz para posteriormente personalizar un sintetizador con su propia voz http://www.modeltalker.com (University of Delaware & A.I. duPont Hospital for Children)

original clonada

Prof. Stephen Hawking, esclerosis lateral amiotrfica, hace uso de un sistema de conversin texto-voz.

Sistemas de traduccin Voz Voz : entre diferentes idiomas, entre voz afectada y voz sin trastornos Voz Texto : subtitulado, voz afectada a texto Voz Lengua de signos

Hoy por hoy, el xito de las tecnologas del habla aplicadas a la accesibilidad requieren un proceso de PERSONALIZACIN


ViVoLab

Voice-Input Voice-Output Communication Aid VIVOCA Personalizacin de los sistemas de reconocimiento y sntesis

de voz

RAH Traductor CTV

Sistema ViVoCa

Voz disrtrica Voz sin afeccin Mismo tono y timbre que el original


ViVoLab

Sistemas de lectura Sistemas de traduccin

Voz- Lengua de signos

Subtitulado y audiodescripcin, p.e. subtitulado

Sincronizacin labios - texto Interpretacin de eventos acsticos (oreja electrnica)

Control de dispositivos y del entorno Domtica, silla de ruedas, robtica, .

Web accesible


ViVoLab


ViVoLab

Subtitulado guionizado Posibilidad de sincronizacin automtica texto audio

Televisin Obras de teatro

Desde 2008 los tres noticiarios de Aragn Televisin

Desde 2010 colaborando con RTVE rea de subtitulado (canal 24 h, La 1, La 2, Canales Internacionales, )


ViVoLab

Reconocimiento automtico del habla en el subtitulado

Aplicacin ms conocida: re-locutado

Otras aplicaciones de inters cuando existe un guion Noticiarios en tiempo real Pelculas, documentales y cualquier material

audiovisual guionizado Resincronizacin de material re-locutado Control de calidad del subtitulado Monitorizacin de canales de subtitulado .

Subtitulado automtico con programas y locutores concretos El tiempo TVE (Albert Barniol, Mnica Lpez)


ViVoLab

COMUNICA Colaboracin ViVoLab - Alborada Pretende proveer de una herramienta para ayudar en el

trabajo de un logopeda Todo el proceso de adquisicin del lenguaje

Prelenguaje y estimulacin temprana Articulacin y fonologa Semntica y funcionalidad


ViVoLab

COMUNICA - PreLingua PreLingua se basa en un conjunto de actividades

(juegos) con la intencin de estimular las capacidades de fonacin del alumno

Herramienta de apoyo al desarrollo del Pre-lenguaje Apoya la terapia de voz en poblacin infantil incluida la

articulacin voclica Permite la evaluacin de las habilidades del usuario

www.prelingua.org


ViVoLab


ViVoLab

Las tecnologas de interaccin persona-mquina han llegado a un estado de madurez que permiten desarrollar aplicaciones con gran relevancia social para mejorar tanto las posibilidades de comunicacin como el acceso a la informacin de todo tipo de personas.

El proyecto IRIS pretende poner en valor el conocimiento y experiencia de los socios en la interaccin persona-mquina para desarrollar una nueva generacin de sistemas de interaccin y comunicacin pensando en mejorar la experiencia del usuario

IRIS, hacia la comunicacin e interaccin naturalDescripcinIRISInstrumentos disponiblesLos sociosObjetivos del proyectoPaquetes de trabajoLa plataforma (irina) La plataforma (irina)La plataforma (irina)La plataforma (Irina)El escenarioCOMPONENTES PARA LA COMUNICACINCOMPONENTES PARA LA COMUNICACINIrina, comunicacin para todosIrina, comunicacin para todosIrina, comunicacin para todosNmero de diapositiva 18Nmero de diapositiva 19Nmero de diapositiva 20Tecnologas del Habla: Reconocimiento del HablaTecnologas del Habla: Conversin Texto-VozNmero de diapositiva 23Nmero de diapositiva 24Nmero de diapositiva 25Nmero de diapositiva 26Nmero de diapositiva 27Nmero de diapositiva 28Nmero de diapositiva 29Nmero de diapositiva 30Nmero de diapositiva 31Nmero de diapositiva 32

Documents

IRIS, HACIA LA COMUNICACIÓN E INTERACCIÓN …dihana.cps.unizar.es/~iris/docs/d91seminar/IRIS_presentacion... · Los socios pueden ser universidades y empresas de todos los tipos