Gaussier j Autisme Info

8/9/2019 Gaussier j Autisme Info

http://slidepdf.com/reader/full/gaussier-j-autisme-info 1/61

Modéliser le développement des capacités

d’interaction:

Le robot comme outil de simulation au

service des sciences cognitives

Philippe Gaussier* Neurocybernetics Group, Cergy Pontoise University, France



Our approach…

Find a minimal model justified by strong theoretical arguments:

• Taking into account a minimal number of biologicalstructures,

• Trying to understand what is brought by a given input or

structure as the global behavior si concerned (otherwise not

taken into account),

• Using robots to test the behavioral consequences of a given

model (proof by failure!)



Cognition, cerveau, neurones...

Les limites d’une démarche réductionniste…



« Virtual » Laboratory

Joint works with

Jean Paul Banquet : neurobiological modelling+ Bruno Poucet (Marseille 3C): neurobiology

Jacqueline Nadel: developmental psycho pathology

(+ inter-lab. association CNRS)

• Lola Cañamero (Feelix growing UE STREP project)

Adaptive Systems Research Group, University of Hertfordshire, UK



Plan:

1. Interaction et apprentissage:

Un modèle sensori-moteur minimaliste

2. Problèmes dans les interactions Homme-robot (imitation)

3. Modéliser les émotions?

4. Emotions dans les interactions Homme-robot

5. Perspectives…

Double fonction de l’imitation et des émotions

crucial pour la modélisation

Implications dynamiques complexes

Utiliser les modèles pour valider des thérapies



1ere partie

Interaction et apprentissage:

Un modèle sensori-moteur minimaliste



7

En général : robot dans son environnement physique

• Contrôle moteur : le bras ,les roues,etc. Quel espacede travail ?

• Quelles informationstraiter ? fusion ?

• Référentiel ?

• Dynamique du système ?

mouvements du bras, de latête ?

• “one body psychology” : étude du système seul dans son

environnement physique

Développement autonome



8

• 2 robots en interactions (STREP FEELIX growing)

•Comment Apprendre del’autre ? Démonstration,observation, imitation..

•Comment interagir ? Turn

taking ? quels signaux ?




9

Avec un humain ? (STREP FEELIX growing)

• “two body psychology” : l’interaction est une dynamique

composée de deux systèmes, eux-mêmes dynamiques. Rôleimportant de l’imitation et des emotions.


[IROS 07,

IEEE SMC 09]



Modèle du développement

• Apprentissage de comportements moteurscomplexes

• Modéliser le développement cognitif d’un bébé(< à 9 mois)

• Architectures neuronales pour l’imitationmécanisme de bootstrap

Development and

psychopathology

UMR 7593 (Paris)

J. Nadel

ETIS, UMR 8051

(Cergy)Neurocybernetics team

P. Gaussier



AI and Perception/Action

• Sensory motor level was considered as secondary

– Important debate in 1980/1990

• Animat approach (Meyer & Wilson 94)

– Situated cognition (opportunism -Brooks)

– Sensory-motor dynamics

– Motivation

– Autonomy– …

• Tendency to assign intentions to

others / artifacts

Do emotions really exist? Are they useful?



Decision making / Learning

in autonomous systems

• Reinforcement learning:

– Internal signals equivalent to pain and pleasure

– If delayed reward: TD(lambda), Qlearning…

• Action selection (Maes, Tyrell, Cañamero…)

• Other solutions: Use of cognitive maps(Arbib, Schmajuk, Edelman, Mallot, Gaussier…)



The PerAc architecture



30/03/2009 14

PerAc architecture and interactive teaching

• [Giovannangeli05,06]



Motivational bias



2eme partie

Problèmes dans les interactions Homme-robot

Apprendre via imitation

Avoid combinatorial explosion of learning by an isolated individual

L’Interaction comme signal de renforcement

Exploit dynamics of interaction (communication)



17

Avec un humain ? (STREP FEELIX growing)

• “two body psychology” : l’interaction est une dynamique

composée de deux systèmes, eux-mêmes dynamiques. Rôleimportant de l’imitation et des emotions.


[IROS 07,

IEEE SMC 09]



Définitions de l’imitation…

• ``Vraie'' imitation: [Whiten&Byrne82, Mitchell87]

• Apprendre un nouveau comportement et reproduiteprécisément les actions permettant d’atteindre le but

de ce comportement.

• Imitation immediate vs différée

• imitation au niveau de l’action action vs au niveau duprogramme

• Autres types d’interactions:

• Stimulus enhancement [Spense37]• Emulation (obtenir la même recompense

[Tomassello87]

• Facilitation de la réponse [Byrne94]



Bootstrap / imitation

Apprendre un comportement homéostatique

[Applied AI 98,

Adapt. Behav 04,ICANN 07]



Bootstrap / imitation

Proto-imitation effet de bord d’un syst.

homeostatique (ambiguité de la perception)

[Applied AI 98,

Adapt. Behav 04,ICANN 07]



Setup expérimental

Simple homeostat + ambiguité de la perception



Apprentissage séquence

• Grâce à sa capacité d’imitation de gestes, notre robotpeut reproduire des trajectoires plus complexes.L’imitation peut alors remplir une fonctiond’apprentissage

– Extension du répertoire sensori-moteur parcomposition

– Résolution de tâches plus complexes

– Passer de la notion de geste à celle d’action

Comment apprendre une trajectoire et quelleinformation utiliser ?

Réservoir de dyn. RN récurrent aléatoire…

[Andry Adaptive Behav 04, Lagarde ICANN 07, Lagarde08]



Imitation / interactions sociales

(J. Nadel et al 2004, Interactive Studies)









••Interaction et Imitation ne peuvent êtreInteraction et Imitation ne peuvent êtressééparparéées: prise en compte de capacites: prise en compte de capacitéés des de

tour de rôletour de rôle dansdans lele modmodèèlele::

••capacitcapacitéé àà sese synchronisersynchroniser

// ddéétectiontection de la synchroniede la synchronie



Double fonction de l’imitation:• Apprendre

• Communiquer

(dans un seul système!)Interaction et Imitation ne peuvent être séparées:

prise en compte de capacités de Turn-taking / rôle switchingcapacité à se synchroniser / détection de la synchronie

⇒Capacité à prédire le rhythme de l’échange⇒ peut être utilisé comme récompense interne

Lien avec les mécanismes émotionnels


Interactive teaching [Giovannangeli et al, IROS 07, IEEE SMC 08]



System limitations:•No synchronisation capabilities between agents

•Need of an explicit reward or adhoc mechanism to

decide if given sequence must be learned

•Need of an explicit signal to specify the beginning andthe end of the expriment

[Gaussier & Moga97]

Li i i d’ i l



Limitations d’un simple

conditionnementDynamique des interactions

s’effondre sur un attracteur de type point fixe

L’innovation ne peut venir que de l’autre!

Le démonstrateur controle

l’interaction :

Nécessiter de gérer des

signaux de controle explicites

/ implicite (debut/fin de l’exp.)



Résonances plus complexes

Besoin d’introduireAu moins des attracteurs cycliques:

“Volonté” d’interaction:

• un simple oscillateur interne?

• La prop. émergente d’un RN ?

Différent niveaux:

- turn taking

- role switching



Emotional value of interactions

Inspiration from mother-baby face to face interactions:

« still-face » [Tronick 78]:

•

Moving to still face• Negative effect on the children

double video [Threvarten 85, Nadel 99]:

• Mother and child communicate via a double video system

• Introduction of a temporal delay

• Contingency is essential to maintain the interaction

Rhythm and synchrony are important elements for the interaction

[Andry, Gaussier and Nadel 01]



Emotional value of interactions

Emotional resonance or contagion (bootstrap empathy)

Capability to predict the rhythm of the interaction(associated to a positive reward for ex.)

Imitation games (sharing emotions?)



3eme partie

Modéliser les émotions?

Est ce que les robots ont besoin d’émotions?

(Designing emotional systems for more autonomous

and life-like behavior)



30/03/2009 33

Why emotions interest roboticists ?

• [Giovannangeli05,06]



Example: behavior selection

1 ...Carrots … Eat !!

reactive system

2 ...I am starving … Where

had I seen those carrots?

motivated system

3 !!I am starving, but

this might not be theright moment!!!

emotional system

(L. Canamero)







Creatures’ architecture

environment

Perception

Action

stimuli

activity

C o n t r o l

internal milieucontrolled variables,

“hormones”

motivations(hunger, thirst,

fatigue, protection, ...)

emotions(fear, anger,

happiness, sadness,

boredom, interest)

behaviors(walk, withdraw, eat,

drink, attack, ...

go-toward, look-for ...)

(L. Canamero)



Is this enough to deal with others?

How to “display” emotional / “internal” states?

Design a morphology adapted to emotional and social interactions

What mechanisms are needed for this?

(L. Canamero)



4th part

Emotions in human-robot interactions

M d li ti



Modeling emotions

for social interactions

• Conveying intentionality

– Coherent explanation for observed behavior– Emotions and personalities as sources of intentions

• Eliciting/controlling emotions

• Making humans feel comfortable about theinteraction

– Tailor interactions to meet human needs

– Artifact more believable, “closer” to human (in autism?)

• Enhanced communication

– Non-verbal communication

– “deeper” understanding (what we mean, not what we say)

S k t l t d b t



Sparky, a tele-operated robot

Ch i f d l di i ?



Choice of model: dimensions?

Negative

valence

Positive

valence

High

arousal

Low

arousal

Openstance

Closed

stance

unhappy

fear

anger

surprisedisgust

happy

tired

stern

accepting



Complexity: caricature or portrait?



Complexity: caricature or portrait?

100%-

0

+

100%

Similarity to human

E m

o t . r e a c t i o

n ,

f a m i l i a r

i t y

toy robotuncanny

valley

“healthy” people

moving corpse

Feelix a simple “humanoid”



Feelix, a simple “humanoid”

(Lola Canamero )

D l t f f i l i iti



Development of facial expression recognition

GOAL: Understanding how babies learn to recognize facial expressions without having a teaching signalallowing to associate for instance an “happy face” with their own internal emotional state of happinessis a big challenge in a developmental perspective [Gergely99].

[Boucenna08]



we have shown



we have shown...

• After simplifications (in a stable state of interaction), the global

network is equivalent to a).

To allow learning

parents imitate / not the baby ! [Gaussier04]Importance of the empathy

Humans low level resonance to robot head [Nadel06]

First computational models



First computational models

Principle of the classical algorithms for facial

expression recognition:

Find the face in the image...

Build a frame around the face

Recognition of the normalized image (eigenvalues,

supervised NN...)

“Classical” NN strategies



“Classical” NN strategies

Limitation:

NO on-line and autonomous learning

because the face / non-face

recognition need an external

teaching signal (supervision)!

Approche fonctionnelle “classique”



vs approche developpementale holistique

Approche classique:

• Trouver le visage dans l’image…

• Construire un cadre autour du visage

Reconnaissance de l’imagette cadrée

(vecteurs propres, RN supervisés...)

Notre modèle développemental:

Reconnaissance des expressions peut précèder la

reconnaissance du visage !

Facial expression recognition



without face detection

• Idea: math. model does not suppose a first step of face

detection.

Success rate: happiness: 86 %, anger: 66 %, surprised: 51 %,

sadness: 48 %, neutral: 36 %

Interactions faciales



(SAB04, Epirob 06, 08)

Emotions as a way to structure



learning• Facial expression recognition can precede face / non

face recognition. !

• Taking into account the emotional development opens

new doors for autonomous learning

• The emotion communication may be used as a way toshape and trigger more and more complex learning

when no explicit reinforcement signal can be used.

Nouveaux outils pour les



p

sciences cognitives

Tester des modèles du cerveau

en conditions réelles !

Conclusion



Conclusion

Emergent double functions (self / social):

• Imitation: learning and communication

• Emotions: 2d order controller andcommunication

Need of an holistic approach to cognition :

• Robot as model to understand cognitive

mechanisms and their deficits

• Robot as tool for psychologists to test the validity

of the model

Besoin de plus de modèles



p

- Certains modèles amènent a des conclusions assez inattendues

- Les comportements observés peuvent résulter des interactions entreun grand nombre de dynamiques sensori-motrices

Difficulté à prédire l’impact d’une modification volontaire d’une

dynamique comportementaleForce heuristique du modèle robotique

Les robots peuvent être des outils intéressants pour valider des idées

thérapeutiques: gain de temps

Emotions as a dynamical system ?



y y

No locus

for the “emotional states”?

“appraisal”

--> Complex emotions built through the interaction

and next useful for an isolated agent

shared sub-structures

between both controllers

Perspectives



•Questions ouvertes: types de codage, gestion de lamultimodalité (amodal versus re entrance entre cartesmodales)

•Vers des comportements complexes (manipulation,

interactions entre comportements de niveauxdifférents…)

•Modélisation des émotions (métacontrole / communication)

Expérience sur devel.

du référencement social

(donner une valeur aux objets)

Perspectives / RISQUES



•Comment maintenir des interactions avec un robot quine finissent pas en stéréotypies?

Besoin que le robot développe ses capacitésd’interaction avec l’enfant sinon danger!!!

Risque: mettre en avant les dispositifs robotiquespour pallier le manque de moyens humainsCE SERAIT CATASTROPHIQUE!

web site: www.etis.ensea.fr/~neurocyber/Videos/



Thanks to: P.Thanks to: P. AndryAndry, (J., (J.--C.C. BacconBaccon),),

J.P. Banquet, S.J.P. Banquet, S. BoucennaBoucenna, N., N. CuperlierCuperlier, F., F.

DemeloDemelo, L., L. HafemeisterHafemeister, (C., (C. GiovannangeliGiovannangeli),),

C.C. HassonHasson, J., J. HirelHirel, (C., (C. JoulainJoulain), M.), M. LagardeLagarde,,P.P. LaroqueLaroque, (S., (S. LeprêtreLeprêtre),),

B.B. MiramondMiramond, (S., (S. MogaMoga), (M.), (M. MaillardMaillard), F.), F. PirardPirard,,

(K.(K. PrepinPrepin), M.), M. QuoyQuoy, (A. Revel), (A. Revel)

Documents

Gaussier j Autisme Info