Adverse conditions improve distinguishability of auditory ... · J. Diard — LPNC-CNRS Adverse conditions improve distinguishability of… Situation de communication parlée : objectif

J. Diard — LPNC-CNRS Adverse conditions improve distinguishability of…

Adverse conditions improve distinguishability of auditory, motor and perceptuo-motor theories of speech perception: an exploratory Bayesian modeling study C. Moulin-Frier(1,2), R. Laurent(1,3), P. Bessière(3,4), J.-L. Schwartz(1), J. Diard(2)

(1) GIPSA-Lab, Département Parole et Cognition (ICP), UMR 5216 CNRS - Université de Grenoble (2) LPNC, UMR 5105 CNRS - Université de Grenoble (3) LIG, UMR 5217 CNRS - Université de Grenoble (4) LPPA, UMR 7152 CNRS - Collège de France, Paris

8 Décembre 2011 http://diard.wordpress.com/ [email protected]


Nature des représentations et traitements dans la communication parlée ?

2


Situation de communication parlée : objectif

3

Locuteur Auditeur

Objet OS Objet OL


Modèle conceptuel de la situation de communication parlée

4

Locuteur Auditeur

Objet OS

Geste articulatoire M

Stimulus acoustique S

Objet OL

Succès de la communication CEnv


Modèle conceptuel de la situation de communication parlée

5


Dimensions •  Objets de communication O

–  Ensemble d’objets symboliques

•  Espace articulatoire M –  7 degrés de liberté –  TB TD LH LP J Apex Lar

•  Espace acoustique S –  Formants : pics de fréq. –  F1 F2 F3

•  Validation de la comm. C –  Variable booléenne

6


Hypothèse de travail : internalisation par l’agent du modèle de la

situation de communication

7


Modèle conceptuel d’agent communicant

8


Questions •  Transformer le modèle conceptuel en modèle

computationnel ?

•  Faire le lien entre le modèle computationnel d’agent communicant et les théories existantes ?

•  Utiliser le modèle computationnel pour comparer les théories ?


Contribution •  Transformer le modèle conceptuel en modèle

computationnel ? –  Modèle bayésien d’agents communicants

•  Faire le lien entre le modèle computationnel d’agent communicant et les théories existantes ? –  Théories de la perception et de la production de la parole –  Réalisation des théories S, M, et SM par le modèle bayésien

•  Utiliser le modèle computationnel pour comparer les théories ? –  Théorème d’indistinguabilité en conditions parfaites –  Comparaison des modèles en conditions dégradées –  Distinguabilité bayésienne des modèles


Plan

–  Modèle bayésien d’agents communicants

–  Théories de la perception et de la production de la parole –  Réalisation des théories S, M, et SM par le modèle bayésien

–  Théorème d’indistinguabilité en conditions parfaites –  Comparaison des modèles en conditions dégradées –  Distinguabilité bayésienne des modèles


Modèle bayésien πAg

12

P (OSAg MAg SAg OL

Ag CAg)

= P (OSAg)P (MAg | OS

Ag)P (SAg | MAg)P (OLAg | SAg)P (CAg | OS

Ag OLAg)

uniforme U(OS)

système moteur

lien sensori- moteur

système auditif

loi Dirac δOS=OL(CAg)


Réalisation de tâches de production et de perception

•  Production de la parole –  Inférences de la forme P(M | O)

•  Perception de la parole –  Inférences de la forme P(O | S)

13


Tâches de perception P(O | S)

•  Objet d’intérêt : OL

–  – Processus purement acoustique

•  Objet d’intérêt : OS

– 

– Connaissances motrices mises en jeu 14

P (OLAg | SAg)

P (OSAg | SAg)

=!

MAg

P (MAg | OSAg)P (SAg | MAg)

P (OSAg MAg SAg OL

Ag CAg)


Ag)P (SAg | MAg)

P (OLAg | SAg)P (CAg | OS

Ag OLAg)


15

Réalisation de tâches de production et de perception


Plan

–  Modèle bayésien d’agents communicants

–  Théories de la perception et de la production de la parole –  Réalisation des théories S, M, et SM par le modèle bayésien



Théorie motrice de production

•  Phonologie articulatoire (Browman & Goldstein, 89)


Théorie auditive de production

•  Référentiel auditif pour la planification des gestes articulatoires (Guenther et al., 98)

– Cible acoustique •  Equivalence motrice

– Expériences Bite block (Savariaux et al., 99)

– Le /r/ américain est acoustique – …


Théories motrices de la perception

•  Coarticulation (Liberman & Mattingly, 85) –  /d/ en contexte /i/ différent acoustiquement

du /d/ en contexte /u/

19


20

Tableau théories

(thèse Moulin-Fier, 2011) (thèse Laurent, 201x)

(Moulin-Frier et al., in press)


Plan

–  Théories de la perception et de la production de la parole

–  Modèle bayésien d’agents communicants –  Modèles S, M et SM de la communication



•  Apprentissage supervisé par Master –  OS

Master tiré aléatoirement selon P(OSMaster)

–  Génération de MMaster selon P(MMaster | OSMaster)

–  Propagation dans l’environnement : SAg selon P(SAg | MMaster)

–  Transfert sans erreur de OSMaster en OL

Ag

•  Réalise

22

P (OLAg | SAg) !

!

MMaster

P (MMaster | OSMaster)P (SAg | MMaster)

Modèle auditif P(OL

Ag | SAg)


•  Théorème –  des conditions parfaites de communication impliquent une

indistinguabilité des modèles moteurs et auditifs de perception •  Preuve

–  Modèle auditif

–  H1 : l’apprenant a un modèle parfait de la transformation articulatori-acoustique

–  H2 : l’apprenant et le maitre ont le même modèle de production

–  modèle sensoriel S = modèle moteur M

23

P (OLAg | SAg) !

!

MMaster

P (MMaster | OSMaster)P (SAg | MMaster)

P (MAg | OSAg) = P (MMaster | OS

Master)

P (SAg | MAg) = P (SAg | MMaster)

P (OLAg | SAg) !

!

MAg

P (MAg | OSAg)P (SAg | MAg)


Sortir de l’indistinguabilité •  Modèles acoustiques et moteurs de perception

distinguables lorsque –  Pouvoir d’expression du modèle auditif –  H2 faux

•  Prototypes moteurs ≠ entre Master et Ag •  Accents, idiosyncrasies de prononciation

–  Autre scénario d’apprentissage (thèse Moulin-Frier, 11) –  H1 faux

•  « Mauvais » modèle direct P(SAg | MAg) •  Bruit différent pendant l’apprentissage et le test

24


•  2 objets O+ et O-

•  Système moteur –  Variable motrice M monodimensionnelle

25

P (OSAg MAg SAg OL

Ag CAg)


Ag)P (SAg | MAg)

P (OLAg | SAg)P (CAg | OS

Ag OLAg)


•  Transformations articulatori-acoustiques –  P(SAg | MMaster)

bruit de l’environnement –  P(SAg | MAg)

modèle de l’agent du bruit de l’environnement

•  Gaussiennes centrées sur la sigmoïde

26


Bruit de l’environnement σEnv (ajouté entre l’apprentissage et le test)

27


28


Trajectoires monodimensionnelles dans un simulateur réaliste

29


Résumé •  Modèle bayésien d’agents communicants

–  Unifie les théories auditives, motrices et sensorimotrices de la communication parlée

•  Théorème d’indistinguabilité –  En condition parfaites, les cadres théoriques ne peuvent être

distingués

•  Simulation des modèles dans des conditions dégradées –  Prédiction expérimentale : conditions pour observer des

différences entre modèles

30


En cours : simulations syllabes •  O = {/ba/ /bi/ /bu/ /da/ /di/ /du/ /ga/ /gi/ /gu/} •  MV = TB x TD x LH, |MV| = 253

•  MC = TB x TD x LH x J x Apex, |MC| = 255

•  SV = F1 x F2

•  SC = F2 x F3

31

€

OAgL

€

SAgV

€

MAgV

€

OAgS

€

MAgC

€

SAgC


En cours : distinguabilité bayésienne des modèles

32

P (D | x y M1 M2 !1 !2) =!(P (M = M1 ! = !1 | x y)! P (M = M2 ! = !2 | x y))2

J. Diard — LPNC-CNRS Modélisation Bayésienne de l'interaction entre perception et action

Merci de votre attention !

Questions ?

Documents

Adverse conditions improve distinguishability of auditory ... · J. Diard — LPNC-CNRS Adverse conditions improve distinguishability of… Situation de communication parlée : objectif