Upload
adelle-villeneuve
View
108
Download
0
Tags:
Embed Size (px)
Citation preview
Les Techniques d’Animation Faciale
Sébastien Morel - LIMSI CNRS
IntroductionApplications
Communication Jeux vidéo E-learning, E-commerce, … Médecine (autisme) Aide pour les applications informatiques
Les Techniques d’Animation Faciale
Sébastien Morel - LIMSI CNRS
Plan Etat de l’art
InterpolationPseudo-musclesSystèmes de paramétrisation
MPEG4 pour l’animation faciale
Thèse : Stéphane Garchery MiraLab 2004
XFace : Open source librairie
Proposition de modèle
Bibliographie
Les Techniques d’Animation Faciale
Sébastien Morel - LIMSI CNRS
InterpolationPrincipe
Eq. KeyframingCoefficient d’interpolation fonction du tempsLinéaire, bi-linéaire, par région
AvantagesSimplicitéComplexité réduite
InconvénientsNécessite une base d’expressions clef
importanteImpossibilité de créer une expression non
définieTopologie fixe
Les Techniques d’Animation Faciale
Sébastien Morel - LIMSI CNRS
Pseudo-musclesPrincipe
Introduit par F. Parke, Water3 Représentations (effets, forces) :
Splines
Déformations lisses et flexibles, continuitéContrôle par un nombre réduit de pointsAdapté aux surfaces crevassées
FFD Free form Deformation
Manipulation par points de contrôle, contient l’objetRFFD, rational : facteur de pondérationPeu précis, pas d’effets de peau
Les Techniques d’Animation Faciale
Sébastien Morel - LIMSI CNRS
Principe RBF Rational Basis Function
Avec Un petit nombre de point caractéristique on en déduit l’ensemble des points du modèleDéformation lisse sur les régions (proche MPEG4)Indépendant de la topologie
Avantages Animation par points de contrôle Continuité des modèles Précision et réalisme
Inconvénients Complexe Forte dépendance au modèle à animer
Pseudo-muscles
Les Techniques d’Animation Faciale
Sébastien Morel - LIMSI CNRS
Simulation de muscles
Exemple
Les Techniques d’Animation Faciale
Sébastien Morel - LIMSI CNRS
Systèmes de paramétrisationPrincipePrincipe
2 systèmes adaptés à la simulation des muscles :FACS (Facial Action Coding System) -
EkmanBasé sur une analyse anatomique46 Action Units => peuvent être combinéesPeu intuitif, pas d’action directe sur la peau
MPA (Minimal Perceptible Action) - ThalmannBasé sur les action perceptibles des musclesInclue le contrôle des yeux et de la rotation de la têteFaible nombre de déformationsBeaucoup de paramètres pour décrire une animation
Autre système :MPEG4
Les Techniques d’Animation Faciale
Sébastien Morel - LIMSI CNRS
MPEG4 pour l’animation facialePrincipes de base
Topologie du visage, expression neutre : Polygonal MeshFDP (Facial Definition Parameter), zone de
déformation, poids sur les vertex associésFAP (Facial Animation Parameter), émotion, visème
FAPU (Facial Animation Parameter Unit)FAT (Facial Animation Table)FIT (Face Interpolation Technique)
Géométrie
SémantiqueFDP
AnimationFIT
FAP FAT
Commande = Flux de FAPs
Vertex Déplacement
Les Techniques d’Animation Faciale
Sébastien Morel - LIMSI CNRS
Exemple
MPEG4 pour l’animation faciale
Les Techniques d’Animation Faciale
Sébastien Morel - LIMSI CNRS
Thèse : Stéphane Garchery MiraLab 2004
DescriptionApplications autonomes, Web, PDARendu réalisteCompatible MPEG4Algorithme de déformation basé sur les FAT,
MorphTargetInterpolation linéaire par morceau sur les FAPs
AvantagesDétermination automatique des zones d’influence par
triangulationInfluence de plusieurs points de contrôle sur les vertexProduction automatique des FATGénération de FAPs par traking optique et vidéo ou
par un système TTS->FAPs
Les Techniques d’Animation Faciale
Sébastien Morel - LIMSI CNRS
XFace : Open source librairieXFaceSDK Open source Multi-plateformeLibrairies prêtes à animer en MPEG4
XFaceEditorConfiguration des mesh au format MPEG4. VRML
XFacePlayerEntrée : TCP/IP flux de FAPsSortie : Animation & TTS
XFaceClientGénère animation en APML
Les Techniques d’Animation Faciale
Sébastien Morel - LIMSI CNRS
TTS
VirChor + MPEG4Decoder
ScriptAPML, VHML
Visèmes
Emotions
Emotionmood
Personality
Synchronization
Prerequirement
Mesh + texture (Poser) VRML
FDP+FAT+FIT (XFaceEd)
Virchor XML
Proposition de modèle
Les Techniques d’Animation Faciale
Sébastien Morel - LIMSI CNRS
Fin
Les Techniques d’Animation Faciale
Sébastien Morel - LIMSI CNRS
Bibliographie
A Survey of Facial Modeling and Animation TechniquesJun-yong Noh, Ulrich NeumannIntegrated Media Systems Center, University of Southern Californiahttp://graphics.usc.edu/cgit/pdf/papers/survey.pdf
Waters 1987
Real-time animation of realistic virtual humansPrem Kalra, Nadia Magnenat Thalmann, Laurent Moccozet, Gael SannierMIRALab, CUI, University of Geneva
Expressive Visual Speech using Geometric Muscle FunctionsJames D. Edge and Steve MaddockDepartment of Computer Science, University of Sheffield
Web-enabled Speech Driven Facial AnimationMing Ouhyoung, I-Chen Lin , David S.D. Lee,Communication and Multimedia Laboratory, National Taiwan University
Les Techniques d’Animation Faciale
Sébastien Morel - LIMSI CNRS
BibliographieXface: MPEG4 Based Open Source Toolkit for 3D Facial AnimationKoray BalcıITCirst, Cognitive and Communication Technologies Division
Spacetime Constraints for Viseme-based Synthesis of Visual SpeechJames D. Edge and Steve MaddockDepartment of Computer Science, University of Sheffield
Towards a generic talking headM. Bérar(1), G. Bailly(1), M. Chabanas(2), F. Elisei(1), M. Odisio(1) & Y. Pahan(2)
Institut de la Communication Parlée (ICP), UMR CNRS
A SOLUTION FOR MODEL-INDEPENDENT ANIMATION OF MPEG-4 FACESRoberto Pockaj, Maurizio Costa, Fabio Lavagetto, Carlo BracciniDIST – University of Genova
Using MPEG-4 parameters for calibrating/animating talking headsC.Bonamico, C.Braccini, M.Costa, F.Lavagetto, R.Pockaj
DIST, University of Genova
Les Techniques d’Animation Faciale
Sébastien Morel - LIMSI CNRS
BibliographieVirtual Talking Heads for Tele-education ApplicationsCarlo Bonamico and Fabio LavagettoThe Department of Informatics, System Science and Telematics - University of Genova
The use of emotionally expressive avatars in Collaborative Virtual EnvironmentsMarc Fabri, David MooreISLE Research Group, School of Computing
PicToon: A Personalized Image-based Cartoon SystemHong Chen, Nan-Ning Zheng, Lin Liang,Yan Li, Ying-Qing Xu, Heung-Yeung ShumMicrosoft Research, Asia
FEATURE POINT BASED MESH DEFORMATION APPLIED TO MPEG-4 FACIAL ANIMATIONSumedha Kshirsagar, Stephane Garchery, Nadia Magnenat-ThalmannMIRALab, CUI University of Geneva
Les Techniques d’Animation Faciale
Sébastien Morel - LIMSI CNRS