UMR 5205

-

Virtual arm for the Phantom Limb Pain Therapy

Eynard L. and Meyer A. and Bouakaz S.

June 2005

2

Presentation summary

Introduction and Previous Works

Real-Time Posture Rendering

The miror effect : Virtual arm

Results

Conclusion

3

Plan

Introduction and Previous WorksThe Phantom PainNew TherapiesFollowing the Movements

Real-Time Posture Rendering

Miror Effect : Virtual arm

Results

Conclusion

4

The Phantom Pain

A phantom pain appears where an amputed limb used to be

Why? Physical Amputation ≠ Psychic amputation MIsmatching between brain and reality → Pain

CharacteristicsStrong pain, sometimes debilitatingHard to treat

Existing therapiesMedicamentous , massage, relaxation, psychotherapiesHopefull new therapies …

5

News methods for therapy

[Ramachadran96] ISC Lyon [Sirugu03]

6

Our idea

Following the ISC Lyon idea filmed person Moving analysis Miror screen Augmented picture of missing limb

Means: Move Tracking (vision) Augmented reality : virtual limb

7

Suivi de mouvement (vision)

Multi-camerasVoxelic reconstruction [Mikic03,…] 3D-model : recognition of the skeleton a 3d-grid

Monocular (1 camera)Optical flow Bayesian methods [Agarwal04,…]Real-Time [Stenger03,…]

Contraigned movesConstraigned resolution

8

Pour notre système

Ours constraints Temps réel (intéractif)

Monoculaire (système portable)

Contraintes techniques Contraintes dans le mouvement

9

Plan

Introduction et travaux précédents

Reconstruction temps réel de la posture Apprentissage du fond Mesures anthropométriques Suivi des mouvements

Effet miroir : ajout du bras virtuel

Résultats

Conclusion

10

Soustraction de fond

Algorithme basé sur un apprentissage Changement de repère de couleur HSV [Park03] N images → extremums canaux RVB pour chaque pixels Recherche de connexité → élimine les bruits

11

Plan

Introduction et travaux précédents

Reconstruction temps réel de la posture Apprentissage du fond Mesures anthropométriques Suivi des mouvements

Effet miroir : ajout du bras virtuel

Résultats

Conclusion

12

Mesure anthropométriques

Calculer les grandeurs anthropométriques acquisition des mouvements

A partir de 2 poses

Extraction de silhouette

13

Mesure de la tête et du torse

Pose 1 : mesure de la têtePoint le plus haut dans l'image

14

Mesure de la tête et du torse

Pose 1 : mesure de la têtePoint le plus haut dans l'imageDescente tant que Nbi(pixelblanc)> Nbi-1(pixelblanc)

15

Mesure de la tête et du torse

Pose 1 : mesure de la têtePoint le plus haut dans l'imageDescente tant que Nbi(pixelblanc) > Nbi-1(pixelblanc)

→ largeurDescente jusqu'à Nb(pixelblanc) < seuil* largeur

→ ligne épaule

16

Mesure de la tête et du buste

Mesure du buste : Ligne de centre de gravité → largeur du busteDescente jusqu'à séparation

→ ligne de fin de buste

→ hauteur du buste

largeurhauteur

17

Mesure des bras

Pose 1:Degré et côté de l’amputation

longueur de chaque bras

points les plus à droite et à gauche

18

Mesure des bras (2)

Pose 2

19

PlanIntroduction et travaux précédents

Reconstruction temps réel de la posture Apprentissage du fond Mesures anthropométriques Suivi des mouvements

Effet miroir : ajout du bras virtuel

Résultats

Conclusion

20

Contraintes imposées

Restrictions des mouvements

Mouvements parallèles au plan de la caméra (« fronto-paralléle »)

Angle du coude identique pour un meilleur effet visuelle

Suivi des déplacements latéraux de la silhouette

21

Détection de la tête et du tronc

Tête et TroncAlgorithme de recherche de connexité contraint par les

données anthropométriques

22

Recherche des articulations

Recherche de l’épaule, coude et main

Mesures anthropométriques → estimation des positions

23

Création du membre manquant

Si amputation avant le coudeRepère équivalent du cote amputé et valideReprojection des pixels coté valide → côté amputé

24

Création du bras virtuel

Si amputation après le coudeRepère équivalent du cote amputé et valideReprojection des pixels coté valide → côté amputé

25

Résultats

Travail sur des images 640*480

Utilisation d’une webcam

Image traitée entre 160 et 180 msCalcul silhouette : 50 à 60 msAnalyse du mouvement : 50 à 60 msEffet miroir : instantanéFiltre Gaussien : 10ms

Moyenne de 8 à 10 images par seconde

26

Résultats

VIDEO

27

Conclusion et perspectives

Premier dispositif Reconstruction de mouvement Robuste sur des mouvements simplesCréation du bras virtuel

Expérimentation prévu Collaboration avec l’Institut des sciences cognitives

Perspectives Modèle 3D réaliste Réactions des amputés

Publicationsaccepté à l ’IEEE ACIDCA-ICMI’05Soumis à la conférence francophone RFIA 2005

28

Merci pour votre attention …

29

Ajout du membre → réalité augmentée (RA)

Problème générique en RA

Cohérence entre réel et virtuel Texture, aspect

Élément de synthèse construit à partir d’image réelle (cf notre système)

Illumination, Ombre

30

Creation du membre manquant

amputation huméralecentre de gravité du moignon obtention d'un axe grâce a al même méthode que pour le

bras valideamputation cubitaleMême méthode que pour le bras valideObtention de l'axe du moignon grâce au centre de gravité

de la partie après le coude