91
Analyse d’image pour l’asservissement d’une cam ´ era embarqu ´ ee dans un drone Benoˆ ıt Louvat Gipsa-lab Le 5 f ´ evrier 2008 1

Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur

  • Upload
    others

  • View
    0

  • Download
    0

Embed Size (px)

Citation preview

Page 1: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur

Analyse d’image pour l’asservissement d’unecamera embarquee dans un drone

Benoıt Louvat

Gipsa-lab

Le 5 fevrier 2008

1

Page 2: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur

Introduction

Introduction

Commande Drone

Commande Tourelle

Information vidéo

2

Page 3: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur

Introduction

Objectifs

Objectifs :

1 Suivre des objets selectionnes par un utilisateur en temps reelSuivre l’objet dans l’imageControler la tourelle automatiquement pour garder l’objet dansl’image

Asservissement visuel = 2 themes de recherche

Analyse de sequence d’images : vision

Automatique : commande

2 Proposer un plus grand couplage entre la vision et la commande.

3

Page 4: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur

Introduction

Plan de l’expose

1 ContexteContexte scientifiqueContexte experimental

2 Tache de suiviEstimation de la position de l’objet

Notre contexteAlgorithme de suivi de cible proposeResultats en laboratoire

Loi de commande pour le suivi d’objet au solBoucle interneBoucle externe

Resultats en conditions reelles pour une tache de suivi

3 Commande par sur-echantillonnage

4 Amelioration de la precision

5 Conclusions et perspectives

4

Page 5: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur

Contexte

Plan

1 ContexteContexte scientifiqueContexte experimental

2 Tache de suiviEstimation de la position de l’objet

Notre contexteAlgorithme de suivi de cible proposeResultats en laboratoire

Loi de commande pour le suivi d’objet au solBoucle interneBoucle externe

Resultats en conditions reelles pour une tache de suivi

3 Commande par sur-echantillonnage

4 Amelioration de la precision

5 Conclusions et perspectives

5

Page 6: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur

Contexte Contexte scientifique

Plan

1 ContexteContexte scientifiqueContexte experimental

2 Tache de suiviEstimation de la position de l’objet

Notre contexteAlgorithme de suivi de cible proposeResultats en laboratoire

Loi de commande pour le suivi d’objet au solBoucle interneBoucle externe

Resultats en conditions reelles pour une tache de suivi

3 Commande par sur-echantillonnage

4 Amelioration de la precision

5 Conclusions et perspectives

6

Page 7: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur

Contexte Contexte scientifique

Les differents types d’asservissement visuel

Criteres definis dans [Sanderson1980], [Corke1996]

Mesure de l’erreur entre la position desiree et couranteLieu du controle des articulations du robot

Criteres Controle direct Controle indirect

Mesure 2DAsservissement visuel 2D Asservissement visuel 2Ddirect indirect

Mesure 3DAsservissement visuel 3D Asservissement visuel 3Ddirect indirect

Mesure hybride Asservissement visuel hybride :

Mesure2D/3D : asservissement 2D1/2 [Malis98]

Mesure de vitesse : asservissement d2Ddt [Cretual98]

7

Page 8: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur

Contexte Contexte scientifique

Asservissement visuel 2D/3D directAsservissement 2D

R c

Erreur mesuree dans le planimage

Asservissement 3D

R c

R o

Erreur mesuree dans l’espacecartesien

8

Page 9: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur

Contexte Contexte scientifique

Asservissement visuel 2D/3D directAsservissement 2D

Asservissement 3D

Calcul des articulations du robot dans le correcteur visuel

8

Page 10: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur

Contexte Contexte scientifique

Asservissement visuel 2D/3D indirectAsservissement 2D

Asservissement 3D

Calcul des articulations avec le correcteur interne du robot

9

Page 11: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur

Contexte Contexte experimental

Plan

1 ContexteContexte scientifiqueContexte experimental

2 Tache de suiviEstimation de la position de l’objet

Notre contexteAlgorithme de suivi de cible proposeResultats en laboratoire

Loi de commande pour le suivi d’objet au solBoucle interneBoucle externe

Resultats en conditions reelles pour une tache de suivi

3 Commande par sur-echantillonnage

4 Amelioration de la precision

5 Conclusions et perspectives

10

Page 12: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur

Contexte Contexte experimental

Drone et tourelle

Ensemble d’emission analogique de video a 2,4GHzModem radio pour la liaison de donnees de controle de latourelleUne tourelle commandable en pan et tilt

11

Page 13: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur

Contexte Contexte experimental

Station au sol

La reception analogique de la videoUn PC dedie au traitement des images en temps reel et a lacommandeUne liaison modem radio vers la tourelle pour le controle du suivides cibles

12

Page 14: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur

Tache de suivi

Plan

1 ContexteContexte scientifiqueContexte experimental

2 Tache de suiviEstimation de la position de l’objet

Notre contexteAlgorithme de suivi de cible proposeResultats en laboratoire

Loi de commande pour le suivi d’objet au solBoucle interneBoucle externe

Resultats en conditions reelles pour une tache de suivi

3 Commande par sur-echantillonnage

4 Amelioration de la precision

5 Conclusions et perspectives

13

Page 15: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur

Tache de suivi

Tache de suiviObjectif : Suivre des objets fixes et quelconques au sol avec commeunique capteur une camera

Estimer la position de l’objet dans l’imageDeplacer la tourelle pour garder l’objet au centre de l’image

Contraintes supplementaires

Simplicite du systeme⇒ Possibilite de production a grande echelle

Genericite⇒ Facilement portable a d’autres systemes similaires

Systeme embarque⇒ Capteurs peu precis, puissance de calcul, poids...

Solution a bas cout⇒ Compensation des imperfections mecaniques au

niveau logiciel

14

Page 16: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur

Tache de suivi

Choix du type d’asservissement

Asservissement visuel direct/indirect

Robot tres simplePuissance de calcul importante au sol versus embarque

⇒ Asservissement direct

Asservissement visuel 2D, 3D, hybride

Pas de connaissance a priori des objets a suivreEnvironnement changeant⇒ Asservissement 2D ou d2D

dt

Objectif = centrer et maintenir centre l’objet dans l’image⇒ Asservissement 2D

15

Page 17: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur

Tache de suivi

Asservissement visuel 2D direct

Tourelle Caméra Analyse d'imageCorrecteur visuelTransmission sans l Transmission sans l

16

Page 18: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur

Tache de suivi Estimation de la position de l’objet

Plan

1 ContexteContexte scientifiqueContexte experimental

2 Tache de suiviEstimation de la position de l’objet

Notre contexteAlgorithme de suivi de cible proposeResultats en laboratoire

Loi de commande pour le suivi d’objet au solBoucle interneBoucle externe

Resultats en conditions reelles pour une tache de suivi

3 Commande par sur-echantillonnage

4 Amelioration de la precision

5 Conclusions et perspectives

17

Page 19: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur

Tache de suivi Estimation de la position de l’objet

Asservissement visuel 2D

Tourelle Caméra Analyse d'imageCorrecteur visuelTransmission sans l Transmission sans l

18

Page 20: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur

Tache de suivi Estimation de la position de l’objet

Exemples d’images filmees

19

Page 21: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur

Tache de suivi Estimation de la position de l’objet

Contraintes inherentes a notre systeme

Le suivi d’un objet a priori quelconque et non connu a l’avance

La qualite fluctuante des images filmeesLa precision afin de suivre des objets de petite tailleLa possibilite d’estimer de grands deplacements inter-imageLe temps de calcul pour pouvoir l’inclure dans la boucled’asservissement

20

Page 22: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur

Tache de suivi Estimation de la position de l’objet

Contraintes inherentes a notre systeme

Le suivi d’un objet a priori quelconque et non connu a l’avanceLa qualite fluctuante des images filmees

La precision afin de suivre des objets de petite tailleLa possibilite d’estimer de grands deplacements inter-imageLe temps de calcul pour pouvoir l’inclure dans la boucled’asservissement

20

Page 23: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur

Tache de suivi Estimation de la position de l’objet

Contraintes inherentes a notre systeme

Le suivi d’un objet a priori quelconque et non connu a l’avanceLa qualite fluctuante des images filmeesLa precision afin de suivre des objets de petite taille

La possibilite d’estimer de grands deplacements inter-imageLe temps de calcul pour pouvoir l’inclure dans la boucled’asservissement

20

Page 24: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur

Tache de suivi Estimation de la position de l’objet

Contraintes inherentes a notre systeme

Le suivi d’un objet a priori quelconque et non connu a l’avanceLa qualite fluctuante des images filmeesLa precision afin de suivre des objets de petite tailleLa possibilite d’estimer de grands deplacements inter-imageLe temps de calcul pour pouvoir l’inclure dans la boucled’asservissement

20

Page 25: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur

Tache de suivi Estimation de la position de l’objet

Contraintes inherentes a notre systeme

Le suivi d’un objet a priori quelconque et non connu a l’avanceLa qualite fluctuante des images filmeesLa precision afin de suivre des objets de petite tailleLa possibilite d’estimer de grands deplacements inter-imageLe temps de calcul pour pouvoir l’inclure dans la boucled’asservissement

20

Page 26: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur

Tache de suivi Estimation de la position de l’objet

Simplifications et difficultes liees a notre systeme

1 Simplifications liees au contexte particulier :L’altitude de vol du drone⇒

Images representent un plan 2DOccultations negligeables

Pas d’ombre portee, ni de transparence, ni de reflexion

2 Difficultes liees au contexte particulier :Changement de pose graduel de l’objet suiviConservation de l’intensite lumineuse pas toujours verifieeLes roues de l’avion provoquent un mouvement parasite.

21

Page 27: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur

Tache de suivi Estimation de la position de l’objet

Methodes existantes possibles

Suivi de points→ KLT [Kanade Lucas 1992]

Suivi de droites→ Xvision [Hager 1996]

Suivi de blocs→ Block-matching [Gyaouriva 2003]

Estimation de mouvement global, modeles demouvement (affine, projective...) → RMRm [Obodez1995]

Mise en correspondance de points invariants→SIFT [Lowe 2004]

22

Page 28: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur

Tache de suivi Estimation de la position de l’objet

Methodes existantes possibles

Suivi de points→ KLT [Kanade Lucas 1992]

Suivi de droites→ Xvision [Hager 1996]

Suivi de blocs→ Block-matching [Gyaouriva 2003]

Estimation de mouvement global, modeles demouvement (affine, projective...) → RMRm[Obodez 1995]

Mise en correspondance de points invariants→SIFT [Lowe 2004]

22

Page 29: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur

Tache de suivi Estimation de la position de l’objet

Avantages/inconvenients dans notre contexte

Avantages/Inconvenients

Avantage Algorithme KLT

RapidePrecis

Inconvenient Algorithme KLT

Non robuste auxproblemes de perturbation

Avantage algorithme RMR

Robuste aux problemesde pertubation et auxgrands deplacements

Inconvenient Algorithme RMR

LentManque de precision

Approche proposee

=⇒ Combinaison des deux algorithmesEstimation globale (RMR) suivie d’une estimation locale (KLT)

23

Page 30: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur

Tache de suivi Estimation de la position de l’objet

Resume de KLT et RMR

KLT RMR

Extraction et suivi de point Estimation d’un modele de mouve-ment global

Algorithmes iteratifs

algorithme de Newton-Raphston algorithme des moindres carresponderes iteres

Algorithmes utilisant une estimation pyramidalePr

ojec

tion

de l'

initi

alis

atio

n

24

Page 31: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur

Tache de suivi Estimation de la position de l’objet

Resume de KLT et RMR

KLT RMRAlgorithmes utilisant une estimation pyramidale

Proj

ectio

n de

l'in

itial

isat

ion

24

Page 32: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur

Tache de suivi Estimation de la position de l’objet

Caracteristiques generales

Estimation globale/locale de la position de l’objet :

1 Estimation globale du mouvement→ RMR

Modeles de mouvement

Modele translationel : estimation rapide, modele peu precis

Modele affine : bon compromis temps de calcul, precision

Modele homographique : estimation lente, modele plus realiste maisresultat equivalent au modele affine [Landais2003]

2 Raffinement local de la position de l’objet d’interet→ KLT

25

Page 33: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur

Tache de suivi Estimation de la position de l’objet

Caracteristiques generales

Estimation globale/locale de la position de l’objet :

1 Estimation globale du mouvement→ RMR

Modeles de mouvement

Modele translationel : estimation rapide, modele peu precis

Modele affine vx = a1 + a2xi + a3yi

vy = a4 + a5xi + a6yi

Modele homographique : estimation lente, modele plus realiste maisresultat equivalent au modele affine [Landais2003]

2 Raffinement local de la position de l’objet d’interet→ KLT

25

Page 34: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur

Tache de suivi Estimation de la position de l’objet

Caracteristiques generales

Estimation globale/locale de la position de l’objet :

1 Estimation globale du mouvement→ RMR

Modeles de mouvement

Modele translationel : estimation rapide, modele peu precis

Modele affine vx = a1 + a2xi + a3yi

vy = a4 + a5xi + a6yi

Modele homographique : estimation lente, modele plus realiste maisresultat equivalent au modele affine [Landais2003]

2 Raffinement local de la position de l’objet d’interet→ KLT

25

Page 35: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur

Tache de suivi Estimation de la position de l’objet

Algorithme propose

Extraction de primitives points +

Initialisatioin du support d'estimation globale

Estimation du mouvement global

Prédiction de la position des points

Recherche des points dans la nouvelle image

Vérications des points : - Convergence de Newton-Raphson

- Diérence d'intensité entre les deux fenêtre de calcul - Test si amat de points

Nombre de points > 0

Extraction de nouveaux points en fonction du mouvement global

1er image

oui

non

Image suivante

Image suivante

26

Page 36: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur

Tache de suivi Estimation de la position de l’objet

Validation de notre approche

Tests sur des sequences avec des images reelles et un mouvementde synthese:

Extraction de 12 points sur la maison

27

Page 37: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur

Tache de suivi Estimation de la position de l’objet

Caracteristiques recherchees pour l’algorithmepropose

Caracteristiques :

Erreur d’estimation du deplacement faibleNombre de points conserves superieur par rapport a KLTNombre d’iterations moyen faible pour KLTRobuste aux grands deplacementsRobuste aux phenomenes de perturbation de l’imageTemps de calcul court

28

Page 38: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur

Tache de suivi Estimation de la position de l’objet

Structures de test

KLT

Erreur KLT

nb_niveau_pyr_klt

nb_iter_KLT

0

Test KLT

RMRm

Erreur RMR

nb_niveau_pyr_RMRm

nb_iter_RMRm

0

Test RMR

RMRm KLT

Erreur algo proposé

nb_niveau_pyr_kltnb_niveau_pyr_RMRm

nb_iter_RMRm nb_iter_KLT

0

Test Algorithme proposé

Legende pour les tests

exemples : RMR(6,10),KLT(2,10)algorithme(nb niveau pyr,nb iter max)

29

Page 39: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur

Tache de suivi Estimation de la position de l’objet

Erreur d’estimation

Caracteristiques recherchees

Erreur d’estimation du deplacement faible et grands deplacements

0 10 20 30 40 50 60 70−10

0

10

20

30

40

50

amplitude du déplacement

erre

ur e

n x

erreur estimation

0 10 20 30 40 50 60 70−10

0

10

20

30

40

50

amplitude du déplacement

erre

ur e

n y

algorithme KLT (2,10)algorithme proposéalgorithme RMRm (6,10)

Amelioration de l’erreur de l’estimation

30

Page 40: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur

Tache de suivi Estimation de la position de l’objet

Nombre de points suivis

Caracteristique recherchee

Nombre de points conserves superieur par rapport a KLT

0 10 20 30 40 50 600

5

10

15

amplitude du déplacement

nom

bre

de p

oint

s

Nombre de points suivis

algorithme KLT (2,10)algorithme proposé

Plus grand nombre de points conserves

31

Page 41: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur

Tache de suivi Estimation de la position de l’objet

Nombre d’iterations moyen

Caracteristique recherchee

Nombre d’iterations moyen moindre

0 10 20 30 40 50 600

1

2

3

4

5

6

7

8

9

10

amplitude du déplacement

moy

iter

iteration moyenne pour KLT par suivi

algorithme KLT (2,10)algorithme proposé

Moins d’iteration moyenne

32

Page 42: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur

Tache de suivi Estimation de la position de l’objet

Caracteristiques recherchees

Erreur d’estimation du deplacement faibleNombre de points conserves superieurNombre d’iteration moyen moindreRobuste aux grands deplacementsRobuste aux phenomenes de perturbation de l’imageTemps de calcul court

33

Page 43: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur

Tache de suivi Estimation de la position de l’objet

Caracteristiques recherchees

Erreur d’estimation du deplacement faibleNombre de points conserves superieurNombre d’iteration moyen moindreRobuste aux grands deplacementsRobuste aux phenomenes de perturbation de l’imageTemps de calcul court

Solution

Estimateur robuste de RMR→ resultat en conditions reelles

33

Page 44: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur

Tache de suivi Estimation de la position de l’objet

Caracteristiques recherchees

Erreur d’estimation du deplacement faibleNombre de points conserves superieurNombre d’iteration moyen moindreRobuste aux grands deplacementsRobuste aux phenomenes de perturbation de l’imageTemps de calcul court

ProblemeRMR(6,10) trop lent

SolutionDiminuer nb iter RMR et nb niveau pyr RMR→ RMR(4,2)

33

Page 45: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur

Tache de suivi Estimation de la position de l’objet

Erreur d’estimation

Caracteristique recherchee

Diminuer le temps de calcul

0 10 20 30 40 50 60 70−10

0

10

20

30

40

50

amplitude du deplacement

erre

ur e

n x

erreur estimation

0 10 20 30 40 50 60 70−10

0

10

20

30

40

50

amplitude du déplacement

erre

ur e

n y

algorithme KLT (3,10)algorithme proposéalgorithme RMRm (4,2)

Bonne estimation jusqu’a 45 pixels

Diminution du temps de calcul

34

Page 46: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur

Tache de suivi Estimation de la position de l’objet

Temps de calcul en conditions reelles

Algorithme CadenceKLT (3,10) 25+ img/sRMRm (6,10) 12-14 img/sAlgorithme propose (RMRm(4,2),KLT(3,10)) 17-20 img/s

Reglages choisis :

RMRm 4 niveaux de pyramide et 2 iterations maximalesKLT 3 niveaux de pyramide et 10 iterations maximales

35

Page 47: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur

Tache de suivi Loi de commande pour le suivi d’objet au sol

Plan

1 ContexteContexte scientifiqueContexte experimental

2 Tache de suiviEstimation de la position de l’objet

Notre contexteAlgorithme de suivi de cible proposeResultats en laboratoire

Loi de commande pour le suivi d’objet au solBoucle interneBoucle externe

Resultats en conditions reelles pour une tache de suivi

3 Commande par sur-echantillonnage

4 Amelioration de la precision

5 Conclusions et perspectives

36

Page 48: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur

Tache de suivi Loi de commande pour le suivi d’objet au sol

Commande de l’asservissement visuel

Tourelle Caméra Analyse d'imageCorrecteur visuelTransmission sans l Transmission sans l

37

Page 49: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur

Tache de suivi Loi de commande pour le suivi d’objet au sol

Loi de commande

Systeme tourelle

Tourelle d’origine prevue pour un pilotage manuelDynamique trop lente pour realiser notre tacheManque de precision

Nouvelle tourelleCapteurs, actionneurs recuperes de la tourelle d’origineElectronique reconcue : 2 micro-controleursAsservissement des moteurs en vitesse⇒ boucle interne

Correcteur visuelAsservissement en position dans l’image⇒ boucle externe

38

Page 50: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur

Tache de suivi Loi de commande pour le suivi d’objet au sol

Loi de commande = double boucle fermee

Analyse d'imageTransmission sans l

Boucle externe

Boucle interne

Centre de l'image

Transmission sans l

Correcteur visuel

39

Page 51: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur

Tache de suivi Loi de commande pour le suivi d’objet au sol

Identification des moteurs

M(p)U

Observateurvitesse de sortieestimée

position angulaireestimée

ω K

Choix du modele

1 constante mecanique

1 constante electrique

2 constantes complexes (elasticite des courroies)

Difficultes

Non-linearites : frottements mecaniques, quantification, jeux, ...

Absence de mesure de la vitesse

Probleme de butees mecaniques

40

Page 52: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur

Tache de suivi Loi de commande pour le suivi d’objet au sol

Identification des moteurs

M(p)U

Observateurvitesse de sortieestimée

position angulaireestimée

ω K

Choix du modele

1 constante mecanique

1 constante electrique← negligeable

2 constantes complexes (elasticite des courroies)← negligeable

→ pan : 21+0.0204p

Modele retenu : M(p) = ωu = G

1+τp

→ tilt : 21+0.0272p

40

Page 53: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur

Tache de suivi Loi de commande pour le suivi d’objet au sol

Boucle interne : regulation en vitesse

Moteur Potentiomètre vitessede sortie

position mesurée

Observateurvitesse de sortieestimée

PIconsignevitesse

erreur

Regler la dynamiqueReduire par 2 le temps de reponse de la boucle ouverteBoucle interne beaucoup plus rapide que boucle externeTemps de reponse a 10 ms

Observateur pour estimer la vitesseControleur PIEmbarquee sur le drone

41

Page 54: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur

Tache de suivi Loi de commande pour le suivi d’objet au sol

Architecture des micro-controleurs

UART SMB

MC1

UART SMB

MC2

Modem

consignes reçues sur 8 bits

Transmission des consignes

MLI

Contrôle caméra (focus, zoom...) sur 8bits Boucle interne de

commande

Transmission des consignes

Moteurs pan et tilt

Potentiomètres

CAN

42

Page 55: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur

Tache de suivi Loi de commande pour le suivi d’objet au sol

Boucle externe : regulation en position

Solution simple et classique en asservissement visuel 2D

boucle interne

algorithme d'estimation globale/locale

proportionnele

Gain :

s

Regulation de la position de l’objet au centre de l’image :s∗ = (0,0)

erreur a minimiser : e = (s − s∗) = s

Loi de commande :(

ΩxΩy

)= −λL−1s

Retard⇒ systeme instable

43

Page 56: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur

Tache de suivi Loi de commande pour le suivi d’objet au sol

Compensation du retard

Moteur pan

0.6 0.65 0.7 0.75 0.8 0.85 0.9 0.95 1 1.05 1.1

0

5

10

15

20

25

30

35

40

temps

dépl

acem

ent e

n pi

xels

ConsigneRéponse

Moteur pan

Moteur tilt

0.6 0.65 0.7 0.75 0.8 0.85 0.9 0.95 1 1.05 1.1

0

5

10

15

20

25

30

35

40

temps

dépl

acem

ent e

n pi

xels

ConsigneRéponse

Moteur tilt

retard constant : τc (electronique, transmission)

retard variable : τv (analyse d’image)

Approximation de la position (Taylor 2eme ordre)

s(t + τc + τv ) = s(t) + ∂s∂t (τc + τv ) + ∂2s

∂t2 (τc + τv )2

44

Page 57: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur

Tache de suivi Loi de commande pour le suivi d’objet au sol

Compensation du retard

Moteur pan

0.6 0.65 0.7 0.75 0.8 0.85 0.9 0.95 1 1.05 1.1

0

5

10

15

20

25

30

35

40

temps

dépl

acem

ent e

n pi

xels

ConsigneRéponse

Moteur pan

Moteur tilt

0.6 0.65 0.7 0.75 0.8 0.85 0.9 0.95 1 1.05 1.1

0

5

10

15

20

25

30

35

40

temps

dépl

acem

ent e

n pi

xels

ConsigneRéponse

Moteur tilt

retard constant : τc (electronique, transmission)

retard variable : τv (analyse d’image)

Loi de commande„Ωx

Ωy

«= −λL−1s(t + τc + τv )

44

Page 58: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur

Tache de suivi Loi de commande pour le suivi d’objet au sol

Loi de commande = double boucle fermee

Analyse d'imageTransmission sans l

Boucle externe

Boucle interne

Centre de l'image

Transmission sans l

45

Page 59: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur

Tache de suivi Resultats en conditions reelles pour une tache de suivi

Plan

1 ContexteContexte scientifiqueContexte experimental

2 Tache de suiviEstimation de la position de l’objet

Notre contexteAlgorithme de suivi de cible proposeResultats en laboratoire

Loi de commande pour le suivi d’objet au solBoucle interneBoucle externe

Resultats en conditions reelles pour une tache de suivi

3 Commande par sur-echantillonnage

4 Amelioration de la precision

5 Conclusions et perspectives

46

Page 60: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur

Tache de suivi Resultats en conditions reelles pour une tache de suivi

Suivi d’un croisement

Vol sans suivi Vol avec suivi

47

Page 61: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur

Tache de suivi Resultats en conditions reelles pour une tache de suivi

Suivi d’une maison

Vol sans suivi Vol avec suivi

48

Page 62: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur

Tache de suivi Resultats en conditions reelles pour une tache de suivi

Robustesse aux perturbations

49

Page 63: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur

Commande par sur-echantillonnage

Plan

1 ContexteContexte scientifiqueContexte experimental

2 Tache de suiviEstimation de la position de l’objet

Notre contexteAlgorithme de suivi de cible proposeResultats en laboratoire

Loi de commande pour le suivi d’objet au solBoucle interneBoucle externe

Resultats en conditions reelles pour une tache de suivi

3 Commande par sur-echantillonnage

4 Amelioration de la precision

5 Conclusions et perspectives

50

Page 64: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur

Commande par sur-echantillonnage

Idee de la commande par sur-echantillonnage

Objectif : Ameliorer le temps de reponse de la boucle externe

Asservissement classique Asservissement visuel classique

Mesure

Observateur

Capteur

Estimation

Commande

Mesure

Analyse d'image

Capteur

Estimation

Commande

Estimation envoyee a chaqueiteration

Estimation envoyee a la conver-gence

Idee : Envoyer a la commande des estimations intermediaires del’analyse d’image

51

Page 65: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur

Commande par sur-echantillonnage

Principe de la commande par sur-echantillonnage

Asservissement classique

Algorithme d'analyse d'image

Commande

Nouvelle Image

Asservissement sur-echantillonne

Algorithme d'analyse d'image

Commande

Nouvelle Image

52

Page 66: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur

Commande par sur-echantillonnage

Principe de la commande par sur-echantillonnage

Asservissement classique

Algorithme d'analyse d'image

Commande

Asservissement sur-echantillonne

Algorithme d'analyse d'image

Commande

52

Page 67: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur

Commande par sur-echantillonnage

Principe de la commande par sur-echantillonnage

Asservissement classique

Algorithme d'analyse d'image

Commande

Asservissement sur-echantillonne

Algorithme d'analyse d'image

Commande

52

Page 68: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur

Commande par sur-echantillonnage

Principe de la commande par sur-echantillonnage

Asservissement classique

Algorithme d'analyse d'image

Commande

Asservissement sur-echantillonne

Algorithme d'analyse d'image

Commande

52

Page 69: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur

Commande par sur-echantillonnage

Principe de la commande par sur-echantillonnage

Asservissement classique

Algorithme d'analyse d'image

Commande

Nouvelle Image

Asservissement sur-echantillonne

Algorithme d'analyse d'image

Commande

Nouvelle Image

52

Page 70: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur

Commande par sur-echantillonnage

Commande sur-echantillonnee avec notre algorithme

P(x,y) P(x,y)

I(kT) I((k+1)T)

kT (k+1)TδkT+i

t

Pyramide RMR Pyramide KLT

Niveau 3

Niveau 2

Niveau 1

Niveau 1

Niveau 0

Niveau 0

Consigne boucle interne

60 ms 17 img/s

53

Page 71: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur

Commande par sur-echantillonnage

Commande sur-echantillonnee avec notre algorithme

P(x,y) P(x,y)

I(kT) I((k+1)T)

kT (k+1)TδkT+i

t

Pyramide RMR Pyramide KLT

Niveau 3

Niveau 2

Niveau 1

Niveau 1

Niveau 0

Niveau 0

Consigne boucle interne

60 ms 17 img/s

53

Page 72: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur

Commande par sur-echantillonnage

Commande sur-echantillonnee avec notre algorithme

P(x,y) P(x,y)

I(kT) I((k+1)T)

kT (k+1)TδkT+i

t

Pyramide RMR Pyramide KLT

Niveau 3

Niveau 2

Niveau 1

Niveau 1

Niveau 0

Niveau 0

Consigne boucle interne

60 ms 17 img/s

53

Page 73: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur

Commande par sur-echantillonnage

Commande sur-echantillonnee avec notre algorithme

P(x,y) P(x,y)

I(kT) I((k+1)T)

kT (k+1)TδkT+i

t

Pyramide RMR Pyramide KLT

Niveau 3

Niveau 2

Niveau 1

Niveau 1

Niveau 0

Niveau 0

Consigne boucle interne

60 ms 17 img/s

53

Page 74: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur

Commande par sur-echantillonnage

Commande sur-echantillonnee avec notre algorithme

P(x,y) P(x,y)

I(kT) I((k+1)T)

kT (k+1)TδkT+i

t

Pyramide RMR Pyramide KLT

Niveau 3

Niveau 2

Niveau 1

Niveau 1

Niveau 0

Niveau 0

Consigne boucle interne

60 ms 17 img/s

→ Pas d’echantillonnage δ de la boucle de vision variable

53

Page 75: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur

Commande par sur-echantillonnage

Commande sur-echantillonnee avec notre algorithme

Saturation du buffer du micro-controleur→ trop de consignes

P(x,y) P(x,y)

I(kT) I((k+1)T)

kT (k+1)TδkT+i

t

Pyramide RMR Pyramide KLT

Niveau 3

Niveau 2

Niveau 1

Niveau 1

Niveau 0

Niveau 0

Consigne boucle interne

60 ms 17 img/s

53

Page 76: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur

Commande par sur-echantillonnage

Commande sur-echantillonnee avec notre algorithme

Saturation du buffer du micro-controleur→ trop de consignes

P(x,y) P(x,y)

I(kT) I((k+1)T)

kT (k+1)TδkT+i

t

Pyramide RMR Pyramide KLT

Niveau 3

Niveau 2

Niveau 1

Niveau 1

Niveau 0

Niveau 0

Consigne boucle interne

60 ms 17 img/s

53

Page 77: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur

Commande par sur-echantillonnage

Choix des consignes en pratique

Envoi d'une commande

Initialisation des paramètres constants

Envoi d'une commande

Envoi d'une commande

Itérations Newtown-Raphston

Itérations Newtown-Raphston

Recherche des points caractéristiques

Itérations IRLS

Itérations IRLS

Itérations IRLS

Itérations IRLS

Itérations IRLS17ms

22ms

19ms

54

Page 78: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur

Commande par sur-echantillonnage

Formalisme de la commande par sur-echantillonnage

Formalisme de la dynamique de l’algorithme d’analyse d’image :

Analyse d’image classique : pkT = R(pkT , IkT )

Analyse d’image sur-echantillonnee : pkT+(i+1)δ = R(pkT+iδ, IkT )

Avec :T : cadence d’analyseδ: pas d’iteration (considere constant pour simplifier les no-

tations)R: dynamique du systemeIk T : image a t = kTpkT+iδ: position estimee de l’objet a l’instant t = kT + iδ

Difference avec un observateur classique

Observateur : pkT+(i+1)δ = R(pkT+iδ, IkT+iδ)

Analyse d’image sur-echantillonnee : pkT+(i+1)δ = R(pkT+iδ, IkT)

55

Page 79: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur

Commande par sur-echantillonnage

Procedure de testTest avec le systeme reel demonte de l’avion

Meme comportement de la commande que lors d’un volMesurer le temps de reponse :

Temps pour centrer l’objet dans l’imageDeplacement mesure par l’algorithme d’analyse d’image

Point initial

Cible

échelon en x

éche

lon

en y

56

Page 80: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur

Commande par sur-echantillonnage

Resultats : comparaison classique/sur-echantillonne

Caracteristique recherchee

Plus grande reactivite

0 0.2 0.4 0.6 0.8 1 1.2 1.4 1.60

10

20

30

40

50

60

temps

pla

ce

me

nt e

n p

ixe

ls

0 0.2 0.4 0.6 0.8 1 1.2 1.4 1.60

10

20

30

40

50

60

temps

pla

ce

me

nt e

n p

ixe

ls

consigneréponse avec upsamplingréponse sans upsampling

moteurtilt

moteur pan

0 0.2 0.4 0.6 0.8 1 1.2 1.4 1.6 1.8−60

−50

−40

−30

−20

−10

0

10

tps

pla

ce

me

nt

en

x

0 0.2 0.4 0.6 0.8 1 1.2 1.4 1.6 1.8−80

−70

−60

−50

−40

−30

−20

−10

0

10

tps

pla

ce

me

nt

y

consigneréponse sans upsamplingréponse avec upsampling

Moteur pan

Moteur tilt

Commande par sur-echantillonnage toujours plus rapide (gain de 200ms)

57

Page 81: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur

Commande par sur-echantillonnage

Resultats avec differentes cadences d’analyse

Caracteristique recherchee

Augmenter le temps de l’analyse d’image sans perdre de reactivite

0 0.5 1 1.50

10

20

30

40

50

60

temps

dépl

acem

ent e

n pi

xels

0 0.2 0.4 0.6 0.8 1 1.2 1.4 1.60

10

20

30

40

50

60

moteur tilt

temps

consigneréponse avec upsampling 14img/sréponse sans upsampling 15 img/sréponse avec upsampling 12.5 img/s

moteur pan

Commande par sur-echantillonnage toujours plus rapide meme avec unecadence de la boucle externe plus faible

58

Page 82: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur

Amelioration de la precision

Plan

1 ContexteContexte scientifiqueContexte experimental

2 Tache de suiviEstimation de la position de l’objet

Notre contexteAlgorithme de suivi de cible proposeResultats en laboratoire

Loi de commande pour le suivi d’objet au solBoucle interneBoucle externe

Resultats en conditions reelles pour une tache de suivi

3 Commande par sur-echantillonnage

4 Amelioration de la precision

5 Conclusions et perspectives

59

Page 83: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur

Amelioration de la precision

Amelioration de la precision

Probleme de precision : non-linearitesfrottementsquantificationjeux....

0 5 10 15 20 25 30−2.8

−1.9

−0.9

0

0.9

1.9

2.8

temps

tens

ion

tension d’entréeposition mesurée

Frottements

60

Page 84: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur

Amelioration de la precision

Amelioration de la precision

Probleme de precision : non-linearitesfrottementsquantificationjeux....

Proposition d’un autre correcteur visuel

Eliminer l’erreur statiqueEliminer l’erreur de traınage

⇒ developpement d’un correcteur LQR (Regulateur LineaireQuadratique)

60

Page 85: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur

Amelioration de la precision

Conception du correcteur LQR

Principe : Minimisation de la fonction de cout :

J(xo,u) =

∫ +∞

0x(t)T Qx(t) + u(t)T Ru(t)dt

Dans le cas lineaire sans contrainte : retour d’etat u = −Kx

Reglages du LQR

Choix du LQR d’ordre 4 :Action derivee : stabiliser le systemeAction proportionnelle : accelerer le systemeAction integrale : eliminer l’erreur statiqueAction double integrale : eliminer l’erreur de traınage

Ponderation de la matrice Q et R de facon a privilegier :Action integraleAction proportionnelle

61

Page 86: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur

Amelioration de la precision

Resultats avec le systeme reel : echelon de consigne

Caracteristique recherchee

Erreur statique nulle

0 1 2 3 4 5 60

5

10

15

20

25

30

35

tps

dépl

acem

ent e

n x

0 1 2 3 4 5 6−50

−40

−30

−20

−10

0

10

tps

dépl

acem

ent y

comparaison

consigneréponse avec LQRréponse avec proportionel

Erreur statique eliminee

62

Page 87: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur

Amelioration de la precision

Resultats avec le systeme reel : poursuite

Caracteristique recherchee

Erreur de traınage nulle

0 0.5 1 1.5 2 2.5

−20

−10

0

10

20

30

temps

err

eu

r x

0 0.5 1 1.5 2 2.5−30

−20

−10

0

10

temps

err

eu

r y

poursuite avec contrôleur proportionnel

erreur en pan et tilt

Correcteur proportionnel

0 0.5 1 1.5 2 2.5 3 3.5 4 4.5

−30

−20

−10

0

10

20

30

temps

err

eu

r x

0 0.5 1 1.5 2 2.5 3 3.5 4 4.5−30

−20

−10

0

10

20

30

tempse

rre

ur

y

poursuite avec contrôleur LQR

erreur pan et tilt

Correcteur LQR

Erreur de traınage eliminee

63

Page 88: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur

Conclusions et perspectives

Plan

1 ContexteContexte scientifiqueContexte experimental

2 Tache de suiviEstimation de la position de l’objet

Notre contexteAlgorithme de suivi de cible proposeResultats en laboratoire

Loi de commande pour le suivi d’objet au solBoucle interneBoucle externe

Resultats en conditions reelles pour une tache de suivi

3 Commande par sur-echantillonnage

4 Amelioration de la precision

5 Conclusions et perspectives

64

Page 89: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur

Conclusions et perspectives

Conclusions

Analyse de sequence d’image

Algorithme d’estimation globale/locale

PrecisRobuste aux perturbationsRobuste aux grandes amplitudesRapide

Commande

Prise en compte de la dynamique du manipulateur

Nouvelle commande par sur-echantillonnage :

Amelioration de la reactivite de la boucle de visionPossibilite d’utiliser des algorithmes d’analyse d’images plus lentssans perdre en reactivite

Correcteur LQR :

Amelioration de la precision par rapport aux non-linearitesElimination de l’erreur de traınage

65

Page 90: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur

Conclusions et perspectives

Perspectives

Approches en partie developpees

Utilisation de points invariants (SIFT) :Ameliorer la robustesse aux perturbationsRetrouver des objets perdus

Adapter le correcteur LQR a la commande sur-echantillonneeAller du LQR a la commande predictive : ajout de contraintes(visibilite, saturation...)

Perspectives plus lointaines

Exploration et reconstruction panoramique...Utiliser le zoom dans la tache de suiviSuivre des objets mobilesCentrale d’attitude pour le drone

66

Page 91: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur

Conclusions et perspectives

Merci...

67