25
Reconnaissance de visages Université d’Avignon et du pays du Vaucluse IUP GMI Réalisé par : Hazem Amir Tuteur: Mr Bonastre JF

Reconnaissance de visages Université dAvignon et du pays du Vaucluse IUP GMI Réalisé par : Hazem Amir Tuteur: Mr Bonastre JF

Embed Size (px)

Citation preview

Page 1: Reconnaissance de visages Université dAvignon et du pays du Vaucluse IUP GMI Réalisé par : Hazem Amir Tuteur: Mr Bonastre JF

Reconnaissance de visages

Université d’Avignon et du pays du Vaucluse

IUP GMI

Réalisé par :Hazem Amir

Tuteur:Mr Bonastre JF

Page 2: Reconnaissance de visages Université dAvignon et du pays du Vaucluse IUP GMI Réalisé par : Hazem Amir Tuteur: Mr Bonastre JF

PlanPlan

Introduction Introduction

Systèmes de reconnaissance de visagesSystèmes de reconnaissance de visages

Architecture de notre systèmeArchitecture de notre système

Méthodes d’extractions ( PCA, DCT )Méthodes d’extractions ( PCA, DCT )

Classifieur GMMClassifieur GMM

Tests et résultatsTests et résultats

Conclusion et perspectivesConclusion et perspectives

Page 3: Reconnaissance de visages Université dAvignon et du pays du Vaucluse IUP GMI Réalisé par : Hazem Amir Tuteur: Mr Bonastre JF

IntroductionIntroduction

But du projet :But du projet :1.1. Utiliser la PCA et la DCT comme méthodes Utiliser la PCA et la DCT comme méthodes

d’extraction d’informations d’extraction d’informations

2.2. Utiliser le GMM pour la classificationUtiliser le GMM pour la classification

3.3. Comparer la PCA GMM et la DCT GMMComparer la PCA GMM et la DCT GMM

Page 4: Reconnaissance de visages Université dAvignon et du pays du Vaucluse IUP GMI Réalisé par : Hazem Amir Tuteur: Mr Bonastre JF

Système de reconnaissance de visagesSystème de reconnaissance de visages

MondeExtérieur

Prétraitements Détection etLocalisation

Extraction des paramètres

Classification

Teste et Décision

Acquisition d’image

Page 5: Reconnaissance de visages Université dAvignon et du pays du Vaucluse IUP GMI Réalisé par : Hazem Amir Tuteur: Mr Bonastre JF

Architecture deArchitecture de notre systèmenotre système

Pré-Traitement

s

Features (PCA|DCT)

Classifieur GMMLIA_SpeakerDet

BDDVisages

FichierRésulta

t

Page 6: Reconnaissance de visages Université dAvignon et du pays du Vaucluse IUP GMI Réalisé par : Hazem Amir Tuteur: Mr Bonastre JF

Méthodes d’extraction d’informations Méthodes d’extraction d’informations PCA :PCA :

Matrice de vecteurs d’images pour chaque bloc de même position

Image 1 ImageN

PCA PCA PCA

Page 7: Reconnaissance de visages Université dAvignon et du pays du Vaucluse IUP GMI Réalisé par : Hazem Amir Tuteur: Mr Bonastre JF

Méthodes d’extraction d’informations Méthodes d’extraction d’informations DCTDCT

1

0

1

0

)2

)12(cos()

2

)12(cos(),()()(),(

N

y

N

x N

vy

N

uxyxfvuvuC

N

Nu2

1)(

pour

pour

0

0

u

u

Page 8: Reconnaissance de visages Université dAvignon et du pays du Vaucluse IUP GMI Réalisé par : Hazem Amir Tuteur: Mr Bonastre JF

Méthodes d’extraction d’informations Méthodes d’extraction d’informations DCTDCT

Récupération des coefficients DCT: 

Fig modèle zigzag d’un bloc 8 x 8

Page 9: Reconnaissance de visages Université dAvignon et du pays du Vaucluse IUP GMI Réalisé par : Hazem Amir Tuteur: Mr Bonastre JF

Méthodes d’extraction d’informations Méthodes d’extraction d’informations DCTDCT

Propriétés de la DCT :Propriétés de la DCT :

DécorrélationDécorrélation

Compression d'énergieCompression d'énergie

SéparabilitéSéparabilité

Page 10: Reconnaissance de visages Université dAvignon et du pays du Vaucluse IUP GMI Réalisé par : Hazem Amir Tuteur: Mr Bonastre JF

Méthode de classification : GMMMéthode de classification : GMM

Ayant N images d’apprentissage en entrée, on va apprendre un Ayant N images d’apprentissage en entrée, on va apprendre un

GMM sur l’ensemble des données, dénommé le modèle du monde.GMM sur l’ensemble des données, dénommé le modèle du monde.

La vraisemblance d’une donnée x est donnée par :

la vraisemblance de l’ensemble est donnée par :

Maximisation avec l’algorithme EM

Page 11: Reconnaissance de visages Université dAvignon et du pays du Vaucluse IUP GMI Réalisé par : Hazem Amir Tuteur: Mr Bonastre JF

Tests et résultatsTests et résultats

Base ORL :Base ORL :

400 images

10 poses pas individu

Page 12: Reconnaissance de visages Université dAvignon et du pays du Vaucluse IUP GMI Réalisé par : Hazem Amir Tuteur: Mr Bonastre JF

Tests et résultatsTests et résultats

Base ORLBase ORL

changements d’orientations du visage

changements d’éclairage

Page 13: Reconnaissance de visages Université dAvignon et du pays du Vaucluse IUP GMI Réalisé par : Hazem Amir Tuteur: Mr Bonastre JF

Tests et résultatsTests et résultats

Base ORLBase ORL

changements d’échelle

changements des expressions faciales

Page 14: Reconnaissance de visages Université dAvignon et du pays du Vaucluse IUP GMI Réalisé par : Hazem Amir Tuteur: Mr Bonastre JF

Tests et résultatsTests et résultats

Base ORLBase ORL

port de lunettes

changements de coiffure et de port de barbe

Page 15: Reconnaissance de visages Université dAvignon et du pays du Vaucluse IUP GMI Réalisé par : Hazem Amir Tuteur: Mr Bonastre JF

Tests et résultatsTests et résultats

Base ORLBase ORL

Individus de différents ages races et sexes

Page 16: Reconnaissance de visages Université dAvignon et du pays du Vaucluse IUP GMI Réalisé par : Hazem Amir Tuteur: Mr Bonastre JF

Tests et résultatsTests et résultats

1. Pour chaque individu :

5 poses pour l’apprentissage

5 poses pour le test

200 images pour l’apprentissage

200 images pour les tests

Page 17: Reconnaissance de visages Université dAvignon et du pays du Vaucluse IUP GMI Réalisé par : Hazem Amir Tuteur: Mr Bonastre JF

Tests et résultatsTests et résultats

Étapes de tests :Étapes de tests :BDD

VisagesPré-

Traitements

LPCA /DCT

Features

EnsembleD’apprentissage

Train WorldTrain Target

Compute Test RésultatsEnsembleDe Tests

Page 18: Reconnaissance de visages Université dAvignon et du pays du Vaucluse IUP GMI Réalisé par : Hazem Amir Tuteur: Mr Bonastre JF

Tests et résultats (LPCA)Tests et résultats (LPCA)

Test sur le nombre de vecteurs basesTest sur le nombre de vecteurs bases : :

0

10

20

30

40

50

60

70

80

20 40 60 80 100

Nombre de vecteurs bases

Tau

x d

e re

con

nai

ssan

ce

Meilleurs résultats : 100 vecteurs bases

Page 19: Reconnaissance de visages Université dAvignon et du pays du Vaucluse IUP GMI Réalisé par : Hazem Amir Tuteur: Mr Bonastre JF

Tests et résultats(LPCA)Tests et résultats(LPCA)

Tests sur le nombre de mixtures de gaussiennes :Tests sur le nombre de mixtures de gaussiennes :

0

10

20

30

40

50

60

70

80

90

4 20 40 60 80 100 120 140 160 180

Nombre de mixtures de gaussiennes

Tau

x d

e re

con

nai

ssan

ce

Pour un nombre de mixtures égal à 160

On obtient 84% de taux de reconnaissance

Page 20: Reconnaissance de visages Université dAvignon et du pays du Vaucluse IUP GMI Réalisé par : Hazem Amir Tuteur: Mr Bonastre JF

Tests et résultats(DCT)Tests et résultats(DCT)

Test sur le nombre de coefficients DCT:Test sur le nombre de coefficients DCT:

0,00%

10,00%

20,00%

30,00%

40,00%

50,00%

60,00%

70,00%

80,00%

90,00%

4 8 16 21 32 64

Coefficients DCT

Tau

x d

e re

con

nai

ssan

ce

Meilleurs résultats : 16 coefficients DCT

Page 21: Reconnaissance de visages Université dAvignon et du pays du Vaucluse IUP GMI Réalisé par : Hazem Amir Tuteur: Mr Bonastre JF

Tests et résultats(DCT)Tests et résultats(DCT)

Tests sur la taille des blocs DCT :Tests sur la taille des blocs DCT :

64,00%

66,00%

68,00%

70,00%

72,00%

74,00%

76,00%

78,00%

8x8 16x16 32x32

Taille des blocs DCT

Tau

x d

e r

eco

nn

ais

san

ce

Meilleurs résultats : blocs de taille 8x8

Page 22: Reconnaissance de visages Université dAvignon et du pays du Vaucluse IUP GMI Réalisé par : Hazem Amir Tuteur: Mr Bonastre JF

Tests et résultats(DCT)Tests et résultats(DCT)

Test sur l’indice de chevauchement des blocs DCT :Test sur l’indice de chevauchement des blocs DCT :

0,00%

10,00%

20,00%

30,00%

40,00%

50,00%

60,00%

70,00%

80,00%

sans 25% 50% 75%

Chevauchement

Tau

x d

e re

con

nai

ssan

ce

Meilleurs résultats : chevauchement de 50%

Page 23: Reconnaissance de visages Université dAvignon et du pays du Vaucluse IUP GMI Réalisé par : Hazem Amir Tuteur: Mr Bonastre JF

Tests et résultats(DCT)Tests et résultats(DCT)

Test sur le nombre de mixtures de gaussiennes:Test sur le nombre de mixtures de gaussiennes:

76%

78%

80%

82%

84%

86%

88%

90%

92%

94%

4 10 20 40 80 100 150 180 220

Mixtures de gaussiennes

Tau

x d

e re

con

nai

ssan

ce

Pour un nombre de mixtures égal à 100

On obtient 93% de taux de reconnaissance

Page 24: Reconnaissance de visages Université dAvignon et du pays du Vaucluse IUP GMI Réalisé par : Hazem Amir Tuteur: Mr Bonastre JF

Tests et résultatsTests et résultats

Synthèse :Synthèse :

Dimension Nb coefficients Nb mixtures Taux de rec

DCT GMM 8 16 100 93%

LPCA GMM 100 64 160 84%

Page 25: Reconnaissance de visages Université dAvignon et du pays du Vaucluse IUP GMI Réalisé par : Hazem Amir Tuteur: Mr Bonastre JF

Conclusion et PerspectivesConclusion et Perspectives

Approfondir et d’automatiser les tests pour la LPCA GMM et la DCT Approfondir et d’automatiser les tests pour la LPCA GMM et la DCT GMM, et de des tests sur d’autres bases de données comme : GMM, et de des tests sur d’autres bases de données comme :

FERET, YAL, MIT, M2VTS.FERET, YAL, MIT, M2VTS.

Travailler sur une base de données d’images vidéosTravailler sur une base de données d’images vidéos

Introduire une variante de la DCT qui est la DCT mod2Introduire une variante de la DCT qui est la DCT mod2 Inclure la LPCA GMM et DCT GMM dans le toolkit ALIZE Inclure la LPCA GMM et DCT GMM dans le toolkit ALIZE

LIA_DpkDetLIA_DpkDet Fusionner ces méthodes avec d’autres méthodes Fusionner ces méthodes avec d’autres méthodes biométriques développées par le LIA comme la biométriques développées par le LIA comme la

reconnaissance du locuteur et d’empreintes digitalesreconnaissance du locuteur et d’empreintes digitales