Un modèle général pour la classification non supervisée sous … · 2013-06-20 · Un modèle général pour la classiﬁcation non supervisée sous contraintes d’utilisateur

Un modèle général pour la classificationnon supervisée sous contraintes d’utilisateur

Thi-Bich-Hanh DAO, Khanh-Chuong DUONG,Christel VRAIN

LIFOUniversité d’Orléans

JFPC 2013

DAO, DUONG, VRAIN (LIFO) Un modèle général pour le clustering JFPC 2013 1 / 41

Plan

1 MotivationClassification non superviséeContraintes d’utilisateurMotivation

2 ModèleVariablesContraintesStratégie de recherche

3 ExpérimentationClustering sans contraintes d’utilisateurClustering avec contraintes d’utilisateur

4 Conclusion


Plan




4 Conclusion


Classification non supervisée

O = {o1, . . . , on

}: n objets. d(oi

, oj

): dissimilarité entre o

i

et o

j

.Tâche: Regrouper n objets en k groupes.Le problème peut être formulé comme un problème d’optimisationavec un critère E :

Minimisation du diamètre maximalMaximisation du séparateur minimalMinimisation de la somme de dissimilaritésMinimisation des moindres carrésMinimisation de l’erreur absolue...


Classification non supervisée


Critère: Minimisation du diamètre maximal


Critère: Maximisation du séparateur minimal


Critère: Minimisation de la somme de dissimilarités


Plan




4 Conclusion


Contraintes d’utilisateur


Contraintes portant sur les clusters


Contrainte: Diamètre Maximal


Contrainte: Séparation Minimale


Contraintes: Must-link et Cannot-link


Plan




4 Conclusion


Motivation

Ce problème d’optimisation est NP-difficile. Les algorithmesclassiques trouvent un optimum local.Ils doivent être adaptés pour chaque type de contraintes.


Motivation

Un modèle général qui cherche l’optimum global.Intégration avec des contraintes définies par l’utilisateur.Choix des critères d’optimisation:

minimisation du diamètre maximal.maximisation de la séparation entre les clusters.minimisation de la somme des dissimilarités intracluster.


Plan




4 Conclusion


Variables : représentants

Chaque groupe est identifié par un représentant.Pour casser la symétrie, le représentant d’un cluster est le pointdu plus petit indice.k variables: I[1], . . . , I[k ] avec le domaine [1, n].8c 2 [1, k ], I[c] est le représentant du cluster c


Variables : points aux clusters

Pour chaque point, son cluster est donné par l’indice dureprésentant.G[1], . . . ,G[n] avec le domaine [1, n].8i 2 [1, n], G[i] est la valeur du représentant associé.


Variables du critère à optimiser

D : diamètre maximal.V : somme des dissimilarités intra-cluster.


Plan




4 Conclusion


Modélisation d’une partition

Le représentant d’un représentant est lui-même:

8c 2 [1, k ], G[I[c]] = I[c]

Le représentant d’un point doit être parmi les représentants:

8i 2 [1, n], #{c | G[i]= I[c]} = 1

Le représentant doit être d’indice minimal:

8i 2 [1, n], G[i] i

Les représentants sont en ordre croissant:

8c < c

0 2 [1, k ], I[c] < I[c0]

Le représentant du premier cluster est le premier point:

G[1] = 1, I[1] = 1


Contraintes du diamètre maximal

Les contraintes réifiées du diamètre:

8i < j 2 [1, n] : d(i , j) > D ! (G[i] 6= G[j])

minimise D.


Contrainte de la somme des dissimilarités

Contrainte linéaire de la somme des dissimilarités intra-clusters

V =X

i<j2[1,n]

(G[i] == G[j])d(i , j)2

minimise V .


Modélisation des contraintes définies par l’utilisateur

Pour les contraintes portant sur les clusters:Capacité minimale ↵ des clusters:

8c 2 [1, k ], #{i | G[i]= I[c]} � ↵

Capacité maximale � des clusters:

8c 2 [1, k ], #{i | G[i]= I[c]} �

Séparation minimale ✓ des clusters:

8i < j 2 [1, n], d(i , j) < ✓ : G[i] = G[j]

Diamètre maximal � des clusters:

8i < j 2 [1, n], d(i , j) > � : G[i] 6= G[j]


Modélisation des contraintes définies par l’utilisateurGénéralisation de la ✏-contrainte:

#{j | d(i , j) ✏,G[j]=G[i]} � MinPts

Pour les contraintes sur les couples de points:Une contrainte must-link sur i , j :

G[i] = G[j]

Une contrainte cannot-link sur i , j :

G[i] 6= G[j]


Plan




4 Conclusion


Stratégie de recherche

Ordre de choix des variables: I puis G.Choix des variables de I: I[1] à I[k ]

Choix des variables de G: sur la taille du domaine restant.Choix de valeur pour chaque G[i]: l’indice du représentant le plusproche.


Amélioration du modèle

Utilisation d’une heuristique fondée sur l’algorithme FPF [F.Gonzalez, 1985] pour réordonner les points.Amélioration des contraintes réifiées du diamètre prenant encompte le diamètre trouvé par FPF.Un filtrage supplémentaire pour la somme de dissimilarités.


Amélioration de la recherche en réordonnant lespoints

Importance des indices des points.FPF est utilisé pour réordonner les points.


Amélioration de la recherche en réordonnant lespoints


Un filtrage supplémentaire pour la somme

V =X

i<j2[1,n]

(G[i] == G[j])d(i , j)2


Plan




4 Conclusion


Clustering sans contraintes d’utilisateur

Base de données #Objets #Classes Diamètre Séparationiris 150 3 0.1s 0.3sionosphere 351 2 0.8s 7.4ssynthetic control 600 6 24.6s 102.8svehicle 846 4 36.7s 308.6syeast 1484 10 4211.2s > 2 heurs


Clustering sans contraintes d’utilisateur

30 32 34 36 38 40

0

20

40

60

80

100

n

te

mp

s(s)

Avec le filtrage supplémentaireSans filtrage supplémentaire

Critère de la somme des dissimilarités:

V =X

i<j2[1,n]

(G[i] == G[j])d(i , j)2


Plan




4 Conclusion


Performance avec contraintes d’utilisateur

0 0.2 0.4 0.6 0.8 1

100

200

300

400

500

#must-link (%)

#noe

uds

sans contrainte de capacitécapacité � 5%n

capacité � 10%n

capacité � 15%n

critère de diamètre + contraintes de Must-link + contrainte de capacité.


Qualité de la solution


Conclusion

ConclusionUn modèle générique en PPC pour la classification nonsupervisée avec contraintes d’utilisateur.Un filtrage supplémentaire pour la somme des dissimilarités.Le modèle s’adapte à différents critères de classification.Intégration directe des contraintes d’utilisateur.

PerspectiveAmélioration de l’efficacité.Renforcer la généralité du modèle.


Amélioration pour le critère du diamètre maximal

D

optimal

D

FPF

2 ⇥ D

optimal

Contrainte de diamètre est modifié:d(i , j) D

FPF

/2:

d(i , j) > D

FPF

:


Documents

Un modèle général pour la classification non supervisée sous … · 2013-06-20 · Un modèle général pour la classiﬁcation non supervisée sous contraintes d’utilisateur