68
Plan Introduction ` a la vision omnidirectionnelle Mod´ elisation Calibrage Application ` a la d´ etection de droites Conclusion Vision Omnidirectionnelle : Mod´ elisation, Extraction de Primitives et Applications Pascal Vasseur Pascal Vasseur Vision Omnidirectionnelle : Mod´ elisation, Extraction de Primitives et Applications

Vision Omnidirectionnelle : Modélisation, Extraction de ...castillo/dokuwiki/_media/en/sit55-p_vasseur.pdf · 5 Conclusion Pascal Vasseur Vision Omnidirectionnelle : Mod´elisation,

  • Upload
    vannhi

  • View
    226

  • Download
    0

Embed Size (px)

Citation preview

Page 1: Vision Omnidirectionnelle : Modélisation, Extraction de ...castillo/dokuwiki/_media/en/sit55-p_vasseur.pdf · 5 Conclusion Pascal Vasseur Vision Omnidirectionnelle : Mod´elisation,

Plan Introduction a la vision omnidirectionnelle Modelisation Calibrage Application a la detection de droites Conclusion

Vision Omnidirectionnelle : Modelisation,

Extraction de Primitives et Applications

Pascal Vasseur

Pascal Vasseur

Vision Omnidirectionnelle : Modelisation, Extraction de Primitives et Applications

Page 2: Vision Omnidirectionnelle : Modélisation, Extraction de ...castillo/dokuwiki/_media/en/sit55-p_vasseur.pdf · 5 Conclusion Pascal Vasseur Vision Omnidirectionnelle : Mod´elisation,

Plan Introduction a la vision omnidirectionnelle Modelisation Calibrage Application a la detection de droites Conclusion

Plan

1 Introduction a la vision omnidirectionnelle

2 Modelisation

3 Calibrage

4 Application a la detection de droites

5 Conclusion

Pascal Vasseur

Vision Omnidirectionnelle : Modelisation, Extraction de Primitives et Applications

Page 3: Vision Omnidirectionnelle : Modélisation, Extraction de ...castillo/dokuwiki/_media/en/sit55-p_vasseur.pdf · 5 Conclusion Pascal Vasseur Vision Omnidirectionnelle : Mod´elisation,

Plan Introduction a la vision omnidirectionnelle Modelisation Calibrage Application a la detection de droites Conclusion

Machine Perspective

Man Drawing a Lute, 1525 Woodcut, Albrecht Durer

Pascal Vasseur

Vision Omnidirectionnelle : Modelisation, Extraction de Primitives et Applications

Page 4: Vision Omnidirectionnelle : Modélisation, Extraction de ...castillo/dokuwiki/_media/en/sit55-p_vasseur.pdf · 5 Conclusion Pascal Vasseur Vision Omnidirectionnelle : Mod´elisation,

Plan Introduction a la vision omnidirectionnelle Modelisation Calibrage Application a la detection de droites Conclusion

Peinture Panoramique

Robert Barker, 1792.

Pascal Vasseur

Vision Omnidirectionnelle : Modelisation, Extraction de Primitives et Applications

Page 5: Vision Omnidirectionnelle : Modélisation, Extraction de ...castillo/dokuwiki/_media/en/sit55-p_vasseur.pdf · 5 Conclusion Pascal Vasseur Vision Omnidirectionnelle : Mod´elisation,

Plan Introduction a la vision omnidirectionnelle Modelisation Calibrage Application a la detection de droites Conclusion

Photographie Panoramique

Louis Lumiere, 1900

Pascal Vasseur

Vision Omnidirectionnelle : Modelisation, Extraction de Primitives et Applications

Page 6: Vision Omnidirectionnelle : Modélisation, Extraction de ...castillo/dokuwiki/_media/en/sit55-p_vasseur.pdf · 5 Conclusion Pascal Vasseur Vision Omnidirectionnelle : Mod´elisation,

Plan Introduction a la vision omnidirectionnelle Modelisation Calibrage Application a la detection de droites Conclusion

Photographie Panoramique

Dinard, 1901.

Pascal Vasseur

Vision Omnidirectionnelle : Modelisation, Extraction de Primitives et Applications

Page 7: Vision Omnidirectionnelle : Modélisation, Extraction de ...castillo/dokuwiki/_media/en/sit55-p_vasseur.pdf · 5 Conclusion Pascal Vasseur Vision Omnidirectionnelle : Mod´elisation,

Plan Introduction a la vision omnidirectionnelle Modelisation Calibrage Application a la detection de droites Conclusion

Question

Les capteurs visuels perspectifs sont-ils suffisants et adequats pourla robotique ?

Un element dereponse ...

Inspiration dumonde animal

Pascal Vasseur

Vision Omnidirectionnelle : Modelisation, Extraction de Primitives et Applications

Page 8: Vision Omnidirectionnelle : Modélisation, Extraction de ...castillo/dokuwiki/_media/en/sit55-p_vasseur.pdf · 5 Conclusion Pascal Vasseur Vision Omnidirectionnelle : Mod´elisation,

Plan Introduction a la vision omnidirectionnelle Modelisation Calibrage Application a la detection de droites Conclusion

Question

Comment obtenir une image omnidirectionnelle de l’environnement?

Pascal Vasseur

Vision Omnidirectionnelle : Modelisation, Extraction de Primitives et Applications

Page 9: Vision Omnidirectionnelle : Modélisation, Extraction de ...castillo/dokuwiki/_media/en/sit55-p_vasseur.pdf · 5 Conclusion Pascal Vasseur Vision Omnidirectionnelle : Mod´elisation,

Plan Introduction a la vision omnidirectionnelle Modelisation Calibrage Application a la detection de droites Conclusion

Capteurs (Poly-)dioptriques

Pascal Vasseur

Vision Omnidirectionnelle : Modelisation, Extraction de Primitives et Applications

Page 10: Vision Omnidirectionnelle : Modélisation, Extraction de ...castillo/dokuwiki/_media/en/sit55-p_vasseur.pdf · 5 Conclusion Pascal Vasseur Vision Omnidirectionnelle : Mod´elisation,

Plan Introduction a la vision omnidirectionnelle Modelisation Calibrage Application a la detection de droites Conclusion

Capteurs (Poly-)dioptriques

Avantage : Haute resolution

Pascal Vasseur

Vision Omnidirectionnelle : Modelisation, Extraction de Primitives et Applications

Page 11: Vision Omnidirectionnelle : Modélisation, Extraction de ...castillo/dokuwiki/_media/en/sit55-p_vasseur.pdf · 5 Conclusion Pascal Vasseur Vision Omnidirectionnelle : Mod´elisation,

Plan Introduction a la vision omnidirectionnelle Modelisation Calibrage Application a la detection de droites Conclusion

Capteurs (Poly-)dioptriques

Avantage : Haute resolutionInconvenients : synchronisation, bande passante, plusieurscameras

Pascal Vasseur

Vision Omnidirectionnelle : Modelisation, Extraction de Primitives et Applications

Page 12: Vision Omnidirectionnelle : Modélisation, Extraction de ...castillo/dokuwiki/_media/en/sit55-p_vasseur.pdf · 5 Conclusion Pascal Vasseur Vision Omnidirectionnelle : Mod´elisation,

Plan Introduction a la vision omnidirectionnelle Modelisation Calibrage Application a la detection de droites Conclusion

Capteurs Catadioptriques

Pascal Vasseur

Vision Omnidirectionnelle : Modelisation, Extraction de Primitives et Applications

Page 13: Vision Omnidirectionnelle : Modélisation, Extraction de ...castillo/dokuwiki/_media/en/sit55-p_vasseur.pdf · 5 Conclusion Pascal Vasseur Vision Omnidirectionnelle : Mod´elisation,

Plan Introduction a la vision omnidirectionnelle Modelisation Calibrage Application a la detection de droites Conclusion

Capteurs Catadioptriques

Avantage : une seule image

Pascal Vasseur

Vision Omnidirectionnelle : Modelisation, Extraction de Primitives et Applications

Page 14: Vision Omnidirectionnelle : Modélisation, Extraction de ...castillo/dokuwiki/_media/en/sit55-p_vasseur.pdf · 5 Conclusion Pascal Vasseur Vision Omnidirectionnelle : Mod´elisation,

Plan Introduction a la vision omnidirectionnelle Modelisation Calibrage Application a la detection de droites Conclusion

Capteurs Catadioptriques

Avantage : une seule image

Inconvenients : resolution, blindspot

Pascal Vasseur

Vision Omnidirectionnelle : Modelisation, Extraction de Primitives et Applications

Page 15: Vision Omnidirectionnelle : Modélisation, Extraction de ...castillo/dokuwiki/_media/en/sit55-p_vasseur.pdf · 5 Conclusion Pascal Vasseur Vision Omnidirectionnelle : Mod´elisation,

Plan Introduction a la vision omnidirectionnelle Modelisation Calibrage Application a la detection de droites Conclusion

Quelques reperes

1970 : Rees propose d’utiliser un miroir hyperboloıde pourcapturer une image

1990 : Premier capteur omnidirectionnel en robotique (COPIS- Yagi et al.)

1997 : Premiere etude theorique de la vision catadioptrique etclassification des capteurs (Nayar et al.)

2000 : Theoreme de l’equivalence pour les capteurs centraux(Geyer et al.)

2001 : Geometrie projective catadioptrique (Geyer et al.)

2002 : Premiers traitements d’images catadioptriquesspecifiques (Daniilidis et al.)

Pascal Vasseur

Vision Omnidirectionnelle : Modelisation, Extraction de Primitives et Applications

Page 16: Vision Omnidirectionnelle : Modélisation, Extraction de ...castillo/dokuwiki/_media/en/sit55-p_vasseur.pdf · 5 Conclusion Pascal Vasseur Vision Omnidirectionnelle : Mod´elisation,

Plan Introduction a la vision omnidirectionnelle Modelisation Calibrage Application a la detection de droites Conclusion

Projection Centrale

Definition d’une projection centrale

Cas general

La projection induite parune camera est unefonction de l’espace 3Dvers le plan image telleque f : P

3 → P2.

Pascal Vasseur

Vision Omnidirectionnelle : Modelisation, Extraction de Primitives et Applications

Page 17: Vision Omnidirectionnelle : Modélisation, Extraction de ...castillo/dokuwiki/_media/en/sit55-p_vasseur.pdf · 5 Conclusion Pascal Vasseur Vision Omnidirectionnelle : Mod´elisation,

Plan Introduction a la vision omnidirectionnelle Modelisation Calibrage Application a la detection de droites Conclusion

Projection Centrale

Definition d’une projection centrale

General case

La projection induite parune camera est unefonction de l’espace 3Dvers le plan image telleque f : P

3 → P2.

Par contre, l’image inversed’un point de l’image estune droite dans l’espace.

Pascal Vasseur

Vision Omnidirectionnelle : Modelisation, Extraction de Primitives et Applications

Page 18: Vision Omnidirectionnelle : Modélisation, Extraction de ...castillo/dokuwiki/_media/en/sit55-p_vasseur.pdf · 5 Conclusion Pascal Vasseur Vision Omnidirectionnelle : Mod´elisation,

Plan Introduction a la vision omnidirectionnelle Modelisation Calibrage Application a la detection de droites Conclusion

Projection Centrale

Projection non-centrale

Pour beaucoup decameras, toutes cesdroites ne possedent pasnecessairement un seulpoint d’intersection.

Pascal Vasseur

Vision Omnidirectionnelle : Modelisation, Extraction de Primitives et Applications

Page 19: Vision Omnidirectionnelle : Modélisation, Extraction de ...castillo/dokuwiki/_media/en/sit55-p_vasseur.pdf · 5 Conclusion Pascal Vasseur Vision Omnidirectionnelle : Mod´elisation,

Plan Introduction a la vision omnidirectionnelle Modelisation Calibrage Application a la detection de droites Conclusion

Projection Centrale

Projection non-centrale

Pour beaucoup decameras, toutes cesdroites ne possedent pasnecessairement un seulpoint d’intersection.

Leur enveloppe estappelee caustique etrepresente le lieu despoints de vue.

Pascal Vasseur

Vision Omnidirectionnelle : Modelisation, Extraction de Primitives et Applications

Page 20: Vision Omnidirectionnelle : Modélisation, Extraction de ...castillo/dokuwiki/_media/en/sit55-p_vasseur.pdf · 5 Conclusion Pascal Vasseur Vision Omnidirectionnelle : Mod´elisation,

Plan Introduction a la vision omnidirectionnelle Modelisation Calibrage Application a la detection de droites Conclusion

Projection Centrale

Projection non-centrale

Pour beaucoup decameras, toutes cesdroites ne possedent pasnecessairement un seulpoint d’intersection.

Leur enveloppe estappelee caustique etrepresente le lieu despoints de vue.

Pascal Vasseur

Vision Omnidirectionnelle : Modelisation, Extraction de Primitives et Applications

Page 21: Vision Omnidirectionnelle : Modélisation, Extraction de ...castillo/dokuwiki/_media/en/sit55-p_vasseur.pdf · 5 Conclusion Pascal Vasseur Vision Omnidirectionnelle : Mod´elisation,

Plan Introduction a la vision omnidirectionnelle Modelisation Calibrage Application a la detection de droites Conclusion

Projection Centrale

Projection centrale

Si toutes les droites secoupent en un seul point,alors le systeme a unpoint de vue effectifunique et c’est uneprojection centrale.

Pascal Vasseur

Vision Omnidirectionnelle : Modelisation, Extraction de Primitives et Applications

Page 22: Vision Omnidirectionnelle : Modélisation, Extraction de ...castillo/dokuwiki/_media/en/sit55-p_vasseur.pdf · 5 Conclusion Pascal Vasseur Vision Omnidirectionnelle : Mod´elisation,

Plan Introduction a la vision omnidirectionnelle Modelisation Calibrage Application a la detection de droites Conclusion

Projection Centrale

Projection centrale

Si toutes les droites secoupent en un seul point,alors le systeme a unpoint de vue effectifunique et c’est uneprojection centrale.

Si une projection centraleprojette une droite del’espace en une droite del’image, alors c’est uneprojection perspective.

Pascal Vasseur

Vision Omnidirectionnelle : Modelisation, Extraction de Primitives et Applications

Page 23: Vision Omnidirectionnelle : Modélisation, Extraction de ...castillo/dokuwiki/_media/en/sit55-p_vasseur.pdf · 5 Conclusion Pascal Vasseur Vision Omnidirectionnelle : Mod´elisation,

Plan Introduction a la vision omnidirectionnelle Modelisation Calibrage Application a la detection de droites Conclusion

Projection Centrale

Projection centrale catadioptrique

Si la projection induitepar une cameracatadioptrique est au plusune distorsionindependante de la scened’une projectionperspective, alors ce doitetre au moins uneprojection centrale.

Pascal Vasseur

Vision Omnidirectionnelle : Modelisation, Extraction de Primitives et Applications

Page 24: Vision Omnidirectionnelle : Modélisation, Extraction de ...castillo/dokuwiki/_media/en/sit55-p_vasseur.pdf · 5 Conclusion Pascal Vasseur Vision Omnidirectionnelle : Mod´elisation,

Plan Introduction a la vision omnidirectionnelle Modelisation Calibrage Application a la detection de droites Conclusion

Projection Centrale

Projection centrale catadioptrique

Si la projection induitepar une cameracatadioptrique est au plusune distorsionindependante de la scened’une projectionperspective, alors ce doitetre au moins uneprojection centrale.

Les droites de l’espaces’intersectent aussi aupoint de vue unique.

Pascal Vasseur

Vision Omnidirectionnelle : Modelisation, Extraction de Primitives et Applications

Page 25: Vision Omnidirectionnelle : Modélisation, Extraction de ...castillo/dokuwiki/_media/en/sit55-p_vasseur.pdf · 5 Conclusion Pascal Vasseur Vision Omnidirectionnelle : Mod´elisation,

Plan Introduction a la vision omnidirectionnelle Modelisation Calibrage Application a la detection de droites Conclusion

Projection Centrale

Projection centrale catadioptrique

Question

Quelle(s) combinaison(s) demiroir et de camera donne(nt)un capteur a point de vueunique ?

Pascal Vasseur

Vision Omnidirectionnelle : Modelisation, Extraction de Primitives et Applications

Page 26: Vision Omnidirectionnelle : Modélisation, Extraction de ...castillo/dokuwiki/_media/en/sit55-p_vasseur.pdf · 5 Conclusion Pascal Vasseur Vision Omnidirectionnelle : Mod´elisation,

Plan Introduction a la vision omnidirectionnelle Modelisation Calibrage Application a la detection de droites Conclusion

Projection Centrale

Contrainte du point de vue fixe

Supposons que la hauteur dumiroir en x est f (x). Le pointde vue effectif est a unedistance α du foyer de lacamera.

Pascal Vasseur

Vision Omnidirectionnelle : Modelisation, Extraction de Primitives et Applications

Page 27: Vision Omnidirectionnelle : Modélisation, Extraction de ...castillo/dokuwiki/_media/en/sit55-p_vasseur.pdf · 5 Conclusion Pascal Vasseur Vision Omnidirectionnelle : Mod´elisation,

Plan Introduction a la vision omnidirectionnelle Modelisation Calibrage Application a la detection de droites Conclusion

Projection Centrale

Contrainte du point de vue fixe

La condition qu’un rayonemanant du foyer de la camerasoit reflete dans la directionincidente par rapport au foyerdu miroir repond a uneequation differentielle du type :x(α − 2f (x))f

(x)2 − 2(x2 +αf (x) − f (x)2)f

(x) +x(2f (x) − α) = 0.

Pascal Vasseur

Vision Omnidirectionnelle : Modelisation, Extraction de Primitives et Applications

Page 28: Vision Omnidirectionnelle : Modélisation, Extraction de ...castillo/dokuwiki/_media/en/sit55-p_vasseur.pdf · 5 Conclusion Pascal Vasseur Vision Omnidirectionnelle : Mod´elisation,

Plan Introduction a la vision omnidirectionnelle Modelisation Calibrage Application a la detection de droites Conclusion

Projection Centrale

Contrainte du point de vue fixe

Les solutions de cette equationsont des coniques, e.g. :1a(f (x) − α)2 + 1

bx2 = 1.

Pascal Vasseur

Vision Omnidirectionnelle : Modelisation, Extraction de Primitives et Applications

Page 29: Vision Omnidirectionnelle : Modélisation, Extraction de ...castillo/dokuwiki/_media/en/sit55-p_vasseur.pdf · 5 Conclusion Pascal Vasseur Vision Omnidirectionnelle : Mod´elisation,

Plan Introduction a la vision omnidirectionnelle Modelisation Calibrage Application a la detection de droites Conclusion

Projection Centrale

Capteurs catadioptriques centraux

Miroir parabolique etcamera orthographique

Miroir hyperbolique etcamera perspective

Miroir elliptique etcamera perspective

Theoreme [Baker & Nayar, CVPR’98]

Une camera catadioptrique possede un point de vue unique si lasection du miroir est une conique.

Pascal Vasseur

Vision Omnidirectionnelle : Modelisation, Extraction de Primitives et Applications

Page 30: Vision Omnidirectionnelle : Modélisation, Extraction de ...castillo/dokuwiki/_media/en/sit55-p_vasseur.pdf · 5 Conclusion Pascal Vasseur Vision Omnidirectionnelle : Mod´elisation,

Plan Introduction a la vision omnidirectionnelle Modelisation Calibrage Application a la detection de droites Conclusion

Projection Centrale

Modelisation d’une projection parabolique

Pascal Vasseur

Vision Omnidirectionnelle : Modelisation, Extraction de Primitives et Applications

Page 31: Vision Omnidirectionnelle : Modélisation, Extraction de ...castillo/dokuwiki/_media/en/sit55-p_vasseur.pdf · 5 Conclusion Pascal Vasseur Vision Omnidirectionnelle : Mod´elisation,

Plan Introduction a la vision omnidirectionnelle Modelisation Calibrage Application a la detection de droites Conclusion

Projection Centrale

Modelisation d’une projection hyperbolique

Pascal Vasseur

Vision Omnidirectionnelle : Modelisation, Extraction de Primitives et Applications

Page 32: Vision Omnidirectionnelle : Modélisation, Extraction de ...castillo/dokuwiki/_media/en/sit55-p_vasseur.pdf · 5 Conclusion Pascal Vasseur Vision Omnidirectionnelle : Mod´elisation,

Plan Introduction a la vision omnidirectionnelle Modelisation Calibrage Application a la detection de droites Conclusion

Projection Centrale

Modelisation d’une projection elliptique

Pascal Vasseur

Vision Omnidirectionnelle : Modelisation, Extraction de Primitives et Applications

Page 33: Vision Omnidirectionnelle : Modélisation, Extraction de ...castillo/dokuwiki/_media/en/sit55-p_vasseur.pdf · 5 Conclusion Pascal Vasseur Vision Omnidirectionnelle : Mod´elisation,

Plan Introduction a la vision omnidirectionnelle Modelisation Calibrage Application a la detection de droites Conclusion

Projection Centrale

D’autres capteurs centraux ?

Miroir plan

Le champ de vision n’estpas augmente.

Pascal Vasseur

Vision Omnidirectionnelle : Modelisation, Extraction de Primitives et Applications

Page 34: Vision Omnidirectionnelle : Modélisation, Extraction de ...castillo/dokuwiki/_media/en/sit55-p_vasseur.pdf · 5 Conclusion Pascal Vasseur Vision Omnidirectionnelle : Mod´elisation,

Plan Introduction a la vision omnidirectionnelle Modelisation Calibrage Application a la detection de droites Conclusion

Projection Centrale

D’autres capteurs centraux ?

Miroir conique

Le centre optique de lacamera perspective doitetre place au sommet ducone

Le champ de vision n’estpas augmente.

Pascal Vasseur

Vision Omnidirectionnelle : Modelisation, Extraction de Primitives et Applications

Page 35: Vision Omnidirectionnelle : Modélisation, Extraction de ...castillo/dokuwiki/_media/en/sit55-p_vasseur.pdf · 5 Conclusion Pascal Vasseur Vision Omnidirectionnelle : Mod´elisation,

Plan Introduction a la vision omnidirectionnelle Modelisation Calibrage Application a la detection de droites Conclusion

Projection Centrale

D’autres capteurs centraux ?

Miroir spherique

Le centre optique de lacamera perspective doitetre place au centre de lasphere

La camera voit sa proprereflexion.

Pascal Vasseur

Vision Omnidirectionnelle : Modelisation, Extraction de Primitives et Applications

Page 36: Vision Omnidirectionnelle : Modélisation, Extraction de ...castillo/dokuwiki/_media/en/sit55-p_vasseur.pdf · 5 Conclusion Pascal Vasseur Vision Omnidirectionnelle : Mod´elisation,

Plan Introduction a la vision omnidirectionnelle Modelisation Calibrage Application a la detection de droites Conclusion

Projection Centrale

Resume

Generalisation

Dans chaque cas, la projection sur une surface est suivie par uneprojection sur une autre surface.

Pascal Vasseur

Vision Omnidirectionnelle : Modelisation, Extraction de Primitives et Applications

Page 37: Vision Omnidirectionnelle : Modélisation, Extraction de ...castillo/dokuwiki/_media/en/sit55-p_vasseur.pdf · 5 Conclusion Pascal Vasseur Vision Omnidirectionnelle : Mod´elisation,

Plan Introduction a la vision omnidirectionnelle Modelisation Calibrage Application a la detection de droites Conclusion

Projection Centrale

Decomposition des projections catadioptriques

Ces projections peuvent s’ecrire comme la composition de deuxfonctions g ◦ fǫ, ou fǫ est une fonction non lineaire (projection surune quadrique) et g est une fonction lineaire (projection sur unplan).

Pascal Vasseur

Vision Omnidirectionnelle : Modelisation, Extraction de Primitives et Applications

Page 38: Vision Omnidirectionnelle : Modélisation, Extraction de ...castillo/dokuwiki/_media/en/sit55-p_vasseur.pdf · 5 Conclusion Pascal Vasseur Vision Omnidirectionnelle : Mod´elisation,

Plan Introduction a la vision omnidirectionnelle Modelisation Calibrage Application a la detection de droites Conclusion

Projection Centrale

Une nouvelle decomposition ?

Question

Peut-on commuter la decomposition telle que la projectionnon-lineaire soit independante de l’excentricite ?

g ◦ fǫ = g′

ǫ◦ f

(g ◦ fǫ)(x, y, z) =

0

B

@

x

−(1+ǫ2)z−2ǫ

q

x2+y2+z2y

−(1+ǫ2)z−2ǫ

q

x2+y2+z2

1

C

A

En coordonnees homogenes, on obtient :0

@

x

y

−(1 + ǫ2)z − 2ǫ

p

x2 + y2 + z2

1

A =

0

@

2ǫ 0 0 00 2ǫ 0 0

0 0 −(1 + ǫ2) −2ǫ

1

A

0

B

B

@

x

y

zp

x2 + y2 + z2

1

C

C

A

Pascal Vasseur

Vision Omnidirectionnelle : Modelisation, Extraction de Primitives et Applications

Page 39: Vision Omnidirectionnelle : Modélisation, Extraction de ...castillo/dokuwiki/_media/en/sit55-p_vasseur.pdf · 5 Conclusion Pascal Vasseur Vision Omnidirectionnelle : Mod´elisation,

Plan Introduction a la vision omnidirectionnelle Modelisation Calibrage Application a la detection de droites Conclusion

Projection Centrale

Decomposition alternative

f′

=

x

y

z√

x2 + y2 + z2

projette centralement sur lasphere, elle correspond a unpoint homogene dont laquatrieme coordonnee est ladistance du point 3D.

Pascal Vasseur

Vision Omnidirectionnelle : Modelisation, Extraction de Primitives et Applications

Page 40: Vision Omnidirectionnelle : Modélisation, Extraction de ...castillo/dokuwiki/_media/en/sit55-p_vasseur.pdf · 5 Conclusion Pascal Vasseur Vision Omnidirectionnelle : Mod´elisation,

Plan Introduction a la vision omnidirectionnelle Modelisation Calibrage Application a la detection de droites Conclusion

Projection Centrale

Decomposition alternative

g′

ǫ=

2ǫ 0 0 00 2ǫ 0 00 0 −(1 + ǫ2) −2ǫ

projette centralement sur leplan image a partir d’un pointde l’axe de la sphere. Lahauteur de ce point depend del’excentricite du miroir.

Pascal Vasseur

Vision Omnidirectionnelle : Modelisation, Extraction de Primitives et Applications

Page 41: Vision Omnidirectionnelle : Modélisation, Extraction de ...castillo/dokuwiki/_media/en/sit55-p_vasseur.pdf · 5 Conclusion Pascal Vasseur Vision Omnidirectionnelle : Mod´elisation,

Plan Introduction a la vision omnidirectionnelle Modelisation Calibrage Application a la detection de droites Conclusion

Projection Centrale

Modele unifie

Pascal Vasseur

Vision Omnidirectionnelle : Modelisation, Extraction de Primitives et Applications

Page 42: Vision Omnidirectionnelle : Modélisation, Extraction de ...castillo/dokuwiki/_media/en/sit55-p_vasseur.pdf · 5 Conclusion Pascal Vasseur Vision Omnidirectionnelle : Mod´elisation,

Plan Introduction a la vision omnidirectionnelle Modelisation Calibrage Application a la detection de droites Conclusion

Projection Centrale

Image spherique

Pascal Vasseur

Vision Omnidirectionnelle : Modelisation, Extraction de Primitives et Applications

Page 43: Vision Omnidirectionnelle : Modélisation, Extraction de ...castillo/dokuwiki/_media/en/sit55-p_vasseur.pdf · 5 Conclusion Pascal Vasseur Vision Omnidirectionnelle : Mod´elisation,

Plan Introduction a la vision omnidirectionnelle Modelisation Calibrage Application a la detection de droites Conclusion

Projection Centrale

Consequences

Les capteurs catadioptriques centraux et perspectifs sontmodelises par une unique fonction

Les droites 3D se projettent sous la forme de grands cerclessur la sphere et de coniques dans l’image

Le Jacobien entre la sphere et l’image peut etre facilementcalcule

Les miroirs elliptiques et hyperboliques ne peuvent etredistingues par leur projection

≫ Utiliser la sphere requiert le calibrage.

Pascal Vasseur

Vision Omnidirectionnelle : Modelisation, Extraction de Primitives et Applications

Page 44: Vision Omnidirectionnelle : Modélisation, Extraction de ...castillo/dokuwiki/_media/en/sit55-p_vasseur.pdf · 5 Conclusion Pascal Vasseur Vision Omnidirectionnelle : Mod´elisation,

Plan Introduction a la vision omnidirectionnelle Modelisation Calibrage Application a la detection de droites Conclusion

Calibrage

Pascal Vasseur

Vision Omnidirectionnelle : Modelisation, Extraction de Primitives et Applications

Page 45: Vision Omnidirectionnelle : Modélisation, Extraction de ...castillo/dokuwiki/_media/en/sit55-p_vasseur.pdf · 5 Conclusion Pascal Vasseur Vision Omnidirectionnelle : Mod´elisation,

Plan Introduction a la vision omnidirectionnelle Modelisation Calibrage Application a la detection de droites Conclusion

Comment calibrer un capteur catadioptrique ?

Quatre modeles possibles

Explicite (forme du miroir, camera, pose relative)

Implicite (camera, parametres de la sphere)

Distorsions (camera, distorsions)

LUT (pixel = rayon 3D)

Pascal Vasseur

Vision Omnidirectionnelle : Modelisation, Extraction de Primitives et Applications

Page 46: Vision Omnidirectionnelle : Modélisation, Extraction de ...castillo/dokuwiki/_media/en/sit55-p_vasseur.pdf · 5 Conclusion Pascal Vasseur Vision Omnidirectionnelle : Mod´elisation,

Plan Introduction a la vision omnidirectionnelle Modelisation Calibrage Application a la detection de droites Conclusion

Modele implicite

l = |OOC | and l =2ǫ

1+ǫ2

fe = |OCOP |

r

s

(u0, v0)

Pascal Vasseur

Vision Omnidirectionnelle : Modelisation, Extraction de Primitives et Applications

Page 47: Vision Omnidirectionnelle : Modélisation, Extraction de ...castillo/dokuwiki/_media/en/sit55-p_vasseur.pdf · 5 Conclusion Pascal Vasseur Vision Omnidirectionnelle : Mod´elisation,

Plan Introduction a la vision omnidirectionnelle Modelisation Calibrage Application a la detection de droites Conclusion

Modele implicite

Quatre possibilites pour ǫ et l

si 0 < ǫ < 1 et 0 < l < 1, alors miroir elliptique

si ǫ = 1 et l = 1, alors miroir parabolique

si ǫ > 1 et 0 < l < 1, alors miroir hyperbolique

si ǫ → ∞ et l = 0, alors miroir plan

Pascal Vasseur

Vision Omnidirectionnelle : Modelisation, Extraction de Primitives et Applications

Page 48: Vision Omnidirectionnelle : Modélisation, Extraction de ...castillo/dokuwiki/_media/en/sit55-p_vasseur.pdf · 5 Conclusion Pascal Vasseur Vision Omnidirectionnelle : Mod´elisation,

Plan Introduction a la vision omnidirectionnelle Modelisation Calibrage Application a la detection de droites Conclusion

Modele implicite

Equation de projection

λ

x

y

1

=

r .fe s u0

0 fe v0

0 0 1

1 0 0 00 1 0 00 0 1 l

XS

YS

ZS

1

Pascal Vasseur

Vision Omnidirectionnelle : Modelisation, Extraction de Primitives et Applications

Page 49: Vision Omnidirectionnelle : Modélisation, Extraction de ...castillo/dokuwiki/_media/en/sit55-p_vasseur.pdf · 5 Conclusion Pascal Vasseur Vision Omnidirectionnelle : Mod´elisation,

Plan Introduction a la vision omnidirectionnelle Modelisation Calibrage Application a la detection de droites Conclusion

Calibration basee sur une mire 3D

J.J. Gonzalez-Barbosa. ”Vision panoramique pour la robotique mobile :stereovision et localisation par indexation d’images”, PhD thesis, University ofToulouse, III-LAAS, 2004.

Y. Bastanlar, L. Puig, P. Sturm, J. Guerrero, J.P. Barreto, ”DLT-LikeCalibration of Central Catadioptric Cameras”, OMNIVIS’08

Pascal Vasseur

Vision Omnidirectionnelle : Modelisation, Extraction de Primitives et Applications

Page 50: Vision Omnidirectionnelle : Modélisation, Extraction de ...castillo/dokuwiki/_media/en/sit55-p_vasseur.pdf · 5 Conclusion Pascal Vasseur Vision Omnidirectionnelle : Mod´elisation,

Plan Introduction a la vision omnidirectionnelle Modelisation Calibrage Application a la detection de droites Conclusion

Calibration basee sur une mire 3D

Pascal Vasseur

Vision Omnidirectionnelle : Modelisation, Extraction de Primitives et Applications

Page 51: Vision Omnidirectionnelle : Modélisation, Extraction de ...castillo/dokuwiki/_media/en/sit55-p_vasseur.pdf · 5 Conclusion Pascal Vasseur Vision Omnidirectionnelle : Mod´elisation,

Plan Introduction a la vision omnidirectionnelle Modelisation Calibrage Application a la detection de droites Conclusion

Calibration basee sur une mire 2D

A. Scaramuzza, D. Martinelli and R. Siegwart, ”A toolbox for easy calibratingomnidirectional cameras”, IROS’06.

C. Mei and P. Rives, ”Single view point omnidirectional camera calibration fromplanar grids”, ICRA’07

J.P. Tardif and P. Sturm, ”Calibration of cameras with radially symmetricdistortion”, OMNIVIS’05

S. Ramalingam, P. Sturm and S. Lodha, ”Theory and calibration algorithms foraxial cameras”, ACCV’06

Pascal Vasseur

Vision Omnidirectionnelle : Modelisation, Extraction de Primitives et Applications

Page 52: Vision Omnidirectionnelle : Modélisation, Extraction de ...castillo/dokuwiki/_media/en/sit55-p_vasseur.pdf · 5 Conclusion Pascal Vasseur Vision Omnidirectionnelle : Mod´elisation,

Plan Introduction a la vision omnidirectionnelle Modelisation Calibrage Application a la detection de droites Conclusion

Calibration basee sur une mire 2D

Pascal Vasseur

Vision Omnidirectionnelle : Modelisation, Extraction de Primitives et Applications

Page 53: Vision Omnidirectionnelle : Modélisation, Extraction de ...castillo/dokuwiki/_media/en/sit55-p_vasseur.pdf · 5 Conclusion Pascal Vasseur Vision Omnidirectionnelle : Mod´elisation,

Plan Introduction a la vision omnidirectionnelle Modelisation Calibrage Application a la detection de droites Conclusion

Calibration basee sur des droites 3D

J.P. Barreto and H. Araujo, ”Geometric properties of central catadioptric lineimages”, ECCV’02

C. Geyer and K. Daniilidis, ”Catadioptric camera calibration”, ICCV’99

C. Geyer and K. Daniilidis, ”Paracatadioptric camera calibration”, PAMI’02

J.P. Tardif, P. Sturm, and S. Roy, ”Self-calibration of a general radiallysymmetric distortion model”, ECCV’06

Pascal Vasseur

Vision Omnidirectionnelle : Modelisation, Extraction de Primitives et Applications

Page 54: Vision Omnidirectionnelle : Modélisation, Extraction de ...castillo/dokuwiki/_media/en/sit55-p_vasseur.pdf · 5 Conclusion Pascal Vasseur Vision Omnidirectionnelle : Mod´elisation,

Plan Introduction a la vision omnidirectionnelle Modelisation Calibrage Application a la detection de droites Conclusion

Calibration basee sur des droites 3D

Pascal Vasseur

Vision Omnidirectionnelle : Modelisation, Extraction de Primitives et Applications

Page 55: Vision Omnidirectionnelle : Modélisation, Extraction de ...castillo/dokuwiki/_media/en/sit55-p_vasseur.pdf · 5 Conclusion Pascal Vasseur Vision Omnidirectionnelle : Mod´elisation,

Plan Introduction a la vision omnidirectionnelle Modelisation Calibrage Application a la detection de droites Conclusion

Calibration basee sur des droites 3D

Pascal Vasseur

Vision Omnidirectionnelle : Modelisation, Extraction de Primitives et Applications

Page 56: Vision Omnidirectionnelle : Modélisation, Extraction de ...castillo/dokuwiki/_media/en/sit55-p_vasseur.pdf · 5 Conclusion Pascal Vasseur Vision Omnidirectionnelle : Mod´elisation,

Plan Introduction a la vision omnidirectionnelle Modelisation Calibrage Application a la detection de droites Conclusion

Calibration basee sur des spheres

X. Ying and Z. Hu, ”Catadioptric camera calibration using geometricinvariants”, PAMI’04.

Pascal Vasseur

Vision Omnidirectionnelle : Modelisation, Extraction de Primitives et Applications

Page 57: Vision Omnidirectionnelle : Modélisation, Extraction de ...castillo/dokuwiki/_media/en/sit55-p_vasseur.pdf · 5 Conclusion Pascal Vasseur Vision Omnidirectionnelle : Mod´elisation,

Plan Introduction a la vision omnidirectionnelle Modelisation Calibrage Application a la detection de droites Conclusion

Calibration basee sur des spheres

Pascal Vasseur

Vision Omnidirectionnelle : Modelisation, Extraction de Primitives et Applications

Page 58: Vision Omnidirectionnelle : Modélisation, Extraction de ...castillo/dokuwiki/_media/en/sit55-p_vasseur.pdf · 5 Conclusion Pascal Vasseur Vision Omnidirectionnelle : Mod´elisation,

Plan Introduction a la vision omnidirectionnelle Modelisation Calibrage Application a la detection de droites Conclusion

Auto-calibrage

S. Kang, ”Catadioptric self-calibration”, CVPR’00

C. Geyer and K. Daniilidis, ”Structure and motion from uncalibratedcatadioptric views”, CVPR’01

B. Micusik and T. Pajdla, ”Estimation of omnidirectional camera model fromepipolar geometry”, CVPR’03

Pascal Vasseur

Vision Omnidirectionnelle : Modelisation, Extraction de Primitives et Applications

Page 59: Vision Omnidirectionnelle : Modélisation, Extraction de ...castillo/dokuwiki/_media/en/sit55-p_vasseur.pdf · 5 Conclusion Pascal Vasseur Vision Omnidirectionnelle : Mod´elisation,

Plan Introduction a la vision omnidirectionnelle Modelisation Calibrage Application a la detection de droites Conclusion

Application a la detection de droites

Pascal Vasseur

Vision Omnidirectionnelle : Modelisation, Extraction de Primitives et Applications

Page 60: Vision Omnidirectionnelle : Modélisation, Extraction de ...castillo/dokuwiki/_media/en/sit55-p_vasseur.pdf · 5 Conclusion Pascal Vasseur Vision Omnidirectionnelle : Mod´elisation,

Plan Introduction a la vision omnidirectionnelle Modelisation Calibrage Application a la detection de droites Conclusion

Detection dans le cas non-calibre

Pascal Vasseur

Vision Omnidirectionnelle : Modelisation, Extraction de Primitives et Applications

Page 61: Vision Omnidirectionnelle : Modélisation, Extraction de ...castillo/dokuwiki/_media/en/sit55-p_vasseur.pdf · 5 Conclusion Pascal Vasseur Vision Omnidirectionnelle : Mod´elisation,

Plan Introduction a la vision omnidirectionnelle Modelisation Calibrage Application a la detection de droites Conclusion

Detection dans le cas calibre

Si le calibrage est connu, la projection sur la sphere est connue.Alors, chaque droite correspond a un grand cercle sur la sphere etle probleme se reduit a deux dimensions.

Pascal Vasseur

Vision Omnidirectionnelle : Modelisation, Extraction de Primitives et Applications

Page 62: Vision Omnidirectionnelle : Modélisation, Extraction de ...castillo/dokuwiki/_media/en/sit55-p_vasseur.pdf · 5 Conclusion Pascal Vasseur Vision Omnidirectionnelle : Mod´elisation,

Plan Introduction a la vision omnidirectionnelle Modelisation Calibrage Application a la detection de droites Conclusion

Detection dans le cas calibre

Methodes

Transformee de Hough sur la sphere P. Vasseur and E.M.Mouaddib, ”Central catadioptric line detection”, BMVC’04

Transformee de Hough dans l’image X. Ying, Z. Hu,”Catadioptric line features detection using Hough transform”,ICPR’04

Transformee de Hough aleatoire C. Mei and E. Malis, ”Fastcentral catadioptric line extraction, estimation, tracking andstructure from motion”, IROS’06

Approximation polygonale J.C. Bazin, C. Demonceaux and P.Vasseur, ”Fast central catadioptric line extraction”, IbPRIA’07

Pascal Vasseur

Vision Omnidirectionnelle : Modelisation, Extraction de Primitives et Applications

Page 63: Vision Omnidirectionnelle : Modélisation, Extraction de ...castillo/dokuwiki/_media/en/sit55-p_vasseur.pdf · 5 Conclusion Pascal Vasseur Vision Omnidirectionnelle : Mod´elisation,

Plan Introduction a la vision omnidirectionnelle Modelisation Calibrage Application a la detection de droites Conclusion

Quelques exemples

Pascal Vasseur

Vision Omnidirectionnelle : Modelisation, Extraction de Primitives et Applications

Page 64: Vision Omnidirectionnelle : Modélisation, Extraction de ...castillo/dokuwiki/_media/en/sit55-p_vasseur.pdf · 5 Conclusion Pascal Vasseur Vision Omnidirectionnelle : Mod´elisation,

Plan Introduction a la vision omnidirectionnelle Modelisation Calibrage Application a la detection de droites Conclusion

Quelques exemples

Pascal Vasseur

Vision Omnidirectionnelle : Modelisation, Extraction de Primitives et Applications

Page 65: Vision Omnidirectionnelle : Modélisation, Extraction de ...castillo/dokuwiki/_media/en/sit55-p_vasseur.pdf · 5 Conclusion Pascal Vasseur Vision Omnidirectionnelle : Mod´elisation,

Plan Introduction a la vision omnidirectionnelle Modelisation Calibrage Application a la detection de droites Conclusion

Quelques exemples

Pascal Vasseur

Vision Omnidirectionnelle : Modelisation, Extraction de Primitives et Applications

Page 66: Vision Omnidirectionnelle : Modélisation, Extraction de ...castillo/dokuwiki/_media/en/sit55-p_vasseur.pdf · 5 Conclusion Pascal Vasseur Vision Omnidirectionnelle : Mod´elisation,

Plan Introduction a la vision omnidirectionnelle Modelisation Calibrage Application a la detection de droites Conclusion

Quelques exemples

Pascal Vasseur

Vision Omnidirectionnelle : Modelisation, Extraction de Primitives et Applications

Page 67: Vision Omnidirectionnelle : Modélisation, Extraction de ...castillo/dokuwiki/_media/en/sit55-p_vasseur.pdf · 5 Conclusion Pascal Vasseur Vision Omnidirectionnelle : Mod´elisation,

Plan Introduction a la vision omnidirectionnelle Modelisation Calibrage Application a la detection de droites Conclusion

Quelques exemples

Pascal Vasseur

Vision Omnidirectionnelle : Modelisation, Extraction de Primitives et Applications

Page 68: Vision Omnidirectionnelle : Modélisation, Extraction de ...castillo/dokuwiki/_media/en/sit55-p_vasseur.pdf · 5 Conclusion Pascal Vasseur Vision Omnidirectionnelle : Mod´elisation,

Plan Introduction a la vision omnidirectionnelle Modelisation Calibrage Application a la detection de droites Conclusion

Merci

Pascal Vasseur

Vision Omnidirectionnelle : Modelisation, Extraction de Primitives et Applications