Múltipla calibração eficiente e precisa de câmeras baseada em padrões colineares

invariantes a projeção

(Efficient and precise multiple camera calibration based on collinear projective

invariant patterns)

Proposta de doutoradoManuel Eduardo Loaiza Fernandez

Marcelo Gattass (orientador)Alberto B. Raposo (co-orientador)

1

Objetivo da Proposta• Desenvolver um algoritmo para, simultaneamente,

calibrar de forma eficiente e precisa várias câmeras com base nas características invariantes intrínsecas dos padrões colineares.

2

Índice

• Calibração de câmera.– Calibração câmera e parâmetros.– Múltipla calibração câmera.

• Áreas de aplicação da teoria múltipla calibração câmera.• Métodos para múltipla calibração câmera.• Novo método proposto.

• Correspondência de imagens 2D.– Geometria epipolar.

• Calculo da matriz fundamental.

• Reconstrução 3D.• Resultados.

3

Calibração de câmera• Modelar o relacionamento entre o mundo 3D e o plano da

imagem 2D que é a projeção do espaço físico capturado.• O modelo mais utilizado é o modelo de câmera “Pinhole”.

4

Calibração de câmera: parâmetros• Externos.

– Matriz de rotação ( R ).– Vetor de translação ( T ).

• Internos.– Distancia focal (f).– Centro da imagem(Ou’,Ov’).

5

Calibração de câmera: outros parâmetros internos

• Coeficientes da distorção das lentes.• Radial (k1,k2).• Tangencial (p1,p2).

• Tipos de distorção “pincushion” e “barrel”.

Barrel Pincushion 6

Múltipla calibração câmera• Calibração de varias câmeras simultaneamente.• Estéreo: calibração de 2 câmeras.

Calibração estéreo Múltipla calibração

7

Áreas de aplicação da teoria Múltipla calibração câmera

• Sistemas de rastreamento óptico, usadas em aplicações de realidade virtual e aumentada.

8

Áreas de aplicação da teoria múltipla calibração câmera

• Sistemas de captura de movimento, usadas em áreas de animação 3D.

9

Áreas de aplicação da teoria Múltipla calibração câmera

• Sistemas de navegação para robôs.

10

Múltipla calibração câmera (Métodos)• Alguns dos métodos mais conhecidos para calibração

de câmera são:– [Jean-Yves Bouguet, 2008 ] apresenta um toolbox completa para

calibração de câmera onde se inclui uma versão para estéreo câmera calibração .

– [Borghese, 2000] apresenta um método para estéreo calibração baseada na captura de uma barra com 2 marcadores bem identificados, adotado por vários sistema de rastreamento ótico comerciais como [ART, 2008 ] [VICON, 2008].

– [Svoboda et al, 2005] apresenta um novo método para múltipla calibração câmera baseada na captura de um 1 marcador, e foi modificado para funcionar num sistema estéreo por [Pintaric, 2007].

– [Uematsu et al, 2007] apresenta um software D-Calib para múltipla calibração câmera baseada na captura e um padrão planar e uma barra com 2 marcadores, misturando as abordagens de Borghese e Bouguet e mantendo as mesmas restrições de ambos.

11

Calibração de Câmeras Estéreo• Apresentada em [Jean-Yves Bouguet, 2008 ]:

– Padrão de calibração: padrão planar com formato de tabuleiro de xadrez.

12

Jean-Yves Bouguet, 2008– Calibração inicial individual para

cada câmera.– A captura da amostragem para

otimização global do sistema estéreo é difícil, por causa de não puder capturar uma boa amostra de vistas validas do padrão nas duas câmeras ao mesmo tempo.

– Otimização baseada no erro de reprojeção 2D dos pontos da amostragem em cada vista do padrão.

– Não aplicável para um sistema múltipla calibração.

13

Calibração estéreo [Borghese, 2000]:

• Padrões de calibração:– Barra em formato de “L”.– Barra com dois marcadores

em cada extremo.

14

Borghese, 2000

– Calibração inicial é baseada na extração dos parâmetros internos e externos a partir da decomposição da matriz fundamental(abordagem “Structure from motion”).

– A captura da amostragem para calibração precisa de um processamento especifico para realizar a correspondência entre as imagens dos pontos que conformam a barra com 2 marcadores.

– Otimização baseada no erro de reprojeção 2D dos pontos da amostragem e distancia 3D entre os pontos do padrão.

– Extensível para um sistema múltipla calibração. 15

Múltipla calibração de câmera • Apresentada em [Svoboda et al, 2005] modificada por [Pintaric, 2007].

– Padrão de calibração: um marcador (ponteiro laser).

16

[Svoboda et al, 2005 e Pintaric, 2007]

– Calibração inicial é baseada na teoria da “Rank – 4 Factorization” e “Euclidean Estratification”.

– Alguns parâmetros internos e de distorção das lentes ( radial, tangencial) precisam ser pré - calculados.

– Otimização baseada no erro de reprojeção 2D dos pontos da amostragem.

– Adaptável para um sistema de estéreo calibração , mas com muitas restrições iniciais sobre que parâmetros são pré - definidos.

– Correspondência 2D entre pontos da amostragem nas diferentes câmeras precisam de um pós – processamento para detectar falsas correspondências. 17

Múltipla calibração de câmera• Apresentada em [Uematsu et al,

2007], quase mistura das implementações de [Borghese, 2000] e [Bouguet, 2008].– Padrão de calibração: barra de

calibração e padrão planar.

18

Uematsu, 2007– Calibração inicial feita a partir da analise e

extração da homografia entre os pontos 3D do padrão planar e os pontos 2D correspondentes que aparecem em cada câmera do sistema.

– Alguns parâmetros internos como a distancia focal podem ser calculados e outros são desprezados como distorção de lentes.

– Otimização baseada no erro de reprojeção 2D e medidas 3D dos pontos da amostragem (Borghese , 2000).

– Correspondência 2D entre pontos da amostragem nas diferentes câmeras precisam de um pós – processamento para detectar falsas correspondências.

19

Múltipla calibração de câmera• Método proposto para múltipla

calibração de câmera.– Padrão de calibração: padrão planar (Planar

formato de Xadrez, “L” ou nenhum) e padrão colinear com características projetivas invariantes [Loaiza et al, 2007].

– Calibração feita em 3 etapas.

20

Múltipla calibração de câmera• Sistema estéreo de câmeras,

extensível a múltiplas câmeras. • Um computador (ou Laptop ).

21

Método proposto• Etapa inicial:

– Calibração inicial individual para cada câmera usando método planar [Zhang, 2000].

– Calibração estéreo pode ser com padrão planar ou um padrão do tipo em L.

– Nenhum padrão, onde usamos uma abordagem “Structure from motion”.

22

Método proposto• Etapa Inicial:

– Captura de um amostra do padrão colinear projetivo invariante.

– Detecção do padrão e correspondência dos pontos que conformam o padrão é feita usando a teoria sobre padrões projetivos invariantes [Loaiza et al, 2007], [Meer et al, 1998].

23

idLeft

idRight

Método proposto• Etapa Intermédia:

– Usando a implementação descrita em [Thormählen et al,2003] podemos aproveitar a colinearidade de nossos padrões para extrair um estimativa dos parâmetros de distorção das lentes.

– E usando o valor da projetiva invariantes de nosso padrão podemos fazer a extração de possíveis falsos positivos baseado no desvio padrão calculado para toda amostra de padrões capturados em cada câmera.

24

idProjInv

Método proposto• Etapa final:

– Otimização dos parâmetros iniciais calculados para cada câmera, isto é feito explorando as características do padrão:

– Erro reprojeção 3D - 2D dos pontos: parâmetros internos.– Erro distancias entre pontos do padrão: parâmetros

externos (Reconstrução métrica 3D). – Erro colinearidade do padrão: extração dos coeficientes da

distorção das lentes.

25

a

b

c

a

b

c

Correspondência de imagens 2D• Calculo da matriz fundamental:

– Geometria epipolar é a geometria intrínseca projetiva existente entre duas vistas.

– A matriz fundamental encapsula esta geometria intrínseca projetiva.

26

Correspondência de imagens 2D• Calculo da matriz fundamental:

– Por composição dos parâmetros intrínsecos e extrínsecos das câmeras.

– Baseado nos parâmetros intrínsecos de cada câmera e os parâmetros extrínsecos em relação a uma origem em comum podemos calcular a Rotação e Translação “(R,t)” entre as câmeras do sistema estéreo.

K, Rl , Tl K´, Rr , Tr

RtE

KRtKF

x

xT

1´

27

Correspondência de imagens 2D• Em nossa implementação utilizamos o primeiro método para

calcular nossa matriz fundamental, pois aproveitaremos o processo de otimização da etapa de calibração para também otimizar o cálculo de nossa matriz fundamental.

28

Correspondência de imagens 2D• Aproveitamos o calculo inicial dos coeficientes da distorção das

lentes (Radial, Tangencial).

29

idProjInv

Correspondência de imagens 2D• Este cálculo e otimização consiste no seguinte

processamento:

1. Calcula-se uma matriz fundamental inicial baseada nos parâmetros intrínsecos e extrínsecos de nossa calibração inicial.

2. Cria-se uma função de erro baseada na distância do ponto para a linha epipolar correspondente a cada ponto de nossa amostra.

3. Nossa matriz fundamental será calculada num espaço “não afetado pela distorção das lentes”, para isto cada vez que nossa amostra de pontos da calibração é utilizado eles serão previamente transformados para o campo não distorcido da imagem.

4. Cada iteração da otimização os passo 1 – 3 são repetidos até que um certo limiar do erro seja alcançado. Em nosso caso o erro de distância da linha epipolar ao seu ponto correspondente fico na média menor que 1 pixel.

30

Correspondência de imagens 2D• O calculo da matriz fundamental é feito sobre imagens não distorcidas da

amostragem capturada na etapa de calibração de câmera estéreo.

31

Reconstrução 3D• Nesta etapa nosso objetivo é testar a precisão que podemos

alcançar na extração de medidas reais 3D, baseado na uso dos parâmetros de nossa calibração.– Nossa reconstrução 3D pode se considerar uma reconstrução

feita num espaço projetivo euclidiano e métrico.

32

Alguns resultados • Medidas

– Nesta etapa nosso objetivo é testar a precisão que podemos alcançar na extração de medidas reais 3D.

– Alguns testes foram feitos usando diferente cenário, câmera e mudando as lentes das câmeras, os resultados alcançados são apresentados a seguir:a) Imagem 2, medida real entre os pontos selecionados: 1685.0 mm (1.68 m), b) Imagem 3, medida real entre os pontos selecionados: 414.0 mm (41.4 cm),

33• •

(b)

Imagem 1 Imagem 2

(a)

Testes na imagem 1: • Vista 1 : medida recuperada 1671.79 mm (1.67 m - real 1.68 m )

34

Testes na imagem 1: • Vista 2 : medida recuperada 1671.26 mm (1.67 m - real 1.68 m )

35

Testes na imagem 1: • Vista 3 : medida recuperada 1666.85 mm (1.66 m - real 1.68 m )

36

Testes na imagem 2: • Vista 1 : medida recuperada 402.49 mm (40.2 cm - real 41.4 cm )

37

Testes na imagem 2: • Vista 2 : medida recuperada 409.75 mm (40.9 cm - real 41.4 cm )

38

Testes na imagem 2: • Vista 3 : medida recuperada 409.29 mm (40.9 cm - real 41.4 cm )

39

Resultados• Alguns resultados do avanço feito ate agora na

implementação da proposta são:– Novo método para múltipla calibração de câmera (testado num

sistema estéreo).• Pareamento automático do padrão colinear a ser correlacionado

visto entre as diferentes câmeras.• Precisão das medições recuperadas.

40

Resultados• Teste feito sobre uma amostra de 100 imagens do

padrão colinear (Fire-i câmeras):– Valor real das distancia do padrão colinear:

• A: 25.32mm B: 40.70mm C: 56.88mmErros sem tomar em conta distorção das lentes:• Reprojeção 3D - 2D erro por vista do padrão: 35.1240768433 pixels• Erro media das distancia no padrão: 46.88874 mm

– Distancia Media: A: 27.863 B: 37.277 C: 55.866– Min: A: 14.939 B: 22.382 C: 37.818– Max: A: 72.611 B: 89.588 C: 82.868

• Matriz Fundamental erro médio por padrão: 67.577704 pixels por ponto: 16.89 pixels

Erros tomando em conta distorção das lentes:• Reprojeção 3D - 2D erro por vista do padrão: 3.3690681458 pixels• Erro media das distancia no padrão : 17.90088 mm

– Distancia Media : A: 24.082 B: 36.004 C: 54.062 – Min: A: 20.257 B: 30.082 C: 44.564 – Max: A: 29.444 B: 42.705 C: 64.355

• Matriz Fundamental erro médio por padrão : 7.031216 pixels por ponto: 1.75 pixels

41

Resultados• Teste feito sobre uma amostra de 100 imagens do

padrão colinear (Logitech web câmeras): – Valor real das distancia do padrão colinear:

• A: 25.32mm B: 40.70mm C: 56.88mmErros sem tomar em conta distorção das lentes:• Reprojeção 3D - 2D erro por vista do padrão: 16.7174892426 pixels• Erro media das distancia no padrão: 24.33204 mm

– Distancia Media: A: 25.442 B: 35.423 C: 52.849– Min: A: 19.380 B: 28.474 C: 42.237,– Max: A: 61.313 B: 60.452 C: 65.741,

• Matriz Fundamental erro médio por padrão: 16.807617 pixels por ponto: 4.20 pixels

Erros tomando em conta distorção das lentes:• Reprojeção 3D - 2D erro por vista do padrão: 9.0390977859 pixels• Erro media das distancia no padrão : 15.82423 mm

– Distancia Media : A: 24.485 B: 36.934 C: 56.335– Min: A: 20.079 B: 29.876 C: 44.316,– Max: A: 29.151 B: 43.798 C: 66.390,

• Matriz Fundamental erro médio por padrão: 9.067152 por ponto: 2.26 pixels

42

Vantagens da nossa proposta• Nosso algoritmo é mais eficiente e preciso que os disponíveis da

literatura.• A simplicidade do padrão de calibração permite:

– Robustez na identificação dos marcadores, mesmo face a ruídos e falsos positivos.

– Eficiência na captura (mais informação em cada quadro): colinearidade, distâncias entre marcadores e maior numero de marcadores.

• O método se aplica desde um simples sistema estéreo de duas câmeras até múltiplas câmeras cobrindo grandes áreas de rastreamento.

• Não requer conhecimento prévio de parâmetros das câmeras.

43

Trabalho a ser desenvolvido• Desenvolver a extração dos parâmetros das câmera

desde a matriz fundamental (Abordagem “Structure from Motion”).

• Dar maior robustez na otimização dos parâmetros das câmeras (Testar outros algoritmos de otimização com restrições).

• Testar o método num sistema com câmera corretamente sincronizadas por hardware, talvez possa agregar maior precisão ao processamento dos parâmetros.

44

Perguntas ?

45

Referencias• [Borghese, 2000] , Alberto Borghese and Pietro Cerveri . “ Calibrating a video

camera pair with a rigid bar”. Pattern Recognition, 2000.• [Svoboda et al, 2005] , Tomas Svoboda, Daniel Martinec and Tomas Pajdla, “ A

Convenient Multi-Camera Self-Calibration for Virtual Environments”, PRESENCE: Teleoperators and Virtual Environments, MIT Press, August 2005.

• [Bouguet, 2008 ] Jean-Yves Bouguet , “Camera Calibration Toolbox for Matlab”, http://www.vision.caltech.edu/bouguetj/calib_doc/htmls/example5.html, August ,2008

• [Pintaric, 2007] , Thomas Pintaric and Hannes Kaufmann, "Affordable Infrared-Optical Pose Tracking for Virtual and Augmented Reality“, IEEE VR Workshop on Trends and Issues in Tracking for Virtual Environments, Charlotte, NC (USA), 2007.

• [Loaiza et al, 2007], Mnauel Loaiza, Alberto B. Raposo, Marcelo Gattass, "A Novel Optical Tracking Algorithm for Point-Based Projective Invariant Marker Patterns“, 3rd International Symposium on Visual Computing – ISVC 2007, Lake Tahoe, Nevada/California, EUA. Advances in Visual Computing - Lecture Notes in Computer Science, vol. 4841, p.160-169. Springer-Verlag, 2007.

• [Zhang, 2000], Z. Zhang, “A Flexible New Technique For Camera Calibration”, IEEE Transactions on Pattern Analysis and Machine Intelligence, 22(11):1330-1334, 2000.

46

Referencias• [Meer et al, 1998], Peter Meer,Reiner Lenz amd Sudhir Ramakrishna,“ Efficient

Invariant Representations”. International Journal of Computer Vision 26, 137–152, 1998.

• [Torr, 1997] Phil Torr and David Murray, “The development and comparision of robust methods for estimating the fundamental matrix”, International Journal Computer Ession, vol. 24, no. 3, pp. 271-300, September, 1997.

• [Hartley, 1997], Richard Hartley, “In defense of the eight-point algorithm”, IEEE Transactions on Pattern Analysis and Machine Intelligence, pp. 580-593, Vol. 19, June, 1997.

• [Flusser, 2000],J. Flusser: "On the Independence of Rotation Moment Invariants", Pattern Recognition, vol. 33, pp. 1405-1410, 2000

• [Uematsu et al, 2007], Uematsu Y., Teshima T., Saito H., Cao Honghua, “D-Calib: Calibration Software for Multiple Cameras System”, 14th International Conference on Image Analysis and Processing (ICIAP), pp. 285-290, 2007.

• [Thormählen et al,2003],T. Thormählen, H. Broszio, I. Wassermann,"Robust Line-Based Calibration of Lens Distortion from a Single View“, Proceedings of Mirage 2003 ( Computer Vision / Computer Graphics Collaboration for Model-based Imaging, Rendering, Image Analysis and Graphical Special Effects), INRIA Rocquencourt, France, 10-12 March 2003, pp. 105-112,2003.

• [Vicon, 2008 ], Vicon Motion Systems, http://www.vicon.com/, August 2005.• [ART, 2008 ], Advanced Real Time Tracking GmbH, http://www.ar-

tracking.de/,August 2005.

47