Correspondence estimation inimage pairs

Andre Redert, Emile Hendriks, Jan Biemond

IEEE Signal Processing Magazine 16(3)29-46

Introduccion

• Aplicaciones de la estimación de correspondencias– Codificación de video, compresión (vectores de movimiento)

– Conversión de velocidad en video (interpolación)

– Generación de imágenes desde multiples puntos de vista (interp.)

– Calibración de cámara

– Extracción 3D desde estereo-visión

– Estructura a partir de movimiento

Intro

• Tendencia a la estimación de campos densos decorrespondencias– Permite la adquisición de escenas 3D de alta resolución

– Permite construir modelos más complejos

– Puede utilizarse para extrapolación así como para interporlación(multiples puntos de vista)

– Permite procesado al nivel de objeto y mayor interacción

Intro

• Desafios en la estimación de campos decorrespondencias densos– La dimensionalidad del espacio de soluciones

es extremadadmente grande

– La estimación basada en las correspondenciasde intensidad no es inmediata (Constant ImageBrightness) está sujeta a ambiguedad

La estimación de correspondencias basada en la igualdad de intensidades es un problema mal planteado (ill-posed)

Correspondencia geométrica

• Dos puntos en las imágenes son correspondientes(geométricamente) si han sido generados por elmismo punto en la escena

Correspondencias múltiples

• Pueden producirse correspondencias de uno amuchos debido a efectos de la escena (lo ignora)

Oclusiones

• El movimiento relativo de los objetos (opacos) puedecausar oclusiones (pseudo-correspondencias)

Pares espaciales

• Las imágenes se toman con dos cámaras enposiciones distintas (estimación de disparidad)

Pares espaciales

• La profundidad se calcula mediantetriangulación

Pares espaciales

• Restricción epipolar; cámaras paralelas

Pares temporales

• La escena se graba con una cámara que se desplaza.

• La estimación de correspondencias es una estimación demovimiento

Pares temporales

• Puede simularse la secuencia temporal yviceversa

Clasicos

• Algoritmos basados en características (features):proporcionan estimaciones dispersas (sparse)

Clásicos

• Emparejamiento de bloques (vídeo compresión)(sólo translaciones)

Clásicos

• Emparejamiento a nivel de pixel: asumecausalidad a nivel de pixel

Clásicos

• Basados en el flujo óptico: la relación deintensidad constante a lo largo de latrayectoria

Bayesian approach

• Permite la estimación densa combinada conla segmentación de los objetos

• No necesita calcular derivadas de laintensidad

• 4 pasos

• Paso 1: se definen los elementos (imágenesy campos de salida)

• Paso 2: se modela el problema especificando la probabilidad

condicionada de los campos respecto de las imagenes

• Paso 3: Se define la mejor solución:Maximum a posteriori (MAP)

• Paso 4: se aplica un algoritmo de búsqueda(relajación, simulated annealing)

Campos de salida

• Tipos de campos de salida– Correspondencias

– Oclusiones

– Segmentación basada en bordes

– Segmentación basada en regiones

• Todos están definidos sobre látices

Campos de salida

• El campo de correspondencias (puedenobtenerse precisiones subpixel mediante interpolación)

• El campo de oclusiones especifica las seudocorrespondencias debidas a oclusiones

• Mapa de encadenamiento: combina las oclusiones de lasdos imágenes en el caso de cámaras paralelas

Campos de discontinuidades

• Los bordes de los objetos coindiciden condiscontinuidades de los campos y oclusiones

Campos de discontinuidades

• Dominio de definición y valores

Campos de segmentacion

• El campo R tiene de dominio el mismolatice que las imágenes y para cada pixeluna etiqueta

• Un campo de discontinuidades puedededucirse de un campo de segmentación

Modelado

• El modelo viene dado por las distribucionesde probabilidad (conjuntas) de los camposcondicionadas a las imágenes

• Los modelos que asumen la propiedad deMarkovianeidad son campos markovianos.

Modelos de luminancia

• Usualmente se asume que el modelo de luminancia es uncampo de entradas indenpendientes

• Asunción soportada por el CIB (las desviaciones semodelan con una gausiana)

• Las oclusiones se modelan con una distribución uniformede intensidades resultantes

Modelos de la correspondencia

• Los modelos probabilisticos son camposmarkovianos con distribución deprobabilidad Gibbsiana

• Permiten modelar propiedades globales dela imagen en términos locales devecindarios de los pixels.

Modelos de correspondencias

• Modelo de correspondencias suaves básico

Modelos de correspondencias

• Restricciones de suavidad orientadas(limitadas por las discontinuidades en laimagen)

Modelos de bordes(discontinuidades de correspondencias)

• Discontinuidades penalizadas independientemente

• Combinando las discontinuidades con lasdiferencias en la imagen

• Forzando curvas cerradas

Modelos de oclusión

• Penalizaciones independientes

• Forzando la conectividad de los puntos deoclusión sobre un campo dediscontinuidades extraido del campo deoclusión (fig 22)

Modelo total

• ddp oclusión

• ddp bordes condicionado

• Combinación gibbsiana

• Combinación total de todas las restricciones

Criterios de solución óptima

• Maximo a posteriori (MAP)

• Campo medio

Algoritmos de búsqueda

• Se aplican a la energía y no a la probabilidad

• Métodos

– Descenso de gradiente: mínimos locales

– Simulated annealing

– Programación dinámica

– Algoritmos genéticos. Muy costosos

Metodos de búsqueda

• Métodos de campo medio

• Métodos jerárquicosmultiresolución/multiescala

Futuro

• La utilización de dos campos decorrespondencias

• Modelos complejos de dependencias enintensidad (restauración de imagen)

• Superficies especulares

• Multiples correspondencias en secuenciasde imagenes

Futuro

• Utilización de la geometría epipolar para restringirla búsqueda en las lineas epipolares