View
4
Download
0
Category
Preview:
Citation preview
Correspondence estimation inimage pairs
Andre Redert, Emile Hendriks, Jan Biemond
IEEE Signal Processing Magazine 16(3)29-46
Introduccion
• Aplicaciones de la estimación de correspondencias– Codificación de video, compresión (vectores de movimiento)
– Conversión de velocidad en video (interpolación)
– Generación de imágenes desde multiples puntos de vista (interp.)
– Calibración de cámara
– Extracción 3D desde estereo-visión
– Estructura a partir de movimiento
Intro
• Tendencia a la estimación de campos densos decorrespondencias– Permite la adquisición de escenas 3D de alta resolución
– Permite construir modelos más complejos
– Puede utilizarse para extrapolación así como para interporlación(multiples puntos de vista)
– Permite procesado al nivel de objeto y mayor interacción
Intro
• Desafios en la estimación de campos decorrespondencias densos– La dimensionalidad del espacio de soluciones
es extremadadmente grande
– La estimación basada en las correspondenciasde intensidad no es inmediata (Constant ImageBrightness) está sujeta a ambiguedad
La estimación de correspondencias basada en la igualdad de intensidades es un problema mal planteado (ill-posed)
Correspondencia geométrica
• Dos puntos en las imágenes son correspondientes(geométricamente) si han sido generados por elmismo punto en la escena
Correspondencias múltiples
• Pueden producirse correspondencias de uno amuchos debido a efectos de la escena (lo ignora)
Oclusiones
• El movimiento relativo de los objetos (opacos) puedecausar oclusiones (pseudo-correspondencias)
Pares espaciales
• Las imágenes se toman con dos cámaras enposiciones distintas (estimación de disparidad)
Pares espaciales
• La profundidad se calcula mediantetriangulación
Pares espaciales
• Restricción epipolar; cámaras paralelas
Pares temporales
• La escena se graba con una cámara que se desplaza.
• La estimación de correspondencias es una estimación demovimiento
Pares temporales
• Puede simularse la secuencia temporal yviceversa
Clasicos
• Algoritmos basados en características (features):proporcionan estimaciones dispersas (sparse)
Clásicos
• Emparejamiento de bloques (vídeo compresión)(sólo translaciones)
Clásicos
• Emparejamiento a nivel de pixel: asumecausalidad a nivel de pixel
Clásicos
• Basados en el flujo óptico: la relación deintensidad constante a lo largo de latrayectoria
Bayesian approach
• Permite la estimación densa combinada conla segmentación de los objetos
• No necesita calcular derivadas de laintensidad
• 4 pasos
• Paso 1: se definen los elementos (imágenesy campos de salida)
• Paso 2: se modela el problema especificando la probabilidad
condicionada de los campos respecto de las imagenes
• Paso 3: Se define la mejor solución:Maximum a posteriori (MAP)
• Paso 4: se aplica un algoritmo de búsqueda(relajación, simulated annealing)
Campos de salida
• Tipos de campos de salida– Correspondencias
– Oclusiones
– Segmentación basada en bordes
– Segmentación basada en regiones
• Todos están definidos sobre látices
Campos de salida
• El campo de correspondencias (puedenobtenerse precisiones subpixel mediante interpolación)
• El campo de oclusiones especifica las seudocorrespondencias debidas a oclusiones
• Mapa de encadenamiento: combina las oclusiones de lasdos imágenes en el caso de cámaras paralelas
Campos de discontinuidades
• Los bordes de los objetos coindiciden condiscontinuidades de los campos y oclusiones
Campos de discontinuidades
• Dominio de definición y valores
Campos de segmentacion
• El campo R tiene de dominio el mismolatice que las imágenes y para cada pixeluna etiqueta
• Un campo de discontinuidades puedededucirse de un campo de segmentación
Modelado
• El modelo viene dado por las distribucionesde probabilidad (conjuntas) de los camposcondicionadas a las imágenes
• Los modelos que asumen la propiedad deMarkovianeidad son campos markovianos.
Modelos de luminancia
• Usualmente se asume que el modelo de luminancia es uncampo de entradas indenpendientes
• Asunción soportada por el CIB (las desviaciones semodelan con una gausiana)
• Las oclusiones se modelan con una distribución uniformede intensidades resultantes
Modelos de la correspondencia
• Los modelos probabilisticos son camposmarkovianos con distribución deprobabilidad Gibbsiana
• Permiten modelar propiedades globales dela imagen en términos locales devecindarios de los pixels.
Modelos de correspondencias
• Modelo de correspondencias suaves básico
Modelos de correspondencias
• Restricciones de suavidad orientadas(limitadas por las discontinuidades en laimagen)
Modelos de bordes(discontinuidades de correspondencias)
• Discontinuidades penalizadas independientemente
• Combinando las discontinuidades con lasdiferencias en la imagen
• Forzando curvas cerradas
Modelos de oclusión
• Penalizaciones independientes
• Forzando la conectividad de los puntos deoclusión sobre un campo dediscontinuidades extraido del campo deoclusión (fig 22)
Modelo total
• ddp oclusión
• ddp bordes condicionado
• Combinación gibbsiana
• Combinación total de todas las restricciones
Criterios de solución óptima
• Maximo a posteriori (MAP)
• Campo medio
Algoritmos de búsqueda
• Se aplican a la energía y no a la probabilidad
• Métodos
– Descenso de gradiente: mínimos locales
– Simulated annealing
– Programación dinámica
– Algoritmos genéticos. Muy costosos
Metodos de búsqueda
• Métodos de campo medio
• Métodos jerárquicosmultiresolución/multiescala
Futuro
• La utilización de dos campos decorrespondencias
• Modelos complejos de dependencias enintensidad (restauración de imagen)
• Superficies especulares
• Multiples correspondencias en secuenciasde imagenes
Futuro
• Utilización de la geometría epipolar para restringirla búsqueda en las lineas epipolares
Recommended