15
Reconstrucción 3D MoBiVAP Research Group

Reconstrucción 3D - lfa.mobivap.uva.eslfa.mobivap.uva.es/~cevic/wp-content/uploads/2015/01/preface02.pdf · 7 o bien de ocio y entretenimiento es una fuente permanente ... y a la

  • Upload
    vobao

  • View
    214

  • Download
    1

Embed Size (px)

Citation preview

Page 1: Reconstrucción 3D - lfa.mobivap.uva.eslfa.mobivap.uva.es/~cevic/wp-content/uploads/2015/01/preface02.pdf · 7 o bien de ocio y entretenimiento es una fuente permanente ... y a la

Reconstrucción 3D

MoBiVAP Research Group

Page 2: Reconstrucción 3D - lfa.mobivap.uva.eslfa.mobivap.uva.es/~cevic/wp-content/uploads/2015/01/preface02.pdf · 7 o bien de ocio y entretenimiento es una fuente permanente ... y a la

Copyright c© 2013 MoBiVAP Research Group

PUBLISHED BY MOBIVAP

WWW.MOBIVAP.UVA.ES

Licensed under the Creative Commons Attribution-NonCommercial 3.0 Unported License (the“License”). You may not use this file except in compliance with the License. You may ob-tain a copy of the License at http://creativecommons.org/licenses/by-nc/3.0. Unlessrequired by applicable law or agreed to in writing, software distributed under the License isdistributed on an “AS IS” BASIS, WITHOUT WARRANTIES OR CONDITIONS OFANY KIND, either express or implied. See the License for the specific language governingpermissions and limitations under the License.

First printing, July 2013

Page 3: Reconstrucción 3D - lfa.mobivap.uva.eslfa.mobivap.uva.es/~cevic/wp-content/uploads/2015/01/preface02.pdf · 7 o bien de ocio y entretenimiento es una fuente permanente ... y a la

Contents

1 Introducción . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15

1.1 Problemática y justificación 15

1.2 Aplicaciones 15

Page 4: Reconstrucción 3D - lfa.mobivap.uva.eslfa.mobivap.uva.es/~cevic/wp-content/uploads/2015/01/preface02.pdf · 7 o bien de ocio y entretenimiento es una fuente permanente ... y a la
Page 5: Reconstrucción 3D - lfa.mobivap.uva.eslfa.mobivap.uva.es/~cevic/wp-content/uploads/2015/01/preface02.pdf · 7 o bien de ocio y entretenimiento es una fuente permanente ... y a la

Prefacio

El módulo 2 del CEViC está enfocado hacia la Reconstrucción 3D a partir de varias vistas. Enuna primera aproximación, la Reconstrucción 3D es el proceso por el cual se recupera la formay las apariencias de un objeto tridimensional Bα o de una escena volumétrica E mediante elanálisis de la información digital proporcionada por diferentes tipos de sensores. Los sensorespueden ser pasivos (no interactúan con el objeto, como los diferentes tipos de cámaras basadas enla luz del espectro visible) o activos (la interacción procede de una respuesta del objeto en formade onda reflejada que es capturada por el dispositivo). Este módulo 2 está centrado sobre todo enla información proporcionada por sensores pasivos (cámaras convencionales), relegando el usode sensores activos al módulo 5 (en relación con la Reconstrucción Activa, incluyendo el casomóvil) y el Curso de Fotogrametría impartido por el Laboratorio de Fotogrametría Arquitectónicaen el Máster de la SEAV (Sociedad Española de Arqueología y Patrimonio Virtual).

Figure 1: Ortofoto obtenida a partir de Reconstrucción 3D del patio interior del Palacio SantaCruz de la Universidad de Valladolid

La Reconstrucción 3D a partir de imágenes es un tópico ha recibido una atención intensiva

Page 6: Reconstrucción 3D - lfa.mobivap.uva.eslfa.mobivap.uva.es/~cevic/wp-content/uploads/2015/01/preface02.pdf · 7 o bien de ocio y entretenimiento es una fuente permanente ... y a la

6

desde finales de los ochenta y sobre todo a lo largo de los noventa que culmina en el libro deR. Hartley y A. Zisserman (2000). Este trabajo (citado en lo sucesivo como [Har00], a pesarde reediciones posteriores) proporciona un marco geométrico común que facilita la compren-sión y el intercambio de información presentes en la pléyade de aproximaciones y resultadosparciales existentes en la época. El carácter exhaustivo y la excelente organización de materialescontenidos en [Har00] hace difícil realizar aportaciones significativas en un curso de carácterintroductorio como el actual.

Por ello, además de glosar algunos resultados contenidos en dicho libro, el propósito adicionalde este módulo 2 del CEViC es llamar la atención sobre aspectos presentados más recientementeque prolongan los modelos y herramientas desarrolladas para la Reconstrucción presentados en[Har00]. Estos modelos y herramientas están relacionadas con aplicaciones vinculadas a• el modelado avanzado 3D incluyendo virtualización de escenarios virtuales o aumentados;

algunos de estos tópicos se desarrollan de forma más detallada en el Curso de la SociedadEspañola de Arqueología y Patrimonio Virtual (SEAV);• la renderización basada en imagen o en vídeo incluyendo efectos vinculados a la ilu-

minación y que se desarrolla de forma más detallada en el curso sobre renderizado ysimulación• las relaciones con otros módulos del CEViC. Entre estas últimas cabe destacar las conex-

iones con los módulos dedicados al– el movimiento con especial atención a la reconstrucción a partir de video (Struc-

ture/Shape from Motion);– el reconocimiento de objetos y escenas, como base para una realimentación entre

reconstrucción y reconocimiento en relación asimismo con interacción avanzada;– la Visión Estéreo como Reconstrucción dinámica de objetos en movimiento (sobre

todo personajes) orientado hacia la simplificación en tareas de post-produccióndigital.

Figure 2: Reconstrucción 3D de la fachada barroca de la Universidad de Valladolid

Los aspectos mencionados ponen de manifiesto que, a pesar del espléndido trabajo realizadoen [Har00], la Reconstrucción 3D está lejos de ser un área cerrada para la I+D+i. En particular, lademanda creciente del sector de producción de contenidos digitales en áreas de documentación

Page 7: Reconstrucción 3D - lfa.mobivap.uva.eslfa.mobivap.uva.es/~cevic/wp-content/uploads/2015/01/preface02.pdf · 7 o bien de ocio y entretenimiento es una fuente permanente ... y a la

7

o bien de ocio y entretenimiento es una fuente permanente de inspiración para el desarrollo demétodos y herramientas vinculados de una u otra forma a la Reconstrucción 3D.

En estas notas se desarrolla el módulo 2 que esta enfocado hacia la Reconstrucción 3D y estáorganizado de acuerdo con el siguiente esquema:

1. Conceptos básicos. Modelos de perspectiva. Estimación de elementos estructurales.2. Calibración de cámaras. Reconstrucción euclídea3. Geometría epipolar. Reconstrucción a partir de 2 vistas.4. Reconstrucción a partir de múltiples vistas.5. Reconstrucción a partir de una sola vista. Movimientos rígidos.6. Reconstrucción a partir de vídeo (Structure From Motion)En los apartados siguientes presentamos algunos detalles relativos a materiales, estrategias y

aplicaciones de la Reconstrucción 3D.

Para llevar a cabo las seis tareas mencionadas más arriba es necesario construir una colecciónde datos significativos para la reconstrucción a partir de (una extensión de) las herramientas deProcesamiento y Análisis presentadas en el módulo 1. Sin embargo, una diferencia importanteen relación con el enfoque precedente radica en la utilización de primitivas geométricas dedimensión ≥ 1:• en el caso lineal a trozos (PL: Piecewise Linear) las primitivas básicas son puntos p, líneas`, planos π , etc verificando condiciones de incidencia del tipo p ∈ `⊂ π ⊂ . . .;• en el caso curvado suave a trozos (PS: Piecewise Smooth) las primitivas básicas son

puntos p, curvas C, superficies S, etc verificando condiciones de incidencia del tipop ∈C ⊂ S⊂ . . ..

Toda la información capturada es discreta y está contenida en imágenes digitales; por ello,todos los elementos geométricos se generan a partir de ”trozos” de primitivas geométricasbásicas construidas mediante herramientas de Análisis de Imagen. Obviamente, en una imagenla dimensión máxima corresponde a regiones rα ; por ello, los datos volumétricos relativos aregiones Rα en el espacio o las superficies que las acotan deben ser inferidas a partir de modelosy construidas de forma explícita.

Una diferencia importante con respecto al enfoque presentado en el módulo 1 radica en ladiferente concepción de la imagen. Para cuestiones de Procesamiento y Análisis, una imagenes un mapa de bits y por ello predomina el enfoque analítico para el modelado; sin embargo,para cuestiones de Reconstrucción, una imagen es el resultado de una proyección de una porcióndel espacio sobre un plano y por ello predomina el enfoque geométrico (Geometría Proyectivapara objetos rígidos o Geometría Diferencial para objetos deformables). Obviamente, en amboscasos es necesario estimar todos los datos, lo cual da entrada diferentes técnicas de estimaciónvinculadas al Análisis o la Geometría. El diseño e implementación de los algoritmos correspon-dientes es una componente crucial para garantizar la eficiencia computacional de las solucionespropuestas.

El objetivo de la Reconstrucción 3D es la generación de nuevas vistas y el modelado tridimen-sional de objetos Bα o de escenas E a partir de la información (analógica o digital) proporcionadapor cámaras pasivas o bien de sensores de rango (infrarrojos, láser, rádar, LIDAR, rayos X,etc). La captura de los datos condiciona a menudo el tipo de modelado o de representación.Así, p.e. la percepción visual contenida en fotografías es continua y ello sugiere la utilizaciónde modelos continuos, aunque el procesamiento de la información digital contenida en fotosdé lugar a toda clase de discontinuidades. Por el contrario, los inputs asociados los sensoresde rango son discretos, por lo que la primera tarea del modelado para la Reconstrucción 3D

Page 8: Reconstrucción 3D - lfa.mobivap.uva.eslfa.mobivap.uva.es/~cevic/wp-content/uploads/2015/01/preface02.pdf · 7 o bien de ocio y entretenimiento es una fuente permanente ... y a la

8

consiste en superponer modelos continuos a partir de nubes de puntos (con una densidad y unadistribución muy variables); los modelos continuos.

La posibilidad de generar en tiempo real una reconstrucción 3D a partir de varias vistas estádando lugar a una demanda creciente de aplicaciones de altas prestaciones relacionadas con lanavegación automática en entornos parcialmente estructurados, la realidad virtual o aumentada,el desarrollo de herramientas de visualización avanzada que incluyan la posibilidad de consultao la generación de informes a partir de la interacción con objetos 3D. Las prestaciones máseficientes afectan a resultados muy precisos (reconstrucción interna de órganos en Medicina,p.e.) que requiere la calibración ce cámaras, la visualización avanzada (alta calidad para lasimágenes generadas de forma sintética para la representación 3D de la escena) y a la interacción(capacidad de respuesta en presencia de una interacción con objetos reales o virtuales). Porello, este área de la Visión Computacional se solapa con otras procedentes de la Fotogrametría,Informática Gráfica y Sistemas Expertos.

Figure 3: Recreación del aspecto del Alcazarejo mediante Realidad Aumentada

Si se atiende a los aspectos geométricos relativos a la escena, el problema fundamental esuna fusión precisa y rápida de información 2D y 3D. La información 2D de cada vista se puedeproyectar sobre una nube densa de puntos 3D procedente de la Reconstrucción convencional obien de dispositivos de rango (incluyendo láser 3D).

Diferentes aproximaciones a la reconstrucción

Existe una gran diversidad de aproximaciones a la Reconstrucción 3D automática de un objeto ode una escena a partir de una o varias imágenes o bien a partir de una secuencia de vídeo. En laprimera parte de este módulo se desarrolla una introducción básica orientada a mostrar algunasde las aproximaciones más habituales de carácter estático en diferentes marcos geométricos,con especial atención a las basadas en aspectos geométricos con respecto a un plano común de

Page 9: Reconstrucción 3D - lfa.mobivap.uva.eslfa.mobivap.uva.es/~cevic/wp-content/uploads/2015/01/preface02.pdf · 7 o bien de ocio y entretenimiento es una fuente permanente ... y a la

9

referencia (de interés para la fotogrametría). El enfoque dinámico estuvo presente prácticamentedesde el principio del desarrollo de la Reconstrucción 3D; en efecto, Tomasi y Kanade (1991-92) proporcionan los primeros desarrollos del enfoque dinámico asociado a una secuencia devídeo para la Reconstrucción 3d correspondiente a una proyección ortográfica y que se abordanen el capítulo del módulo dedicado a SFM/sfm (Structure/shape from motion). El desarrollode herramientas para recuperar la trayectoria de la cámara utilizando la ”consistencia global”(verdad del fondo) en una colección de vistas proporciona una realimentación entre S (Structure/ Shape) y M (movimiento) de gran interés para multitud de aplicaciones, incluyendo simulacióny animación que exceden los límites del Curso.

La introducción de sensores activos de tipo óptico (basados en luz estructurada incluyendodispositivos láser 3D) permite incorporar off-line una gran precisión sobre nubes de miles omillones de puntos, lo cual resuelve el problema de la densidad en la representación precisade escenas. Utilizando esta información, es posible referenciar la localización (posición y ori-entación) de cámaras convencionales con respecto a un modelo preciso de la escena. Algunas delas líneas de investigación más recientes están orientadas hacia la fusión online de informaciónprocedente de imagen y de rango; en este último caso, la información de rango procede de dispos-itivos de escaneo láser de línea con direcciones prefijadas (horizontal y vertical, habitualmente).Esta fusión está siendo aplicada actualmente en Robótica donde originalmente (años ochenta ynoventa) se utilizaron otros sensores activos de tipo infrarrojo o ultrasonidos, o bien sensores detipo magnético (para dispositivos hápticos, p.e.). La integración de la información correspon-diente a sensores pasivos y activos es un problema con un gran número de cuestiones por resolver.

La necesidad más reciente de una interacción en tiempo real en entornos 3D semi-inmersivosrequiere el desarrollo de modelos y herramientas que permitan empaquetar y gestionar la in-formación en primitivas (geométricas o radiométricas) con objeto de simplificar la gestión deescenas complejas en relación con requerimientos cambiantes del usuario y con un relativamentebajo coste computacional. Para ello, se requieren técnicas de muestreo inteligente, generaciónde primitivas 3D a partir de bases de datos de mallas deformables 3D asociadas a un número”suficiente” de puntos de control (correspondientes a la localización de la cámara virtual o a lainteracción requerida) que sean seleccionables por el usuario. Un ejemplo elemental correspondea los avatares de SecondLife de mediados de la primera década del siglo XXI, pero actualmentese dispone de soluciones para entornos realistas mucho más complejos y de personajes con unarepresentación y una capacidad de respuesta mucho mayor.

Las necesidades actuales van más allá y requieren la incorporación en tiempo real depropiedades radiométricas (color y texturas) sobre formas 3D, en presencia de malas condicionesde iluminación, teniendo en cuenta que la apariencia cambia con la navegación o la inspecciónvisual de los objetos 3D reales o simulados. Actualmente, ello sólo es posible limitándose aun pequeño número de objetos para los cuales se dispone de modelos mallados deformablesgracias a la existencia de ”buenas parametrizaciones” (por mallas cuadrangulares). La inte-gración y gestión de esta información relativa a objetos sólidos (correspondientes a la escena) ydeformables (agentes reales o virtuales que interactúan dentro de la escena 3D) plantea nuevosretos a los que estas notas pretenden contribuir, proporcionando un soporte desde el punto devista del modelado físico-matemático y su implementación computacional.

Una de las áreas en la que se están produciendo la integración de conocimientos procedentesde dichas áreas es el video 3D y sus aplicaciones a la TV digital 3D personalizada (navegable deforma individual por cada ”espectador”). La generación de modelos 3D interactivos consiste

Page 10: Reconstrucción 3D - lfa.mobivap.uva.eslfa.mobivap.uva.es/~cevic/wp-content/uploads/2015/01/preface02.pdf · 7 o bien de ocio y entretenimiento es una fuente permanente ... y a la

10

en ofrecer un ”fondo volumétrico navegable” (extendiendo el tradicional background plano)que pueda funcionar como un soporte en el que los actores 3D puedan ser sumergidos y conlos que pueda haber diferentes grados de interacción. Ello requiere una adquisición 3D (basadaen diferentes dispositivos de captura de imagen y de rango), una visualización semi-inmersiva3D (herramientas para la navegación y consulta en escenarios 3D) y una capacidad de respuestainteractiva con actores o personajes virtuales en la escena (extendiendo los avatares sencillos yaexistentes en SecondLife o similares).

Reconstrucción para el modelado 3D

El modelado 3D es un área de gran demanda para multitud de aplicaciones CAD/CAM rela-cionadas con Arquitectura, Urbanismo, Diseño Industrial, Informática Gráfica, Renderización oVisualización, entre otras. El enfoque tradicional del modelado es de tipo interactivo. Ademásde su interés intrínseco, la Reconstrucción 3D aporta elementos para asistir el modelado 3D,automatizar algunos procesos y abaratar los costes de producción resultantes. Para ello, utilizamodelos y herramientas que permiten extraer características geométricas a partir de un proce-samiento y análisis de imagen centrado en las primitivas geométricos. En esta sección se revisanalgunas cuestiones generales relacionadas con diferentes formas de abordar el modelado quetienen interés para las áreas señaladas anteriormente.

Para disponer de modelos robustos y mejorar la eficiencia computacional de los algoritmoses necesario un desarrollo de propiedades relativas a la visualización de los objetos que seaindependiente de la posición del observador y, a poder ser, de las condiciones ambientales; laprimera cuestión afecta al carácter invariante de la geometría con respecto a (grupos de) transfor-maciones; la segunda condición afecta a un control de la radiometría vinculado a operadores queafectan a diferentes condiciones de iluminación de objetos Bα o escenas E tridimensionales.

En este módulo 2 se muestran conexiones con diferentes tipos de modelado geométrico(para objetos rígidos), radiométrico (para la respuesta de los materiales con respecto a la luz),óptico-geométrico (para un mejor control de las condiciones de iluminación) y topológico (rela-tivo a objetos deformables). El modelado cinemático (de interés para la reconstrucción a partirdel movimiento) se aborda en la última lección y se desarrolla con más detalle en el módulo 3(movimiento).

Para resolver algunos problemas de Reconstrucción de objetos complejos es necesariocombinar varios tipos de modelado, aproximación que etiquetamos como modelado híbrido.Esta combinación incluye no sólo aspectos relativos a la estructura y las apariencias superficie,sino también a las componentes que forman parte de dichos objetos. La gestión de un objetocomplejo eventualmente deformable en términos de sus componentes, es conveniente recurrir arepresentaciones simbólicas que se gestionan mediante grafos.

Algunos problemas importantes de la Reconstrucción 3D

Los datos que se toman como referencia pueden ser relativos a objetos rígidos o deformables Bα

proyectados sobre las vistas, en la escena E o relativos a la percepción visual (diferentes tipos decámara para el caso artificial). De acuerdo con esta distinción, algunos de los problemas másimportantes de Visión Computacional que afectan a la Reconstrucción 3D aparecen asociados ala

Page 11: Reconstrucción 3D - lfa.mobivap.uva.eslfa.mobivap.uva.es/~cevic/wp-content/uploads/2015/01/preface02.pdf · 7 o bien de ocio y entretenimiento es una fuente permanente ... y a la

11

1. Puesta en correspondencia: Identificar, comparar y pegar elementos homólogos en difer-entes vistas procedentes de diferentes proyecciones de un escenario 3D. Un pegadocoherente debe estimar y corregir de forma automática las distorsiones, para lo cual esnecesario levar a cabo una ”calibración” de la cámara (estimación de parámetros).

2. Recuperación de la estructura 3D del objeto o la escena a partir de proyecciones: Esti-mación de las restricciones estructurales (matriz fundamental para el caso afín, matrizesencial para el caso euclídeo).

3. Reproyección: Generación de nuevas vistas que sean consistentes con las precedentes.Pegado de objetos curvados (contornos de regiones) a partir de sus proyecciones planares(siluetas).

No existe una única estrategia para resolver estos problemas y en este módulo se describe unaintroducción a algunas de las más utilizadas. En este módulo se lleva a cabo una introducción alos aspectos básicos de algunas de las técnicas más utilizadas con especial atención al diseño dealgoritmos; una referencia bastante más completa es [Har00].

Los algoritmos a diseñar e implementar dependen del tipo de requerimientos planteados:velocidad vs. precisión, dispersión vs. densidad, precisión vs. exactitud, etc. El diseño dealgoritmos para la Reconstrucción 3D debe tener en cuenta diferentes aspectos. A la vista de ladiversidad de problemas y estrategias de resolución no hay una estrategia única para el diseño eimplementación de algoritmos. Por ello, frecuentemente se utiliza una aproximación híbrida quedebe ajustarse dependiendo de diferentes factores tales como las características del problema, losinputs disponibles y el objeto/escena a reconstruir. Algunas de las estrategia más frecuentes parael diseño e implementación utilizan el modelado y resolución del problema óptico-geométrico,se vinculan el tipo de agregación, utilizan estrategias de optimización (con especial atención aproblemas de pegado) o bien parten de un modelado y minimización del error.

Contenido del módulo 2

Un marco geométrico para la reconstrucciónEn este capítulo se presentan los fundamentos geométricos y la jerarquía natural entre las difer-entes geometrías que proporcionan un soporte para los diferentes procesos de Reconstrucción3D basada en sensores pasivos. La jerarquía entre las diferentes aproximaciones al problemade la Reconstrucción 3D procede de una relación muy simple entre los ”grupos estructurales”correspondientes a las transformaciones asociados a cada una de las geometrías.

Reconstrucción Euclídea y CalibraciónLa recuperación de la información métrica se lleva a cabo clásicamente (Fotogrametría Ter-restre) mediante la estimación de los parámetros de la cámara. Los 5 parámetros intrínsecoscorresponden a las características ópticas del dispositivos utilizado; los 6 parámetros extrínsecoscorresponden a la localización geométrica (posición y orientación) de la cámara. Los 11 = 5+6parámetros proporcionan una interpretación métrica de la información asociada a la (3× 4)-matriz asociada a una proyección genérica que está determinada por 11 parámetros (doce salvofactor de escala).

La reinterpretación de la matriz de calibración interna K de la cámara en términos proyectivos(invarianza de la cónica absoluta) permite conectar la Fotogrametría con el enfoque Proyectivo.

Page 12: Reconstrucción 3D - lfa.mobivap.uva.eslfa.mobivap.uva.es/~cevic/wp-content/uploads/2015/01/preface02.pdf · 7 o bien de ocio y entretenimiento es una fuente permanente ... y a la

12

Figure 4: Transformaciones euclídeas, afines y proyectivas

De este modo, el método clásico del ajuste de haces proporciona un soporte común para Fo-togrametría (basada en pares Estéreo) y la Reconstrucción Proyectiva.

Geometría Epipolar para dos vistasLa Geometría Epipolar proporciona el modelo estructural que facilita la puesta en correspon-dencia entre pares de puntos homólogos (p,p′) pertenecientes a dos vistas con ”suficientesolapamiento”. La restricción epipolar es una relación bilineal entre puntos homólogos quepermite reducir drásticamente el tipo de búsqueda automática entre elementos homólogos, in-cluyendo el caso no-calibrado. En este capítulo se presenta el modelo epipolar para los casoseuclídeo y afín, y se muestra cómo generar nuevas vistas sintéticas utilizando dicha restricción.Esta aproximación resuelve el primer problema de la Reconstrucción 3D asociado a la síntesisde vistas, sin necesidad de obtener un verdadero modelo 3D.

Asimismo, se revisan propiedades relacionadas con los diferentes tipos de estructura ge-ométrica (euclídea, afín, proyectiva) y su relación para conectar diferentes modelos de perspectiva.Se muestra cómo es posible obtener información métrica en relación con ”elementos invariantesdel infinito” (cónica absoluta) correspondientes a una complección del espacio ordinario en elespacio proyectivo P3; este tipo de resultados proporciona una conexión estructural entre losaspectos proyectivo y métrico de la Reconstrucción 3D.

Reconstrucción a partir de múltiples vistasLa incorporación de una tercera vista resuelve el problema de ambigüedad en la Reconstrucción3D a partir de dos vistas. En este caso, la solución satisface una colección de restriccionestrilineales que recibe el nombre de tensor trifocal. Estas restricciones representan condicionesde incidencia invariantes para puntos, líneas o una combinación de ambas.

Actualmente, es posible llevar a cabo la Reconstrucción 3D a partir de un número arbitrarion de vistas que tengan algún tipo de solapamiento y sin información previa sobre la calibraciónde ninguna cámara. Ello permite incorporar información procedente de archivos históricoscorrespondientes a vistas antiguas para objetos o escenas que ya no existen. La resolución delproblema requiere técnicas más avanzadas para la fusión de información (basadas en Progra-mación Dinámica, p.e.) que extienden el enfoque clásico basado en el ajuste de haces presentadoen el capítulo anterior.

Este tipo de Reconstrucción plantea la cuestión de a partir de qué momento la incorporación

Page 13: Reconstrucción 3D - lfa.mobivap.uva.eslfa.mobivap.uva.es/~cevic/wp-content/uploads/2015/01/preface02.pdf · 7 o bien de ocio y entretenimiento es una fuente permanente ... y a la

13

de nuevas vistas no añade información sustancial a la solución. La respuesta se conoce desdefinales de los noventa y corresponde a 4 vistas. Por ello, el tensor cuadrifocal juega un papelfundamental en relación con la generación de nuevas vistas para la navegación de vehículos(robots inicialmente, automóviles ”inteligentes” más recientemente) equipados con un dispositivoestéreo o bien para retransmisiones en las que se cuenta con una cantidad elevada de cámaras (amenudo más de veinte). Ello justifica la atención especial que se dedica en este capítulo al tensorcuadrifocal.

Reconstrucción 3D a partir de una sola vista

La existencia de modelos de perspectiva en grabados antiguos o la detección de dichos modelosa partir de imágenes correspondientes a escenarios ya desaparecidos proporciona materiales parala recreación de escenarios arquitectónicos en el caso de una sola vista. El objetivo principal deeste capítulo es la generación de un modelo volumétrico a partir de un modelo de perspectivaelaborado de acuerdo con las reglas de la Geometría Proyectiva.

En este capítulo se presentan algunas aplicaciones correspondientes a escenarios arquitec-tónicos. Se discuten los diferentes modelos de perspectiva y las herramientas que proporcionanuna estimación atendiendo a los diferentes requerimientos de rapidez (tiempo real) o precisión(incorporación de propiedades métricas salvo escala). Para minimizar las distorsiones en lavisualización es conveniente evaluar la transformación de un rectángulo en un cuadriláteromediante la estimación de una transformación afín (afinidad) o bien proyectiva (homografía).

Reconstrucción a partir del movimiento

La recuperación de la forma (shape) o de la estructura de una escena a partir de una secuenciade vídeo proporciona soporte a un tipo de reconstrucción activa (navegación controlada porel operador) con un sensor pasivo (cámara de vídeo). Las estrategias SFM (Structure fromMtion) y sfm (shape from motion) se basan en el seguimiento de trayectorias para una colecciónsignificativa de puntos (máximos de intensidad, esquinas); este método permite gestionar deforma más eficiente que otros los problemas relacionados con las autooclusiones y proporcionasoporte para una gran cantidad de aplicaciones multimedia.

En este capítulo se presentan las aproximaciones siguiendo un orden histórico con algunasde las motivaciones iniciales vinculadas objetos con marcas (trajes con sensores eventualmenteactivos) o a los desarrollos llevados a cabo por T.Kanade y sus colaboradores. Se incluyen lasversiones métrica para el entorno más próximo y afín para rango intermedio. El primer pasoconsiste en estimar el movimiento propio de la cámara, entendido como una transformaciónrígida (composición de una rotación y una traslación) en el espacio ordinario. Se incorporanrefinamientos posteriores utilizando diferentes tipos de restricciones estructurales (epipolar,trifocal, cuadrifocal) expuestas en capítulos anteriores.

Las innovaciones más significativas con respecto a los materiales presentados anteriormenteafectan a la incorporación de elementos robustos (movimiento de configuraciones de rectasen el espacio, según P. Sturm y A. Bartoli, inicialmente) o bien la utilización de grupos detransformaciones para gestionar la información de manera simultánea (Y.Ma et al).

Modelado 3D basado en reconstrucción

En este capítulo se presentan los diferentes tipos de modelado matemático 3D para objetosrígidos o bien libres de forma. Se discute la formulación más apropiada (paramétrica o implícita)dependiendo del tipo de objeto, así como las limitaciones del ajuste por polinomios de gradobajo. Ello plantea el problema del ”pegado” de datos locales que se resuelve introduciendotécnicas de optimización para una representación lineal de las superficies de grado bajo.

Page 14: Reconstrucción 3D - lfa.mobivap.uva.eslfa.mobivap.uva.es/~cevic/wp-content/uploads/2015/01/preface02.pdf · 7 o bien de ocio y entretenimiento es una fuente permanente ... y a la

14

El enfoque adoptado está relacionado con la Reconstrucción 3D para objetos volumétricoscurvados con una geometría complicada a partir de una sola vista; la distorsión se evalúa entérminos de la deformación de una sección circular (forma elíptica) generada de forma artificiala partir de una sección plana (eventualmente variable) a lo largo de un perfil. Esta observaciónpermite extender la reconstrucción 3D a partir de una sola vista a volúmenes más complejosque las escenas arquitectónicas, como las de actores virtuales de gran interés para aplicacionesmultimedia.

Se muestran aplicaciones para objetos rígidos; el caso correspondiente a objetos deformablesse aborda en el módulo 5 del CEViC.

Page 15: Reconstrucción 3D - lfa.mobivap.uva.eslfa.mobivap.uva.es/~cevic/wp-content/uploads/2015/01/preface02.pdf · 7 o bien de ocio y entretenimiento es una fuente permanente ... y a la

Problemática y justificaciónAplicaciones

1 — Introducción

1.1 Problemática y justificación

1.2 Aplicaciones