1 Acquiring the Reflectance Field of a Human Face Paul Debevec et al

1

Acquiring the Reflectance Field of a Human Face

Paul Debevec et al.

2

Background (1)

• Gesichtsmodellierung und –animation- 3D-Photographie (Scanners)

Gesichtsgeometrie Texture Map darüberlegenProblem: beleuchtungsabhängig

- Abschätzung von Gesichtsmodellen direkt vom Bild

3

Background (2)

• Reflektometrie– Messungen, wie Materialien Licht

reflektieren– BRDF– Reflexionsmodelle (BRDFs als

Parameterfunktionen)– Modelle für geschichtete Oberflächen

„subsurface scattering“– Reflexionsabschätzungen mit Bildern

4

Background (3)

• Bildbasierte Modellierung und Rendering– Summierung von „Basisbildern“– Einfangen von realen Beleuchtungs-

bedingungen

5

Motivation (1)

• Methode, um Gesichter zu rendern, und zwar unter beliebigem Verändern– der Beleuchtung– „viewing direction“

• Basierend auf Photoaufnahmen• Linearkombinationen von Grundbildern• Extrapolation von „reflectance fields“

6

Reflectance Field

• R = R(Ri;Rr) = R(ui, vi, i, i; ur, vr, r, r)

(i, i)

(r, r)

(ui, vi)(ur, vr)

(a) (b)

(ur, vr)

(r, r)

(i, i)

„non local reflectance fields“

7

Re-illuminating Faces (1)

• Überblick– Akquisitionsprozess– Aufbau der „reflectance function“– Rendern des Gesichts von den originalen

„viewpoints“ aus, aber unter beliebiger neuer Form der Beleuchtung

8

Re-illuminating Faces (2)

• „The Light Stage“– 64 x 32 Bilder

: Azimut : Inklination

• „Reflectance Function“ Rxy(,)– für jeden Pixelort (x,y)– vom Pixel reflektierter Strahl bei

Beleuchtung aus Richtung (,)

9

Re-illuminating Faces (3)

• Eigentliche Berechnung eines Bildes unter neuer Beleuchtung

• Annahme: Weisses Licht der Original-lichtquelle

• Mit zusätzliche Normalisierung

• Berechnung in JPEG möglich

,

),(),(),( ixy LRyxL

,

),(),(),(),( ALRyxL ixy

10

Changing the Viewpoint (1)

• Überblick– Extrapolation von kompleten „reflectance

fields“– Ermöglicht Rendern des Gesichts von

beliebigem „viewpoint“ aus und unter beliebiger Beleuchtung

– Reflexionsmodell der Haut

11

Changing the Viewpoint (2)

• Reflektiertes Licht kann zerlegt werden in:– Eine spekulare Komponente– Eine nicht-Lambertsche diffuse

Komponente– Experimente:

• Mit Polarisationsfiltern• Monte-Carlo-Simulation

12

Changing the Viewpoint (3)

• Separierung in spekulare und „Subsurface“ Komponente– Polarisationsansatz zu aufwendig– Farbraum-Analyse-Technik

(nach Y.Sato und K. Ikeuchi)– RGB-Wert einer „reflectance function“

13

Changing the Viewpoint (4)

• Output dieser Separation:– Diffuse „reflectance function“ D(,)– Spekulare „reflectance function“ S (,)– Oberflächennormale

• D und S können noch transformiert werden, so dass sie unabhängig von der originalen „viewing direction werden“

14

Changing the Viewpoint (5)

Reflectance

function

Spekularer Teil Diffuser Teil

15

Changing the Viewpoint (6)

Auf neuen „viewpoint“ transformierte

spekulare Komponente

+Geshifteter diffuser

Teil

Neue „reflectance function“

Fotografierte, „richtige“ reflectance

function

16

Changing the Viewpoint (7)

• Berücksichtigen von Schatten:– Ab einer bestimmten

Helligkeit ist Schatten

– Keine Glanzpunkte innerhalb von Schattenzonen

17

Resultate (1)

• Demoprogramm• Vergleich mit:

– „Reflection from Layered Surfaces due to Subsurface Scattering“ von Pat Hanrahan und Wolfgang Krueger

• Monte Carlo Simulation

18

Beispiel aus „Reflection from Layered Surfaces due to Subsurface Scattering“

19

Beurteilung

• Sehr realistische Resultate• Simple Ausrüstung• Nur statisch• Rechenaufwendig• Mühsames Aufnahmeprozedere• keine spezielle Datenstruktur

+

-

20

ENDE

21

Jetzt kommen noch die Overhead-Folien

22

23

24

Von Stirn

Reflectance FunctionsBeispiele von einzelnenPunkten des Kopfes

Von Wange

25

light map A normalizedlight map

normalizedlight map

reflectancefunction

lighting product

lighting productrendered

pixel

26

27

28

29

„normales“ Photo

„diffus“horizontaler Polarisierer

auf Kamera

„spekulares“ hervorgehogenvertikaler Polarisierer

auf Kamera

Licht ist vertikal polarisiert

-

30

„diffus“Beobachtung:Entsätigung

akzentuiert spekularBeobachtung: für grosse

stärkere Spekularität

31

32