Upload
emil
View
216
Download
0
Embed Size (px)
Citation preview
8/14/2019 3D Photography on Your Desk
1/8
8/14/2019 3D Photography on Your Desk
2/8
W e s t a r t w i t h a d e s c r i p t i o n o f t h e m e t h o d i n S e c . 2 ,
f o l l o w e d i n S e c . 3 b y a n o i s e s e n s i t i v i t y a n a l y s i s , a n d
i n S e c . 4 b y a n u m b e r o f e x p e r i m e n t s t h a t a s s e s s t h e
c o n v e n i e n c e a n d a c c u r a c y o f t h e s y s t e m . W e e n d w i t h
a d i s c u s s i o n a n d c o n c l u s i o n s i n S e c . 5 .
botx (t)
(t)
cO
Z
Y
X
c
c
c
d
Reference bottom row
Reference top row
Desk lamp
holding a stick
The user
S
generated by the stick
Desk plane
Camera
P
The edge of the shadow
xc
top
x (t)
A(t)
B(t)
Imageplane
F i g u r e 2 : G e o m e t r i c a l p r i n c i p l e o f t h e m e t h o d : A p p r o x -
i m a t e t h e l i g h t s o u r c e w i t h a p o i n t S , a n d d e n o t e b y
d
t h e
d e s k p l a n e . A s s u m e t h a t t h e p o s i t i o n s o f t h e l i g h t s o u r c e S a n d
t h e p l a n e
d
i n t h e c a m e r a r e f e r e n c e f r a m e a r e k n o w n f r o m c a l -
i b r a t i o n . T h e g o a l i s t o e s t i m a t e t h e 3 D l o c a t i o n o f t h e p o i n t
P i n s p a c e c o r r e s p o n d i n g t o e v e r y p i x e l x
c
i n t h e i m a g e . C a l l
t t h e t i m e a t w h i c h a g i v e n p i x e l x
c
` s e e s ' t h e s h a d o w b o u n d -
a r y l a t e r r e f e r r e d t o a s t h e s h a d o w t i m e . D e n o t e b y t t h e
c o r r e s p o n d i n g s h a d o w p l a n e a t t h a t t i m e t . A s s u m e t h a t t w o
p o r t i o n s o f t h e s h a d o w p r o j e c t e d o n t h e d e s k p l a n e a r e v i s i -
b l e o n t w o g i v e n r o w s o f t h e i m a g e t o p a n d b o t t o m r o w s i n
t h e g u r e . A f t e r e x t r a c t i n g t h e s h a d o w b o u n d a r y a l o n g t h o s e
r o w s x
t o p
t a n d x
b o t
t , w e n d t w o p o i n t s o n t h e s h a d o w
p l a n e A t a n d B t b y i n t e r s e c t i n g
d
w i t h t h e o p t i c a l r a y s
O
c
; x
t o p
t a n d O
c
; x
b o t
t r e s p e c t i v e l y . T h e s h a d o w p l a n e
t i s t h e n i n f e r r e d f r o m t h e t h r e e p o i n t s i n s p a c e S , A t a n d
B t . F i n a l l y , t h e p o i n t P c o r r e s p o n d i n g t o x
c
i s r e t r i e v e d b y
i n t e r s e c t i n g t w i t h t h e o p t i c a l r a y O
c
; x
c
. T h i s n a l s t a g e
i s c a l l e d t r i a n g u l a t i o n . N o t i c e t h a t t h e k e y s t e p s i n t h e w h o l e
s c h e m e a r e : a e s t i m a t e t h e s h a d o w t i m e t
s
x
c
a t e v e r y p i x e l
x
c
t e m p o r a l p r o c e s s i n g , a n d b l o c a t e t h e r e f e r e n c e p o i n t s
x
t o p
t a n d x
b o t
t a t e v e r y t i m e i n s t a n t t s p a t i a l p r o c e s s i n g
T h e s e t w o a r e d i s c u s s e d i n d e t a i l i n s e c t i o n 2 . 2 .
2 D e s c r i p t i o n o f t h e m e t h o d
T h e g e n e r a l p r i n c i p l e c o n s i s t s o f c a s t i n g a s h a d o w
o n t o t h e s c e n e w i t h a p e n c i l o r a n o t h e r s t i c k , a n d u s -
i n g t h e i m a g e o f t h e d e f o r m e d s h a d o w t o e s t i m a t e t h e
t h r e e d i m e n s i o n a l s h a p e o f t h e s c e n e . F i g u r e 1 s h o w s
t h e r e q u i r e d h a r d w a r e a n d t h e s e t u p o f t h e s y s t e m .
T h e o b j e c t i v e i s t o e x t r a c t s c e n e d e p t h a t e v e r y p i x e l
i n t h e i m a g e . F i g u r e 2 g i v e s a g e o m e t r i c a l d e s c r i p t i o n
o f t h e m e t h o d t h a t w e p r o p o s e t o a c h i e v e t h a t g o a l .
2 . 1 C a l i b r a t i o n
T h e g o a l o f c a l i b r a t i o n i s t o r e c o v e r t h e g e o m e t r y
o f t h e s e t u p t h a t i s , t h e l o c a t i o n o f t h e d e s k p l a n e
d
a n d t h a t o f t h e l i g h t s o u r c e S a s w e l l a s t h e i n -
t r i n s i c p a r a m e t e r s o f t h e c a m e r a f o c a l l e n g t h , o p t i c a l
c e n t e r a n d r a d i a l d i s t o r t i o n f a c t o r . W e d e c o m p o s e
t h e p r o c e d u r e i n t o t w o s u c c e s s i v e s t a g e s : r s t c a m e r a
c a l i b r a t i o n a n d t h e n l a m p c a l i b r a t i o n .
C a m e r a c a l i b r a t i o n : E s t i m a t e t h e i n t r i n s i c c a m -
e r a p a r a m e t e r s a n d t h e l o c a t i o n o f t h e d e s k p l a n e
d
t a b l e t o p w i t h r e s p e c t t o t h e c a m e r a . T h e p r o c e d u r e
c o n s i s t s o f r s t p l a c i n g a p l a n a r c h e c k e r b o a r d p a t t e r n
s e e g u r e 1 o n t h e d e s k i n t h e l o c a t i o n o f t h e o b j e c t s
t o s c a n . F r o m t h e i m a g e c a p t u r e d b y t h e c a m e r a , w e
i n f e r t h e i n t r i n s i c a n d e x t r i n s i c r i g i d m o t i o n b e t w e e n
c a m e r a a n d d e s k r e f e r e n c e f r a m e p a r a m e t e r s o f t h e
c a m e r a , b y m a t c h i n g t h e p r o j e c t i o n s o n t o t h e i m a g e
p l a n e o f t h e k n o w n g r i d c o r n e r s w i t h t h e e x p e c t e d p r o -
j e c t i o n d i r e c t l y m e a s u r e d o n t h e i m a g e e x t r a c t e d c o r -
n e r s o f t h e g r i d . T h i s m e t h o d i s v e r y m u c h i n s p i r e d
b y t h e a l g o r i t h m p r o p o s e d b y T s a i 1 3 . N o t e t h a t
s i n c e o u r c a l i b r a t i o n r i g i s p l a n a r , t h e o p t i c a l c e n t e r
c a n n o t b e r e c o v e r e d t h r o u g h t h a t p r o c e s s , a n d t h e r e -
f o r e i s a s s u m e d t o b e x e d a t t h e c e n t e r o f t h e i m a g e .
A d e s c r i p t i o n o f t h e w h o l e p r o c e d u r e c a n b e f o u n d
i n 3 . T h e r e a d e r c a n a l s o r e f e r t o F a u g e r a s 6 f o r
f u r t h e r i n s i g h t s o n c a m e r a c a l i b r a t i o n . N o t i c e t h a t
t h e e x t r i n s i c p a r a m e t e r s d i r e c t l y l e a d t o t h e p o s i t i o n
o f t h e t a b l e t o p
d
i n t h e c a m e r a r e f e r e n c e f r a m e .
L a m p c a l i b r a t i o n : A f t e r c a m e r a c a l i b r a t i o n , e s t i -
m a t e t h e 3 D l o c a t i o n o f t h e p o i n t l i g h t s o u r c e S .
F i g u r e 3 g i v e s a d e s c r i p t i o n o f o u r m e t h o d .
2 . 2 S p a t i a l a n d t e m p o r a l s h a d o w e d g e l o -
c a l i z a t i o n
A f u n d a m e n t a l s t a g e o f t h e m e t h o d i s t h e d e t e c t i o n
o f t h e l i n e o f i n t e r s e c t i o n o f t h e s h a d o w p l a n e t
w i t h t h e d e s k t o p
d
; a s i m p l e a p p r o a c h m a y b e u s e d
i f w e m a k e s u r e t h a t t h e t o p a n d b o t t o m e d g e s o f t h e
i m a g e a r e f r e e f r o m o b j e c t s . T h e n t h e t w o t a s k s t o a c -
c o m p l i s h a r e : a L o c a l i z e t h e e d g e o f t h e s h a d o w t h a t
i s d i r e c t l y p r o j e c t e d o n t h e t a b l e t o p x
t o p
t ; x
b o t
t
a t e v e r y t i m e i n s t a n t t e v e r y f r a m e , l e a d i n g t o t h e
s e t o f a l l s h a d o w p l a n e s t , b E s t i m a t e t h e t i m e
t
s
x
c
s h a d o w t i m e w h e r e t h e e d g e o f t h e s h a d o w
p a s s e s t h r o u g h a n y g i v e n p i x e l x
c
= x
c
; y
c
i n t h e i m -
a g e . C u r l e s s a n d L e v o y d e m o n s t r a t e d i n 4 t h a t s u c h
a s p a t i o - t e m p o r a l a p p r o a c h i s a p p r o p r i a t e t o p r e s e r v e
s h a r p d i s c o n t i n u i t i e s i n t h e s c e n e . D e t a i l s o f o u r i m -
p l e m e n t a t i o n a r e g i v e n i n g u r e 4 . N o t i c e t h a t t h e
s h a d o w w a s s c a n n e d f r o m t h e l e f t t o t h e r i g h t s i d e o f
t h e s c e n e . T h i s e x p l a i n s w h y t h e r i g h t e d g e o f t h e
s h a d o w c o r r e s p o n d s t o t h e f r o n t e d g e o f t h e t e m p o r a l
p r o l e i n g u r e 4 .
2
8/14/2019 3D Photography on Your Desk
3/8
b
ts
b
d
Ts
c
A pencil of known height horthogonal to the desk
O
Z
Y
X
c
c
c
Imageplane
S
Camera
h
t s
T
Light sourceDesk plane
KS must lie on the
sline = (T,T )!!!
F i g u r e 3 : L a m p c a l i b r a t i o n : T h e o p e r a t o r p l a c e s a p e n c i l
o n t h e d e s k p l a n e
d
, o r t h o g o n a l t o i t t o p - l e f t . T h e c a m e r a
o b s e r v e s t h e s h a d o w o f t h e p e n c i l p r o j e c t e d o n t h e t a b l e t o p .
T h e a c q u i r e d i m a g e i s s h o w n o n t h e t o p - r i g h t . F r o m t h e t w o
p o i n t s b a n d t
s
o n t h i s i m a g e , o n e c a n i n f e r t h e p o s i t i o n s i n
s p a c e o f K a n d T
s
, r e s p e c t i v e l y t h e b a s e o f t h e p e n c i l , a n d t h e
t i p o f t h e p e n c i l s h a d o w s e e b o t t o m g u r e . T h i s i s d o n e b y
i n t e r s e c t i n g t h e o p t i c a l r a y s O
c
; b a n d O
c
; t
s
w i t h
d
k n o w n
f r o m c a m e r a c a l i b r a t i o n . I n a d d i t i o n , g i v e n t h a t t h e h e i g h t o f
t h e p e n c i l h i s k n o w n , t h e c o o r d i n a t e s o f i t s t i p T c a n b e d i r e c t l y
i n f e r r e d f r o m K . T h e n , t h e l i g h t s o u r c e p o i n t S h a s t o l i e o n
t h e l i n e = T ; T
s
i n s p a c e . T h i s y i e l d s o n e l i n e a r c o n s t r a i n t
o n t h e l i g h t s o u r c e p o s i t i o n . B y t a k i n g a s e c o n d v i e w , w i t h t h e
p e n c i l a t a d i e r e n t l o c a t i o n o n t h e d e s k , o n e c a n r e t r i e v e a
s e c o n d i n d e p e n d e n t c o n s t r a i n t w i t h a n o t h e r l i n e
0
. A c l o s e d
f o r m s o l u t i o n f o r t h e 3 D c o o r d i n a t e o f S i s t h e n d e r i v e d b y
i n t e r s e c t i n g t h e t w o l i n e s a n d
0
i n t h e l e a s t s q u a r e s s e n s e .
N o t i c e t h a t s i n c e t h e p r o b l e m i s l i n e a r , o n e c a n e a s i l y i n t e g r a t e
t h e i n f o r m a t i o n f r o m m o r e t h a n 2 v i e w s a n d t h e n m a k e t h e
e s t i m a t i o n m o r e a c c u r a t e . I f N 2 i m a g e s a r e u s e d , o n e c a n
o b t a i n a c l o s e d f o r m s o l u t i o n f o r t h e b e s t i n t e r s e c t i o n p o i n t
~
S
o f t h e N i n f e r r e d l i n e s i n t h e l e a s t s q u a r e s s e n s e . W e a l s o
e s t i m a t e t h e u n c e r t a i n t y o n t h a t e s t i m a t e f r o m t h e d i s t a n c e o f
~
S f r o m e a c h o n e o f t h e l i n e s . T h a t i n d i c a t e s h o w c o n s i s t e n t l y
t h e l i n e s i n t e r s e c t a s i n g l e p o i n t i n s p a c e . R e f e r t o 3 f o r t h e
c o m p l e t e d e r i v a t i o n s .
t = t0
= 0134
ref. top row: ytop
= 10
ref. bot. row: ybot
= 230
xtop
(t0)
xbot
(t0)
xc
xc
= (104,128)= (xc,y
c)
50 100 150 200 250 300100
50
0
50
100
xtop
(t0)=118.42
I(x,ytop
,t0)
Column pixel x0 50 100 150 200 250
100
50
0
50
100
I(xc,y
c,t)
ts(x
c,y
c)=133.27
Time t (frame number)
F i g u r e 4 : S p a t i a l a n d t e m p o r a l s h a d o w l o c a t i o n : T h e
r s t s t e p c o n s i s t s o f l o c a l i z i n g s p a t i a l l y t h e s h a d o w e d g e
x
t o p
t
0
; x
b o t
t
0
a t e v e r y i n t e g e r t i m e t
0
i . e . e v e r y f r a m e .
T h e t o p a n d b o t t o m r o w s a r e y
t o p
= 1 0 a n d y
b o t
= 2 3 0
o n t h e t o p g u r e . T h i s l e a d s t o a n e s t i m a t e o f t h e s h a d o w
p l a n e t
0
a t e v e r y f r a m e . T h e s e c o n d p r o c e s s i n g s t e p c o n -
s i s t s o f e x t r a c t i n g a t e v e r y p i x e l x
c
, t h e t i m e t
s
x
c
o f p a s s a g e
o f t h e s h a d o w e d g e . F o r a n y g i v e n p i x e l x
c
= x ; y , d e n e
I
m i n
x ; y = m i n
t
I x ; y ; t a n d I
m a x
x ; y = m a x
t
I x ; y ; t
a s i t s m i n i m u m a n d m a x i m u m b r i g h t n e s s t h r o u g h o u t t h e e n t i r e
s e q u e n c e . W e t h e n d e n e t h e s h a d o w e d g e t o b e t h e l o c a t i o n s
i n s p a c e - t i m e w h e r e t h e i m a g e I x ; y ; t i n t e r s e c t s w i t h t h e
t h r e s h o l d i m a g e I
s h a d o w
x ; y = I
m i n
x ; y + I
m a x
x ; y = 2
T h i s m a y b e a l s o r e g a r d e d a s t h e z e r o c r o s s i n g s o f t h e d i f -
f e r e n c e i m a g e I x ; y ; t = I x ; y ; t , I
s h a d o w
x ; y . T h e t w o
b o t t o m p l o t s i l l u s t r a t e t h e s h a d o w e d g e d e t e c t i o n i n t h e s p a -
t i a l d o m a i n t o n d x
t o p
a n d x
b o t
a n d i n t h e t e m p o r a l d o -
m a i n t o n d t
s
x
c
. T h e b o t t o m - l e f t g u r e s h o w s t h e p r o -
l e o f I x ; y ; t a l o n g t h e t o p r e f e r e n c e r o w y = y
t o p
= 1 0
a t t i m e t = t
0
= 1 3 4 v e r s u s t h e c o l u m n p i x e l c o o r d i n a t e x
T h e s e c o n d z e r o c r o s s i n g o f t h a t p r o l e c o r r e s p o n d s t o t h e
t o p r e f e r e n c e p o i n t x
t o p
t
0
= 1 1 8 4 2 ; 1 0 c o m p u t e d a t s u b -
p i x e l a c c u r a c y . I d e n t i c a l p r o c e s s i n g i s a p p l i e d o n t h e b o t t o m
r o w t o o b t a i n x
b o t
t
0
= 1 3 0 6 ; 2 3 0 . S i m i l a r l y , t h e b o t t o m -
r i g h t g u r e s h o w s t h e t e m p o r a l p r o l e I x
c
; y
c
; t a t t h e p i x e l
x
c
= x
c
; y
c
= 1 0 4 ; 1 2 8 v e r s u s t i m e t o r f r a m e n u m b e r .
T h e s h a d o w t i m e a t t h a t p i x e l i s d e n e d a s t h e r s t z e r o c r o s s -
i n g l o c a t i o n o f t h a t p r o l e : t
s
1 0 4 ; 1 2 8 = 1 3 3 2 7 c o m p u t e d a t
s u b - f r a m e a c c u r a c y .
N o t i c e t h a t t h e p i x e l s c o r r e s p o n d i n g t o r e g i o n s i n
t h e s c e n e t h a t a r e n o t i l l u m i n a t e d b y t h e l a m p s h a d -
o w s d u e t o o c c l u s i o n s d o n o t p r o v i d e a n y r e l e v a n t
d e p t h i n f o r m a t i o n . F o r t h i s r e a s o n w e c a n r e s t r i c t t h e
p r o c e s s i n g t o p i x e l s t h a t h a v e s u c i e n t s w i n g b e t w e e n
m a x i m u m a n d m i n i m u m b r i g h t n e s s . T h e r e f o r e , w e
o n l y p r o c e s s p i x e l s w i t h c o n t r a s t v a l u e I
c o n t r a s t
x ; y
:
=
I
m a x
x ; y , I
m i n
x ; y l a r g e r t h a n a p r e - d e n e d t h r e s h -
o l d I
t h r e s h
. T h i s t h r e s h o l d w a s 7 0 i n a l l e x p e r i m e n t s
r e p o r t e d i n t h i s p a p e r r e c a l l t h a t t h e i n t e n s i t y v a l u e s
3
8/14/2019 3D Photography on Your Desk
4/8
a r e e n c o d e d f r o m 0 f o r b l a c k t o 2 5 5 f o r w h i t e .
W e d o n o t a p p l y a n y s p a t i a l l t e r i n g o n t h e i m -
a g e s ; t h a t w o u l d g e n e r a t e u n d e s i r e d b l e n d i n g i n t h e
n a l d e p t h e s t i m a t e s , e s p e c i a l l y n o t i c e a b l e a t d e p t h
d i s c o n t i n u i t i e s a t o c c l u s i o n s f o r e x a m p l e . H o w e v e r ,
i t w o u l d b e a c c e p t a b l e t o l o w - p a s s l t e r t h e b r i g h t n e s s
p r o l e s o f t h e t o p a n d b o t t o m r o w s t h e r e i s n o d e p t h
d i s c o n t i n u i t y o n t h e t a b l e t o p a n d l o w - p a s s l t e r t h e
t e m p o r a l b r i g h t n e s s p r o l e s a t e v e r y p i x e l . T h e s e o p -
e r a t i o n s w o u l d p r e s e r v e s h a r p s p a t i a l d i s c o n t i n u i t i e s ,
a n d m i g h t d e c r e a s e t h e e e c t o f l o c a l p r o c e s s i n g n o i s e
b y a c c o u n t i n g f o r s m o o t h n e s s i n t h e m o t i o n o f t h e
s t i c k .
E x p e r i m e n t a l l y , w e f o u n d t h a t t h i s t h r e s h o l d i n g a p -
p r o a c h f o r s h a d o w e d g e d e t e c t i o n a l l o w f o r s o m e i n t e r -
n a l r e e c t i o n s i n t h e s c e n e 9 , 8 , 1 4 . H o w e v e r , i f t h e
l i g h t s o u r c e i s n o t c l o s e t o a n i d e a l p o i n t s o u r c e , t h e
m e a n v a l u e b e t w e e n m a x i m u m a n d m i n i m u m b r i g h t -
n e s s m a y n o t a l w a y s c o n s t i t u t e t h e o p t i m a l v a l u e f o r
t h e t h r e s h o l d i m a g e I
s h a d o w
. I n d e e d , t h e s h a d o w e d g e
p r o l e b e c o m e s s h a l l o w e r a s t h e d i s t a n c e b e t w e e n t h e
s t i c k a n d t h e s u r f a c e i n c r e a s e s . I n a d d i t i o n , i t d e f o r m s
a s y m m e t r i c a l l y a s t h e s u r f a c e n o r m a l c h a n g e s . T h e s e
e e c t s c o u l d m a k e t h e t a s k o f d e t e c t i n g t h e s h a d o w
b o u n d a r y p o i n t s c h a l l e n g i n g . I n t h e f u t u r e , w e i n -
t e n d t o d e v e l o p a g e o m e t r i c a l m o d e l o f e x t e n d e d l i g h t
s o u r c e s a n d i n c o r p o r a t e i t i n t h e s y s t e m .
A l t h o u g h I
m i n
a n d I
m a x
a r e n e e d e d t o c o m p u t e
I
s h a d o w
, t h e r e e x i s t s a n i m p l e m e n t a t i o n o f t h a t a l -
g o r i t h m t h a t d o e s n o t r e q u i r e s t o r a g e o f t h e c o m -
p l e t e i m a g e s e q u e n c e i n m e m o r y a n d t h e r e f o r e l e a d s
i t s e l f t o r e a l - t i m e i m p l e m e n t a t i o n s . A l l t h a t o n e n e e d s
t o d o i s u p d a t e a t e a c h f r a m e v e d i e r e n t a r r a y s
I
m a x
x ; y , I
m i n
x ; y , I
c o n t r a s t
x ; y , I
s h a d o w
x ; y a n d
t h e s h a d o w t i m e t
s
x ; y , a s t h e i m a g e s I x ; y ; t a r e
a c q u i r e d . F o r a g i v e n p i x e l x ; y , t h e m a x i m u m
b r i g h t n e s s I
m a x
x ; y i s c o l l e c t e d a t t h e v e r y b e g i n -
n i n g o f t h e s e q u e n c e t h e r s t f r a m e , a n d t h e n , a s
t i m e g o e s , t h e i n c o m i n g i m a g e s a r e u s e d t o u p d a t e
t h e m i n i m u m b r i g h t n e s s I
m i n
x ; y a n d t h e c o n t r a s t
I
c o n t r a s t
x ; y . O n c e I
c o n t r a s t
x ; y c r o s s e s I
t h r e s h
, t h e
a d a p t i v e t h r e s h o l d I
s h a d o w
x ; y s t a r t s b e i n g c o m p u t e d
a n d u p d a t e d a t e v e r y f r a m e a n d a c t i v a t e d . T h i s p r o -
c e s s g o e s o n u n t i l t h e p i x e l b r i g h t n e s s I x ; y ; t c r o s s e s
I
s h a d o w
x ; y f o r t h e r s t t i m e i n t h e u p w a r d s d i r e c -
t i o n . T h a t t i m e i n s t a n t i s r e g i s t e r e d a s t h e s h a d o w
t i m e t
s
x ; y . I n t h a t f o r m o f i m p l e m e n t a t i o n , t h e l e f t
e d g e o f t h e s h a d o w i s t r a c k e d i n s t e a d o f t h e r i g h t o n e ,
h o w e v e r t h e p r i n c i p l e r e m a i n s t h e s a m e .
2 . 3 T r i a n g u l a t i o n
O n c e t h e s h a d o w t i m e t
s
x
c
i s e s t i m a t e d a t a g i v e n
p i x e l x
c
, o n e c a n i d e n t i f y t h e c o r r e s p o n d i n g s h a d o w
p l a n e t
s
x
c
. T h e n , t h e 3 D p o i n t P a s s o c i a t e d t o
x
c
i s r e t r i e v e d b y i n t e r s e c t i n g t
s
x
c
w i t h t h e o p t i -
c a l r a y O
c
; x
c
s e e g u r e 2 . N o t i c e t h a t t h e s h a d o w
t i m e t
s
x
c
a c t s a s a n i n d e x t o t h e s h a d o w p l a n e l i s t
t . S i n c e t
s
x
c
i s e s t i m a t e d a t s u b - f r a m e a c c u r a c y ,
t h e n a l p l a n e t
s
x
c
a c t u a l l y r e s u l t s f r o m l i n e a r
i n t e r p o l a t i o n b e t w e e n t h e t w o p l a n e s t
0
, 1 a n d
t
0
i f t
0
, 1 t
s
x
c
t
0
a n d t
0
i n t e g e r . O n c e t h e
r a n g e d a t a a r e r e c o v e r e d , a m e s h m a y b e g e n e r a t e d b y
c o n n e c t i n g n e i g h b o r i n g p o i n t s i n t r i a n g l e s . R e n d e r e d
v i e w s o f t h r e e r e c o n s t r u c t e d s u r f a c e s t r u c t u r e s c a n b e
s e e n i n g u r e s 6 , 7 a n d 8 .
3 N o i s e S e n s i t i v i t y
T h e o v e r a l l s c h e m e i s b a s e d o n r s t e x t r a c t i n g f r o m
e v e r y f r a m e i . e . e v e r y t i m e i n s t a n t s t t h e x c o o r d i -
n a t e s o f t h e t w o r e f e r e n c e p o i n t s x
t o p
t a n d x
b o t
t ,
a n d s e c o n d e s t i m a t i n g t h e s h a d o w t i m e t
s
x
c
a t e v -
e r y p i x e l x
c
. T h o s e i n p u t d a t a a r e u s e d t o e s t i m a t e
t h e d e p t h Z
c
a t e v e r y p i x e l . T h e p u r p o s e o f t h e n o i s e
s e n s i t i v i t y a n a l y s i s i s t o q u a n t i f y t h e e e c t o f t h e n o i s e
i n t h e m e a s u r e m e n t d a t a f x
t o p
t ; x
b o t
t ; t
s
x
c
g o n
t h e n a l r e c o n s t r u c t e d s c e n e d e p t h m a p . O n e k e y s t e p
i n t h e a n a l y s i s i s t o t r a n s f e r t h e n o i s e a e c t i n g t h e
s h a d o w t i m e t
s
x
c
i n t o a s c a l a r n o i s e a e c t i n g t h e
x c o o r d i n a t e o f x
c
a f t e r s c a l i n g b y t h e l o c a l s h a d o w
s p e e d o n t h e i m a g e a t t h a t p i x e l . L e t V b e t h e v o l -
u m e o f t h e p a r a l l e l e p i p e d f o r m e d b y t h e t h r e e v e c t o r s
O
c
A , O
c
B a n d O
c
S , o r i g i n a t i n g a t O
c
s e e g u r e 2 :
V = X
T
S
:
X
B
, X
S
X
A
, X
S
w h e r e X
S
= X
S
Y
S
Z
S
T
, X
A
= X
A
Y
A
Z
A
T
a n d
X
B
= X
B
Y
B
Z
B
T
a r e t h e c o o r d i n a t e v e c t o r s o f
S , A a n d B i n t h e c a m e r a r e f e r e n c e f r a m e i s t h e
s t a n d a r d o u t e r p r o d u c t o p e r a t o r . N o t i c e t h a t V i s
c o m p u t e d a t t h e t r i a n g u l a t i o n s t a g e , a n d t h e r e f o r e i s
a l w a y s a v a i l a b l e s e e 3 . D e n e X
c
= X
c
Y
c
Z
c
T
a s
t h e c o o r d i n a t e v e c t o r i n t h e c a m e r a r e f e r e n c e f r a m e
o f t h e p o i n t i n s p a c e c o r r e s p o n d i n g t o x
c
. A s s u m e
t h a t t h e x c o o r d i n a t e s o f t h e t o p a n d b o t t o m r e f e r e n c e
p o i n t s a f t e r n o r m a l i z a t i o n a r e a e c t e d b y a d d i t i v e
w h i t e G a u s s i a n n o i s e w i t h z e r o m e a n a n d v a r i a n c e s
2
t
a n d
2
b
r e s p e c t i v e l y . A s s u m e i n a d d i t i o n t h a t t h e
v a r i a n c e o n t h e x c o o r d i n a t e o f x
c
i s
2
x
c
d i e r e n t a t
e v e r y p i x e l . T h e f o l l o w i n g e x p r e s s i o n f o r t h e v a r i a n c e
2
Z
c
o f t h e i n d u c e d n o i s e o n t h e d e p t h e s t i m a t e Z
c
w a s
d e r i v e d b y t a k i n g r s t o r d e r d e r i v a t i v e s o f Z
c
w i t h
r e s p e c t t o t h e ` n e w ' n o i s y i n p u t v a r i a b l e s x
t o p
, x
b o t
a n d x
c
n o t i c e t h a t t h e t i m e v a r i a b l e d o e s n o t a p p e a r
a n y l o n g e r i n t h e a n a l y s i s :
2
Z
c
=
Z
2
c
V
2
n
W
2
h
2
S
Z
2
c
2
x
c
+
1
+
1
Y
c
+
1
Z
c
2
2
t
+
2
+
2
Y
c
+
2
Z
c
2
2
b
o
1
4
8/14/2019 3D Photography on Your Desk
5/8
w h e r e W , h
S
,
1
,
1
,
1
,
2
,
2
a n d
2
a r e c o n s t a n t s
d e p e n d i n g o n l y o n t h e g e o m e t r y s e e g u r e 5 :
1
= Z
A
Z
B
Y
S
, Y
B
Z
S
1
= , Z
A
Z
B
, Z
S
1
= Z
A
Y
B
, Y
S
2
= Z
B
Y
A
Z
S
, Z
A
Y
S
2
= Z
B
Z
A
, Z
S
2
= , Z
B
Y
A
, Y
S
T h e r s t t e r m i n e q u a t i o n 1 c o m e s f r o m t h e t e m p o -
r a l n o i s e o n t
s
x
c
t r a n s f e r r e d t o x
c
; t h e s e c o n d a n d
t h i r d t e r m s f r o m t h e s p a t i a l n o i s e o n x
t o p
a n d x
b o t
.
L e t
I
b e t h e s t a n d a r d d e v i a t i o n o f t h e i m a g e b r i g h t -
n e s s n o i s e . G i v e n t h a t w e u s e l i n e a r i n t e r p o l a t i o n o f
t h e t e m p o r a l b r i g h t n e s s p r o l e t o c a l c u l a t e t h e s h a d o w
t i m e t
s
x
c
, w e c a n w r i t e
x
c
a s a f u n c t i o n o f t h e
h o r i z o n t a l s p a t i a l i m a g e g r a d i e n t I
x
x
c
a t x
c
a t t i m e
t = t
s
x
c
:
x
c
=
I
j I
x
x
c
j
2
S i n c e
x
c
i n i n v e r s e l y p r o p o r t i o n a l t o t h e i m a g e g r a -
d i e n t , t h e a c c u r a c y i m p r o v e s w i t h s h a d o w e d g e s h a r p -
n e s s . T h i s j u s t i e s t h e i m p r o v e m e n t i n e x p e r i m e n t
3 a f t e r r e m o v i n g t h e l a m p r e e c t o r t h e r e b y s i g n i f -
i c a n t l y i n c r e a s i n g s h a r p n e s s . I n a d d i t i o n , o b s e r v e
t h a t
x
c
d o e s n o t d e p e n d o n t h e l o c a l s h a d o w s p e e d .
T h e r e f o r e , d e c r e a s i n g t h e s c a n n i n g s p e e d w o u l d n o t
i n c r e a s e a c c u r a c y . H o w e v e r , f o r t h e a n a l y s i s l e a d i n g
t o e q u a t i o n 2 t o r e m a i n v a l i d , t h e t e m p o r a l p i x e l p r o -
l e m u s t b e s u c i e n t l y s a m p l e d w i t h i n t h e t r a n s i t i o n
a r e a o f t h e s h a d o w e d g e t h e p e n u m b r a . T h e r e f o r e ,
i f t h e s h a d o w e d g e w e r e s h a r p e r , t h e s c a n n i n g s h o u l d
a l s o b e s l o w e r s o t h a t t h e t e m p o r a l p r o l e a t e v e r y
p i x e l w o u l d b e p r o p e r l y s a m p l e d . D e c r e a s i n g f u r t h e r
t h e s c a n n i n g s p e e d w o u l d b e n e t t h e a c c u r a c y o n l y i f
t h e t e m p o r a l p r o l e w e r e a p p r o p r i a t e l y l o w - p a s s l -
t e r e d b e f o r e e x t r a c t i o n o f t
s
x
c
. T h i s i s a n i s s u e f o r
f u t u r e r e s e a r c h .
N o t i c e t h a t
Z
c
, a s i d e f r o m q u a n t i f y i n g t h e u n c e r -
t a i n t i e s o n t h e d e p t h e s t i m a t e Z
c
a t e v e r y p i x e l x
c
, i t
a l s o c o n s t i t u t e s a g o o d i n d i c a t o r o f t h e o v e r a l l a c c u -
r a c i e s i n r e c o n s t r u c t i o n , s i n c e m o s t o f t h e e r r o r s a r e
l o c a t e d a l o n g t h e Z d i r e c t i o n o f t h e c a m e r a f r a m e .
I n a d d i t i o n , w e f o u n d n u m e r i c a l l y t h a t m o s t o f t h e
v a r i a t i o n s i n t h e v a r i a n c e
2
Z
c
a r e d u e t o t h e v a r i a -
t i o n o f v o l u m e V w i t h i n a s i n g l e s c a n . T h i s e x p l a i n s
w h y t h e r e c o n s t r u c t i o n n o i s e i s s y s t e m a t i c a l l y l a r g e r
i n p o r t i o n s o f t h e s c e n e f u r t h e r a w a y f r o m t h e l a m p
s e e g u r e s 6 , 7 a n d 8 . I n d e e d , i t c a n b e s h o w n t h a t ,
a s t h e s h a d o w m o v e s i n t o t h e o p p o s i t e d i r e c t i o n o f t h e
l a m p e . g . t o t h e r i g h t i f t h e l a m p i s o n t h e l e f t o f t h e
c a m e r a , t h e a b s o l u t e v a l u e o f t h e v o l u m e j V j s t r i c t l y
d e c r e a s e s , m a k i n g
2
Z
c
l a r g e r s e e 3 f o r d e t a i l s .
hS
dd
Xc
Oc
d
S
ccY
Z
C
L
Camera
Light source
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 00 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 01 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 11 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1d
O
Y
C
Z
B
ZA
A
B
d Y
S
ZC
n
h
dd
CY
W
Desk
S
B L AC
F i g u r e 5 : G e o m e t r i c s e t u p : T h e c a m e r a i s p o s i t i o n e d a t a
d i s t a n c e d
d
a w a y f r o m t h e d e s k p l a n e
d
a n d t i l t e d d o w n t o -
w a r d s i t a t a n a n g l e . T h e l i g h t s o u r c e i s l o c a t e d a t a h e i g h t
h
S
, w i t h i t s d i r e c t i o n d e n e d b y t h e a z i m u t h a n d e l e v a t i o n a n -
g l e s a n d . N o t i c e t h e s i g n o f c o s d i r e c t l y r e l a t e s t o w h i c h
s i d e o f t h e c a m e r a t h e l a m p i s s t a n d i n g : p o s i t i v e o n t h e r i g h t ,
a n d n e g a t i v e o n t h e l e f t . T h e b o t t o m g u r e i s a s i d e v i e w o f
t h e s y s t e m i n t h e O
c
; Y
c
; Z
c
p l a n e . T h e p o i n t s A a n d B a r e
t h e r e f e r e n c e p o i n t s o n t h e d e s k p l a n e s e e g u r e 2 .
I n o r d e r t o o b t a i n a u n i f o r m l y a c c u r a t e r e c o n s t r u c -
t i o n o f t h e e n t i r e s c e n e , o n e m a y t a k e t w o s c a n s o f t h e
s a m e s c e n e w i t h t h e l a m p a t t w o d i e r e n t l o c a t i o n s
o n t h e l e f t L a n d o n t h e r i g h t R o f t h e c a m e r a ,
a n d m e r g e t h e m t o g e t h e r u s i n g a t e a c h p i x e l t h e e s t i -
m a t e d r e l i a b i l i t y o f t h e t w o m e a s u r e m e n t s . A s s u m e
t h a t t h e c a m e r a p o s i t i o n , a s w e l l a s t h e h e i g h t h
S
o f t h e l a m p , a r e k e p t i d e n t i c a l f o r b o t h s c a n s . S u p -
p o s e i n a d d i t i o n t h a t t h e s c a n n i n g s p e e d s w e r e a p -
p r o x i m a t e l y t h e s a m e . T h e n , a t e v e r y p i x e l x
c
i n t h e
i m a g e , t h e t w o s c a n d a t a s e t s p r o v i d e t w o e s t i m a t e s
Z
L
c
a n d Z
R
c
o f t h e s a m e d e p t h Z
c
w i t h r e s p e c t i v e r e l i a -
b i l i t i e s
2
Z
L
a n d
2
Z
R
g i v e n b y e q u a t i o n 1 . I n a d d i t i o n ,
i f w e c a l l V
L
a n d V
R
t h e t w o r e s p e c t i v e v o l u m e s , t h e n
t h e r e l a t i v e u n c e r t a i n t y b e t w e e n Z
L
c
a n d Z
R
c
r e d u c e s
t o a f u n c t i o n o f t h e v o l u m e s :
2
Z
R
=
2
Z
L
= V
L
= V
R
2
.
N o t i c e t h a t c a l c u l a t i n g t h a t r e l a t i v e u n c e r t a i n t y d o e s
n o t r e q u i r e a n y e x t r a c o m p u t a t i o n , s i n c e V
L
a n d V
R
a r e a v a i l a b l e f r o m t h e t w o t r i a n g u l a t i o n s . T h e n a l
d e p t h i s c o m p u t e d b y w e i g h t e d a v e r a g e o f Z
L
c
a n d
Z
R
c
: Z
c
:
= !
L
Z
L
c
+ !
R
Z
R
c
. I f Z
R
c
a n d Z
L
c
w e r e G a u s -
5
8/14/2019 3D Photography on Your Desk
6/8
s i a n d i s t r i b u t e d , a n d i n d e p e n d e n t , t h e y w o u l d b e o p -
t i m a l l y a v e r a g e d u s i n g t h e i n v e r s e o f t h e v a r i a n c e s a s
w e i g h t s 1 0 : !
L
=
2
Z
R
=
2
Z
L
+
2
Z
R
=
2
= 1 +
2
a n d !
R
=
2
Z
L
=
2
Z
L
+
2
Z
R
= 1 = 1 +
2
, w h e r e
= V
L
= V
R
. E x p e r i m e n t a l l y , w e f o u n d t h a t t h i s
c h o i c e d o e s n o t y i e l d v e r y g o o d m e r g e d s u r f a c e s . I t
m a k e s t h e n o i s y a r e a s o f o n e v i e w i n t e r a c t t o o s i g -
n i c a n t l y w i t h t h e c l e a n c o r r e s p o n d i n g a r e a s i n t h e
o t h e r v i e w , d e g r a d i n g t h e o v e r a l l n a l r e c o n s t r u c -
t i o n . T h i s h a p p e n s p o s s i b l y b e c a u s e t h e r a n d o m v a r i -
a b l e s Z
L
c
a n d Z
R
c
a r e n o t G a u s s i a n . A h e u r i s t i c s o l u -
t i o n t o t h a t p r o b l e m i s t o u s e s i g m o i d f u n c t i o n s t o
c a l c u l a t e t h e w e i g h t s : !
L
= 1 + e x p f , V g
, 1
,
a n d !
R
= 1 + e x p f V g
, 1
w i t h V = V
2
L
,
V
2
R
= V
2
L
+ V
2
R
=
2
, 1 =
2
+ 1 . T h e p o s i t i v e
c o e c i e n t c o n t r o l s t h e a m o u n t o f d i u s i o n b e t w e e n
t h e l e f t a n d t h e r i g h t r e g i o n s , a n d s h o u l d b e d e t e r -
m i n e d e x p e r i m e n t a l l y . I n t h e l i m i t , a s t e n d s t o i n -
n i t y , m e r g i n g r e d u c e s t o a h a r d d e c i s i o n : Z
c
= Z
L
c
i f
V
L
V
R
, a n d Z
c
= Z
R
c
o t h e r w i s e . O u r m e r g i n g t e c h -
n i q u e p r e s e n t s t w o a d v a n t a g e s : a o b t a i n i n g m o r e
c o v e r a g e o f t h e s c e n e a n d b r e d u c i n g t h e e s t i m a t i o n
n o i s e . M o r e o v e r , s i n c e w e d o n o t m o v e t h e c a m e r a b e -
t w e e n s c a n s , w e d o n o t h a v e t o s o l v e f o r t h e d i c u l t
p r o b l e m o f v i e w a l i g n m e n t 1 1 , 7 , 5 . O n e m e r g i n g
e x a m p l e i s p r e s e n t e d i n e x p e r i m e n t 3 .
I n d e p e n d e n t l y f r o m l o c a l v a r i a t i o n s i n a c c u r a c y
w i t h i n o n e s c a n , o n e w o u l d a l s o w i s h t o m a x i m i z e
t h e g l o b a l o r a v e r a g e a c c u r a c y o f r e c o n s t r u c t i o n
t h r o u g h o u t t h e e n t i r e s c e n e . I n t h i s p a p e r , s c a n n i n g i s
v e r t i c a l s h a d o w p a r a l l e l t o t h e y a x i s o f t h e i m a g e .
T h e r e f o r e , t h e a v e r a g e r e l a t i v e d e p t h e r r o r j
Z
c
= Z
c
j
i s i n v e r s e l y p r o p o r t i o n a l t o j c o s j s e e 3 . T h e t w o
b e s t v a l u e s f o r t h e a z i m u t h a n g l e a r e t h e n = 0 a n d
= c o r r e s p o n d i n g t o t h e l a m p s t a n d i n g e i t h e r t o
t h e r i g h t = 0 o r t o t h e l e f t = o f t h e c a m e r a
s e e g u r e 5 - t o p .
4 E x p e r i m e n t a l R e s u l t s
4 . 1 C a l i b r a t i o n a c c u r a c i e s
C a m e r a c a l i b r a t i o n . F o r a g i v e n s e t u p , w e a c -
q u i r e d 1 0 i m a g e s o f t h e c h e c k e r b o a r d s e e g u r e 1 ,
a n d p e r f o r m e d i n d e p e n d e n t c a l i b r a t i o n s o n t h e m . T h e
c h e c k e r b o a r d c o n s i s t e d o f a p p r o x i m a t e l y 9 0 v i s i b l e
c o r n e r s o n a 8 9 g r i d . T h e n , w e c o m p u t e d b o t h m e a n
v a l u e s a n d s t a n d a r d d e v i a t i o n s o f a l l t h e p a r a m e t e r s
i n d e p e n d e n t l y : t h e f o c a l l e n g t h f
c
, r a d i a l d i s t o r t i o n
f a c t o r k
c
a n d d e s k p l a n e p o s i t i o n
d
. R e g a r d i n g t h e
d e s k p l a n e p o s i t i o n , i t i s c o n v e n i e n t t o l o o k a t t h e
h e i g h t d
d
a n d t h e s u r f a c e n o r m a l v e c t o r n
d
o f
d
e x -
p r e s s e d i n t h e c a m e r a r e f e r e n c e f r a m e . A n a d d i t i o n a l
g e o m e t r i c a l q u a n t i t y r e l a t e d t o n
d
i s t h e t i l t a n g l e
s e e g u r e 5 . T h e f o l l o w i n g t a b l e s u m m a r i z e s t h e c a l -
i b r a t i o n r e s u l t s n o t i c e t h a t t h e r e l a t i v e e r r o r o n t h e
a n g l e i s c o m p u t e d r e f e r r i n g t o 3 6 0 d e g r e e s :
P a r a m e t e r s E s t i m a t e s
R e l a t i v e
e r r o r s
f
c
p i x e l s 8 5 7 3 1 3 0 2
k
c
, 0 1 9 9 0 0 0 2 1
d
d
c m 1 6 6 9 0 0 2 0 1
n
d
, 0 0 4 2 7 0 0 0 0 3
0 7 5 1 5 0 0 0 0 3
0 6 5 9 4 0 0 0 0 4
!
0 0 6
d e g r e e s 4 1 2 7 0 0 2 0 0 0 6
L a m p c a l i b r a t i o n . S i m i l a r l y , w e c o l l e c t e d 1 0 i m a g e s
o f t h e p e n c i l s h a d o w l i k e g u r e 3 - t o p - r i g h t a n d p e r -
f o r m e d c a l i b r a t i o n o f t h e l i g h t s o u r c e o n t h e m . S e e
s e c t i o n 2 . 1 . N o t i c e t h a t t h e p o i n t s b a n d t
s
w e r e m a n -
u a l l y e x t r a c t e d f r o m t h e i m a g e s . D e n e S
c
a s t h e c o -
o r d i n a t e v e c t o r o f t h e l i g h t s o u r c e i n t h e c a m e r a f r a m e .
T h e f o l l o w i n g t a b l e s u m m a r i z e s t h e c a l i b r a t i o n r e s u l t s
r e f e r t o g u r e 5 f o r n o t a t i o n :
P a r a m e t e r s E s t i m a t e s
R e l a t i v e
e r r o r s
S
c
c m
, 1 3 7 0 1
, 1 7 2 0 3
, 2 9 0 1
!
2
h
S
c m 3 4 0 4 0 1 5 0 5
d e g r e e s 1 4 6 0 0 8 0 2
d e g r e e s 6 4 6 0 2 0 0 6
T h e e s t i m a t e d l a m p h e i g h t a g r e e s w i t h t h e m a n u a l
m e a s u r e w i t h a r u l e r o f 3 4 0 : 5 c m .
O u r m e t h o d y i e l d s a n a c c u r a c y o f a p p r o x i m a t e l y
3 m m i n s t a n d a r d d e v i a t i o n i n l o c a l i z i n g t h e l i g h t
s o u r c e . T h i s a c c u r a c y i s s u c i e n t f o r n a l s h a p e r e -
c o v e r y w i t h o u t s i g n i c a n t d e f o r m a t i o n , a s w e d i s c u s s
i n t h e n e x t s e c t i o n .
4 . 2 S c e n e r e c o n s t r u c t i o n s
O n t h e r s t s c e n e g u r e 6 , w e e v a l u a t e d t h e a c c u -
r a c y o f r e c o n s t r u c t i o n b a s e d o n t h e s i z e s a n d s h a p e s
o f t h e p l a n e a t t h e b o t t o m l e f t c o r n e r a n d t h e c o r n e r
o b j e c t o n t h e t o p o f t h e s c e n e s e e g u r e 4 - t o p .
P l a n a r i t y o f t h e p l a n e : W e t a p l a n e a c r o s s t h e
p o i n t s l y i n g o n t h e p l a n a r p a t c h a n d e s t i m a t e d t h e
s t a n d a r d d e v i a t i o n o f t h e s e t o f r e s i d u a l d i s t a n c e s
o f t h e p o i n t s t o t h e p l a n e t o 0 : 2 3 m m . T h i s c o r -
r e s p o n d s t o t h e g r a n u l a r i t y o r r o u g h n e s s n o i s e o n
t h e p l a n a r s u r f a c e . T h e t w a s d o n e o v e r a s u r -
f a c e p a t c h o f a p p r o x i m a t e s i z e 4 c m 6 c m . T h i s
l e a d s t o a r e l a t i v e n o n p l a n a r i t y o f a p p r o x i m a t e l y
0 : 2 3 m m = 5 c m = 0 : 4 . T o c h e c k f o r p o s s i b l e g l o b a l
d e f o r m a t i o n s d u e t o e r r o r s i n c a l i b r a t i o n , w e a l s o t
a q u a d r a t i c p a t c h a c r o s s t h o s e p o i n t s . W e n o t i c e d
a d e c r e a s e o f a p p r o x i m a t e l y 6 i n r e s i d u a l s t a n d a r d
d e v i a t i o n a f t e r q u a d r a t i c w a r p i n g . T h i s l e a d s u s t o
b e l i e v e t h a t g l o b a l g e o m e t r i c d e f o r m a t i o n s a r e n e g l i -
g i b l e c o m p a r e d t o l o c a l s u r f a c e n o i s e . I n o t h e r w o r d s ,
o n e m a y a s s u m e t h a t t h e e r r o r s o f c a l i b r a t i o n d o n o t
i n d u c e s i g n i c a n t g l o b a l d e f o r m a t i o n s o n t h e n a l r e -
c o n s t r u c t i o n .
6
8/14/2019 3D Photography on Your Desk
7/8
F i g u r e 6 : E x p e r i m e n t 1 - T h e p l a n e b a l l c o r n e r s c e n e :
T w o v i e w s o f t h e m e s h g e n e r a t e d f r o m t h e c l o u d o f p o i n t s o b -
t a i n e d a f t e r t r i a n g u l a t i o n . T h e o r i g i n a l s e q u e n c e w a s 2 7 0 f r a m e s
l o n g , t h e i m a g e s b e i n g 3 2 0 2 4 0 p i x e l s e a c h . A t 6 0 H z a c q u i s i -
t i o n f r e q u e n c y , t h e e n t i r e s c a n n i n g t a k e 5 s e c o n d s . T h e c a m e r a
w a s p o s i t i o n e d a t d i s t a n c e d
d
= 1 6 7 c m f r o m t h e d e s k p l a n e ,
t i l t e d d o w n b y = 4 1 3 d e g r e e s . T h e l i g h t s o u r c e w a s a t h e i g h t
h
S
= 3 7 7 c m , o n t h e l e f t o f t h e c a m e r a a t a n g l e s = 1 5 7 1
d e g r e e s a n d = 6 4 8 d e g r e e s . F r o m t h e r i g h t - h a n d g u r e w e
n o t i c e t h a t t h e r i g h t - h a n d s i d e o f t h e r e c o n s t r u c t e d s c e n e i s
m o r e n o i s y t h a n t h e l e f t - h a n d s i d e . T h i s w a s e x p e c t e d s i n c e t h e
l a m p w a s s t a n d i n g o n t h e l e f t o f t h e c a m e r a r e f e r t o s e c t i o n 3
f o r d e t a i l s .
G e o m e t r y o f t h e c o r n e r : W e t 2 p l a n e s t o t h e
c o r n e r s t r u c t u r e , o n e c o r r e s p o n d i n g t o t h e t o p s u r f a c e
t h e h o r i z o n t a l p l a n e a n d t h e o t h e r o n e t o t h e f r o n t a l
s u r f a c e v e r t i c a l p l a n e . W e e s t i m a t e d t h e s u r f a c e
n o i s e o f t h e t o p s u r f a c e t o 0 : 1 2 5 m m , a n d t h a t o f t h e
f r o n t a l f a c e t o 0 : 8 m m a l m o s t 7 t i m e s l a r g e r . T h i s
n o i s e d i e r e n c e b e t w e e n t h e t w o p l a n e s c a n b e o b -
s e r v e d o n g u r e 6 . O n c e a g a i n , a f t e r t t i n g q u a d r a t i c
p a t c h e s t o t h e t w o p l a n a r p o r t i o n s , w e d i d n o t n o -
t i c e a n y s i g n i c a n t g l o b a l g e o m e t r i c d i s t o r t i o n i n t h e
s c e n e f r o m p l a n a r t o q u a d r a t i c w a r p i n g , t h e r e s i d u a l
n o i s e d e c r e a s e d b y o n l y 5 i n s t a n d a r d d e v i a t i o n .
F r o m t h e r e c o n s t r u c t i o n , w e e s t i m a t e d t h e h e i g h t H
a n d w i d t h D o f t h e r i g h t a n g l e s t r u c t u r e , a s w e l l a s
t h e a n g l e b e t w e e n t h e t w o r e c o n s t r u c t e d p l a n e s , a n d
c o m p a r e d t h e m t o t h e i r t r u e v a l u e s :
P a r a m e t e r s E s t i m a t e s
T r u e
v a l u e s
R e l a t i v e
e r r o r s
H c m 2 5 7 0 0 2 2 6 5 0 0 2 3
D c m 3 0 6 0 0 2 3 0 2 0 0 2 1 3
d e g r e e s 8 6 2 1 9 0 1
T h e o v e r a l l r e c o n s t r u c t e d s t r u c t u r e d o e s n o t h a v e
a n y m a j o r n o t i c e a b l e g l o b a l d e f o r m a t i o n i t s e e m s t h a t
t h e c a l i b r a t i o n p r o c e s s g i v e s g o o d e n o u g h e s t i m a t e s .
T h e m o s t n o t i c e a b l e s o u r c e o f e r r o r s i s t h e s u r f a c e
n o i s e d u e t o l o c a l i m a g e p r o c e s s i n g . A g u r e o f m e r i t
t o k e e p i n m i n d i s a s u r f a c e n o i s e b e t w e e n 0 : 1 m m f o r
p l a n e s r o u g h l y p a r a l l e l t o t h e d e s k a n d 0 : 8 m m f o r
f r o n t a l p l a n e i n t h e r i g h t c o r n e r . I n m o s t p o r t i o n s
o f t h e s c e n e , t h e e r r o r s a r e o f t h e o r d e r o f 0 : 3 m m ,
i . e . l e s s t h a n 1 . N o t i c e t h a t t h e s e g u r e s m a y v e r y
w e l l v a r y f r o m e x p e r i m e n t t o e x p e r i m e n t , e s p e c i a l l y
d e p e n d i n g o n h o w f a s t t h e s c a n n i n g i s p e r f o r m e d . I n
a l l t h e p r e s e n t e d e x p e r i m e n t s , w e k e p t t h e s p e e d o f
t h e s h a d o w a p p r o x i m a t e l y u n i f o r m .
F i g u r e 7 : E x p e r i m e n t 2 - T h e c u p p l a n e b a l l s c e n e : T h e
s c a n n e d o b j e c t s w e r e a c u p , t h e p l a n e a n d t h e b a l l . T h e i n i -
t i a l i m a g e o f t h e s c e n e i s s h o w n o n t h e l e f t , a n d t h e n a l r e -
c o n s t r u c t e d m e s h o n t h e r i g h t . W e f o u n d a g r e e m e n t b e t w e e n
t h e e s t i m a t e d h e i g h t o f t h e c u p f r o m t h e 3 D r e c o n s t r u c t i o n ,
1 1 0 4 0 0 9 c m , a n d t h e m e a s u r e d h e i g h t o b t a i n e d u s i n g a
r u l e r , 1 0 9 5 0 0 5 c m . O n c e a g a i n t h e r i g h t p o r t i o n o n t h e
r e c o n s t r u c t e d s c e n e i s n o i s i e r t h a n t h e l e f t p o r t i o n . T h i s w a s
e x p e c t e d s i n c e t h e l i g h t s o u r c e w a s , o n c e a g a i n , s t a n d i n g t o t h e
l e f t o f t h e c a m e r a . G e o m e t r i c a l p a r a m e t e r s : d
d
= 2 2 6 c m ,
= 3 8 2 d e g r e e s , h
S
= 4 3 2 c m , = 1 5 5 9 d e g r e e s , a n d = 6 9
d e g r e e s .
F i g u r e s 7 a n d 8 r e p o r t t h e r e c o n s t r u c t i o n r e s u l t s
a c h i e v e d o n t w o o t h e r s c e n e s .
5 C o n c l u s i o n a n d f u t u r e w o r k
W e h a v e p r e s e n t e d a s i m p l e , l o w c o s t s y s t e m f o r
e x t r a c t i n g s u r f a c e s h a p e o f o b j e c t s . T h e m e t h o d r e -
q u i r e s v e r y l i t t l e p r o c e s s i n g a n d i m a g e s t o r a g e s o t h a t
i t c a n b e i m p l e m e n t e d i n r e a l t i m e . T h e a c c u r a c i e s
w e o b t a i n e d o n t h e n a l r e c o n s t r u c t i o n s a r e r e a s o n -
a b l e a t m o s t 1 o r 0 : 5 m m n o i s e e r r o r c o n s i d e r i n g
t h e l i t t l e h a r d w a r e r e q u i r e m e n t . I n a d d i t i o n , t h e n a l
o u t c o m e i s a d e n s e c o v e r a g e o f t h e s u r f a c e o n e p o i n t
i n s p a c e f o r e a c h p i x e l i n t h e i m a g e a l l o w i n g f o r d i r e c t
t e x t u r e m a p p i n g .
A n e r r o r a n a l y s i s w a s p r e s e n t e d t o g e t h e r w i t h t h e
d e s c r i p t i o n o f a s i m p l e t e c h n i q u e f o r m e r g i n g m u l t i -
p l e 3 D s c a n s t o g e t h e r i n o r d e r t o a o b t a i n a b e t t e r
c o v e r a g e o f t h e s c e n e , a n d b r e d u c e t h e e s t i m a t i o n
n o i s e . T h e o v e r a l l c a l i b r a t i o n p r o c e d u r e , e v e n i n t h e
c a s e o f m u l t i p l e s c a n s , i s v e r y i n t u i t i v e , s i m p l e , a n d
s u c i e n t l y a c c u r a t e .
A n o t h e r a d v a n t a g e o f o u r a p p r o a c h i s t h a t i t e a s i l y
s c a l e s t o l a r g e r s c e n a r i o s i n d o o r s u s i n g m o r e p o w e r -
f u l l a m p s l i k e p h o t o - o o d s a n d o u t d o o r s w h e r e t h e
s u n m a y b e u s e d a s a c a l i b r a t e d l i g h t s o u r c e g i v e n
l a t i t u d e , l o n g i t u d e , a n d t i m e o f d a y . T h e s e a r e e x -
p e r i m e n t s t h a t w e w i s h t o c a r r y o u t i n t h e f u t u r e .
O t h e r e x t e n s i o n s o f t h i s w o r k r e l a t e t o m u l t i p l e
v i e w i n t e g r a t i o n . W e w i s h t o e x t e n d t h e a l i g n m e n t
t e c h n i q u e t o a m e t h o d a l l o w i n g t h e u s e r t o m o v e f r e e l y
t h e o b j e c t i n f r o n t o f t h e c a m e r a a n d t h e l a m p b e t w e e n
s c a n s i n o r d e r t o a c h i e v e a f u l l c o v e r a g e . T h a t i s n e c -
e s s a r y t o c o n s t r u c t c o m p l e t e 3 D m o d e l s .
I t i s a l s o p a r t o f f u t u r e w o r k t o i n c o r p o r a t e a g e o -
m e t r i c a l m o d e l o f e x t e n d e d l i g h t s o u r c e t o t h e s h a d o w
e d g e d e t e c t i o n p r o c e s s , i n a d d i t i o n t o d e v e l o p i n g a n
u n c a l i b r a t e d o r p r o j e c t i v e v e r s i o n o f t h e m e t h o d .
7
8/14/2019 3D Photography on Your Desk
8/8
F i g u r e 8 : E x p e r i m e n t 3 - T h e a n g e l s c e n e : W e t o o k t w o
s c a n s o f t h e a n g e l w i t h t h e l a m p r s t o n t h e l e f t s i d e t o p - l e f t
a n d t h e n o n t h e r i g h t s i d e t o p - r i g h t o f t h e c a m e r a . T h e t w o
r e s u l t i n g m e s h e s a r e s h o w n o n t h e s e c o n d r o w , l e f t a n d r i g h t .
A s e x p e c t e d , t h e p o r t i o n s f u r t h e r a w a y f r o m t h e l i g h t s o u r c e a r e
n o i s i e r . T h e t w o m e s h e s w e r e t h e n m e r g e d t o g e t h e r f o l l o w i n g
t h e t e c h n i q u e d e s c r i b e d i n s e c t i o n 3 , w i t h d i u s i o n c o e c i e n t
= 1 5 . F o u r d i e r e n t v i e w s o f t h e n a l m e s h 4 7 0 7 6 t r i a n g l e s
a r e p r e s e n t e d . N o t i c e t h e s m a l l s u r f a c e n o i s e : w e e s t i m a t e d i t
t o 0 0 9 m m t h r o u g h o u t t h e e n t i r e r e c o n s t r u c t e d s u r f a c e . O v e r
a d e p t h v a r i a t i o n o f a p p r o x i m a t e l y 1 0 c m , t h i s m e a n s a r e l a t i v e
e r r o r o f 0 1 . T h e f e w w h i t e h o l e s c o r r e s p o n d t o t h e o c c l u d e d
p o r t i o n s o f t h e s c e n e n o t o b s e r v e d f r o m t h e c a m e r a o r n o t
i l l u m i n a t e d . M o s t o f t h e g e o m e t r i c a l c o n s t a n t s i n t h e s e t u p
w e r e k e p t r o u g h l y i d e n t i c a l i n b o t h s c a n s : d
d
= 2 2 c m , = 4 0
d e g r e e s , h
S
= 6 2 c m , 7 0 d e g r e e s ; w e o n l y c h a n g e d t h e
a z i m u t h a n g l e f r o m l a m p o n t h e l e f t t o 0 l a m p o n t h e
r i g h t . I n t h i s e x p e r i m e n t w e t o o k t h e l a m p r e e c t o r o , l e a v i n g
t h e b u l b n a k e d . C o n s e q u e n t l y , w e n o t i c e d a s i g n i c a n t i m p r o v e -
m e n t i n t h e s h a r p n e s s o f t h e p r o j e c t e d s h a d o w c o m p a r e d t o t h e
t w o r s t e x p e r i m e n t s . W e b e l i e v e t h a t t h i s o p e r a t i o n w a s t h e
m a i n r e a s o n f o r t h e n o t i c e a b l e i m p r o v e m e n t i n r e c o n s t r u c t i o n
q u a l i t y . O n c e a g a i n , t h e r e w a s n o s i g n i c a n t g l o b a l d e f o r m a t i o n
i n t h e n a l s t r u c t u r e d s u r f a c e : w e t a q u a d r a t i c m o d e l t h r o u g h
t h e r e c o n s t r u c t e d s e t o f p o i n t s o n t h e d e s k p l a n e a n d n o t i c e d
f r o m p l a n a r t o q u a d r a t i c w a r p i n g a d e c r e a s e o f o n l y 2 o n t h e
s t a n d a r d d e v i a t i o n o f s u r f a c e n o i s e .
A c k n o w l e d g m e n t s
T h i s w o r k i s s u p p o r t e d i n p a r t b y t h e C a l i f o r n i a I n s t i t u t e
o f T e c h n o l o g y ; a n N S F N a t i o n a l Y o u n g I n v e s t i g a t o r A w a r d t o
P . P . ; t h e C e n t e r f o r N e u r o m o r p h i c S y s t e m s E n g i n e e r i n g f u n d e d
b y t h e N a t i o n a l S c i e n c e F o u n d a t i o n a t t h e C a l i f o r n i a I n s t i t u t e
o f T e c h n o l o g y ; a n d b y t h e C a l i f o r n i a T r a d e a n d C o m m e r c e
A g e n c y , O c e o f S t r a t e g i c T e c h n o l o g y . W e w i s h t o t h a n k a l l
t h e c o l l e a g u e s t h a t h e l p e d u s t h r o u g h o u t t h i s w o r k , e s p e c i a l l y
L u i s G o n c a l v e s , G e o r g e B a r b a s t a t h i s , M a r i o M u n i c h , a n d A r -
r i g o B e n e d e t t i f o r v e r y u s e f u l d i s c u s s i o n s . C o m m e n t s f r o m t h e
a n o n y m o u s r e v i e w e r s w e r e v e r y h e l p f u l i n i m p r o v i n g a p r e v i o u s
v e r s i o n o f t h e p a p e r .
R e f e r e n c e s
1 P a u l B e s l , A d v a n c e s i n M a c h i n e V i s i o n , c h a p t e r 1 - A c t i v e
o p t i c a l r a n g e i m a g i n g s e n s o r s , p a g e s 1 6 3 , S p r i n g e r - V e r l a g ,
1 9 8 9 .
2 P . J . B e s l a n d N . D . M c K a y , A m e t h o d f o r r e g i s t r a t i o n o f
3 - d s h a p e s " , I E E E T r a n s a c t i o n s o n P a t t e r n A n a l y s i s a n d
M a c h i n e I n t e l l i g e n c e , 1 4 2 : 2 3 9 2 5 6 , 1 9 9 2 .
3 J e a n - Y v e s B o u g u e t a n d P i e t r o P e r o n a , 3 D p h o -
t o g r a p h y o n y o u r d e s k " , T e c h n i c a l r e p o r t , C a l -
i f o r n i a I n s t i t u t e o f T e c h n o l o g y , 1 9 9 7 , a v a i l a b l e a t :
h t t p : w w w . v i s i o n . c a l t e c h . e d u b o u g u e t j I C C V 9 8 .
4 B r i a n C u r l e s s a n d M a r c L e v o y , B e t t e r o p t i c a l t r i a n g u -
l a t i o n t h r o u g h s p a c e t i m e a n a l y s i s " , P r o c . 5
t h
I n t . C o n f .
C o m p u t e r V i s i o n , p a g e s 9 8 7 9 9 3 , 1 9 9 5 .
5 B r i a n C u r l e s s a n d M a r c L e v o y , A v o l u m e t r i c m e t h o d
f o r b u i l d i n g c o m p l e x m o d e l s f r o m r a n g e i m a g e s " , S I G -
G R A P H 9 6 , C o m p u t e r G r a p h i c s P r o c e e d i n g s , 1 9 9 6 .
6 O . D . F a u g e r a s , T h r e e d i m e n s i o n a l v i s i o n , a g e o m e t r i c
v i e w p o i n t , M I T P r e s s , 1 9 9 3 .
7 B e r t h o l d K . P . H o r n , C l o s e d - f o r m s o l u t i o n o f a b s o l u t e o r i -
e n t a t i o n u s i n g u n i t q u a t e r n i o n s " , J . O p t . S o c . A m . A ,
4 4 : 6 2 9 6 4 2 , 1 9 8 7 .
8 J u r g e n R . M e y e r - A r e n d t , R a d i o m e t r y a n d p h o t o m e t r y :
U n i t s a n d c o n v e r s i o n f a c t o r s " , A p p l i e d O p t i c s , 7 1 0 : 2 0 8 1
2 0 8 4 , O c t o b e r 1 9 6 8 .
9 S h r e e K . N a y a r , K a t s u s h i I k e u c h i , a n d T a k e o K a n a d e ,
S h a p e f r o m i n t e r r e e c t i o n s " , I n t . J . o f C o m p u t e r V i s i o n ,
6 3 : 1 7 3 1 9 5 , 1 9 9 1 .
1 0 A t h a n a s i o s P a p o u l i s , P r o b a b i l i t y , R a n d o m V a r i a b l e s a n d
S t o c h a s t i c P r o c e s s e s , M a c G r a w H i l l , 1 9 9 1 , T h i r d E d i t i o n .
1 1 A . J . S t o d d a r t a n d A . H i l t o n , R e g i s t r a t i o n o f m u l t i p l e
p o i n t s e t s " , P r o c e e d i n g s o f t h e 1 3 t h I n t . C o n f . o f P a t t e r n
R e c o g n i t i o n , 1 9 9 6 .
1 2 M a r j a n T r o b i n a , E r r o r m o d e l o f a c o d e d - l i g h t r a n g e
s e n s o r " , T e c h n i c a l R e p o r t B I W I - T R - 1 6 4 , E T H - Z e n t r u m ,
1 9 9 5 .
1 3 R . Y . T s a i , A v e r s a t i l e c a m e r a c a l i b r a t i o n t e c h n i q u e f o r
h i g h a c c u r a c y 3 d m a c h i n e v i s i o n m e t r o l o g y u s i n g o - t h e -
s h e l f t v c a m e r a s a n d l e n s e s " , I E E E J . R o b o t i c s A u t o m a t . ,
R A - 3 4 : 3 2 3 3 4 4 , 1 9 8 7 .
1 4 J o h n W . T . W a l s h , P h o t o m e t r y , D o v e r , N Y , 1 9 6 5 .
1 5 Y . F . W a n g , C h a r a c t e r i z i n g t h r e e - d i m e n s i o n a l s u r f a c e
s t r u c t u r e s f r o m v i s u a l i m a g e s " , I E E E T r a n s a c t i o n s o n
P a t t e r n A n a l y s i s a n d M a c h i n e I n t e l l i g e n c e , 1 3 1 : 5 2 6 0 ,
1 9 9 1 .
1 6 Z . Y a n g a n d Y . F . W a n g , E r r o r a n a l y s i s o f 3 D s h a p e c o n -
s t r u c t i o n f r o m s t r u c t u r e d l i g h t i n g " , P a t t e r n R e c o g n i t i o n ,
2 9 2 : 1 8 9 2 0 6 , 1 9 9 6 .
8