Illumination Invariant Face Recognition - A Survey

8/8/2019 Illumination Invariant Face Recognition - A Survey

1/8


2/8

c l a i m e d t h e a t t a c h e d s h a d o w s , w h i c h a r e c a u s e d b y p o i n t sw h e r e t h e a n g l e b e t w e e n s u r f a c e n o r m a l a n d t h e d i r e c t i o no f l i g h t s o u r c e i s o b t u s e ( n p s < 0 , t h e r e f o r e I ( p ) = 0 ) ,d o n o t h a v e a s i g n i f i c a n t a d v e r s e e f f e c t o n t h e p h o t o m e t r i ca l i g n m e n t s c h e m e . H o w e v e r , t h e c a s t s h a d o w s c a u s e d b yo c c l u s i o n c a n n o t b e m o d e l e d u s i n g t h e a b o v e f r a m e w o r k .B e l h u m e u r e t a l . [ 5 ] p r e s e n t e d t h e s o - c a l l e d 3D l i n e a rs u b s p a c e m e t h o d f o r i l l u m i n a t i o n i n v a r i a n t f a c e r e c o g n i t i o n ,w h i c h i s a v a r i a n t o f t h e p h o t o m e t r i c a l i g n m en t m e t h o d . I nt h i s l i n e a r s u b s p a c e m e t h o d , t h r e e o r m o r e i m a g e s o f t h es a m e f a c e t a k e n u n d e r d i f f e r e n t l i g h t i n g a r e u s e d t o c o n s t r u c ta 3D b a s i s f o r t h e l i n e a r s u b s p a c e . T h e r e c o g n i t i o n p r o c e e d sb y c o m p a r i n g t h e d i s t a n c e b e t w e e n t h e t e s t i m a g e a n d e a c hl i n e a r s u b s p a c e o f t h e f a c e s b e l o n g i n g t o e a c h i d e n t i t y . T h eF i s h e r L i n e a r D i s c r i m i n a n t ( a l s o c a l l e d F i s h e r F a c e ) m e t h o di s a l s o p r o p o s e d i n [ 5 ] i n o r d e r t o m a x i m i s e t h e r a t i o o f t h eb e t w e e n - c l a s s s c a t t e r a n d t h e w i t h i n - c l a s s s c a t t e r o f t h e f a c ei m a g e s e t t o a c h i e v e b e t t e r r e c o g n i t i o n p e r f o r m a n c e .B a t u r a n d H a y e s [ 3 ] p r o p o s e d a s e g m e n t e d l i n e a r s u b s p a c em o d e l t o g e n e r a l i z e t h e 3D l i n e a r s u b s p a c e m o d e l s o t h a ti t i s r o b u s t t o s h a d o w s . E a c h i m a g e i n t h e t r a i n i n g s e t i ss e g m e n t e d i n t o r e g i o n s t h a t h a v e s i m i l a r s u r f a c e n o r m a l s b yk - M e a n c l u s t e r i n g , t h e n f o r e a c h r e g i o n a l i n e a r s u b s p a c e i se s t i m a t e d . E a c h e s t i m a t i o n o n l y r e l i e s o n a s p e c i f i c r e g i o n ,s o i t i s n o t i n f l u e n c e d b y t h e r e g i o n s i n s h a d o w .2 ) I l l u m i n a t i o n C o n e : B e l h u m e u r a n d K r i e g m a n [ 6 ]p r o v e d t h a t a l l i m a g e s o f a c o n v e x o b j e c t w i t h L a m b e r t i a ns u r f a c e f r o m t h e s a m e v i e w p o i n t b u t i l l u m i n a t e d b y a na r b i t r a r y n u m b e r o f d i s t a n t p o i n t s o u r c e s f o r m a c o n v e xI l l u m i n a t i o n C o n e . T h e d i m e n s i o n o f t h i s i l l u m i n a t i o n c o n ei s t h e s a m e a s t h e n u m b e r o f d i s t i n c t s u r f a c e n o r m a l s . T h i si l l u m i n a t i o n c o n e c a n b e c o n s t r u c t e d f r o m a s f e w a s t h r e ei m a g e s o f t h e s u r f a c e , e a c h u n d e r i l l u m i n a t i o n f r o m a nu n k n o w n p o i n t s o u r c e . T h e i l l u m i n a t i o n c o n e i s a c o n v e xc o m b i n a t i o n o f e x t r e m e r a y s g i v e n b y x i j =T a x ( B s i j , 0 ) ,w h e r e s i j = b i x b j , a n d b i , b j a r e t w o d i f f e r e n t r o w s o fa m a t r i x B w h e r e e a c h r o w i s t h e p r o d u c t o f a l b e do w i t hs u r f a c e n o r m a l v e c t o r . K r i e g m a n a n d B e l h u m e u r s h o w e d i n[ 3 0 ] t h a t f o r a n y f i n i t e s e t o f p o i n t s o u r c e s i l l u m i n a t i n ga n o b j e c t v i e w e d u n d e r e i t h e r o r t h o g r a p h i c o r p e r s p e c t i v ep r o j e c t i o n , t h e r e i s a n e q u i v a l e n c e c l a s s o f o b j e c t s h a p e sh a v i n g t h e s a m e s e t o f s h a d o w s . T h e s e o b s e r v a t i o n s a r ee x p l o i t e d b y G e o r g h i a d e s e t a l . [ 1 9 ] f o r f a c e r e c o g n i t i o nu n d e r v a r i a b l e l i g h t i n g .3 ) S p h e r i c a l H a r m o n i c s : S p h e r i c a l H a r m o n i c s m e t h o d i sp r o p o s e d b y B a s r i a n d J a c o b s [ 4 5 ] , a n d c o n t e m p o r a r i l y b yR a m a m o o r t h i a n d H a n r a h a n [ 4 4 ] . A s s u m i n g a r b i t r a r y l i g h ts o u r c e s ( p o i n t s o u r c e s o r d i f f u s e s o u r c e s ) d i s t a n t f r o m a no b j e c t o f L a m b e r t i a n r e f l e c t a n c e p r o p e r t y , B a s r i a n d J a c o b s[ 4 6 ] s h o w t h a t i g n o r i n g c a s t s h a d o w t h e i n t e n s i t y o f o b j e c ts u r f a c e c a n b e a p p r o x i m a t e d b y a 9 - d i m e n s i o n a l l i n e a rs u b s p a c e b a s e d o n a S p h e r i c a l H a r m o n i c r e p r e s e n t a t i o n .Z h a n g a n d S a m a r a s [ 7 1 ] p r o p o s e d t w o m e t h o d s f o r f a c er e c o g n i t i o n u n d e r a r b i t r a r y u n k n o w n l i g h t i n g b y u s i n g t h es p h e r i c a l h a r m o n i c s r e p r e s e n t a t i o n , w h i c h r e q u i r e s o n l y o n et r a i n i n g i m a g e p e r s u b j e c t a n d n o 3D s h a p e i n f o r m a t i o n .

b a s i s i m a g e s are b u i l t b a s e d on a c o l l e c t i o n o f 2D b a s i si m a g e s . F o r a g i v e n t r a i n i n g f a c e i m a g e , t h e b a s i s i m a g e s f o rt h i s f a c e c a n b e e s t i m a t e d b a s e d on Max im u m A P o s t e r i o re s t i m a t i o n . I n t h e s e c o n d m e t h o d a 3D m o r p h a b l e m o d e la n d t h e h a r m o n i c r e p r e s e n t a t i o n are c o m b i n e d t o p e r f o r mf a c e r e c o g n i t i o n w i t h b o t h i l l u m i n a t i o n a n d pose v a r i a t i o n .4 ) N i n e p o i n t l i g h t s : L e e e t a l . [ 3 1 ] s h o w e d t h a t t h e r ee x i s t s a c o n f i g u r a t i o n o f n i n e p o i n t s our c e d i r e c t i o n s s u c ht h a t a s u b s p a c e r e s u l t i n g f r o m n i n e i m a g e s o f e a c h i n d i v i d u a lu n d e r t h e s e n i n e l i g h t i n g so u r c es i s e f f e c t i v e a t r e c o g n i t i o nu n d e r a w i d e r a n g e o f i l l u m i n a t i o n c o n d i t i o n s . T h e a d v a n t a g eo f t h i s m e t h o d i s t h a t t h e r e i s no n e e d t o o b t a i n a 3D m o d e lo f s u r f a c e as i n t h e s p h e r i c a l h a r m o n i c s a p p r o a c h [ 4 6 ] , or t oc o l l e c t a l a r g e n u m b e r o f t r a i n i n g i m a g e s as i n t h e s t a t i s t i c a lm o d e l l i n g a p p r o a c h e s .5 ) G e n e r a l i z e d P h o t o m e t r i c S t e r e o : R e c e n t l y , Z h o u e t a l .[ 7 6 ] a n a l y z e d i m a g e s o f t h e f a c e c l a s s w i t h b o t h t h e Lam-b e r t i a n r e f l e c t a n c e m o d e l a n d t h e l i n e a r s u b s p a c e a p p r o a c h .T h e human f a c e i s c l a i m e d t o b e a n e x a m p l e o f a s o - c a l l e dL i n e a r L a m b e r t i a n O b j e c t , w h i c h i s n o t o n l y a n o b j e c t w i t hL a m b e r t i a n s u r f a c e , b u t a l s o a l i n e a r c o m b i n a t i o n o f b a s i so b j e c t s w i t h l a m b e r t i a n s u r f a c e s . T h e a l b e d o a n d s u r f a c en o r m a l v e c t o r s o f e a c h b a s i s o b j e c t f o r t h e f a c e c l a s s f o r m am a t r i x c a l l e d c l a s s - s p e c i f i c a l b e d o / s h a p e m a t r i x , w h i c h c a nb e r e c o v e r e d b y a G e n e r a l i z e d P h o t o m e t r i c S t e r e o processf r o m t h e b o o t s t r a p s e t . T h e m o d e l i s t r a i n e d u s i n g V e t t e r ' s3D f a c e d a t a b a s e [ 7 ] . E x c e l l e n t p e r f o r m a n c e was r e p o r t e d .T h e w o r k was f u r t h e r e x t e n d e d f o r m u l t i p l e l i g h t sources.B . I l l u m i n a t i o n I n v a r i a n t F e a t u r e s

A d i n i e t a l . [ 1 ] p r e s e n t e d a n e m pi r i c a l s t u dy t h a t e v a l u a t e st h e s e n s i t i v i t y o f s e v e r a l i l l u m i n a t i o n i n s e n s i t i v e i m a g e repre-s e n t a t i o n s t o c h a n g e s i n i l l u m i n a t i o n . T h e s e r e p r e s e n t a t i o n si n c l u d e e d g e m a p , i m a g e i n t e n s i t y d e r i v a t i v e s , a n d i m a g ec o n v o l v e d w i t h a 2D G a b o r - l i k e f i l t e r . A l l o f t h e a b o v er e p r e s e n t a t i o n s were a l s o f o l l o w e d b y a l o g f u n c t i o n t og e n e r a t e a d d i t i o n a l r e p r e s e n t a t i o n s . H o w e v e r , t h e r e c o g n i -t i o n e x p e r i m e n t on a f a c e d a t a b a s e w i t h l i g h t i n g v a r i a t i o ni n d i c a t e d t h a t none o f t h e s e r e p r e s e n t a t i o n s i s s u f f i c i e n t b yi t s e l f t o overcome t h e i m a g e v a r i a t i o n d u e t o t h e c h a n g e o fi l l u m i n a t i o n d i r e c t i o n .1 ) F e a t u r e s D e r i v e d f r o m I m a g e D e r i v a t i v e s : L i n e e d g emap [ 1 8 ] i s p r o p o s e d f o r f a c e r e c o g n i t i o n b y Gao a n d L e u n g .T h e e d g e p i x e l s are g r o u p e d i n t o l i n e s e g m e n t s , a n d a r e v i s e dH a u s d o r f f D i s t a n c e i s d e s i g n e d t o m e a s u r e t h e s i m i l a r i t y b e -tween two l i n e s e g m e n t s . Chen e t a l . [ 1 2 ] s h o w e d t h a t f o r a n yi m a g e , t h e r e are no d i s c r i m i n a t i v e f u n c t i o n s t h a t are i n v a r i a n tt o i l l u m i n a t i o n , e v e n f o r o b j e c t s w i t h L a m b e r t i a n s u r f a c e .H o w e v e r , t h e y s h o w e d t h a t t h e p r o b a b i l i t y d i s t r i b u t i o n o ft h e i m a g e g r a d i e n t i s a f u n c t i o n o f t h e s u r f a ce g e o m e t r y a n dr e f l e c t a n c e , w h i c h are t h e i n t r i n s i c p r o p e r t i e s o f t h e f a c e .T h e d i r e c t i o n o f i m a g e g r a d i e n t i s r e v e a l e d t o b e i n s e n s i t i v et o i l l u m i n a t i o n c h a n g e . The r e c o g n i t i o n p e r f o r m a n c e u s i n gg r a d i e n t d i r e c t i o n i s c l o s e t o t h e i l l u m i n a t i o n c o n e a p p r o a c h .R e l a t i v e I m a g e G r a d i e n t f e a t u r e i s a p p l i e d b y Wei a n dL a i [ 6 5 ] a n d Y a n g e t a l . [ 6 9 ] f o r r o b u s t f a c e r e c o g n i t i o nI n t h e f i r s t m e t h o d [ 7 0 ] t h e s t a t i s t i c a l m o d e l o f h a r m o n i c u n d e r l i g h t i n g v a r i a t i o n . T h e r e l a t i v e i m a g e g r a d i e n t G ( x , y )

Authorized licensed use limited to: UNIVERSIDADE DE PERNAMBUO. Downloaded on August 05,2010 at 19:15:50 UTC from IEEE Xplore. Restrictions apply.


3/8

i s d e f i n e d a s G ( x , y ) = m v w ( x , y ) w h e r eI ( x , y ) i s t h e i m a g e i n t e n s i t y , V i s t h e g r a d i e n t o p e r a t o r ,W(x, y ) i s a l o c a l w i n d o w c e n t e r e d a t ( x , y ) , a n d c i s ac o n s t a n t v a l u e t o a v o i d d i v i d i n g b y z e r o .Z h a o a n d C h e l l a p p a [ 7 4 ] p r e s e n t e d a m e t h o d b a s e d o nS y m m e t r i c S h a p e f r o m S h a d i n g f o r i l l u m i n a t i o n i n s e n s i t i v ef a c e r e c o g n i t i o n . T h e s y m m e t r y o f e v e r y f a c e a n d t h e s h a p es i m i l a r i t y among a l l f a c e s a r e u t i l i z e d . A p r o t o t y p e i m a g ew i t h n o r m a l i ze d i l l u m i n a t i o n c a n b e o b t a i n e d f r o m a s i n g l et r a i n i n g i m a g e u n d e r u n k n o w n i l l u m i n a t i o n . T h e i r e x p e r i -m e n t s s h o w e d t h a t u s i n g t h e p r o t o t y p e i m a g e s i g n i f i c a n t l yi m p r o v e d t h e f a c e r e c o g n i t i o n b a s e d o n PC A a n d LDA.S i m a n d K a n a d e [ 5 8 ] d e v e l o p e d a s t a t i s t i c a l s h a p e f r o ms h a d i n g m o d e l t o r e c o v e r f a c e s h a p e f r o m a s i n g l e i m a g ea n d t o s y n t h e s i z e t h e s a m e f a c e u n d e r new i l l u m i n a t i o n .T h e s u r f a c e r a d i a n c e i ( x ) f o r l o c a t i o n x i s m o d e l e d a si ( x ) = n ( x ) T x s + e , w h e r e n ( x ) i s t h e s u r f a c e n o r m a lw i t h a l b e d o , s i s t h e l i g h t s o u r c e v e c t o r , e i s a n e r r o r t e r mw h i c h m o d e l s s h a d o w s a n d s p e c u l a r r e f l e c t i o n s . A b o o t s t r a ps e t o f f a c e s w i t h l a b e l e d v a r y i n g i l l u m i n a t i o n s i s n e e d e d t ot r a i n t h e s t a t i s t i c a l m o d e l f o r n ( x ) a n d e . T h e i l l u m i n a t i o nf o r a n i n p u t i m a g e c a n b e e s t i m a t e d u s i n g k e r n e l r e g r e s s i o nb a s e d o n t h e b o o t s t r a p s e t , t h e n n ( x ) c a n b e o b t a i n e d b yMaximum A P o s t e r i o r e s t i m a t i o n a n d t h e i n p u t f a c e u n d e r anew i l l u m i n a t i o n c a n b e s y n t h e s i z e d .2 ) Q u o t i e n t I m a g e : S h a s h u a a n d R i k l i n - R a v i v [ 5 3 ] t r e a tf a c e a s a n I d e a l C l a s s o f O b j e c t , i . e . t h e o b j e c t s t h a t h a v et h e s a m e s h a p e b u t d i f f e r i n t h e s u r f a c e a l b e d o . T h e Q u o t i e n tI m a g e Q y ( u , v ) o f o b j e c t y a g a i n s t o b j e c t a i s d e f i n e db y Q y ( u , v ) P ( u n ) w h e r e P y ( U , V ) , P a ( U , v ) a r e a l b e d oo f t h e t w o o b j e c t s . T h e i m a g e Q y d e p e n d s o n l y o n t h er e l a t i v e s u r f a c e t e x t u r e i n f o r m a t i o n , a n d i s i n d e p e n d e n t o fi l l u m i n a t i o n . A b o o t s t r a p s e t c o n t a i n i n g N f a c e s u n d e r t h r e eu n k n o w n i n d e p e n d e n t i l l u m i n a t i o n d i r e c t i o n s i s e m p l o y e d .Q y o f a p r o b e i m a g e Y ( u , v ) c a n b e c a l c u l a t e d a s Q y ( u , v )

A j ( u , v ) w h e r e A j ( u , v ) i s t h e a v e r a g e o f i m a g e s u n d e ri l l u m i n a t i o n j i n t h e b o o t s t r a p s e t , a n d x j c a n b e d e t e r m i n e df r o m a l l t h e i m a g e s i n b o o t s t r a p s e t a n d Y ( u , v ) . T h e n t h er e c o g n i t i o n i s p e r f o r m e d b a s e d o n t h e q u o t i e n t i m a g e .B a s e d o n t h e a s s u m p t i o n t h a t f a c e s a r e a n I d e a l C l a s so f o b j e c t s , S h a n e t a l . [ 5 1 ] p r o p o s e d Q u o t i e n t I l l u m i n a t i o nR e l i g h t i n g . When t h e i l l u m i n a t i o n i n t h e p r o b e i m a g e a n dt h e t a r g e t i l l u m i n a t i o n c o n d i t i o n a r e b o t h k n o w n a n d e x i s ti n t h e b o o t s t r a p s e t , t h e r e n d e r i n g c a n b e p e r f o r m e d b y at r a n s f o r m a t i o n l e a r n t f r o m t h e b o o t s t r a p s e t .C h e n a n d C h e n [ 1 1 ] p r o p o s e d a G e n e r i c I n t r i n s i c I l l u m i -n a t i o n S u b s p a c e a p p r o a c h . G i v e n t h e I d e a l C l a s s a s s u m p -t i o n , a l l o b j e c t s o f t h e s a m e i d e a l c l a s s s h a r e t h e s a m eg e n e r i c i n t r i n s i c i l l u m i n a t i o n s u b s p a c e . C o n s i d e r i n g a t t a c h e ds h a d o w s , t h e a p p e a r a n c e i m a g e o f o b j e c t i i n t h i s c l a s su n d e r a c o m b i n a t i o n o f k i l l u m i n a t i o n s o u r c e s { , } k 1 i sr e p r e s e n t e d b y I i ( x , y ) = P ( X , y ) Z=1 m a x ( n ( x , y ) l j , 0 ) ,w h e r e p i ( x , y ) i s t h e a l b e d o , a n d n ( x , y ) i s t h e s u r f a c en o r m a l v e c t o r o f a l l o b j e c t s i n t h e c l a s s . T h e i l l u m i n a t i o ni m a g e i s d e f i n e d a s L ( x , y ) =, k m a x ( n ( x , y ) l j , 0 ) . T h ei l l u m i n a t i o n i m a g e s o f a s p e c i f i c I d e a l C l a s s f o r m a s u b s p a c e

c a l l e d G e n e r i c I n t r i n s i c I l l u m i n a t i o n S u b s p a c e , w h i c h c a nb e o b t a i n e d f r o m a b o o t s t r a p s e t . F o r a g i v e n i m a g e t h ei l l u m i n a t i o n i m a g e c a n b e e s t i m a t e d b y L = B i , w h e r eI = argminrB L* H e r e B i s t h e b a s i s m a t r i x o f t h ei n t r i n s i c i l l u m i n a t i o n s u b s p a c e , a n d L * i s a n i n i t i a l e s t i m a t i o no f i l l u m i n a t i o n i m a g e b a s e d o n s m o o t h e d i n p u t i m a g e . F i -n a l l y p ( x , y ) c a n b e o b t a i n e d b y p ( x , y ) = I ( x , y ) / L ( x , y ) .T h e m e t h o d w a s e v a l u a t e d o n CMU-PIE a n d Y a l e B f a c ed a t a b a s e s a n d s h o w e d s i g n i f i c a n t l y b e t t e r r e s u l t s t h a n t h eQ u o t i e n t I m a g e m e t h o d . I t i s a l s o s h o w n t h a t e n f o r c i n g n o n -n e g a t i v e l i g h t c o n s t r a i n t w i l l f u r t h e r i m p r o v e t h e r e s u l t s .3 ) R e t i n e x a p p r o a c h : I n R e t i n e x a p p r o a c h e s t h e l u m i -n a n c e i s e s t i m a t e d b y t h e s m o o t h e d i m a g e . T h e i m a g e c a nt h e n b e d i v i d e d b y t h e l u m i n a n c e t o o b t a i n t h e r e f l e c t a n c e ,w h i c h i s a n i n v a r i a n t f e a t u r e t o i l l u m i n a t i o n . A s i n g l e G a u s -s i a n f u n c t i o n i s a p p l i e d t o s m o o t h t h e i m a g e i n t h e s i n g l es c a l e r e t i n e x a p p r o a c h [ 2 6 ] , a n d t h e sum o f s e v e r a l G a u s s i a nf u n c t i o n s w i t h d i f f e r e n t s c a l e s i s a p p l i e d i n t h e m u l t i - s c a l er e t i n e x a p p r o a c h [ 2 7 ] . L o g a r i t h m t r a n s f o r m i s e m p l o y e d t oc o m p r e s s t h e d y n a m i c r a n g e i n [ 2 6 ] a n d [ 2 7 ] .

Wang e t a l . [ 6 4 ] d e f i n e d S e l f - Q u o t i e n t I m a g e , w h i c h i se s s e n t i a l l y a m u l t i - s c a l e r e t i n e x a p p r o a c h , h o w e v e r i n s t e a d o fu s i n g i s o t r o p i c s m o o t h i n g a s i n [ 2 7 ] , a n i s o t r o p i c s m o o t h i n gf u n c t i o n s w i t h d i f f e r e n t s c a l e s a r e a p p l i e d . E a c h a n i s o t r o p i cs m o o t h i n g f u n c t i o n i s a G a u s s i a n w e i g h t e d b y a t h r e s h o l d -i n g f u n c t i o n . Z h a n g e t a l . [ 7 2 ] p r o p o s e d a M o r p h o l o g i c a lQ u o t i e n t I m a g e ( M Q I ) m e t h o d i n w h i c h m a t h e m a t i c a l m o r -p h o l o g y o p e r a t i o n i s e m p l o y e d t o s m o o t h t h e o r i g i n a l i m a g et o o b t a i n a l u m i n a n c e e s t i m a t e .G r o s s a n d B r a j o v i c [ 2 1 ] s o l v e l u m i n a n c e L f o r t h e r e t i n e xa p p r o a c h b y m i n i m i z i n g a n a n i s o t r o p i c f u n c t i o n o v e r t h e i m -a g e r e g i o n Q : J ( L ) = f f A p ( x , y ) ( L I ) 2 d x d y + A f f A Q ( L 2 +L 2 ) d x d y , w h e r e p ( x , y ) i s s p a c e v a r y i n g p e r m e a b i l i t y w e i g h tw h i c h c o n t r o l s t h e a n i s o t r o p i c n a t u r e o f t h e s m o o t h i n g .L x a n d L y a r e t h e s p a c i a l d e r i v a t i v e s o f L , a n d I i s t h ei n t e n s i t y i m a g e . T h e i s o t r o p i c v e r s i o n o f f u n c t i o n J ( L ) c a nb e o b t a i n e d b y d i s c a r d i n g p ( x , y ) .I n t h e T o t a l - V a r i a t i o n b a s e d Q u o t i e n t I m a g e ( T V Q I ) a p -p r o a c h [ 1 3 ] , t h e l u m i n a n c e u ( x ) i s o b t a i n e d b y m i n i m i z i n gf f Q V u ( x ) + A I ( x ) - u ( x ) d x over a l l p o i n t s x i n i m a g eI ( x ) .4 ) T r a n s f o r m a t i o n d o m a i n f e a t u r e s : R e c e n t l y m e t h o d sb a s e d o n t h e f r e q u e n c y d o m a i n r e p r e s e n t a t i o n h a v e r e c e i v e da t t e n t i o n . S a v v i d e s e t a l . [ 4 9 ] p e r f o r m e d PCA i n t h e p h a s ed o m a i n a n d a c h i e v e d i m p r e s s i v e r e s u l t s o n t h e CMU-PIEd a t a b a s e [ 5 7 ] . T h i s s o - c a l l e d E i g e n p h a s e a p p r o a c h i m p r o v e dt h e p e r f o r m a n c e d r a m a t i c a l l y c o m p a r e d t o E i g e n f a c e , F i s h -e r f a c e a n d 3D l i n e a r s u b s p a c e a p p r o a c h . M e a n w h i l e , t h e yf u r t h e r s h o w e d t h a t e v e n w i t h p a r t i a l f a c e i m a g e s t h e p e r -f o r m a n c e o f t h e E i g e n p h a s e a p p r o a c h r e m a i n s e x c e l l e n ta n d t h e a d v a n t a g e s o v e r o t h e r a p p r o a c h e s a r e e v e n mores i g n i f i c a n t . He o e t a l . [ 2 3 ] s h o w e d t h a t a p p l y i n g S u p p o r tV e c t o r M a c h i n e s d i r e c t l y o n p h a s e c a n l e a d t o e v e n b e t t e rp e r f o r m a n c e t h a n t h e E i g e n p h a s e a p p r o a c h m e n t i o n e d a b o v e .I n [ 6 7 ] a q u a t e r n i o n c o r r e l a t i o n m e t h o d i n a w a v e l e td o m a i n i s p r o p o s e d a n d g o o d p e r f o r m a n c e i s a c h i e v e d o nt h e CMU-PIE d a t a b a s e w i t h o n l y o n e t r a i n i n g s a m p l e p e r



4/8

s u b j e c t . T h e s u b b a n d i m a g e s a f t e r d i s c r e t e w a v e l e t d e c o m -p o s i t i o n a r e e n c o d e d i n t o a 2 - D q u a t e r n i o n i m a g e . Q u a t e r -n i o n F o u r i e r T r a n s f o r m i s t h e n p e r f o r m e d t o t r a n s f e r t h eq u a t e r n i o n i m a g e t o q u a t e r n i o n f r e q u e n c y d o m a i n , w h e r ea q u a t e r n i o n c o r r e l a t i o n f i l t e r i s a p p l i e d . Q i n g e t a l . [ 4 3 ]s h o w e d t h a t t h e G a b o r p h a s e i s t o l e r a n t t o i l l u m i n a t i o nc h a n g e a n d h a s m o r e d i s c r i m i n a t i v e i n f o r m a t i o n t h a n p h a s ei n t h e F o u r i e r s p e c t r u m .S a v v i d e s e t a l . p r o p o s e d a s e r i e s o f w o r k b a s e d o n a d v a n c ec o r r e l a t i o n f i l t e r s [ 4 8 ] [ 4 7 ] . A p r e - w h i t e n i n g s p e c t r u m s t a g e i su s u a l l y a d o p t e d t o e m p h a s i z e h i g h e r f r e q u e n c y c o m p o n e n t sf o l l o w e d b y p h a s e m a t c h i n g .L l a n o e t a l . [ 3 4 ] e x a m i n e d t h e s e n s i t i v i t y o f s e v e r a l f r e -q u e n c y d o m a i n r e p r e s e n t a t i o n s o f f a c e i m a g e t o i l l u m i n a t i o nc h a n g e . T h o s e r e p r e s e n t a t i o n s a r e t h e m a g n i t u d e , p h a s e , r e a lp a r t a n d i m a g i n a r y p a r t o f t h e F o u r i e r s p e c t r u m o f o r i g i n a lf a c e i m a g e , a n d t h o s e o f g r a d i e n t i m a g e . T h e g r a d i e n t i m a g ei s d e f i n e d a s a n i m a g e w h e r e e a c h p i x e l h a s a c o m p l e x v a l u ew i t h t h e h o r i z o n t a l g r a d i e n t o f t h e o r i g i n a l i m a g e a s t h er e a l p a r t , a n d t h e v e r t i c a l g r a d i e n t a s i m a g i n a r y p a r t . T h ee x p e r i m e n t a l r e s u l t s o n t h e n o r m a l i l l u m i n a t i o n s e t a n d t h ed a r k e n s e t o f t h e X M2V T S f a c e d a t a b a s e s h o w e d t h a t t h er e a l p a r t o f t h e F o u r i e r s p ec t r u m o f t h e g r a d i e n t i m a g e i s l e s ss e n s i t i v e t o i l l u m i n a t i o n c h a n g e t h a n o t h e r r e p r e s e n t a t i o n s .5 ) L o c a l B i n a r y P a t t e r n : L o c a l B i n a r y P a t t e r n ( L B P ) i sa l o c a l f e a t u r e w h i c h c h a r a c t e r i z e s t h e i n t e n s i t y r e l a t i o n s h i pb e t w e e n a p i x e l a n d i t s n e i g h b o r s . L BP i s u n a f f e c t e d b y a n ym o n o t o n i c g r a y s c a l e t r a n s f o r m a t i o n i n t h a t t h e p i x e l i n t e n s i t yo r d e r i s n o t c h a n g e d a f t e r s u c h a t r a n s f o r m a t i o n . F u r t h e r -m o r e , f o r a r e g i o n w i t h a n u m b e r o f p i x e l s , a h i s t o g r a m o ft h e L BP p a t t e r n s a s s o c i a t e d w i t h r e s p e c t i v e p i x e l s w i t h i n t h i sr e g i o n t e n d s t o b e a g o o d f e a t u r e f o r f a c e r e c o g n i t i o n . L BPh a s b e e n u s e d i n [ 3 2 ] [ 2 4 ] a s a n i l l u m i n a t i o n i n v a r i a n t f e a t u r e .C . P h o t o m e t r i c N o r m a l i z a t i o n

H i s t o g r a m E q u a l i s a t i o n [ 2 0 ] i s t h e m o s t c o m m o n l y u s e da p p r o a c h . By p er f o r m i n g h i s t o g r a m e q u a l i s a t i o n , t h e h i s -t o g r a m o f t h e p i x e l i n t e n s i t i e s i n t h e r e s u l t i n g i m a g e i sf l a t . I t i s i n t e r e s t i n g t h a t e v e n f o r i m a g e s w i t h c o n t r o l l e di l l u m i n a t i o n ( s u c h a s f a c e i m a g e s i n t h e X M2V T S d a t a b a s e ) ,a p p l y i n g h i s t o g r a m e q u a l i s a t i o n s t i l l o f f e r s p e r f o r m a n c e g a i ni n f a c e r e c o g n i t i o n [ 5 4 ] .S h a n e t a l . [ 5 1 ] p r o p o s e d G a m m a I n t e n s i t y C o r r e c t i o n f o ri l l u m i n a t i o n n o r m a l i s a t i o n . T h e c o r r e c t e d i m a g e G ( x , y ) c a nb e o b t a i n e d b y p e r f o r m i n g a n i n t e n s i t y m a p p i n g : G ( x , y )c I ( x , y ) w h e r e c i s a g r a y s t r e t c h p a r a m e t e r , a n d - y i s t h eG a m m a c o e f f i c i e n t .I n H o m o m o r p h i c f i l t e r i n g a p p r o a c h [ 2 0 ] t h e l o g a r i t h m o ft h e e q u a t i o n o f t h e r e f l e c t a n c e m o d e l i s t a k e n t o s e p a r a t et h e r e f l e c t a n c e a n d l u m i n a n c e . T h e r e f l e c t a n c e m o d e l o f t e na d o p t e d i s d e s c r i b e d b y I ( x , y ) = R ( x , y ) * L ( x , y ) , w h e r eI ( x , y ) i s t h e i n t e n s i t y o f t h e i m a g e , R ( x , y ) i s t h e r e f l e c t a n c ef u n c t i o n , w h i c h i s t h e i n t r i n s i c p r o p e r t y o f t h e f a c e , a n dL ( x , y ) i s t h e l u m i n a n c e f u n c t i o n . B a s e d o n t h e a s s u m p t i o nt h a t t h e i l l u m i n a t i o n v a r i e s s l o w l y a c r o s s d i f f e r e n t l o c a t i o n so f t h e i m a g e a n d t h e l o c a l r e f l e c t a n c e c h a n g e s q u i c k l y a c r o s s

t h e l o g a r i t h m o f t h e i m a g e I ( x , y ) t o r e d u c e t h e l u m i n a n c ep a r t , w h i c h i s t h e l o w f r e q u e n c y component o f t h e i m a g e ,a n d a m p l i f y t h e r e f l e c t a n c e p a r t , w h i c h c o r r e s p o n d s t o t h eh i g h f r e q u e n c y component.D u a n d Ward [ 1 6 ] p e r f o r m e d i l l u m i n a t i o n n o r m a l i z a t i o ni n t h e w a v e l e t d o m a i n . H i s t o g r a m e q u a l i s a t i o n i s a p p l i e d t ol o w - l o w s u b b a n d i m a g e o f t h e w a v e l et d ec o m po s i t i o n , a n ds i m p l e a m p l i f i c a t i o n i s p e r f o r m e d f o r e a c h e l e m e n t i n t h eo t h e r 3 s u b b a n d i m a g e s t o a c c e n t u a t e h i g h f r e q u e n c y com-p o n e n t s . U n e v e n i l l u m i n a t i o n i s r e m o v e d i n t h e r e c o n s t r u c t e di m a g e o b t a i n e d b y e m p l o y i n g i n v e r s e w a v e l et t r a n s f o r m ont h e m o d i f i e d 4 s u b b a n d i m a g e s .X i e a n d L a m [ 6 8 ] p r o p o s e d a n i l l u m i n a t i o n n o r m a l i z a t i o nm e t h o d w h i c h i s c a l l e d L o c a l N o r m a l i z a t i o n . T h e y s p l i t t h ef a c e r e g i o n i n t o a s e t o f t r i a n g u l a r f a c e t s , t h e a r e a o f w h i c hi s s m a l l e n o u g h t o b e c o n s i d e r e d as p l a n a r p a t c h . T h e m a i ni d e a o f t h i s a p p r o a c h i s t o n o r m a l i z e t h e i n t e n s i t y v a l u e sw i t h i n e a c h f a c e t t o b e o f zero mean a n d u n i t v a r i a n c e .

S h o r t e t a l . [ 5 5 ] c o m p a r e d f i v e p h o t o m e t r i c n o r m a l i z a -t i o n m e t h o d s , n a m e l y i l l u m i n a t i o n i n s e n s i t i v e e i g e n s p a c e s ,m u l t i s c a l e R e t i n e x m e t h o d , h o m o m o r p h i c f i l t e r i n g , a m e t h o du s i n g i s o t r o p i c s m o o t h i n g t o e s t i m a t e l u m i n a n c e , a n d o n eu s i n g a n i s o t r o p i c s m o o t h i n g [ 2 1 ] . E a c h m e t h o d i s t e s t e dw i t h / w i t h o u t h i s t o g r a m e q u a l i s a t i o n p e r f o r m e d i n a d v a n c e .I n t e r e s t i n g l y i t was f o u n d t h a t h i s t o g r a m e q u a l i s a t i o n h e l p e di n ev e r y case. I t i s s h o w n t h a t u s i n g a n i s o t r o p i c s m o o t h i n gm e t h o d as p h o t o m e t r i c n o r m a l i s a t i o n l e d t o t h e most c o n s i s -t e n t v e r i f i c a t i o n p e r f o r m a n c e f o r e x p e r i m e n t s across t h e Y a l eB , BANCA[2] a n d XM 2V T S [ 3 5 ] d a t a b a s e s .Chen e t a l . [ 1 4 ] e m p l o y e d DCT t o c o m p e n s a t e f o r i l -l u m i n a t i o n v a r i a t i o n i n t h e l o g a r i t h m d o m a i n . T h e u n e v e ni l l u m i n a t i o n i s r e m o v e d i n t h e i m a g e r e c o n s t r u c t e d b y i n v e r s eD C T a f t e r a n u m b e r o f D C T c o e f f i c i e n t s c o r r e s p o n d i n g t ol o w f r e q u e n c y a re d i s c a r d e d .D . 3 D M o r p h a b l e M o d e l

B l a n z a n d V e t t e r [ 7 ] p r o p o s e d f a c e r e c o g n i t i o n b a s e d onf i t t i n g a 3D m o r p h a b l e m o d e l . T h e 3 D m o r p h a b l e m o d e ld e s c r i b e s t h e s h a p e a n d t e x t u r e o f f a c e s e p a r a t e l y b a s e don t h e P C A a n a l y s i s o f t h e s h a p e a n d t e x t u r e o b t a i n e df r o m a d a t a ba s e o f 3D scans. T o f i t a f a c e i m a g e u n d e runknown pose a n d i l l u m i n a t i o n t o t h e m o d e l , a n o p t i m i s a t i o nproc e s s i s n e e d e d t o o p t i m i z e s h a p e c o e f f i c i e n t s , t e x t u r ec o e f f i c i e n t s a l o n g w i t h 2 2 r e n d e r i n g p a r a m e t e r s t o m i n i m i s et h e d i f f er e n c e o f t h e i n p u t i m a g e a n d t h e r e n d e r e d i m a g eb a s e d on t h o s e c o e f f i c i e n t s . Th e r e n d e r i n g p a r a m e t e r s i n c l u d epose a n g l e s , 3D t r a n s l a t i o n , a m b i e n t l i g h t i n t e n s i t i e s , d i r e c t e dl i g h t i n t e n s i t i e s a n d a n g l e s , a n d o t h e r p a r a m e t e r s o f t h ecamera a n d c o l o r c h a n n e l s . The i l l u m i n a t i o n m o d e l o f P h o n gi s a d o p t e d i n t h e r e n d e r i n g process t o d e s c r i b e t h e d i f f u s ea n d s p e c u l a r r e f l e c t i o n o f t h e s u r f a c e . A f t e r f i t t i n g b o t ht h e g a l l e r y i m a g e s a n d t h e p r o b e i m a g e s t o t h e m o d e l , t h er e c o g n i t i o n c a n b e p e r f o r m e d b a s e d on t h e m o d e l c o e f f i c i e n t sf o r s h a p e a n d t e x t u r e . Good r e c o g n i t i o n p e r f o r m a n c e acrosspose a n d i l l u m i n a t i o n i s a c h i e v e d in e x p e r i m e n t s on C M U -d i f f e r e n t l o c a t i o n s , a h i g h - p a s s f i l t e r i n g c a n b e p e r f o r m e d o n P I E a n d FERET f a c e d a t a b a s e .



5/8

I I I . ACTIVE APPROACHESI n a c t i v e a p p r o a c h e s a d d i t i o n a l d e v i c e s ( o p t i c a l f i l t e r s ,a c t i v e i l l u m i n a t i o n s o u r c e s o r s p e c i f i c s e n s o r s ) u s u a l l y n e e dt o b e i n v o l v e d t o a c t i v e l y o b t a i n d i f f e r e n t m o d a l i t i e s o f f a c ei m a g e s t h a t a r e i n s e n s i t i v e t o o r i n d e p e n d e n t o f i l l u m i n a t i o nc h a n g e . T h o s e m o d a l i t i e s i n c l u d e 3D f a c e i n f o r m a t i o n [ 8 ]a n d f a c e i m a g e s i n t h o s e s p e c t r a o t h e r t h a n v i s i b l e s p e c t r a ,

s u c h a s t h e r m a l i n f r a r e d i m a g e [ 2 9 ] a n d n e a r - i n f r a r e d h y p e r -s p e c t r a l i m a g e [ 4 0 ] .A . 3D i n f o r m a t i o n

3D i n f o r m a t i o n i s o n e o f t h e i n t r i n s i c p r o p e r t i e s o f af a c e , w h i c h i s i n v a r i a n t t o i l l u m i n a t i o n c h a n g e . T h e s u r f a c en o r m a l i n f o r m a t i o n i s a l s o u s e d i n s o m e p a s s i v e a p p r o a c h e sd e s c r i b e d i n t h e p r e v i o u s s e c t i o n , h o w e v e r , t h e y a r e r e c o v -e r e d f r o m t h e i n t e n s i t y i m a g e s c a p t u r e d b y t h e v i s i b l e l i g h tc a m e r a . I n t h i s s e c t i o n we t a l k a b o u t t h e 3D i n f o r m a t i o na c q u i r e d b y a c t i v e s e n s i n g d e v i c e s l i k e 3D l a s e r s c a n n e r s o rs t e r e o v i s i o n s y s t e m s .3D i n f o r m a t i o n c a n b e r e p r e s e n t e d i n d i f f e r e n t w a y s .T h e m o s t c o m m o n l y u s e d r e p r e s e n t a t i o n s a r e r a n g e i m a g e ,p r o f i l e , s u r f a c e c u r v a t u r e , E x t e n d e d G a u s s i a n I m a g e ( E G I ) ,P o i n t S i g n a t u r e , a n d e t c . S u r v e y s o n 3D f a c e r e c o g n i t i o na p p r o a c h e s c a n b e f o u n d i n [ 8 ] [ 9 ] a n d [ 5 0 ] . T h e 3D m o d a l i t yc a n b e f u s e d w i t h 2D m o d a l i t y , i . e . t e x t u r e , t o a c h i e v e b e t t e rp e r f o r m a n c e [ 9 ] [ 1 0 ] . N e v e r t h e l e s s , i t s h o u l d b e n o t e d t h a t t h e2D f a c e i m a g e s w h i c h a r e c o m b i n e d w i t h 3D f a c e i n f o a sr e p o r t e d i n [ 9 ] [ 1 0 ] a r e c a p t u r e d i n a c o n t r o l l e d e n v i r o n m e n t .I t i s s t i l l n o t c l e a r h ow much t h e f u s i o n w i l l h e l p i n t h ec a s e o f u n c o n t r o l l e d e n v i r o n m e n t d u e t o t h e i m p a c t o fu n c o n t r o l l e d i l l u m i n a t i o n o n t h e 2D f a c e i n t e n s i t y i m a g e s .K i t t l e r e t a l . [ 2 8 ] r e v i e w e d t h e f u l l s p e c t r u m o f 3D f a c ep r o c e s s i n g , f r o m s e n s i n g t o r e c o g n i t i o n . T h e r e v i e w c o v e r st h e c u r r e n t l y a v a i l a b l e 3D f a c e s e n s i n g t e c h n o l o g i e s , v a r i o u s3D f a c e r e p r e s e n t a t i o n m o d e l s a n d t h e d i f f e r e n t w a y s t o u s e3D m o d e l f o r f a c e r e c o g n i t i o n . I n a d d i t i o n t o t h e d i s c u s s i o no n s e p a r a t e 2D a n d 3D b a s e d r e c o g n i t i o n a n d t h e f u s i o n o fd i f f e r e n t m o d a l i t i e s , t h e a p p r o a c h i n v o l v i n g 3D a s s i s t e d 2Dr e c o g n i t i o n i s a l s o a d d r e s s e d .B . I n f r a r e d

V i s i b l e l i g h t s p e c t r u m r a n g e s f r o m 0 . 4 , u m - 0 . 7 , u m i n t h ee l e c t r o m a g n e t i c s p e c t r u m . T h e i n f r a r e d s p e c t r u m r a n g e sf r o m 0 . 7 , u m - 1 0 m m . I t c a n b e d i v i d e d i n t o 5 b a n d s , n a m e l y :N e a r - I n f r a r e d ( N e a r - I R ) ( 0 . 7 - 0 . 9 , u m ) , t h e S h o r t - W a v e I n -f r a r e d ( S W I R ) ( 0 . 9 - 2 . 4 , u m ) , t h e M i d - W a v e I n f r a r e d ( M W I R )( 3 . 0 - 8 . 0 , u m ) , t h e L o n g - W a v e I n f r a r e d ( L W I R ) ( 8 . 0 - 1 4 . 0 , u m ) ,a n d F a r - I n f r a r e d ( F I R ) ( 1 4 . O u m - 1 0 m m ) . N e a r - I R a n d SWIRb e l o n g t o r e f l e c t e d i n f r a r e d ( 0 . 7 - 2 . 4 , u m ) , w h i l e MWIR a n dLWIR b e l o n g t o t h e r m a l i n f r a r e d ( 2 . 4 , u m - 1 4 m m ) . S i m i l a rt o t h e v i s i b l e s p e c t r u m , t h e r e f l e c t e d i n f r a r e d c o n t a i n s t h ei n f o r m a t i o n a b o u t t h e r e f l e c t e d e n e r g y f r o m t h e o b j e c t s u r -f a c e , w h i c h i s r e l a t e d t o t h e i l l u m i n a t i o n p o w e r a n d t h es u r f a c e r e f l e c t a n c e p r o p e r t y . T h e r m a l I n f r a r e d d i r e c t l y r e l a t e st o t h e t h e r m a l r a d i a t i o n f r o m o b j e c t , w h i c h d e p e n d s o n t h e

1 ) T h e r m a l I n f r a r e d : A s urve y on v i s u a l a n d i n f r a r e d f a c er e c o g n i t i o n i s p r e s e n t e d i n [ 2 9 ] . W i l d e r a t a l . [ 6 6 ] s h o w e dt h a t w i t h m i n o r i l l u m i n a t i o n c h a n g e s a n d f o r s u b j e c t s w i t h o u te y e g l a s s e s , a p p l y i n g t h e r m a l i m a g e f o r f a c e r e c o g n i t i o n d o e sn o t l e a d t o s i g n i f i c a n t d i f f e r e n c e c o m p a r e d t o v i s i b l e i m a g e s .H o w e v e r , f o r s c e n a r i o s w i t h h u g e i l l u m i n a t i o n c h a n g e s a n df a c i a l e x p r e s s i o n s , s u p e r i o r p e r f o r m a n c e was a c h i e v e d b a s e don r a d i o m e t r i c a l l y c a l i b r a t e d t h e r m a l f a c e i m a g e s t h a n t h a tb a s e d on v i s i b l e i m a g e [ 6 2 ] [ 5 9 ] . T h e e x p e r i m e n t s i n [ 1 5 ]s h o w t h a t t h e f a c e r e c o g n i t i o n b a s e d on t h e r m a l i m a g e sd e g r a d e s more s i g n i f i c a n t l y t h a n v i s i b l e i m a g e s when t h e r ei s a s u b s t a n t i a l passage o f t i m e b e t w e e n t h e a c q u i s i t i o n o fg a l l e r y i m a g e s a n d p r o b e i m a g e s . T h i s r e s u l t was p r o v e d t ob e r e p r o d u c i b l e b y [ 6 1 ] , h o w e v e r i t i s s h o w n t h a t w i t h amore s o p h i s t i c a t e d r e c o g n i t i o n a l g o r i t h m t h e d i f f e r e n c e o fr e c o g n i t i o n p e r f o r m a n c e across t i m e b a s e d on t h e r m a l f a c ea n d v i s i b l e f a c e i s s m a l l .D e s p i t e t h e i n d e p e n d e n c e o f v i s i b l e l i g h t , t h e t h e r m a li m a g e r y h a s i t s own d i s a d v a n t a g e s . T h e t e m p e r a t u r e o f t h ee n v i r o n m e n t , p h y s i c a l c o n d i t i o n s a n d p s y c h o l o g i c a l c o n d i -t i o n s w i l l a f f e c t t h e h e a t p a t t e r n o f t h e f a c e [ 4 ] . M e a n w h i l e ,t h e i n f r a r e d i s opaque t o e y e g l a s s e s . A l l t h e a b o v e m o t i v a t et h e f u s i o n o f t h e r m a l i n f r a r e d i m a g e w i t h v i s i b l e i m a g e s f o rf a c e r e c o g n i t i o n . V a r i o u s f u s i o n s c h e m e s h a v e b e e n p r o p o s e d[ 2 9 ] [ 1 5 ] [ 4 ] [ 6 0 ] a n d s h o w n t o l e a d t o b e t t e r p e r f o r m a n c e t h a nt h e r e c o g n i t i o n b a s e d o n e i t h e r m o d a l i t y a l o n e . T h e t h e r m a lf a c e r e c o g n i t i o n e x p e r i m e n t s are u s u a l l y c o n d u c t e d on t h ef a c e d a t a b a s e f r o m t h e U n i v e r s i t y o f N o t r e D a m e [ 1 5 ] or t h eE q u i n o x f a c e d a t a b a s e [ 1 7 ] . T h e f o r m e r c o n t a i n s t h e v i s i b l es p e c t r u m i m a g e s a n d LWIR i m a g e s o f 2 4 0 s u b j e c t s w i t h o u tg l a s s e s , b u t w i t h d i f f e r e n t l i g h t i n g a n d f a c i a l expressions.T h e l a t t e r was c o l l e c t e d b y E q u i n o x C o r p . a n d c o n t a i n s t h ev i s i b l e i m a g e s a n d LWIR i m a g e s o f a t o t a l o f 1 1 5 s u b j e c t s .

I n [ 6 0 ] , t h e r m a l f a c e r e c o g n i t i o n i s p e r f o r m e d i n a no p e r a t i o n a l s c e n a r i o , w h e r e b o t h i n d o o r a n d o u t d o o r f a c ed a t a o f 3 8 5 s u b j e c t s i s c a p t u r e d . Whe n t h e s y s t e m i s t r a i n e don i n d o o r s e s s i o n s a n d t e s t e d on o u t d o o r s e s s i o n s , t h ep e r f o r m a n c e d e g r a d e s no m a t t e r w h e t h e r o n e i s u s i n g t h e r m a li m a g e r y or v i s i b l e i m a g e r y . H o w e v e r , t h e t h e r m a l i m a g e r ys u b s t a n t i a l l y o u t p e r f o r m e d v i s i b l e i m a g e r y . W i t h t h e f u s i o no f b o t h m o d a l i t i e s , t h e o u t d o o r p e r f o r m a n c e c a n b e c l o s e t oi n d o o r f ac e recognition.2 ) A c t i v e N e a r - I R I l l u m i n a t i o n : T h e N e a r - I R b a n d f a l l si n t o t h e r e f l e c t i v e p o r t i o n o f t h e i n f r a r e d s p e c t r u m , b e t w e e nt h e v i s i b l e l i g h t b a n d a n d t h e t h e r m a l i n f r a r e d b a n d . I th a s a d v a n t a g e s over b o t h v i s i b l e l i g h t a n d t h e r m a l i n f r a r e d .F i r s t l y , s i n c e i t c a n b e r e f l e c t e d b y o b j e c t s , i t c a n serve asa n a c t i v e i l l u m i n a t i o n source, i n c o n t r a s t t o t h e r m a l i n f r a r e d .S e c o n d l y , i t i s i n v i s i b l e , m a k i n g a c t i v e N e a r - I R i l l u m i n a t i o nu n o b t r u s i v e . T h i r d l y , u n l i k e t h e r m a l i n f r a r e d , N e a r - I R c a ne a s i l y p e n e t r a t e g l a s s e s .P a n e t a l . [ 4 0 ] p e r f o r m e d f a c e r e c o g n i t i o n i n h y p e r s p e c t r a li m a g e s . A CCD camera w i t h a l i q u i d c r y s t a l t u n a b l e f i l t e rwas u s e d t o c o l l e c t i m a g e s w i t h 3 1 b a n d s over n e a r - i n f r a r e drange. I t was s h o w n t h e h y p e r s p e c t r a l s i g n a t u r e s o f t h e s k i nf r o m d i f f e r e n t persons a re s i g n i f i c a n t l y d i f f e r e n t , w h i l e t h o s et e m p e r a t u r e o f t h e o b j e c t a n d e m i s s i v i t y o f t h e m a t e r i a l [ 2 9 ] . b e l o n g i n g t o t h e same p e r s o n are s t a b l e . A b o v e 9 1 % r a n k -



6/8

o n e c o r r e c t i d e n t i f i c a t i o n r a t e i s o b t a i n e d i n t h e r e c o g n i t i o ne x p e r i m e n t s o n f r o n t a l h y p e r s p e c t r a l f a c e i m a g e s .M o s t r e c e n t l y , L i e t a l . [ 3 2 ] p r o p o s e d a f a c e r e c o g n i t i o ns y s t e m b a s e d o n a c t i v e N e a r - I R l i g h t i n g p r o v i d e d b y N e a r -I R L i g h t - E m i t t i n g D i o d e s ( L E D s ) . T h e N e a r - I R f a c e i m a g ec a p t u r e d b y t h i s d e v i c e i s s u b j e c t t o a m o n o t o n i c t r a n s f o r mi n t h e g r a y t o n e , t h e n L BP f e a t u r e i s e x t r a c t e d t o c o m p e n -s a t e f o r t h i s m o n o t o n i c t r a n s f o r m t o o b t a i n a n i l l u m i n a t i o ni n v a r i a n t f a c e r e p r e s e n t a t i o n . Z h a o a n d G r i g a t [ 7 3 ] p e r f o r m e df a c e r e c o g n i t i o n i n N e a r - I R i m a g e s b a s e d o n D i s c r e t e C o s i n eT r a n s f o r m ( D C T ) f e a t u r e a n d SVM c l a s s i f i e r .A l t h o u g h i n f r a r e d i m a g e i s i n v a r i a n t t o v i s i b l e i l l u m i n a -t i o n , i t i s n o t i n d e p e n d e n t o f t h e e n v i r o n m e n t a l i l l u m i n a t i o n .T h i s i s b e c a u s e e n v i r o n m e n t a l i l l u m i n a t i o n c o n t a i n s e n e r g yi n a w i d e r a n g e o f s p e c t r u m , i n c l u d i n g i n f r a r e d . T h e v a r i a t i o no f t h e i n f r a r e d c o m p o n e n t i n t h e e n v i r o n m e n t a l i l l u m i n a t i o nw i l l i m p o s e v a r i a t i o n i n t h e c a p t u r e d i m a g e .O n e s o l u t i o n t o m a x i m i z e t h e r a t i o b e t w e e n t h e a c t i v es o u r c e a n d t h e e n v i r o n m e n t a l s o u r c e i s t o a p p l y s y n c h r o n i z e df l a s h i n g i m a g i n g b y H i z e m e t a l . [ 2 5 ] . A p o w e r f u l a c t i v ei l l u m i n a t i o n s o u r c e i s d e s i r a b l e . I l l u m i n a n t s s u c h a s LEDsc a n p r o v i d e v e r y p o w e r f u l f l a s h b u t o n l y f o r v e r y s h o r t t i m et o a v o i d t h e i n t e r n a l t h e r m a l e f f e c t s w h i c h m i g h t d e s t r o y t h eL E D s . T h e i d e a i n H i z e m e t a l . [ 2 5 ] i s t o s y n c h r o n i s e t h es e n s o r e x p o s u r e t i m e w i t h t h e p o w e r f u l f l a s h . T h e s e n s o r i se x p o s e d t o t h e e n v i r o n m e n t a l i l l u m i n a t i o n o n l y f o r t h e s a m es h o r t e x p o s u r e t i m e a s t h e f l a s h . S i n c e t h e p o w e r o f t h e f l a s hi s u s u a l l y much s t r o n g e r t h a n t h e e n v i r o n m e n t a l i l l u m i n a t i o n ,t h e c o n t r i b u t i o n o f t h e e n v i r o n m e n t a l i l l u m i n a t i o n t o t h ec a p t u r e d i m a g e w i l l b e m i n i m i s e d .N e v e r t h e l e s s , t h e i l l u m i n a t i o n v a r i a t i o n p r o b l e m c a n o n l yb e a l l e v i a t e d b u t n o t c o m p l e t e l y s o l v e d b y t h e a b o v e m e n -t i o n e d a p p r o a c h . F o r i n do o r e n v i r o n m e n t , t h e i n f r a r e d e n e r g yi n e n v i r o n m e n t a l i l l u m i n a t i o n i s l o w a n d w i l l n o t c a u s e muchp r o b l e m , w h i l e i n o u t d o o r e n vi r o n me n t , t h e i n f r a r e d e n e r g yc a n b e v e r y s t r o n g .3 ) A c t i v e D i f f e r e n t i a l I m a g i n g : A c t i v e D i f f e r e n t i a l I m a g -i n g c a n b e a p p l i e d t o s o l v e t h e i l l u m i n a t i o n v a r i a t i o n p r o b l e me v e n f o r t h e o u t d o o r a p p l i c a t i o n . I n a c t i v e d i f f e r e n t i a l i m a g -i n g , a n i m a g e i s o b t a i n e d b y t h e p i x e l - t o - p i x e l d i f f e r e n t i a t i o nb e t w e e n t w o s u c c e s s i v e f r a m e s : o n e w i t h a n a c t i v e i l l u m i n a n to n a n d o n e w i t h t h e i l l u m i n a n t o f f . A s s u m i n g a s t i l l s c e n e , al i n e a r r e s p o n s e o f t h e c a m e r a t o t h e s c e n e r a d i a t i o n a n d n os a t u r a t i o n , t h e d i f f e r e n c e i m a g e o f t h e s e t w o f r a m e s c o n t a i n so n l y t h e s c e n e u n d e r t h e a c t i v e i l l u m i n a n t , a n d i s c o m p l e t e l yi n d e p e n d e n t o f t h e e n v i r o n m e n t a l i l l u m i n a t i o n . Due t o i t si n v i s i b i l i t y , N e a r - I R i l l u m i n a t i o n u s u a l l y s e r v e s a s t h e a c t i v ei l l u m i n a t i o n f o r t h e a c t i v e d i f f e r e n t i a l i m a g i n g s y s t e m . F a c er e c o g n i t i o n e x p e r i m e n t s c a r r i e d o u t o n t h e f a c e i m a g e s c a p -t u r e d b y a c t i v e N e a r - I R d i f f e r e n t i a l i m a g i n g s y s t e m a c h i e v e dv e r y l o w e r r o r r a t e s e v e n i n t h e s c e n a r i o w i t h d r a m a t i ca m b i e n t i l l u m i n a t i o n c h a n g e s [ 7 8 ] [ 7 9 ] [ 3 8 ] [ 2 5 ] . I t i s f u r t h e rs h o w n i n [ 7 7 ] t h a t t h i s a c t i v e N e a r - I R d i f f e r e n t i a l i m a g i n gt e c h n i q u e s i g n i f i c a n t l y o u t p e r f o r m e d some t y p i c a l p a s s i v ea p p r o a c h e s f o r i l l u m i n a t i o n p r o b l e m . S p e c i f i c s e n s o r s w h i c hc a n p e r f o r m d i f f e r e n t i a l i m a g i n g h a v e b e e n p r o p o s e d i n

I n a p r a c t i c a l s c e n a r i o t h e r e c a n b e p o s s i b l e v i o l a t i o n o f t h ea s s u m p t i o n s t h a t a c t i v e d i f f e r e n t i a l i m a g i n g r e l i e s on . F i r s t l yt h e s u b j e c t may move d u r i n g t h e c a p t u r e . T h e s o l u t i o n t ot h i s p r o b l e m w o u l d b e e m p l o y i n g a f a s t c a p t u r e system or am o t i o n c o m p e n s a t i o n t e c h n i q u e as i n [ 8 0 ] . S e c o n d l y , t o a v o i ds a t u r a t i o n u n d e r s t r o n g s u n s h i n e , t h e d y n a m i c i n t e n s i t y ra ngeo f t h e i m a g e i l l u m i n a t e d b y a c t i v e i l l u m i n a t i o n s our c e h a st o b e s a c r i f i c e d . A sen so r w i t h l a r g e d y n a m i c i n t e n s i t y ra nge( e g . 1 6 b i t ) c a n serve as a s o l u t i o n t o t h i s p r o b l e m .

I V . D I S C U S S I O NT h e p e r f o r m a n c e o f t y p i c a l p a s s i v e a p p r o a c h e s i s s h o w ni n T a b l e V I . T h e f i r s t s u b s e t o f Y a l e B or H a r v a r d i s u s e d ast r a i n i n g / g a l l e r y s e t f o r t h e t e s t s on t h e r e s t s u b s e t s . T h e r e

are some p a s s i v e a p p r o a c h e s w h i c h a re n o t i n c l u d e d i nt h i s t a b l e , t h i s i s b e c a u s e e i t h e r t h e i r p e r f o r m a n c e was l e s ss i g n i f i c a n t , or t h e e x p e r i m e n t was n o t d o n e on a s t a n d a r dd a t a b a s e or u s i n g a s t a n d a r d p r o t o c o l , t h e r e f o r e i t i s n o tf a i r t o compare t h e i r p e r f o r m a n c e w i t h t h o s e l i s t e d i n t h et a b l e . I t c a n b e s e e n t h a t some p a s s i v e a p p r o a c h e s a c h i e v e de x c e l l e n t p e r f o r m a n c e . H o w e v e r , i t c a n n o t b e c o n c l u de dt h a t t h e i l l u m i n a t i o n p r o b l e m i s w e l l s o l v e d . A l t h o u g h g o o dp e r f o r m a n c e i s u s u a l l y r e p o r t e d f o r most t e c h n i q u e s , e a c ht e c h n i q u e h a s i t s own d r a w b a c k s . T h e i l l u m i n a t i o n m o d e l i n gm e t h o d s r e q u i r e t r a i n i n g s a m p l e s f r o m c o n t r o l l e d i l l u m i n a -t i o n . T h e p h y s i c a l m o d e l i n g o f t h e i m a g e f o r m a t i o n g e n e r a l l yr e q u i r e s t h e a s s u m p t i o n t h a t t h e s u r f a c e o f t h e o b j e c t i sL a m b e r t i a n , w h i c h i s v i o l a t e d f o r r e a l human f a c e s . T h es t a t i s t i c m o d e l i n g m e t h o d s r e q u i r e t r a i n i n g s a m p l e s f r o m asmany as p o s s i b l e d i f f e r e n t i l l u m i n a t i o n c o n d i t i o n s t o e n s u r ea b e t t e r p e r f o r m a n c e . T h e p e r f o r m a n c e o f many p h o t o m e t r i cn o r m a l i s a t i o n m e t h o d s s e v e r e l y d e p e n d s on t h e c h o i ce o fp a r a m e t e r s [ 5 6 ] .

I n a d d i t i o n t o t h e i n d i v i d u a l d r a w b a c k s f o r e a c h a p p r o a c h ,t h e r e are some common i s s u e s . F i r s t l y , i t s h o u l d b e n o t i c e dt h a t a l l t h e e x p e r i m e n t s are c o n d u c t e d on m a n u a l l y m a r k e dd a t a . T h e s e n s i t i v i t y t o l o c a l i s a t i o n error s t i l l n e e d s t o b ei n v e s t i g a t e d f o r a l l a p p r o a c h es . S ec o n dl y , t h e d a t a b a s e s t oe v a l u a t e t e c h n i q u e s are o f very s m a l l s i z e . F o r i n s t a n c e , Y a l eB c o n t a i n s i m a g e s o f o n l y 1 0 s u b j e c t s . T h e p e r f o r m a n c e o fi l l u m i n a t i o n i n v a r i a n t a p p r o a c h e s on l a r g e s c a l e f a c e d a t a s e ti s s t i l l u n k n o w n . H o w m u c h d i s c r i m i n a t i v e i n f o r m a t i o n h a sb e e n l o s t a f t e r t h e s u p p r e s s i o n o f t h e i l l u m i n a t i o n e f f e c t ?As f o r a c t i v e a p p r o a c h e s , i t s h o u l d b e i n v e s t i g a t e d h owmuch t h e a c t i v e s e n s i n g process w i l l b e i n f l u e n c e d b y t h ee n v i r o n m e n t a l i l l u m i n a t i o n . F o r e x a m p l e , a n u m b e r o f 3Da c q u i s i t i o n t e c h n i q u e s make u se o f i n t e n s i t y / i n f r a r e d i m a g ep a i r s f o r 3D r e c o n s t r u c t i o n . The v a r i a t i o n i n t h e e n v i r o n m e n -t a l i l l u m i n a t i o n m i g h t c a u s e a p r o b l e m f o r t h e a c c u r a c y o f3D r e c o n s t r u c t i o n i n t h o s e s y s t e m s .U s u a l l y i t i s d i f f i c u l t t o c o m p a r e t h e p e r f o r m a n c e b e -tween p a s s i v e a p p r o a c h e s a n d a c t i v e a p p r o a c h e s b e c a u s et h e d a t a s e t s t o t e s t p a s s i v e a p p r o a c h e s are c a p t u r e d u n d e rd i f f e r e n t i l l u m i n a t i o n c o n d i t i o n s w i t h t h e d a t a b a s e s c a p t u r e db y a c t i v e a p p r o a c h e s . T h e r e i s o n l y o n e e x c e p t i o n : i n [ 7 8 ] ,f a c e s u n d e r a m b i e n t i l l u m i n a t i o n were c o l l e c t e d s i m u l t a n e -[ 3 6 ] [ 6 3 ] [ 3 9 ] . o u s l y w h e n c o l l e c t i n g a d a t a b a s e w i t h t h e a c t i v e d i f f e r e n t i a l



7/8

i m a g i n g s y s t e m . B a s e d on e x p e r i m e n t s on t h i s f a c e d a t a b a s et h e a c t i v e d i f f e r e n t i a l i m a g i n g t e c h n i q u e i s s h o w n t o b es i g n i f i c a n t l y s u p e r i o r t o t h e c o n v e n t i o n a l p a s s i v e a p p r o a c h e s .M o r e o v e r , i t w o u l d b e i n t e r e s t i n g t o s e e w h e t h e r t h e a c t i v ea p p r o a c h e s a n d p a s s i v e a p p r o a c h e s c an b e c o m b i n e d t o b e t t e rs o l v e t h e i l l u m i n a t i o n p r o b l e m i n a p r a c t i c a l s c e n a r i o .F a c e R e c o g n i t i o n G r a n d C h a l l e g e ( F R G C ) e x p e r i m e n t 4wa s d e s i g n e d f o r u n c o n t r o l l e d i l l u m i n a t i o n p r o b l e m . F o rm o r e i n f o r m a t i o n a b o u t t h e p e r f o r m a n c e o f t h o s e a l g o r i t h m ss u b m i t t e d f o r e v a l u a t i o n p l e a s e r e f e r t o [ 4 2 ] [ 4 1 ] .

V . CONCLUSIONAn e x t e n s i v e s u r v e y o f p a s s i v e a n d a c t i v e a p p r o a c h e st o a d d r e s s t h e i l l u m i n a t i o n p r o b l e m h a s b e e n p r e s e n t e d i nt h i s p a p e r . T h e p er f o r m a n c e , a d v a n t a ge s a n d d r a w b a c k s o fp a s s i v e a n d a c t i v e a p p r o a c h e s h a v e b e e n s u m m a r i s e d. F u t u r ed i r e c t i o n s f o r t h e r e s e a r c h on i l l u m i n a t i o n i n v a r i a n t f a c er e c o g n i t i o n h a v e b ee n s u g g e s t e d .

V I . ACKNOWLEDGMENTST h e s u p p o r t f r o m DTI P r o j e c t N o . T P / 6 / I C T / 6 / S / K 1 5 3 3 Ji s g r a t e f u l l y a c k n o w l e d g e d .REFERENCES

[ 1 ] Y . A d i n i , Y . M o s e s , a n d S . U l l m a n . F a c e r e c o g n i t i o n : T h e p r o b l e mo f c o m p e n s a t i n g f o r c h a n g e s i n i l l u m i n a t i o n d i r e c t i o n . IEEE T r a n s .P A M I , 1 9 ( 7 ) , 1 9 9 7 .[ 2 ] E . B a i l l y - B a i l l i e r e a n d e t c . T h e b a n c a d a t a b a s e a n d e v a l u a t i o np r o t o c a l . I n I n t ' l C o n f o n A V B P A , 2 0 0 3 .[ 3 ] A . U . B a t u r a n d M. H . I I I . H a y e s . L i n e a r s u b s p a c e s f o r i l l u m i n a t i o nr o b u s t f a c e r e c o g n i t i o n . I n P r o c . IEEE c o n f C V P R , 2 0 0 1 .[ 4 ] G . B e b i s , A . G y a o u r o u v a , S . S i n g h , a n d I . P a v l i d i s . F a c e r e c o g n i t i o nb y f u s i n g t h e r m a l i n f r a r e d a n d v i s i b l e i m a g e r y . I m a g e a n d V i s i o nC o m p u t i n g , 2 0 0 6 .[ 5 ] P . B e l h u m e u r , J . H es p a n h a , a n d D . K r i e g m a n . E i g e n f a c e s v s f i s h -e r f a c e s R e c o g n i t i o n u s i n g c l a s s s p e c i f i c l i n e a r p r o j e c t i o n . IEEET r a n s . P AM I , 1 9 : 7 1 1 - 7 2 0, 1 9 9 7 .[ 6 ] P . B e l h u m e u r a n d D . K r i e g m a n . What i s t h e s e t o f i m a g e s o f a n o b j e c tu n d e r a l l p o s s i b l e i l l u m i n a t i o n c o n d i t i o n s . I J C V , 2 8 ( 3 ) : 2 4 5 - 2 6 0 , 1 9 9 8 .[ 7 ] V . B l a n z a n d T . V e t t e r . F a c e r e c o g n i t i o n b a s ed o n f i t t i n g a 3 dm o r p h a b l e m o d e l . IEEE T r a n s . P A M I , 2 5 ( 9 ) : 1 0 6 3 - 1 0 7 3 , 2 0 0 3 .[ 8 ] K . W . B o w y e r , K . C h a n g , a n d P . F l y n n . A s u r v e y o f a p p r o a c h e s t ot h r e e - d i m e n s i o n a l f a c e r e c o g n i t i o n . I n P r o c . I C P R , 2 0 0 4 .[ 9 ] K . W . B o w y e r , K . C h a n g , a n d P . F l y n n . A s u r v e y o f a p p r o a c h e s a n dc h a l l e n g e s i n 3 d a n d m u l t i - m o d a l 3 d + 2 d f a c e r e c o g n i t i o n . I n C V I U ,2 0 0 6 .[ 1 0 ] K . C . C h a n g , K . W . B o w y e r , a n d P . J . F l y n n . An e v a l u a t i o n o fm u l t i m o d a l 2 d + 3 d f a c e b i o m e t r i c s . IEEE T r a n s . P A M I , 2 7 ( 4 ) , 2 0 0 5 .[ 1 1 ] C . P . C h e n a n d C . S . C h e n . L i g h t i n g n o r m a l i z a t i o n w i t h g e n e r i c i n t r i n s i ci l l u m i n a t i o n s u b s p a c e f o r f a c e r e c o g n i t i o n . I n P r o c . IEEE I C C V , 2 0 0 5 .[ 1 2 ] H . C h e n , P . B e l h u m e u r , a n d D . J a c o b s . I n s e a r c h o f i l l u m i n a t i o ni n v a r i a n t s . I n P r o c . IEEE c o n f C V P R , 2 0 0 0 .[ 1 3 ] T . C h e n a n d e t a l . I l l u m i n a t i o n n o r m a l i z a t i o n f o r f a c e r e c o g n i t i o na n d u n e v e n b a c k g r o u n d c o r r e c t i o n u s i n g t o t a l v a r i a t i o n b a s e d i m a g em o d e l s . I n P r o c . IEEE C V P R , 2 0 0 5 .

[ 1 4 ] W . C h e n , M . J . E r , a n d S . W u . I l l u m i n a t i o n c o m p e n s a t i o n a n d n o r m a l -i z a t i o n f o r r o b u s t f a c e r e c o g n i t i o n u s i n f d i s c r e t e c o s i n e t r a n s f o r m i nl o g r i t h m d o m a i n . IEEE T r a n s . S M C - B , 3 6 ( 2 ) : 4 5 8 - 4 6 6 , 2 0 0 6 .[ 1 5 ] X . C h e n , P . J . F l y n n , a n d K . W . B o w y e r . V i s i b l e - l i g h t a n d i n f r a r e df a c e r e c o g n i t i o n . I n P r o c . W o r k s h o p o n M u l t i m o d a l U s e r A u t h e n . ,2 0 0 3 .[ 1 6 ] S h a n Du a n d R . W a r d . W a v e l e t - b a s e d i l l u m i n a t i o n n o r m a l i z a t i o n f o rf a c e r e c o g n i t i o n . I n P r o c . IEEE I C I P , 2 0 0 5 .[ 1 7 ] E q u i n o x . h t t p : / / w w w . e q u i n o x s e n s o r s . c o m / p r o d u c t / h i d . h t m l .[ 1 8 ] Y . G a o a n d M. L e u n g . F a c e r e c o g n i t i o n u s i n g l i n e e d g e m a p . IEEET r a n s . o n P A M I , 2 0 0 2 .[ 1 9 ] A . S . G e o r g h i a d e s , P . N . B e l h u m e u r , a n d D . J . K r i e g m a n . From f e wt o m a n y : I l l u m i n a t i o n c o n e m o d e l s f o r f a c e r e c o g n i t i o n u n d e r v a r i a b l el i g h t i n g a n d p o s e . IEEE T r a n s . P a t t e r n A n a l . M a c h . I n t e l l i g e n c e ,2 3 ( 6 ) : 6 4 3 - 6 6 0 , 2 0 0 1 .

[ 2 0 ] R . G o n z a l e z a n d R . W o o d s . D i g i t a l I m a g e P r o c e s s i n g . P r e n t i c e H a l l ,s e c o n d e d i t i o n , 1 9 9 2 .[ 2 1 ] R . G r o s s a n d V . B r a j o v i c . An i m a g e p r e - p r o c e s s i n g a l g o r i t h m f o ri l l u m i n a t i o n i n v a r i a n t f a c e r e c o g n i t i o n . I n P r o c . 4 t h I n t ' l C o n f o nA V B P A , 2 0 0 3 .[ 2 2 ] P . H a l l i n a n . A l o w - d i m e n s i o n a l r e p r e s e n t a t i o n o f human f a c e s f o ra r b i t r a r y l i g h t i n g c o n d i t i o n s . I n P r o c . IEEE c o n f . C V P R , 1 9 9 4 .[ 2 3 ] J . H e o , M . S a v v i d e s , a n d B . V . K . V i j a y a K u m a r . I l l u m i n a t i o n t o l e r a n tf a c e r e c o g n i t i o n u s i n g p h a s e - o n l y s u p p o r t v e c t o r m a c h i n e s i n t h ef r e q u e n c y d o m a i n . I n P r o c . I C A P R . S p r i n g e r - V e r l a g L e c t u r e N o t e si n C o m p u t e r S c i e n c e , 2 0 0 5 .[ 2 4 ] G . H e u s c h , Y R o d r i g u e z , a n d S . M a r c e l . L o c a l b i n a r y p a t t e r n s a s a ni m a g e p r e p r o c e s s i n g f o r f a c e a u t h e n t i c a t i o n . I n P r o c . IEEE AFGR,2 0 0 6 .[ 2 5 ] W . H i z e m , E . K r i c h e n , Y N i , B . D o r i z z i , a n d S . G a r c i a - S a l i c e t t i .S p e c i f i c s e n s o r s f o r f a c e r e c o g n i t i o n . I n P r o c . IAPR I n t ' l C o n f o nB i o m e t r i c s , 2 0 0 6 .[ 2 6 ] D . J . J o b s o n , Z . R a h m a n , a n d G . A . W o o d e l . P r o p e r t i e s a n dp e r f o r m a n c e o f a c e n t e r / s u r r o u n d r e t i n e x . IEEE T r a n s . o n I m a g eP r o c e s s i n g : s p e c i a l i s s u e o n c o l o r p r o c e s s i n g , 1 9 9 6 .[ 2 7 ] D . J . J o b s o n , Z . R a h m a n , a n d G . A . W o o d e l . A m u l t i s c a l e r e t i n e x f o rb r i d g i n g t h e g a p b e t w e e n c o l o r i m a g e s a n d t h e human o b se r va t i on o fs c e n c e s . IEEE T r a n s . o n I m a g e P r o c e s s i n g , 6 ( 7 ) , 1 9 9 7 .[ 2 8 ] J . K i t t l e r , A . H i l t o n , M . H a m o u z , a n d J . I l l i n g w o r t h . 3 d a s s i s t e df a c e r e c o g n i t i o n : A s u r v e y o f 3 d i m a g i n g , m o d e l l i n g a n d r e c o g n i t i o na p p r o a c h e s . I n P r o c . IEEE c o n f C V P R , 2 0 0 5 .[ 2 9 ] S . G . K o n g , J . H e o , B . A b i d i , J . P a i k , a n d M . A b i d i . R e c e n t a d v a n c esi n v i s u a l a n d i n f r a r e d f a c e r e c o g n i t i o n - a r e v i e w . C V I U , 2 0 0 4 .[ 3 0 ] D . K r i e g m a n a n d P . B e l h u m e u r . What s h a d o w s r e v e a l a b o u t o b j e c ts t r u c t u r e . I n P r o c . t h e E u r o p e a n C o n f o n C o m p u t e r V i s i o n , 1 9 9 8 .[ 3 1 ] K . C . L e e , J . H o , a n d D . K r i e g m a n . N i n e p o i n t s o f l i g h t s : A c q u i r i n gs u b s p a c e s f o r f a c e r e c o g n i t i o n u n d e r v a r i a b l e l i g h t i n g . I n P r o c . IEEEc o n f . C V P R , 2 0 0 1 .[ 3 2 ] S t a n Z . L i , R . C h u , S . L i a o , a n d L . Z h a n g . I l l u m i n a t i o n i n v a r i a n t f a c er e c og n t i o n u s i n g n e a r - i n f r a r e d i m a g e s . IEEE T r a n s . P A M I , 2 9 ( 4 ) : 6 2 7 -6 3 9 , 2 0 0 7 .[ 3 3 ] D . L i u , K . L a m , a n d L . S h e n . I l l u m i n a t i o n i n v a r i a n t f a c e r e c o g n i t i o n .P a t t e r n R e c o g n i t i o n , 3 8 : 1 7 0 5 - 1 7 1 6 , 2 0 0 5 .[ 3 4 ] E . G . L l a n o , J . K i t t l e r , a n d K . M e s s e r . An i l l u m i n a t i o n i n s e n s i t i v er e p r e s e n t a t i o n f o r f a c e v e r i f i c a t i o n i n t h e f r e q u e n c y d o m a i n . I n P r o c .I C P R , 2 0 0 6 .[ 3 5 ] K . M e s s e r , J . M a t a s , J . K i t t l e r , J . L u e t t i n , a n d G . M a i t r e . X m 2 v t s d b :T h e e x t e n d e d m 2 v t s d a t a b a s e . I n I n t ' l C o n f o n A V B P A , p a g e s 7 2 - 7 7 ,1 9 9 9 .[ 3 6 ] H i r o k i M i u r a a n d e t a l . A 1 0 0 f r a m e / s c m o s . a c t i v e p i x e l s e n s o r f o r 3 d -g e s t u r e r e c o g n i t i o n s y s t e m . I n P r o c . IEEE S o l i d - S t a t e C i r c u i t s C o n f . ,p a g e s 1 4 2 - 1 4 3 , 1 9 9 9 .[ 3 7 ] Y . M o s e s , Y . A d a n i , a n d S . U l l m a n . F a c e r e c o g n i t i o n : t h e p r o b l e m o fc o m p e n s a t i n g f o r t h e i l l u m i n a t i o n d i r e c t i o n . I n P r o c . E C C V , 1 9 9 4 .[ 3 8 ] Y . N i , E . K r i c h e n , S . S a l i c e t t i , a n d B . D o r i z z i . A c t i v e d i f f e r e n t i a li m a g i n g f o r human f a c e r e c o g n i t i o n . IEEE S i g n a l P r o c e s s i n g l e t t e r ,1 3 ( 4 ) : 2 2 0 - 2 2 3 , 2 0 0 6 .[ 3 9 ] Y . N i a n d X . L . Y a n . Cmos a c t i v e d i f f e r e n t i a l i m a g i n g d e v i c e w i t hs i n g l e i n - p i x e l a n a l o g m e m o r y . I n P r o c . IEEE E u r . S o l i d - S t a t e C i r c u i t sC o n f . , p a g e s 3 5 9 - 3 6 2 , 2 0 0 2 .[ 4 0 ] Z . P a n , G . H e a l e y , M. P r a s a d , a n d B . T r o m b e r g . F a c e r e c o g n i t i o n i nh y p e r s p e c t r a l i m a g e s . IEEE T r a n s . P A M I , 2 5 : 1 5 5 2 - 1 5 6 0 , 2 0 0 3 .[ 4 1 ] P . J . P h i l l i p s a n d e t a l . F r v t 2 0 0 6 a n d i ce 2 00 6 l a r g e - s c a l e r e s u l t s .T e c h n i c a l r e p o r t , N I S T , 2 0 0 7 .[ 4 2 ] P . J . P h i l l i p s a n d e t a l . P r e l i m i n a r y f a c e r e c o g n i t i o n g r a n d c h a l l e g er e s u l t s . I n P r o c . IEEE AFGR, 2 0 0 6 .[ 4 3 ] L . Q i n g , S . S h a n , X . C h e n , a n d W . G a o . F a c e r e c o g n i t i o n u n d e rv a r y i n g l i g h t i n g b a s e d o n t h e p r o b a b i l i s t i c m o d e l o f g a b o r p h a s e . I nP r o c . IAPR I C P R , 2 0 0 6 .[ 4 4 ] R . R a m a m o o r t h i a n d P . H a n r a h a n . On t h e r e l a t i o n s h i p b e t w e e nr a d i a n c e a n d i r r a d i a n c e : D e t e r m i n i n g t h e i l l u m i n a t i o n f r o m i m a g e s o fa c o n v e x l a m b e r t a i n o b j e c t . J o u r n a l o f O p t i c a l S o c i e t y o f A m e r i c a n ,1 8 ( 1 0 ) : 2 4 4 8 - 2 4 5 9 , 2 0 0 1 .[ 4 5 ] R . B a s r i a n d D . J a c o b s . L a m b e r t i a n r e f l e c t a n c e a n d l i n e a r s u b s p a c e s .I n P r o c . IEEE I C C V , 2 0 0 1 .[ 4 6 ] R . B a s r i a n d D . J a c o b s . L a m b e r t i a n r e f l e c t a n c e a n d l i n e a r s u b s p a c e s .IEEE T r a n s . P A M I , 2 5 ( 2 ) : 2 1 8 - 2 3 3 , 2 0 0 3 .[ 4 7 ] M . S a v v i d e s a n d e t a l . P a r t i a l a n d h o l i s t i c f a c e r e c o g n i t i o n o n f r g c - i id a t a u s i n g s u p p o r t v e c t o r m a c h i n e k e r n e l c o r r e l a t i o n f e a t u r e a n a l y s i s .I n P r o c . IEEE C V P R O 6 , 2 0 0 6 .



8/8

TAB LE II D E N T I F I C A T I O N E R R O R RATES O F PASSIVE I L L U M I NAT I O N I N V AR IAN T APPROACHE S ( %)

C a t e g o r y M e t h o d Y a l e B H a r v a r d P I ES u b s e t 2 3 4 5 o v e r a l l s u b s e t 2 3 4 5I l l u m i n a t i o n E i g e n f a c e [ 5 ] 0 2 5 . 8 7 5 . 7 0 4 . 4 4 1 . 5V a r i a t i o n E i g e n f a c e w / o l s t 3 [ 5 ] 0 1 9 . 2 6 6 . 4 0 4 . 4 2 7 . 7M o d e l l i n g ( s t a t i s t i c a l F i s h e r f a c e [ 5 ] 0 0 4 . 6p h y s i c a l 3D L i n e a r S u b s p a c e [ 5 ] 0 0 1 5 . 0 0 4 . 4 9 . 2m o d e l l i n g C o n e - a t t a c h e d [ 1 9 ] 0 0 8 . 6C o n e - C a s t e d [ 1 9 ] 0 0 0S e g m e n t L i n e a r S u b s p a c e [ 3 ] 0 0 0G e n e r i c I n t r i n s i c I l l u m . S u b . [ l l ] 0 0 1 1 3 . 0S p h e r i c a l H a r m o n i c s [ 7 1 ] 0 0 2 . 89 p o i n t l i g h t s [ 3 1 ] 0 0 2 . 8 1 . 9G e n e r a l i z e d P h o t o . S t e r e o [ 7 6 ] 0 . 9I l l u m i n a t i o n G r a d i e n t A n g l e [ 1 2 ] 0 0 1 . 4I n s e n s i t i v e G a b o r P h a s e [ 4 3 ] 0 0 2 . 8 4 . 7F e a t u r e s Q u o t i e n t I m a g e [ 5 3 ] 1 . 7 3 8 . 1 6 5 . 9 7 6 . 7Q u o t i e n t I m a g e R e l i g h t i n g [ 5 1 ] 0 0 9 . 4 1 7 . 6 0 1 6 . 2 4 2 . 9 7 1 . 6S e l f Q u o t i e n t I m a g e [ 6 4 ] 2 . 0 1 . 0 3 . 0M o r p h o l o g i c a l Q u o t i e n t I m g [ 7 2 ] 0 0 0 0 . 5T o t a l - V a r i a t i o n Q u o t i e n t I m g [ 1 3 ] 0 0 0A n i t s o t r o p i c s m o o t h i n g [ 2 1 ] 1 . 0 1 . 0 6 . 0P h o t o m e t r i c H i s t o g r a m E q u a l i z a t i o n [ 5 1 ] 0 1 1 . 0 4 4 . 9 5 5 . 6 1 . 1 4 7 . 9 7 0 . 0 8 7 . 6N o r m a l i s a t i o n G a m a I n t e n s i t y C o r r e c . [ 5 1 ] 0 1 1 . 9 6 0 . 1 7 2 . 5 5 . 6 5 4 . 6 7 7 . 1 8 4 . 6D C T i n L o g d o m a i n [ 1 4 ] 0 0 0 . 1 8 1 . 7 1 0 . 3 6W a v e l e t R e c o n s t r u c t i o n [ 1 6 ] 0 0 5 . 2 4 9 . 1 7L o c a l n o r m a l i z a t i o n [ 6 8 ] 0 . 5 03D M o r p h a b l e M o d e l [ 7 ] _ 0 . 2

[ 4 8 ] M . S a v v i d e s , B . V . K . V i j a y a K u m a r , a n d P . K . K h o s la . C o r e fa c es - ro b us ts h i f t i n v a r i a n t p c a b a s e d c o r r e l a t i o n f i l t e r f o r i l l u m i n a t i o n t o l e r a n t f a c er e c o g n i t i o n . I n P r o c . IEEE C V P R O 4 , 2 0 0 4 .[ 4 9 ] M. S a v v i d e s , B . V . K . V i j a y a K u m a r , a n d P . K . K h o s l a . E i g e n p h a s e s v s .e i g e n f a c e s . I n P r o c . IEEE I C P R , 2 0 0 4 .[ 5 0 ] A . S c h e e n s t r a , A . R u i f o r k , a n d R . C . V e l t k a m p . A s u r v e y o f 3 d f a c er e c o g n i t i o n m e t h o d s . I n P r o c . I n t ' l C o n f . o n A V B P A , 2 0 0 5 .[ 5 1 ] S . S h a n , W . G a o , B . C a o , a n d D . Z h a o . I l l u m i n a t i o n n o r m a l i z a t i o n f o rr o b u s t f a c e r e c o g n i t i o n a g a i n s t v a r y i n g l i g h t i n g c o n d i t i o n s . I n P r o c .IEEE w o r k s h o p o n AMFG, 2 0 0 3 .[ 5 2 ] A . S h a s h u a . On p h o t o m e t r i c i s s u e i n 3 d v i s u a l r e c o g n i t i o n f r o m as i n g l e 2 d i m a g e . I J C V , 1 9 9 7 .[ 5 3 ] A . S h a s h u a a n d T . R i k l i n - R a v i v . T h e q u o t i e n t i m a g e : c l a s s - b a s e d r e -r e n d e r i n g a n d r e c o g n i t i o n w i t h v a r y i n g i l l u m i n a t i o n s . IEEE T r a n s .P A M I , 2 3 ( 2 ) : 1 2 9 - 1 3 9 , 2 0 0 1 .[ 5 4 ] J . S h o r t . I l l u m i n a t i o n I n v a r i a n c e f o r F a c e v e r i f i c a t i o n . Ph D t h e s i s ,U n i v e r s i t y o f S u r r e y , 2 0 0 6 .[ 5 5 ] J . S h o r t , J . K i t t l e r , a n d K . M e s s e r . A c o m p a r i s o n o f p h o t o m e t r i cn o r m a l i s a t i o n a l g o r i t h m f o r f a c e v e r i f i c a t i o n . I n P r o c . I n t ' l c o n fAFGR, p a g e s 2 5 4 - 2 5 9 , 2 0 0 4 .[ 5 6 ] J . S h o r t , J . K i t t l e r , a n d K . M es s e r . P h o t o m e t r i c n o r m al i s a ti o n f o r f a c ev e r i f i c a t i o n . I n P r o c . I n t ' l C o n f o n A V B P A , 2 0 0 5 .[ 5 7 ] T . S i m , S . B a k e r , a n d M . B s a t . T h e CMU p o s e , i l l u m i n a t i o n , a n de x p r e s s i o n ( P I E ) d a t a b a s e o f h u m a n f a c e s . T e c h n i c a l R e p o r t C M U - R I -T R - 0 1 - 0 2 , T h e R o b o t i c s I n s t i t u t e , C a r n e g i e M e l l o n U n i v e r s i t y , 2 0 0 1 .[ 5 8 ] T . S i m a n d T . K a n a d e . C o m b i n i n g m o d e l s a n d e x e m p l a r s f o r f a c er e c o g n t i o n : An i l l u m i n a t i o n e x a m p l e . I n P r o c . W o r k s h o p o n M o d e l sv e r s u s E x e m p l a r s i n C o m p u t e r V i s i o n , C V P R , 2 0 0 1 .[ 5 9 ] D . S o c o l i n s k y a n d A . S e l i n g e r . A c o m p a r a t i v e s t u d y o f f a c e r e c o g n i -t i o n p e r f o r m a n c e w i t h v i s i b l e a n d t h e r m a l i n f r a r e d i m a g e r y . I n P r o c .I C P R , 2 0 0 2 .[ 6 0 ] D . S o c o l i n s k y a n d A . S e l i n g e r . T h e r m a l f a c e r e c o g n i t i o n i n a no p e r a t i o n a l s c e n a r i o . I n P r o c . IEEE c o n f . C V P R , 2 0 0 4 .[ 6 1 ] D . S o c o l i n s k y a n d A . S e l i n g e r . T h e r m a l f a c e r e c o g n i t i o n o v e r t i m e .I n P r o c . I C P R , 2 0 0 4 .[ 6 2 ] D . S o c o l i n s k y , A . S e l i n g e r , a n d J . N e u h e i s e . F a c e r e c o g n i t i o n w i t hv i s i b l e a n d t h e r m a l i n f r a r e d i m a g e r y . C V I U , 9 1 : 7 2 - 1 1 4 , 2 0 0 3 .[ 6 3 ] A . T e u n e r a n d e t . a l . A s u r v e y o f s u r v e i l l a n c e s e n s o r s y s t e m s u s i n gcmos i m a g e r s . I n P r o c . I n t ' l C o n f o n I m g . A n a l y . a n d P r o c . , 1 9 9 9 .[ 6 4 ] H . W a n g , S . L i , a n d Y W a n g . F a c e r e c o g n i t i o n u n d e r v a r y i n g l i g h t i n gc o n d i t i o n u s i n g s e l f q u o t i e n t i m a g e . I n P r o c . IEEE A F G R , 2 0 0 4 .

[ 6 5 ] S . W e i a n d S . L a i . R o b u s t f a c e r e c o g n i t i o n u n d e r l i g h t i n g v a r i a t i o n s .I n P r o c . I C P R , 2 0 0 4 .[ 6 6 ] J . W i l d e r , P . J . P h i l l i p s , C . J i a n g , a n d S . W i e n e r . C o m p a r i s o n o f v i s i b l ea n d i n f r a r e d i m a g e r y f o r f a c e r e c o g n i t i o n . I n P r o c . IEEE AFGR, 1 9 9 6 .[ 6 7 ] C h u n y a n X i e , M . S a v v i d e s , a n d B . V . K . V i j a y a k u m a r . Q u a t e r n i o nc o r r e l a t i o n f i l t e r s f o r f a c e r e c o g n i t i o n i n w a v e l e t d o m a i n . I n P r o c .IEEE I n t ' l C o n f : o n A c o u s t i c s , S p e e c h , a n d S i g n a l P r o c e s s i n g , 2 0 0 5 .[ 6 8 ] X . X i e a n d K . L a m . An e f f i c i e n t i l l u m i n t i o n n o r m a l i z a t i o n m e t h o df o r f a c e r e c o g n i t i o n . P a t t e r n R e c o g n i t i o n L e t t e r s , 2 7 , 2 0 0 5 .[ 6 9 ] C . Y a n g , S . L a i , a n d L . C h a n g . R o b u s t f a c e m a t c h i n g u n d e r d i f f e r e n tl i g h t i n g c o n d i t i o n s . EURASIP J o u r n a l o n A pp . S i g . P r o c . , 2 0 0 4 .[ 7 0 ] L . Z h a n g a n d D . S a m a r a s . F a c e r e c o g n i t i o n u n d e r v a r i a b l e l i g h t i n gu s i n g h a r m o n i c i m a g e e x e m p l a r s . I n P r o c . IEEE C o m p u t e r S o c i e t yc o n f C V P R , 2 0 0 3 .[ 7 1 ] L . Z h a n g a n d D . S a m a r a s . F a c e r e c o g n i t i o n f r o m a s i n g l e t r a i n i n gi m a g e u n d e r a r b i t r a r y u n k n o w n l i g h t i n g u s i n g s p h e r i c a l h a r m o n i c s .IEEE T r a n s . P A M I , 2 9 , 2 0 0 6 .[ 7 2 ] Y Z h a n g a n d e t a l . Mqi b a e d f a c e r e c o g n i t i o n u n d er u n e v e ni l l u m i n a t i o n . I n P r o c . I C B , 2 0 0 7 .[ 7 3 ] S . Z h a o a n d R . G r i g a t . An a u t o m a t i c f a c e r e c o g n i t i o n s y s t e m i n t h en e a r i n f r a r e d s p e c t r u m . I n P r o c . M L D M , 2 0 0 5 .[ 7 4 ] W . Z h a o a n d R . C h e l l a p p a . I l l u m i n a t i o n - i n s e n s i t i v e f a c e r e c o g n i t i o nu s i n g s y m m e t r i c s h a p e f r o m s h a d i n g . I n P r o c . IEEE C o m p u t e r S o c i e t yC o n f o n C V P R , v o l u m e 4 , p a g e s 2 8 6 - 2 9 3 , 2 0 0 0 .[ 7 5 ] W . Z h a o , R . C h e l l a p p a , a n d A . R o s e n f e l d . F a c e r e c o g n i t i o n : Al i t e r a t u r e s u r v e y . ACM C o m p u t i n g S u r v e y s , 3 5 : 3 9 9 - 4 5 8 , 2 0 0 3 .[ 7 6 ] S . Z h o u , G . A g g a r w a l , R . C h e l l a p p a , a n d D . J a c o b s . A p p e a r a n c ec h a r a c t e r i z a t i o n o f l i n e a r l a m b e r t i a n o b j e c t s , g e n e r a l i z e d p h o t o m e t r i c

s t e r e o a n d i l l u m i n a t i o n - i n v a r i a n t f a c e r e c o g n i t i o n . IEEE T r a n s . P A M I ,2 9 ( 2 ) : 2 3 0 - 2 4 5 , 2 0 0 7 .[ 7 7 ] X . Z o u . I l l u m i n a t i o n I n v a r i a n t F a c e R e c o g n i t i o n b a s e d o n A c t i v eN e a r - I R D i f f e r e n t i a l I m a g i n g . Ph D t h e s i s , U n i v e r i t y o f S u r r e y , 2 0 0 7 .[ 7 8 ] X . Z o u , J . K i t t l e r , a n d K . M e s s e r . F a c e r e c o g n i t i o n u s i n g a c t i v e N e a r -I R i l l u m i n a t i o n . I n P r o c . BMVC, p a g e s 2 0 9 - 2 1 9 , 2 0 0 5 .[ 7 9 ] X . Z o u , J . K i t t l e r , a n d K . M e s s e r . A m b i e n t i l l u m i n a t i o n v a r i a t i o nr e m o v a l b y a c t i v e N e a r - I R i m a g i n g . I n P r o c . I A P R I n t ' l C o n f o nB i o m e t r i c s , p a g e s 1 9 - 2 5 , 2 0 0 6 .[ 8 0 ] X . Z o u , J . K i t t l e r , a n d K . M e s s e r . M o t i o n c o m p e n s a t i o n f o r f a c er e c o g n i t i o n b a s e d o n a c t i v e d i f f e r e n t i a l i m a g i n g . I n P r o c . I C B , 2 0 0 7 .

Documents

Illumination Invariant Face Recognition - A Survey