8/13/2019 A Fast Algorithm for Vision-based Hand Gesture

1/4

8/13/2019 A Fast Algorithm for Vision-based Hand Gesture

2/4

O u r p r o p o s e d m e t h o d o f h a n d g e s t u r e r e c o g n i t i o n c o n s i s t s [ 1 0 , 1 1 ] t o a l l e v i a t e t h i s p r o b l e m . O u r a s s u m p t i o n i s t h a t t h eo f t h e f o l l o w i n g s t a g e s : l a r g e s t c o n n e c t e d w h i t e r e g i o n c o r r e s p o n d s t o t h e h a n d . S owe u s e a r e l a t i v e r e g i o n s i z e t h r e s h o l d t o e l i m i n a t e t h e* L o c a l i z i n g h a n d - l i k e r e g i o n s b a s e d o n l e a r n e d s k i n c o l o r u n d e s i r e d r e g i o n s . I n p a r t i c u l a r , w e r e m o v e t h e r e g i o n s t h a ts t a t i s t i c s [ 9 ] , p r o d u c i n g a BW i m a g e o u t p u t . c o n t a i n s m a l l e r n u m b e r o f p i x e l s t h a n a t h r e s h o l d v a l u e . T h e* P e r f o r m i n g r e g i o n - b a s e d s e g m e n t a t i o n o f t h e h a n d , 2 0 2 0

e l i m i n a t i n g s m a l l f a l s e - a l a r m r e g i o n s t h a t were d e c l a r e da s h a n d - l i k e , b a s e d o n t h e i r c o l o r s t a t i s t i c s . 0* C a l c u l a t i n g t h e c e n t e r o f g r a v i t y ( C O G ) o f t h e h a n dr e g i o n a s w e l l a s t h e f a r t h e s t d i s t a n c e i n t h e h a n d r e g i o n Gr-1 2 0 1 Ie 2 0 0f r o m t h e COG. Ge Gr e

a o n s t r u c t i n g a c i r c l e c e n t e r e d a t t h e COG t h a t i n t e r s e c t s =a l l t h e f i n g e r s t h a t a r e a c t i v e i n t h e c o u n t .* E x t r a c t i n g a I D b i n a r y s i g n a l b y f o l l o w i n g t h e c i r c l e , / I /n d c l a s s i f y i n g t h e h a n d g e s t u r e b a s e d on t h e n u m b e r o fa c t i v e r e g i o n s ( f i n g e r s ) i n t h e I D s i g n a l . 1mn 2 0 0I n t h e f o l l o w i n g s u b s e c t i o n s we d e s c r i b e e a c h o f t h e s t e p s G r e r e G r e e nm e n t i o n e d a b o v e .

2 . 1 . L o c a l i z i n g H a n d - l i k e R e g i o n s b y S k i n D e t e c t i o nWe a s s u m e t h a t t h e p o r t i o n o f t h e s c e n e a r o u n d t h e h a n d 0h a s a l r e a d y b e e n e x t r a c t e d . T h e n o u r f i r s t t a s k i s t o s e g m e n t 0 002 0 0 0 2 0 0o u t t h e h a n d i n t h e i m a g e f r o m t h e b a c k g r o u n d . We a c h i e v e G @ e 6 6 6t h a t g o a l i n t w o s t e p s . F i r s t , we f i n d t h e p i x e l s i n t h e s c e n et h a t a r e l i k e l y t o b e l o n g t o t h e h a n d r e g i o n , w h i c h w e d e s c r i b e S a r l e l i l e s is m b S k i ni n t h i s s e c t i o n . T h e n we r e f i n e t h a t r e s u l t , a s we d e s c r i b e i n t h r e s h o l d v a l u e i s c h o s e n a s 2 0 i o f t o t a l n u m b e r o f p i x e l s i nt h e n e x t s e c t i o n . t h e w h i t e p a r t s . N o t e t h a t t h i s i s a n i m a g e - s i z e i n v a r i a n ts c h e m e . T h e i d e a l o u t c o m e i s t h e s e g m e n t e d h a n d r e g i o n .I t h a s b e e n o b s e r v e d t h a t t h e r e d / g r e e n ( R / G ) r a t i o i s a F i g u r e 2 : S c a t t e r p l o t s o f t h e r e d v e r s u s g r e e n c o m p o n e n t s o fd i s c r i m i n a t i v e c h a r a c t e r i s t i c f e a t u r e f o r h u m a n s k i n c o l o r [ 9 ] . p i x e l i n t e n s i t i e s o f s k i n a n d n o n - s k i n r e g i o n s f o r t h r e e s a m p l eO u r s t a t i s t i c a l o b s e r v a t i o n s a l s o s u p p o r t t h i s c l a i m . I n i m a g e s . T h e l i n e i n t h e s c a t t e r p l o t s i n d i c a t e s a s l o p e o f 1 .

p a r t i c u l a r , i n F i g u r e 2 , we s h o w t h r e e i m a g e s we h a v ea c q u i r e d , e a c h c o n t a i n i n g a h a n d g e s t u r e , t o g e t h e r w i t h s c a t t e r 2 . 3 . F i n d i n g t h e C e n t r o i d a n d F a r t h e s t D i s t a n c ep l o t s o f t h e r e d v e r s u s g r e e n c o m p o n e n t s o f t h e p i x e li n t e n s i t i e s f o r s k i n a n d n o n - s k i n r e g i o n s i n t h e i m a g e s . We G i v e n t h e s e g m e n t e d h a n d r e g i o n , we c a l c u l a t e i t so b s e r v e t h a t t h e R / G r a t i o s t a y s w i t h i n a n a r r o w b a n d o f c e n t r o i d , o r c e n t e r o f g r a v i t y ( C O G ) , ( x , y 5 ) , a s f o l l o w s :v a l u e s f o r s k i n p i x e l s , w h e r e a s i t i s m u c h m o r e v a r i a b l e f o rn o n - s k i n p i x e l s T h e r e f o r e , we c o u l d u s e t h i s r a t i o t o d e c i d e k kw h e t h e r a p i x e l i s l i k e l y t o b e l o n g t o t h e h a n d r e g i o n o r n o t . I n xp a r t i c u l a r , w e e m p i r i c a l l y o b s e r v e t h a t t h e f o l l o w i n g t w o _ i ad Y_t h r e s h o l d s s u c c e s s f u l l y c a p t u r e h a n d - l i k e i n t e n s i t i e s : _ k ak ( 2 )w h e r e x i a n d y i a r e x a n d y c o o r d i n a t e s o f t h e i t h p i x e l i n t h e1 . 0 5 < R / G < 4 . 0 0 1 ) h a n d r e g i o n , a n d k d e n o t e s t h e n u m b e r o f p i x e l s i n t h e r e g i o n .

A f t e r we o b t a i n t h e COG we c a l c u l a t e t h e d i s t a n c e f r o mU s i n g t h i s t h r e s h o l d i n g s c h e m e w e s e t a l l t h e p x e l s t t h e m o s t e x t r e m e p o i n t i n t h e h a n d t o t h e c e n t e r ; n o r m a l l y t h i sz e r o ; r e s u l t i n g i n a b l a c k a n d w h i t e i m a g e o u t p u t . Of c o u r s e , f a r t h e s t d i s t a n c e i s t h e d i s t a n c e f r o m t h e c e n t r o i d t o t i p o f t h ee o r e ut n inabakadwieiaeotu.Of c o r e l o n g e s t a c t i v e f i n g e r i n t h e p a r t i c u l a r g e s t u r e s e e F i g u r e 3 .t h i s s i m p l e s c h e m e c o u l d p r o d u c e many e r r o n e o u s d e c i s i o n s , lf o r e x a m p l e many b a c k g r o u n d p i x e l s h a v i n g s k i n - l i k e c o l o r sc o u l d b e c l a s s i f i e d a s h a n d - l i k e . We r e f i n e t h i s o u t p u t i n t h en e x t s e c t i o n .2 . 2 . S e g m e n t a t i o n a n d F a l s e - R e g i o n E l i m i n a t i o n

T h e s c h e m e d e s c r i b e d i n t h e p r e v i o u s s e c t i o n c o u l dp r o d u c e many d i s c o n n e c t e d r e g i o n s i n t h e i m a g e c l a s s i f i e d a sh a n d - l i k e . We u s e i d e a s f r o m r e g i o n - b a s e d s e g m e n t a t i o n

8/13/2019 A Fast Algorithm for Vision-based Hand Gesture

3/4

X t V X I f \ ~ ~ ~ ~ ~ ~ ~ ~ F i g u r e: D i f f e r e n t f o r m s o f t h r e e c o u n t .

L O l8 a f l O f 2 . 6 . S c a l e , R o t a t i o n , a n d T r a n s l a t i o n I n v a r i a n c eF i g u r e 3 : C e n t e r o f g r a v i t y a n d e x t r e m e p o i n t s o f t h e h a n d .T a k e n f r o m [ 3 ] . O u r p r o p o s e d a l g o r i t h m i s s c a l e i n v a r i a n t . M e a n i n g t h a tt h e a c t u a l s i z e o f t h e h a n d s i z e a n d i t s d i s t a n c e f r o m t h ec a m e r a d o n o t a f f e c t i n t e r p r e t a t i o n . I t i s r o t a t i o n i n v a r i a n t ,s i n c e t h e o r i e n t a t i o n o f t h e h a n d d o e s n o t h i n d e r t h e a l g o r i t h mI | r _~~~~~~~~~from r e c o g q n i z : i n g t h e g e s t u r e . I n a d d ( i t i o n , t h e p o s i t i o n o f h a n d (I - r _ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ i s a l s o n o t a p r o b l e m .Fig u r e 4 : D e m o n s t r a t i o n o f th e ex e c ut i o n o f th e p r o c e s s i ng rs t e p s d e s c r i b e d i n S e c t i o n s 2 . 1 - 2 . 4 o n a s a m p l e i m a g e . A|

2 . 4 . C o n s t r u c t i n g C i r c l e I ~ ~ ~ . . . . . . . . .

We d r a w a c i r c l e w h o s e r a d i u s i s 0 . 7 o f t h e f a r t h e s t l l lld i s t a n c e f r o m t h e COG. S u c h a c i r c l e i s l i k e l y t o i n t e r s e c t a l l 1 I I I 1 | 1 1t h e f i n g e r s a c t i v e i n a p a r t i c u l a r g e s t u r e o r c o u n t . J u s t t o l l | ll l lp r o v i d e a v i s u a l f l a v o r , F i g u r e 4 d e m o n s t r a t e s t h e e x e c u t i o n

^.~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~...O f t h e s t e p s d e s c r i b e d s o f a r o n a s a m p l e i m a g e . 0 1 0 0 0 0 1 0 0 2 0 0 3 0 02 . 5 . E x t r a c t i n g a 1 D S i g n a l a n d C l a s s i f i l c a t i o n l F i g u r e 6 : S a m p l e r e s u l t f o r a t w o c o u n t . T o p l e f t : O r i g i n a lt m a g e a n d t h e c i r c l e c o n s t r u c t e d . T o p r i g h t : S e g m e n t e d h a n dc o n s t r u c t e d i n t h e p r e v i o u s s t e p . I d e a l l y t h e u n i n t e r r u p t e d a t h e c r c e o s t r u t e m l e Z e r o - t o - o e a n i t i o nw h t e p o r t o n s o f t h s s g n a l c o r r e s p o n d t o t h e f n g e r s o r t h e t h e s i e d i itsw r i s t . By c o u n t i n g t h e n u m b e r o f z e r o - t o - o n e ( b l a c k - t o - w h i t e )t r a n s i t i o n s i n t h i s 1 D s i g n a l , a n d s u b t r a c t i n g o n e ( f o r t h e w r i s t )l e a d s t o t h e e s t i m a t e d n u m b e r o f f i n g e r s a c t i v e i n t h e g e s t u r e .E s t i m a t i n g t h e n u m b e r o f f i n g e r s l e a d s t o t h e r e c o g n i t i o n o f 3 . E esrie.nat R e s u l t st h e g e s t u r e . We h a v e c o n du c t e d e x p e r i m e n t s b a s e d o n i m a g e s we

h a v e a c qu i r e d u s i n g a 4 M e g a - P i x e l d i g i t a l c a m e r a a s w e l l a sN o t e t h a t o u r a l go r i t h m j u s t c o u n t s t h e n u m b e r o f a c t i v e a s i m p l e w e b c a m . We h a v e c o l l e c t e d t h e s e d a t a o n u n i f o r m a sf i n g e r s w i t h o u t r e g a r d t o w h i c h p a r t i c u l a r f i n g e r s a r e a c t i v e , w e l l a s c l u t t e r e d b a c k g r o u n d s . F i g u r e 6 s h o w s a s a m p l e r e s u l tF o r e x a m p l e , F i g u r e 5 s h o w s t h r e e d i f f e r e n t w a y s i n w h i c h f o r a h a n d i m a g e d i s p l a y i n g t h e c o u n t t w o . We s h o w t h eo u r a lg o r it h m w o u l d r e c o g n i z e a t h r e e c o u n t ; r o t a t i o n , o u t p u t o f v a r i o u s s t a g e s o f o u r a l g o r i t h m . N o t e t h a t t h r o u g ho r i e n t a t i o n , o r a n y o t h e r c o m b i n a t i o n o f t h r e e f i n g e r s w o u l d d i f f e r e n c i n g o p e r a t i o n s , we o b t a i n t h e z e r o - t o - o n e t r a n s i t i o n sa l s o g i v e t h e s a m e r e s u l t . S o a n o p e r a t o r d o e s n o t h a v e t o i n t h e 1 D s i g n a l w h o s e e x t r a c t i o n w a s d e s c r i b e d i n S e c t i o nr e m e m b e r w h i c h t h r e e f i n g e r s h e / s h e n e e d s t o u s e t o e x p r e s s 2 . 5 , a n d i s i l l u s t r a t e d i n F i g u r e 6 a s w e l l . T h e n u m b e r o f t h e s et h e t h r e e c o u n t . W h i l e t h i s f e a t u r e may b e p r e f e r a b l e i n t r a n s i t i o n s m i n u s o n e ( f o r t h e w r i s t ) p r o d u c e s t h e e s t i m a t e ds o m e t a s k s , i n o t h e r t a s k s o n e m i g h t b e i n t e r e s t e d i n c o u n t . F i g u r e 7 s h o w s c o m p a r a b l e r e s u l t s f o r a h a n d i m a g ea s s o c i a t i n g d i f f e r e n t m e a n i n g s t o d i f f e r e n t f i n g e r d i s p l a y i n g t h e c o u n t f o u r . I n b o t h e x a m p l e s , o u r a l go r i t h mc o m b i n a t i o n s We c o u l d m o d i f y a n d a d a p t o u r a l g o r i t h m t o l e a d s t o t h e c o r r e c t r e c o g n i t i o n o f t h e g e s t u r e . A l s o , t h es u c h a s e t t i n g b y a n u m b e r o f m o d i f i c a t i o n s . F o r e x a m p l e , t h e c o m p u t a t i o n t i m e n e e d e d t o o b t a i n t h e s e r e s u l t s i s v e r y s m a l l ,a n a l y s i s o f t h e 1 D s i g n a l d e s c r i b e d i n t h i s s e c t i o n w o u l d n e e d s i n c e t h e a l g o r i t h m i s q u i t e s i m p l e .t o p a y a t t e n t i o n t o t h e d i s t a n c e s b e t w e e n t h e a c t i v e f i n g e r s , a sw e l l a s b e t w e e n t h e f i n g e r s a n d t h e w r i s t . O u t o f 1 0 5 s a m p l e s t a k e n f r o m 2 1 m e m b e r s o f o u r l a b o r a t o r y ,we h a v e o b t a i n e d 9 6 c o r r e c t c l a s s i f i c a t i o n s w h i c h i s

a p p r o x i m a t e l y 9 1 % i o f a l l i m a g e s u s e d i n o u r e x p e r i m e n t s .We h a v e n o t e d t h a t i m a g e s t a k e n u n d e r i n s u f f i c i e n t l i g h t

8/13/2019 A Fast Algorithm for Vision-based Hand Gesture

4/4

( e s p e c i a l l y u s i n g t h e w e b c a m ) h a v e l e d t o t h e i n c o r r e c t 5 . Ac kn owle dg m e n tr e s u l t s . I n t h e s e c a s e s t h e f a i l u r e m a i n l y s t e m s f r o m t h ee r r o n e o u s s e g m e n t a t i o n o f s o m e b a c k g r o u n d p o r t i o n s a s t h e We w o u l d l i k e t o t h a n k a l l t h e r e s e a r c h e r s w o r k i n g o nh a n d r e g i o n . O u r a l g o r i t h m a p p e a r s t o p e r f o r m w e l l w i t h t h i s f i e l d who i n o n e w a y o r a n o t h e r g u i d e d u s o n a c h i e v i n gs o m e w h a t c o m p l i c a t e d b a c k g r o u n d s , a s l o n g a s t h e r e a r e n o t o u r g o a l s . We w o u l d a l s o l i k e t o e x p r e s s o u r a p p r e c i a t i o n t ot o o many p i x e l s i n t h e b a c k g r o u n d w i t h s k i n - l i k e c o l o r s . a l l o t h e r r e s e a r c h e r s a t S a b a n c i U n i v e r s i t y who w e r e k i n dO v e r a l l , we f i n d t h e p e r f o r m a n c e o f t h i s s i m p l e a l g o r i t h m e n o u g h t o s h a r e t h e i r v i e w s w i t h u s a n d o f f e r e d s o m eq u i t e s a t i s f a c t o r y i n t h e c o n t e x t o f o u r m o t i v a t i n g r o b o t s u g g e s t i o n s i n m a k i n g t h i s p r o j e c t a s u c c e s s .c o n t r o l a p p l i c a t i o n . T h i s w o r k w a s p a r t i a l l y s u p p o r t e d b y t h e E u r o p e a nC o m m i s s i o n u n d e r G r a n t F P 6 - 2 0 0 4 - A C C - S S A - 2 ( S P I C E ) .

6 . R e f e r e n c e s[ 1 ] J . D a v i s a n d M . S h a h V i s u a l G e s t u r e R e c o g n i t i o n , I E E

- . . . . . . . . . . . . . . 1 1 1 1 1 1 1 P r o c . - V i s . I m a g e S i g n a l P r o c e s s . , V o l . 1 4 1 , N o . 2 , A p r i l i l l I .[ 2 ] C . - C . C h a n g , I . - Y C h e n , a n d Y . - S . H u a n g , H a n d P o s e

I l l t1 1 1 1 1 1 1 1 1 R e c o g n i t i o n U s i n g C u r v a t u r e S c a l e S p a c e , IEEEI n t e r n a t i o n a l C o n f e r e n c e o n P a t t e r n R e c o g n i t i o n 2 0 0 2 .[ 3 ] A . U t s u m i , T . M i y a s a t o a n d F . K i s h i n o , M u l t i - C a m e r a2 2 H a n d P o s e R e c o g n i t i o n S y s t e m U s i n g S k e l e t o n I m a g e ,IEEE I n t e r n a t i o n a l W o r k s h o p o n R o b o t a n d H u m a nC o m m u n i c a t i o n , p p . 2 1 9 - 2 2 4 , 1 9 9 5 .[ 4 ] Y . A o k i , S . T a n a h a s h i , a n d J . X u , S i g n L a n g u a g e I m a g eP r o c e s s i n g f o r I n t e l l i g e n t C o m m u n i c a t i o n b y0 00 1 0 0 2 0 0 3 0 0 0 1 0 0 2 0 0 3 0 0 C o m m u n i c a t i o n S a t e l l i t e , IEEE I n t e r n a t i o n a l C o n f OnA c o u s t i c s , S p e e c h , a n d S i g n a l P r o c e s s i n g , 1 9 9 4 .

F i g u r e 7 : S a m e a s F i g u r e 6 , e x c e p t t h a t t h e c o u n t h e r e i s f o u r . ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ [ 5 ]. R o s a l e s , V . A t h i t s o s , L . S i g a l , a n d S . S c l a r o f f , 3 1 )f o u r . Hand P o s e R e c o n s t r u c t i o n U s i n g S p e c i a l i z e d M a p p i n g s ,IEEE I n t e r n a t i o n a l C o n . o n C o m p u t e r V i s i o n , p p . 3 7 8 -4 . C o n c l u s i o n 3 8 5 , 2 0 0 1 .

We p r o p o s e d a f a s t a n d s i m p l e a l g o r i t h m f o r a h a n d [ 6 ] C . T o m a s i , S . P e t r o v , a n d A . S a s t r y , 3 D = C l a s s i f i c a t i o ng e s t u r e r e c o g n i t i o n p r o b l e m . G i v e n o b s e r v e d i m a g e s o f t h e + I n t e r p o l a t i o n , IEEE I n t e r n a t i o n a l C o n f o n C o m p u t e rh a n d , t h e a l g o r i t h m s e g m e n t s t h e h a n d r e g i o n , a n d t h e n m a k e s V i s i o n , 2 0 0 3 .a n i n f e r e n c e o n t h e a c t i v i t y o f t h e f i n g e r s i n v o l v e d i n t h eg e s t u r e . We h a v e d e m o n s t r a t e d t h e e f f e c t i v e n e s s o f t h i s [ 7 ] W . T . F r e e m a n a n d i M . R o t h , O r i e n t a t i o n H i s t o g r a m s f o rc o m p u t a t i o n a l l y e f f i c i e n t a l g o r i t h m o n r e a l i m a g e s w e h a v e H a n d G e s t u r e R e c o g n i t i o n , IEEE I n t e r n a t i o n a l C o n f o na c q u i r e d . A u t o m a t i c F a c e a n d G e s t u r e R e c o g n i t i o n , 1 9 9 5 .B a s e d o n o u r m o t i v a t i n g r o b o t c o n t r o l a p p l i c a t i o n , we [ 8 ] L . B r e t z n e r , I . L a p t e v , a n d T . L i n d b e r g , H a n d G e s t u r eh a v e o n l y c o n s i d e r e d a l i m i t e d n u m b e r o f g e s t u r e s . O u r R e c o g n i t i o n u s i n g M u l t i - S c a l e C o l o r F e a t u r e s ,a l g o r i t h m c a n b e e x t e n d e d i n a n u m b e r o f w a y s t o r e c o g n i z e a H i e r a r c h i c a l M o d e l s a n d P a r t i c l e F i l t e r i n g , IEEEb r o a d e r s e t o f g e s t u r e s . T h e s e g m e n t a t i o n p o r t i o n o f o u r I n t e r n a t i o n a l C o n f o n A u t o m a t i c F a c e a n d G e s t u r ea l g o r i t h m i s t o o s i m p l e , a n d w o u l d n e e d t o b e i m p r o v e d i f t h i s R e c o g n i t i o n , 2 0 0 2 .t e c h n i q u e w o u l d n e e d t o b e u s e d i n c h a l l e n g i n g o p e r a t i n g

c o n d i t i o n s . H o w e v e r we s h o u l d n o t e t h a t t h e s e g m e n t a t i o n [ 9 ] J . B r a n d a n d J . M a s o n , A C o m p a r a t i v e A s s e s s m e n t o fp r o b l e m i n a g e n e r a l s e t t i n g i s a n o p e n r e s e a r c h p r o b l e m i t s e l f . T h r e e A p p r o a c h e s t o P i x e l - l e v e l Human S k i n D e t e c t i o n ,R e l i a b l e p e r f o r m a n c e o f h a n d g e s t u r e r e c o g n i t i o n t e c h n i q u e s IEEE I n t e r n a t i o n a l C o n f e r e n c e o n P a t t e r n R e c o g n i t i o n ,i n a g e n e r a l s e t t i n g r e q u i r e d e a l i n g w i t h o c c l u s i o n s , t e m p o r a l 2 0 0 0 .t r a c k i n g f o r r e c o g n i z i n g d y n a m i c g e s t u r e s , a s w e l l a s 3Dm o d e l i n g o f t h e h a n d , w h i c h a r e s t i l l m o s t l y b e y o n d t h e [ 1 0 ] R . C . G o n z a l e z a n d R . E . W o o d s , D i g i t a l I m a g ec u r r e n t s t a t e o f t h e a r t . P r o c e s s i n g , P r e n t i c e - H a l l , 2 n d e d i t i o n , 2 0 0 2 .[ 1 1 ] R . M . H a r a l i c k , a n d L . G . S h a p i r o , C o m p u t e r a n d R o b o tV i s i o n , V o l u m e I , A d d i s o n - W e s l e y , 1 9 9 2 , p p . 2 8 - 4 8 .