Upload
gdenunzio
View
226
Download
0
Embed Size (px)
Citation preview
7/30/2019 On Multiple Classifiers Systems for Pattern Recognition
1/5
O n M u l t i p l e C l a s s i e r S y s t e m s f o r P a t t e r n R e c o g n i t i o n
T i n K a m H o , J o n a t h a n J . H u l l , S a r g u r N . S r i h a r i
C e n t e r f o r D o c u m e n t A n a l y s i s a n d R e c o g n i t i o n
S t a t e U n i v e r s i t y o f N e w Y o r k a t B u a l o
B u a l o , N Y 1 4 2 6 0 , U S A
A b s t r a c t
D i c u l t p a t t e r n r e c o g n i t i o n p r o b l e m s i n v o l v i n g
l a r g e c l a s s s e t s a n d n o i s y i n p u t c a n b e s o l v e d b y a m u l -
t i p l e c l a s s i e r s y s t e m , w h i c h a l l o w s s i m u l t a n e o u s u s e
o f a r b i t r a r y f e a t u r e d e s c r i p t o r s a n d c l a s s i c a t i o n p r o -
c e d u r e s . I n d e p e n d e n t d e c i s i o n s b y e a c h c l a s s i e r c a n
b e c o m b i n e d b y m e t h o d s o f t h e h i g h e s t r a n k , B o r d a
c o u n t , a n d l o g i s t i c r e g r e s s i o n , r e s u l t i n g i n s u b s t a n t i a l
i m p r o v e m e n t i n o v e r a l l c o r r e c t n e s s .
1 I n t r o d u c t i o n
A p a t t e r n r e c o g n i t i o n s y s t e m i s p r o p o s e d t h a t c o n -
s i s t s o f a s e t o f i n d e p e n d e n t c l a s s i e r s a n d a d e c i s i o n
c o m b i n a t i o n f u n c t i o n 6 ] . W e c o n s i d e r t h i s a s a p r e -
f e r r e d s o l u t i o n t o a c o m p l e x p a t t e r n r e c o g n i t i o n p r o b -
l e m , b e c a u s e i t a l l o w s s i m u l t a n e o u s u s e o f f e a t u r e d e -
s c r i p t o r s o f m a n y t y p e s , t h e i r c o r r e s p o n d i n g m e a s u r e s
o f s i m i l a r i t y , a n d a n y a p p r o p r i a t e c l a s s i c a t i o n p r o -
c e d u r e s . C l a s s i e r s u s i n g d i e r e n t f e a t u r e d e s c r i p t o r s
a n d m a t c h i n g p r o c e d u r e s o f t e n p r o d u c e u n c o r r e l a t e d
e r r o r s . C l a s s i c a t i o n p e r f o r m a n c e c a n b e i m p r o v e d
b y o b t a i n i n g a c o n s e n s u s o f t h e i r d e c i s i o n s . I t i s a l s o
p o s s i b l e t o d y n a m i c a l l y s e l e c t t h e m o s t a p p r o p r i a t e
c l a s s i e r s f o r i n p u t s o f a p a r t i c u l a r t y p e .
A n e e c t i v e d e c i s i o n c o m b i n a t i o n f u n c t i o n i s c r i t i -
c a l t o t h e s u c c e s s o f a m u l t i p l e c l a s s i e r s y s t e m . T h e
f u n c t i o n s h o u l d t a k e a d v a n t a g e o f t h e s t r e n g t h s o f t h e
i n d i v i d u a l c l a s s i e r s , a v o i d t h e i r w e a k n e s s e s , a n d i m -
p r o v e c l a s s i c a t i o n c o r r e c t n e s s . M e t h o d s b a s e d o n i n -
t e r s e c t i o n a n d u n i o n o f c a n d i d a t e s e t s h a v e b e e n p r o -
p o s e d i n 4 ] . T h o s e t e c h n i q u e s a r e s e n s i t i v e t o o u t l y -
i n g w o r s t c a s e s a n d h e n c e a r e u n s a t i s f a c t o r y i n a n o i s y
e n v i r o n m e n t . I n t h i s p a p e r , w e p r o p o s e s e v e r a l n e w
t e c h n i q u e s t o o v e r c o m e t h i s p r o b l e m .
2 D e c i s i o n C o m b i n a t i o n M e t h o d s
W e a s s u m e t h a t e a c h c l a s s i e r o u t p u t s i t s d e c i s i o n s
a s a r a n k i n g o f a g i v e n s e t o f c l a s s e s w i t h r e s p e c t t o
a n i n p u t p a t t e r n . A c l a s s i e r b e l i e v e s m o s t s t r o n g l y
t h a t t h e i n p u t p a t t e r n b e l o n g s t o t h e c l a s s r a n k e d a t
t h e t o p , a c c o r d i n g t o a c e r t a i n s i m i l a r i t y s c o r e i t c o m -
p u t e s . B i n a r y d e c i s i o n s ( a c c e p t e d a s a p a r t i c u l a r c l a s s
o r r e j e c t e d ) o u t p u t b y s o m e c l a s s i e r s a r e c o n s i d e r e d
a s r a n k i n g s o f t w o l e v e l s .
R a n k i n g s a r e u s e d f o r t h r e e r e a s o n s . ( 1 ) T h e y c o n -
t a i n m o r e i n f o r m a t i o n t h a n a u n i q u e c l a s s c h o i c e . T h i s
i s d e s i r a b l e i n a m a n y - c l a s s d i s c r i m i n a t i o n p r o b l e m ,
w h e r e t h e c l a s s i e r s m a y n o t b e a b l e t o u n i q u e l y i d e n -
t i f y t h e t r u e c l a s s , b u t c a n i n c l u d e t h e t r u e c l a s s i n s e v -
e r a l g u e s s e s w i t h h i g h a c c u r a c y . ( 2 ) A s a n o n p a r a m e t -
r i c m e t h o d , i t a v o i d s m a k i n g a s s u m p t i o n s o n t h e d i s -
t r i b u t i o n o f t h e n u m e r i c a l s i m i l a r i t y s c o r e s c o m p u t e d
b y e a c h c l a s s i e r . ( 3 ) I t i s c o n v e n i e n t t o i m p l e m e n t ,
a n d g e n e r a l l y a p p l i c a b l e t o a l l t y p e s o f c l a s s i e r s , s i n c e
a r a n k i n g c a n a l w a y s b e d e r i v e d f r o m a l i n e a r o r d e r i n g
o f t h e s i m i l a r i t y s c o r e s .
R a n k i n g c o m b i n a t i o n m e t h o d s a r e i n t e n d e d t o i m -
p r o v e t h e r a n k o f t h e t r u e c l a s s . T h e i r s u c c e s s i s e v a l -
u a t e d b y t h e p o s i t i o n o f t h e t r u e c l a s s i n t h e r e s u l t a n t
r a n k i n g . A c o m b i n a t i o n m e t h o d i s c o n s i d e r e d s u c -
c e s s f u l i f t h e t r u e c l a s s a p p e a r s c l o s e t o t h e t o p o f t h e
o u t p u t r a n k i n g m o r e o f t e n t h a n i t d o e s i n a n y o f t h e
i n d i v i d u a l r a n k i n g s t h a t a r e i n p u t .
T h r e e m e t h o d s f o r r a n k i n g c o m b i n a t i o n a r e p r o -
p o s e d . I n e a c h m e t h o d , a c o n d e n c e s c o r e i s d e n e d
w h i c h i s a f u n c t i o n o f t h e r a n k s a s s i g n e d t o e a c h c l a s s
b y t h e c l a s s i e r s . O n l y t h e r e l a t i v e m a g n i t u d e s o f
t h e c o n d e n c e s c o r e s f o r d i e r e n t c l a s s e s a r e i m p o r -
t a n t . T h e c o n s e n s u s r a n k i n g i s o b t a i n e d b y s o r t i n g
t h e c l a s s e s b y t h e c o n d e n c e s c o r e s .
L e t t h e r a n k s a s s i g n e d t o a c l a s s b y c l a s s i e r s
C
1
; C
2
; : : : ; C
m
( m 2 ) b e r e p r e s e n t e d a s a v e c t o r
R = < r
1
; r
2
; : : : ; r
m
> a s s o c i a t e d w i t h e a c h c l a s s .
r
i
= 1 i f a c l a s s i s r a n k e d a t t h e t o p b y c l a s s i e r C
i
,
a n d r
i
= 2 i f r a n k e d a t t h e s e c o n d p o s i t i o n a n d s o
o n . T h e c o n d e n c e s c o r e S i s a f u n c t i o n o f R :
S = f ( R ) :
7/30/2019 On Multiple Classifiers Systems for Pattern Recognition
2/5
T h r e e f o r m s o f f ( R ) a r e p r o p o s e d :
f
1
( R ) = m i n ( r
1
; r
2
; : : : ; r
m
)
f
2
( R ) = r
1
+ r
2
+ : : : + r
m
f
3
( R ) = w
1
r
1
+ w
2
r
2
+ : : : + w
m
r
m
:
A m e t h o d t h a t u s e s f
1
i s c a l l e d t h e h i g h e s t r a n k
m e t h o d . f
2
i s u s e d i n t h e B o r d a c o u n t m e t h o d , a n d f
3
i s u s e d i n a g e n e r a l i z e d B o r d a c o u n t m e t h o d w h e r e t h e
w e i g h t s w
i
a r e e s t i m a t e d b y l o g i s t i c r e g r e s s i o n . U s i n g
e a c h o f f
1
, f
2
, a n d f
3
, a n e w r a n k i n g i s o b t a i n e d b y s o r t -
i n g t h e g i v e n c l a s s e s a c c o r d i n g t o t h e c o m p u t e d v a l u e s
o f f
1
, f
2
, a n d f
3
, r e s p e c t i v e l y . T h e a d v a n t a g e s a n d d i s -
a d v a n t a g e s o f e a c h m e t h o d a r e d i s c u s s e d i n S e c t i o n s 3
t o 5 .
3 T h e H i g h e s t R a n k M e t h o d
A s s u m e t h a t f o r e a c h i n p u t p a t t e r n , M c l a s s i e r s
a r e a p p l i e d t o r a n k a s e t o f c l a s s e s . E a c h c l a s s i s t h e n
a s s i g n e d t h e m i n i m u m ( h i g h e s t ) o f t h e M r a n k p o s i -
t i o n s i t r e c e i v e s a s i t s s c o r e . T h e s e t o f c l a s s e s i s t h e n
s o r t e d b y t h e s e s c o r e s t o y i e l d a c o m b i n e d c l a s s r a n k -
i n g f o r t h e i n p u t p a t t e r n . T h e r e m a y b e t i e s i n t h i s
c o m b i n e d r a n k i n g , w h i c h m a y b e b r o k e n a r b i t r a r i l y t o
a c h i e v e a s t r i c t o r d e r i n g .
T h i s m e t h o d i s p a r t i c u l a r l y u s e f u l i n a p r o b l e m i n -
v o l v i n g a l a r g e n u m b e r o f c l a s s e s a n d a s m a l l n u m b e r
o f u n c o r r e l a t e d c l a s s i e r s . T h e a d v a n t a g e i s w i t h i t s
a b i l i t y t o f o c u s o n t h e s t r e n g t h o f e a c h c l a s s i e r . F o r
a n y i n p u t p a t t e r n , a s l o n g a s t h e r e i s o n e c l a s s i e r t h a t
p e r f o r m s w e l l a n d r a n k s t h e t r u e c l a s s n e a r t h e t o p ,
s a y , a t r a n k N , n o m a t t e r h o w t h e o t h e r c l a s s i e r s
p e r f o r m , t h e t r u e c l a s s w i l l b e a t a p o s i t i o n n o f a r t h e r
t h e n N M f r o m t h e t o p i n t h e c o m b i n e d r a n k i n g ,
w h e r e M i s t h e n u m b e r o f c l a s s i e r s .
O n e d i s a d v a n t a g e w i t h t h i s m e t h o d i s t h a t t h e c o m -
b i n e d r a n k i n g m a y h a v e m a n y t i e s . T h e n u m b e r o f
c l a s s e s i n t i e s d e p e n d s o n t h e n u m b e r o f c l a s s i e r s
u s e d . F o r e x a m p l e , i f v e c l a s s i e r s a r e u s e d , t h e r e
a r e a t l e a s t o n e a n d a t m o s t v e d i s t i n c t c l a s s e s t h a t
a r e r a n k e d a t t h e t o p b y a c l a s s i e r . T h o s e v e c l a s s e s
a r e i n a t i e i n t h e n a l r a n k i n g , s i n c e t h e y a l l r e c e i v e
t h e s c o r e 1 . T h e r e f o r e , t h i s m e t h o d i s u s e f u l o n l y i f t h e
n u m b e r o f c l a s s i e r s i s s m a l l r e l a t i v e t o t h e n u m b e r o f
c l a s s e s .
4 T h e B o r d a C o u n t M e t h o d
D e c i s i o n c o m b i n a t i o n i n a m u l t i p l e c l a s s i e r s y s t e m
c a n b e v i e w e d a s a c o m m i t t e e v o t i n g p r o b l e m i n g r o u p
d e c i s i o n t h e o r y a n d a c c o m p l i s h e d b y a g r o u p c o n s e n -
s u s f u n c t i o n . O n e u s e f u l g r o u p c o n s e n s u s f u n c t i o n i s
t h e B o r d a c o u n t 2 ] . F o r a n y p a r t i c u l a r c l a s s c , t h e
B o r d a c o u n t i s t h e s u m o f t h e n u m b e r o f c l a s s e s r a n k e d
b e l o w c b y e a c h c l a s s i e r . I t i s d e n e d a s f o l l o w s :
F o r a n y c l a s s c i n a s e t S , l e t B
j
( c ) b e t h e n u m b e r
o f c l a s s e s i n S w h i c h a r e r a n k e d b e l o w t h e c l a s s c b y
c l a s s i e r C
j
( j = 1 ; : : : ; m ) . T h e B o r d a c o u n t f o r c l a s s
c i s
B ( c ) =
m
X
j = 1
B
j
( c ) :
T h e c o n s e n s u s r a n k i n g i s g i v e n b y s o r t i n g t h e c l a s s e s
i n d e s c e n d i n g o r d e r o f t h e i r B o r d a c o u n t s .
I n t u i t i v e l y , i f t h e c l a s s c i s r a n k e d n e a r t h e t o p b y
m o r e c l a s s i e r s , i t s B o r d a c o u n t t e n d s t o b e l a r g e r .
T h e m a g n i t u d e o f t h e B o r d a c o u n t f o r e a c h c l a s s m e a -
s u r e s t h e s t r e n g t h o f a g r e e m e n t b y t h e c l a s s i e r s o n
t h e p r o p o s i t i o n t h a t t h e i n p u t p a t t e r n b e l o n g s t o t h a t
c l a s s . I n a t w o - c l a s s p r o b l e m , t h e B o r d a c o u n t i s
e q u i v a l e n t t o a m a j o r i t y v o t e .
I f t h e r e a r e n o t i e s i n t h e i n d i v i d u a l r a n k i n g s ,
t h e B o r d a c o u n t m e t h o d i s e q u i v a l e n t t o s o r t i n g t h e
c l a s s e s b y t h e s u m o f t h e i r r a n k s ( f
2
i n S e c t i o n 2 ) .
T h e B o r d a c o u n t m e t h o d a s s u m e s a n a d d i t i v e i n d e -
p e n d e n c e b e t w e e n t h e r a n k i n g s .
T h e B o r d a c o u n t m e t h o d i s s i m p l e t o i m p l e m e n t ,
a n d r e q u i r e s n o a p r i o r i k n o w l e d g e o f t h e c l a s s i e r
p e r f o r m a n c e . H o w e v e r , i t d o e s n o t t a k e i n t o a c c o u n t
t h e d i e r e n c e s i n t h e i n d i v i d u a l c l a s s i e r c a p a b i l i t i e s .
A l l c l a s s i e r s a r e t r e a t e d e q u a l l y , w h i c h m a y n o t b e
p r e f e r a b l e , w h e n i t i s k n o w n f o r s u r e t h a t c e r t a i n c l a s -
s i e r s p e r f o r m b e t t e r t h a n o t h e r s i n m o s t c a s e s . B e -
c a u s e o f t h i s , t h e m e t h o d d o e s n o t g u a r a n t e e a n i m -
p r o v e m e n t o f t h e r a n k o f t h e t r u e c l a s s . A s t a t i s t i c a l
a p p r o a c h t h a t c o m p u t e s a w e i g h t f o r e a c h c l a s s i e r i s
d e s c r i b e d i n t h e n e x t s e c t i o n .
5 T h e L o g i s t i c R e g r e s s i o n M e t h o d
A g e n e r a l i z a t i o n o f t h e B o r d a c o u n t i s a w e i g h t e d
s u m o f t h e r a n k s . T h e w e i g h t s r e e c t t h e r e l a t i v e s i g -
n i c a n c e o f e a c h c l a s s i e r , w h i c h a r e e s t i m a t e d b a s e d
o n o b s e r v a t i o n s o f t h e c l a s s i e r p e r f o r m a n c e o n a
t r a i n i n g s e t . T h e w e i g h t s c a n b e e s t i m a t e d b y a l o -
g i s t i c r e g r e s s i o n a n a l y s i s 1 ] 3 ] 7 ] .
C o n s i d e r t h e r a n k s a s s i g n e d t o e a c h c l a s s a s r a n d o m
v a r i a b l e s . F o r a s e t o f t r a i n i n g p a t t e r n s , t h e t r u e c l a s s
i d e n t i t i e s a r e k n o w n . T o r e p r e s e n t s u c h k n o w l e d g e
f r o m t h e t r a i n i n g s e t , w e n e e d t o d e t e r m i n e h o w t h e
r a n k v a r i a b l e s p r e d i c t w h i c h c l a s s i s t h e t r u e c l a s s o f
a g i v e n p a t t e r n .
W e d e n e a b i n a r y r e s p o n s e v a r i a b l e Y a s s o c i a t e d
w i t h e a c h c l a s s , w i t h Y = 1 m e a n i n g t h a t t h e c l a s s
i s t h e t r u e c l a s s , a n d Y = 0 o t h e r w i s e . F o r a s e t
o f t r a i n i n g p a t t e r n s , t h e t r u e c l a s s e s a r e k n o w n a n d
7/30/2019 On Multiple Classifiers Systems for Pattern Recognition
3/5
t h e r e f o r e e a c h c l a s s h a s a k n o w n v a l u e o f Y . Y h a s a
B e r n o u l l i d i s t r i b u t i o n w i t h e x p e c t e d v a l u e
E ( Y ) = 1 P ( Y = 1 ) + 0 P ( Y = 0 ) = P ( Y = 1 ) :
W e d e n o t e t h e p r o b a b i l i t y P ( Y = 1 ) a s ( x ) , w h e r e
x = < x
1
; x
2
; : : : ; x
m
> r e p r e s e n t s t h e r a n k s a s s i g n e d
t o t h a t c l a s s b y c l a s s i e r s C
1
; C
2
; : : : ; C
m
. F o r c o n v e -
n i e n c e i n i n t e r p r e t a t i o n , w e a s s u m e t h a t x
j
f o r a p a r -
t i c u l a r c l a s s h a s t h e l a r g e s t v a l u e w h e n t h a t c l a s s i s
r a n k e d a t t h e t o p b y c l a s s i e r C
j
. F o r i n s t a n c e , i n a
p r o b l e m w i t h 1 0 0 c l a s s e s , x
3
= 1 0 0 f o r a c l a s s r a n k e d
b y C
3
a t t h e t o p , a n d x
3
= 9 9 f o r a c l a s s r a n k e d n e x t
t o i t , a n d s o o n .
I n t u i t i v e l y w e e x p e c t t h a t t h e l i k e l i h o o d o f a c l a s s
b e i n g t h e t r u e c l a s s P ( Y = 1 ) i s l a r g e r w h e n i t i s
r a n k e d h i g h e r b y t h e c l a s s i e r s . T h e r e l a t i o n s h i p b e -
t w e e n t h e r a n k s a n d t h e t e n d e n c y t o w a r d s b e i n g a t r u e
c l a s s i s e x p e c t e d t o b e m o n o t o n i c , b u t n o t n e c e s s a r i l y
l i n e a r . I n f a c t , w e e x p e c t ( x ) ! 0 w h e n c o m p o n e n t
v a l u e s o f x a r e s m a l l , a n d ( x ) ! 1 w h e n c o m p o n e n t
v a l u e s o f x a r e l a r g e . T h e s e c o n d i t i o n s o n t h e r e s p o n s e
f u n c t i o n s u g g e s t t h e u s e o f t h e l o g i s t i c r e s p o n s e f u n c -
t i o n 1 ] . F o r t h e c a s e w i t h o n e i n d e p e n d e n t v a r i a b l e ,
t h e f u n c t i o n h a s t h e f o r m
( x ) =
e x p ( + x )
1 + e x p ( + x )
w h e r e x i s t h e i n d e p e n d e n t v a r i a b l e , ; a r e p a r a m -
e t e r s . U s i n g t h i s f u n c t i o n a s a m o d e l , t h e o d d s o f
h a v i n g r e s p o n s e 1 ( P ( Y = 1 ) ) a r e
( x )
1 ? ( x )
= e x p ( + x ) :
T h e l o g - o d d s h a v e a l i n e a r r e l a t i o n s h i p w i t h t h e i n d e -
p e n d e n t v a r i a b l e x
l o g
( x )
1 ? ( x )
= ( + x ) ;
w h i c h c a n b e g e n e r a l i z e d t o t h e m u l t i v a r i a t e c a s e w i t h
m i n d e p e n d e n t v a r i a b l e s
l o g
( x )
1 ? ( x )
= ( +
1
x
1
+
2
x
2
+ : : : +
m
x
m
) :
S u c h a l o g - o d d s ( l o g i t ) t r a n s f o r m a t i o n l i n k s t h e
p r o b l e m t o l i n e a r r e g r e s s i o n a n a l y s i s 1 ] . M a x i m u m
l i k e l i h o o d m e t h o d s c a n b e u s e d t o e s t i m a t e t h e m o d e l
p a r a m e t e r s . T h e r e l a t i v e m a g n i t u d e s o f t h e e s t i m a t e d
p a r a m e t e r s i n d i c a t e t h e r e l a t i v e s i g n i c a n c e o f t h e
c l a s s i e r s i n t h e i r m a r g i n a l c o n t r i b u t i o n s t o t h e l o g i t .
H e n c e i n s i g n i c a n t c l a s s i e r s m a y b e i d e n t i e d a n d
r e m o v e d f r o m t h e s y s t e m .
E s t i m a t i o n o f t h e w e i g h t s i s i l l u s t r a t e d w i t h a n e x -
a m p l e a p p l i c a t i o n i n w o r d r e c o g n i t i o n , w h e r e t w o c l a s -
s i e r s a r e u s e d t o d i s c r i m i n a t e b e t w e e n 3 3 , 8 5 0 c l a s s e s
( w o r d s ) . A n e i g h b o r h o o d o f u p t o 5 0 o b s e r v a t i o n s
w e r e t a k e n f o r e a c h i m a g e . A t o t a l o f 4 3 , 4 2 2 o b s e r v a -
t i o n s w e r e o b t a i n e d u s i n g 1 , 0 5 5 t r a i n i n g i m a g e s . O n l y
t h e t o p t e n d e c i s i o n s f r o m e a c h o f t h e t w o r a n k i n g s
w e r e u s e d i n m o d e l e s t i m a t i o n . T h a t i s , a c l a s s r e -
c e i v e s a 1 0 i f i t i s r a n k e d a t t h e t o p , a n d a 0 i f i t i s
r a n k e d b e l o w t h e 1 0 t h p o s i t i o n . F i g u r e 1 s h o w s t h e
p l o t o f t h e c o m p u t e d l o g i t s v e r s u s x
1
a n d x
2
. A r e g r e s -
s i o n p l a n e w a s t t o t h e s e l o g i t s b y t h e S A S p r o c e d u r e
L O G I S T I C 9 ] . T h e e s t i m a t e d m o d e l i s
L ( x ) = ? 5 : 8 5 5 7 + 0 : 1 9 6 5 x
1
+ 0 : 4 0 0 8 x
2
:
F i g u r e 1 : P l o t o f e m p i r i c a l l o g i t s v e r s u s r a n k s b y t w o
c l a s s i e r s .
F o r a n u n s e e n p a t t e r n , t h e t r u e c l a s s i s u n k n o w n ,
a n d t h e l o g i t o f e a c h c l a s s i s p r e d i c t e d b y t h e e s t i m a t e d
m o d e l . S i n c e t h e o d d s o f h a v i n g r e s p o n s e 1 ( i . e . , b e i n g
t h e t r u e c l a s s ) i n c r e a s e m o n o t o n i c a l l y w i t h t h e l o g i t ,
t h e g i v e n c l a s s e s c a n b e o r d e r e d b y d e s c e n d i n g v a l u e s
o f t h e l o g i t . T h e c l a s s w i t h t h e l a r g e s t l o g i t i s t h e n
c o n s i d e r e d a s m o s t l i k e l y t o b e t h e t r u e c l a s s .
I n p a r a m e t e r e s t i m a t i o n , a l l c o m b i n a t i o n s o f t h e
r a n k s h a v e t o b e c o n s i d e r e d . T h e r e f o r e t h e m e t h o d
i s c o m p u t a t i o n a l l y e x p e n s i v e , a n d i s p r a c t i c a l o n l y f o r
r a n k i n g s o f a s m a l l n u m b e r o f c l a s s e s . I n p r o b l e m s
i n v o l v i n g m a n y c l a s s e s , o n e m a y c o n s i d e r o n l y t h o s e
c l a s s e s r a n k e d v e r y c l o s e t o t h e t o p , s a y , o n l y t h e t o p
t e n d e c i s i o n s i n e a c h r a n k i n g .
7/30/2019 On Multiple Classifiers Systems for Pattern Recognition
4/5
B y u s i n g a s p e c i c Y f o r e a c h d e c i d e d c l a s s , a n d
u s i n g r a n k s f o r a l l c l a s s e s s i m u l t a n e o u s l y a s r e g r e s s o r s
8 ] , a r e g r e s s i o n m o d e l c a n b e e s t i m a t e d f o r e a c h d e -
c i d e d c l a s s . D e c i s i o n f o r a n u n s e e n p a t t e r n c a n t h e n
b e m a d e b y c o m p a r i n g t h e p r e d i c t e d l o g i t f o r e a c h
c l a s s . T h i s i s a m o r e r e n e d m o d e l , w h i c h i s u s e f u l
w h e n t h e r e i s a l a r g e a m o u n t o f t r a i n i n g d a t a .
6 I n c r e m e n t a l R e n e m e n t
I n a p p l i c a t i o n s w h e r e o n l y a f e w t o p c h o i c e s a r e d e -
s i r e d , t h e l o g i s t i c r e g r e s s i o n m e t h o d c a n b e a p p l i e d t o
o b t a i n a c o n s e n s u s . H o w e v e r , i n a n a p p l i c a t i o n w h e r e
a c o m p l e t e r a n k i n g o f a l a r g e n u m b e r o f g i v e n c l a s s e s
i s d e s i r e d , e s t i m a t i o n o f t h e m o d e l p a r a m e t e r s m a y
b e c o m e t o o e x p e n s i v e . I n s u c h a c a s e , t h e t h r e e c o m -
b i n a t i o n f u n c t i o n s c a n b e u s e d i n t u r n t o i m p r o v e t h e
r a n k i n g s i n c r e m e n t a l l y . T h e h i g h e s t r a n k m e t h o d c a n
b e a p p l i e d r s t t o o b t a i n a c o m b i n e d r a n k i n g . A n u m -
b e r o f c h o i c e s c a n t h e n b e e x t r a c t e d , w h i c h c a n b e
r e r a n k e d u s i n g t h e B o r d a c o u n t m e t h o d o r t h e l o g i s -
t i c r e g r e s s i o n m e t h o d . T h i s i s a p r o c e s s o f i n c r e m e n t a l
r e n e m e n t , s t a r t i n g w i t h t h e s i m p l e s t m e t h o d a n d n -
i s h i n g w i t h t h e m o s t e x p e n s i v e m e t h o d .
7 D y n a m i c C l a s s i e r S e l e c t i o n
C l a s s i c a t i o n p e r f o r m a n c e o f a m u l t i p l e c l a s s i e r
s y s t e m m a y a l s o b e i m p r o v e d b y d y n a m i c a l l y s e l e c t i n g
t h e m o s t a p p r o p r i a t e c l a s s i e r s f o r i n p u t s o f a p a r t i c -
u l a r t y p e .
C o n s i d e r a n o r a c l e t h a t w i l l a l w a y s s e l e c t t h e b e s t
c l a s s i e r f o r e a c h i m a g e . I f s u c h a n o r a c l e i s a v a i l a b l e ,
w e c a n t a k e t h e d e c i s i o n s f r o m t h e s e l e c t e d c l a s s i e r ,
a n d i g n o r e t h e d e c i s i o n s b y o t h e r c l a s s i e r s . T h i s i s
a n i d e a l c a s e w h e r e w e c a n a p p l y d y n a m i c c l a s s i e r
s e l e c t i o n .
O n e w a y t o a p p r o x i m a t e s u c h a n o r a c l e i s t o c o m -
p u t e s o m e m u t u a l l y e x c l u s i v e c o n d i t i o n s t h a t p a r t i t i o n
t h e s e t o f a l l p o s s i b l e p a t t e r n s i n a p a r t i c u l a r d o m a i n .
A t r a i n i n g s e t i s p a r t i t i o n e d a c c o r d i n g t o t h e c o m -
p u t e d c o n d i t i o n s . C l a s s i e r p e r f o r m a n c e i s m e a s u r e d
s e p a r a t e l y o n e a c h p a r t i t i o n . T h e b e s t c l a s s i e r f o r
e a c h p a r t i t i o n i s h e n c e d e t e r m i n e d . F o r t h e t e s t s e t ,
s i m i l a r c o n d i t i o n s a r e c o m p u t e d a n d t h e b e s t c l a s s i e r
f o r t h e c o r r e s p o n d i n g p a r t i t i o n i s s e l e c t e d . T h i s i s a
d i v i d e - a n d - c o n q u e r s t r a t e g y .
D y n a m i c s e l e c t i o n c a n a l s o b e a p p l i e d a t t h e c l a s -
s i e r s e t l e v e l . A f t e r t h e t r a i n i n g s e t h a s b e e n p a r -
t i t i o n e d , t h e s i g n i c a n c e o f e a c h c l a s s i e r ' s c o n t r i b u -
t i o n c a n b e e v a l u a t e d u s i n g l o g i s t i c r e g r e s s i o n a n a l y s i s .
T h e e s t i m a t e d m o d e l s u g g e s t s t h e d e c i s i o n c o m b i n a -
t i o n f u n c t i o n f o r t h e t y p e o f p a t t e r n s i n t h a t p a r t i -
t i o n . A f t e r t h e m o d e l i s e s t i m a t e d f o r e a c h p a r t i t i o n ,
t h e a p p r o p r i a t e d e c i s i o n c o m b i n a t i o n f u n c t i o n c a n b e
s e l e c t e d d y n a m i c a l l y f o r e a c h u n s e e n p a t t e r n b y e v a l -
u a t i n g t h e p a r t i t i o n i n g c o n d i t i o n .
P o s s i b l e p a r t i t i o n i n g c o n d i t i o n s i n c l u d e c h a r a c t e r -
i z a t i o n s o f i n p u t q u a l i t y a n d a g r e e m e n t o f d e c i d e d
c l a s s e s . F o r e x a m p l e , a c h a r a c t e r i m a g e c a n b e d e -
s c r i b e d b y t h e d e n s i t y o f b l a c k p i x e l s a n d a m e a s u r e o f
i m a g e f r a g m e n t a t i o n . T h e a g r e e m e n t o f , s a y , t h e t o p
c h o i c e b y e a c h c l a s s i e r , o f t e n i n d i c a t e s t h e d i c u l t y
o f a p a r t i c u l a r i n s t a n c e o f a g i v e n p r o b l e m . C l a s s i e r s
t e n d t o d i s a g r e e w i t h o n e a n o t h e r o n a d i c u l t i n p u t .
T h e r e f o r e s o m e h i n t s o n h o w t h e d e c i s i o n s s h o u l d b e
c o m b i n e d c a n b e o b t a i n e d b y o b s e r v i n g t h e t o p c h o i c e
a g r e e m e n t b y p a r t i c u l a r c l a s s i e r s .
8 E x p e r i m e n t a l R e s u l t s
T h e t h r e e c o m b i n a t i o n m e t h o d s w e r e t e s t e d i n
a w o r d r e c o g n i t i o n a p p l i c a t i o n , w h e r e t h e o b j e c -
t i v e w a s t o c l a s s i f y a w o r d i m a g e a s o n e o f 3 3 , 8 5 0
w o r d s i n a g i v e n l e x i c o n . T h e i m a g e s w e r e c o l l e c t e d
f r o m m a c h i n e - p r i n t e d a d d r e s s e s t a k e n f r o m l i v e m a i l ,
s c a n n e d a t 2 1 2 p i x e l s p e r i n c h a n d b i n a r i z e d . T h e
w o r d s h a d b e e n p r i n t e d i n h i g h l y v a r i a b l e q u a l i t i e s
a n d f o n t s . T h e l e x i c o n w a s c o m p i l e d f r o m a d a t a b a s e
o f p o s t a l w o r d s a n d a l i a s e s .
F i v e c l a s s i e r s w e r e d e s i g n e d t o r a n k t h e l e x i c o n a c -
c o r d i n g t o d i e r e n t f e a t u r e s a n d m a t c h i n g p r o c e d u r e s
5 ] . C l a s s i e r s 1 a n d 2 u s e t w o d i e r e n t t e c h n i q u e s
t o p o s t p r o c e s s d e c i s i o n s b a s e d o n i s o l a t e d c h a r a c t e r
r e c o g n i t i o n . C l a s s i e r 3 i s b a s e d o n c h a r a c t e r s e g m e n -
t a t i o n a n d c h a r a c t e r r e c o g n i t i o n i n c o n t e x t . C l a s s i e r s
4 a n d 5 a r e b a s e d o n w o r d s h a p e a n a l y s i s t h a t t r e a t s
a w o r d a s a s i n g l e s y m b o l . T h e c l a s s i e r s a n d t h e
c o m b i n a t i o n m e t h o d s w e r e t r a i n e d u s i n g 1 , 0 5 5 s a m -
p l e i m a g e s .
T a b l e 1 s u m m a r i z e s t h e p e r f o r m a n c e o f t h e v e
c l a s s i e r s a n d t h e i r c o m b i n a t i o n s b y t h e t h r e e m e t h -
o d s o v e r a s e t o f 1 , 6 7 1 t e s t i n g i m a g e s , w i t h o u t d y -
n a m i c c l a s s i e r s e l e c t i o n . S u b s t a n t i a l i m p r o v e m e n t s
i n t h e c o r r e c t r a t e s a r e o b s e r v e d .
9 C o n c l u s i o n s
A m u l t i p l e c l a s s i e r s y s t e m w a s p r o p o s e d t o s o l v e
c o m p l e x p a t t e r n r e c o g n i t i o n p r o b l e m s . I t s a d v a n t a g e s
i n c l u d e r o b u s t n e s s g i v e n b y s i m u l t a n e o u s u s e o f c o m -
p l e m e n t a r y r e c o g n i t i o n m e t h o d s a n d e x i b i l i t y i n d y -
n a m i c a d a p t a t i o n . R e c o g n i t i o n d e c i s i o n s a r e r e p r e -
s e n t e d a s r a n k i n g s o f a g i v e n c l a s s s e t . C o n s e n s u s i n
d e c i s i o n s i s o b t a i n e d b y t h r e e d i e r e n t m e t h o d s , w h o s e
e e c t i v e n e s s i s d e m o n s t r a t e d i n a w o r d r e c o g n i t i o n a p -
p l i c a t i o n .
7/30/2019 On Multiple Classifiers Systems for Pattern Recognition
5/5
T a b l e 1 : S u m m a r y o f p e r f o r m a n c e o n 1 , 6 7 1 d e g r a d e d
w o r d i m a g e s u s i n g a 3 3 , 8 5 0 w o r d l e x i c o n .
% C o r r e c t i n T o p N D e c i s i o n s
D e s c r i p t i o n s N = 1 2 3 1 0
C l a s s i e r 1 7 9 . 2 8 6 . 1 8 8 . 2 9 0 . 5
C l a s s i e r 2 7 6 . 9 8 3 . 2 8 5 . 4 8 8 . 3
C l a s s i e r 3 7 4 . 8 8 4 . 1 8 6 . 3 9 0 . 5
C l a s s i e r 4 4 2 . 4 5 3 . 7 5 9 . 5 7 2 . 1
C l a s s i e r 5 5 8 . 9 7 0 . 0 7 4 . 5 8 2 . 9
C o m b i n a t i o n s b y
h i g h e s t r a n k 4 6 . 6 7 3 . 8 8 7 . 0 9 4 . 9
B o r d a c o u n t 8 3 . 1 8 8 . 1 9 0 . 7 9 4 . 6
l o g i s t i c r e g r e s s i o n 8 8 . 4 9 1 . 2 9 2 . 7 9 5 . 1
* : s i g n i c a n t i m p r o v e m e n t s o v e r i n d i v i d u a l p e r f o r m a n c e .
T h e p r o p o s e d m e t h o d o l o g y i s a p p l i c a b l e t o a n y p a t -
t e r n r e c o g n i t i o n p r o b l e m , a s l o n g a s m u l t i p l e s o l u t i o n s
e x i s t f o r t h a t p r o b l e m , a n d e a c h o f t h e m p r o v i d e s a
r a n k i n g o f a g i v e n s e t o f c l a s s e s w i t h r e s p e c t t o a n
i n p u t p a t t e r n .
T h e a d v a n t a g e o f u s i n g m u l t i p l e c l a s s i e r s i s b e s t
d e m o n s t r a t e d i n p r o b l e m s t h a t i n v o l v e a l a r g e s e t o f
c l a s s e s a n d c o m p l e x i n p u t s . W o r d r e c o g n i t i o n i s o n e
s u c h p r o b l e m , w h e r e t h e s i z e o f t h e l e x i c o n d e t e r m i n e s
t h e n u m b e r o f c l a s s e s . O t h e r p r o b l e m s w i t h t h e s e
c h a r a c t e r i s t i c s i n c l u d e t h e r e c o g n i t i o n o f C h i n e s e c h a r -
a c t e r s , n g e r p r i n t s , h u m a n f a c e s , s p e e c h , a s w e l l a s
c e r t a i n a r e a s o f m e d i c a l d i a g n o s i s .
R e f e r e n c e s
1 ] A . A g r e s t i , C a t e g o r i c a l D a t a A n a l y s i s , J o h n W i l e y &
S o n s , 1 9 9 0 .
2 ] D . B l a c k , T h e T h e o r y o f C o m m i t t e e s a n d E l e c t i o n s ,
C a m b r i d g e U n i v e r s i t y P r e s s , L o n d o n , 1 9 5 8 , 2 n d e d . ,
1 9 6 3 .
3 ] D . R . C o x , E . J . S n e l l , A n a l y s i s o f B i n a r y D a t a , 2 n d .
e d . , C h a p m a n a n d H a l l , 1 9 8 9 .
4 ] T . K . H o , J . J . H u l l , S . N . S r i h a r i , \ C o m b i n a t i o n o f
S t r u c t u r a l C l a s s i e r s " , P r e - P r o c e e d i n g s o f t h e I A P R
S y n t a c t i c a n d S t r u c t u r a l P a t t e r n R e c o g n i t i o n W o r k -
s h o p , M u r r a y H i l l , 1 9 9 0 , 1 2 3 - 1 3 6 .
5 ] T . K . H o , J . J . H u l l , S . N . S r i h a r i , \ W o r d R e c o g n i t i o n
w i t h M u l t i - L e v e l C o n t e x t u a l K n o w l e d g e " , P r o c e e d i n g s
o f t h e F i r s t I n t e r n a t i o n a l C o n f e r e n c e o n D o c u m e n t
A n a l y s i s a n d R e c o g n i t i o n , S a i n t - M a l o , 1 9 9 1 , 9 0 5 - 9 1 5 .
6 ] T . K . H o , A T h e o r y o f M u l t i p l e C l a s s i e r S y s t e m s A n d
I t s A p p l i c a t i o n t o V i s u a l W o r d R e c o g n i t i o n , D o c t o r a l
D i s s e r t a t i o n , D e p a r t m e n t o f C o m p u t e r S c i e n c e , S t a t e
U n i v e r s i t y o f N e w Y o r k a t B u a l o , 1 9 9 2 .
7 ] J . M . L a n d w e h r , D . P r e g i b o n , A . C . S h o e m a k e r ,
\ G r a p h i c a l M e t h o d s f o r A s s e s s i n g L o g i s t i c R e g r e s s i o n
M o d e l s " , J o u r n a l o f t h e A m e r i c a n S t a t i s t i c a l A s s o c i a -
t i o n , 7 9 , 3 8 5 , M a r c h 1 9 8 4 , 6 1 - 7 1 .
8 ] T . P a v l i d i s , T . H a s t i e , p e r s o n a l c o m m u n i c a t i o n s .
9 ] S A S I n s t i t u t e I n c . , S A S / S T A T U s e r ' s G u i d e , V e r s i o n
6 , F o u r t h E d i t i o n , S A S I n s t i t u t e I n c . , 1 9 8 9 .