7/29/2019 10.1.1.52.9672

1/8

I n : G . T e s a u r o , D . S . T o u r e t z k y a n d T . K . L e e n , e d s .

A d v a n c e s i n N e u r a l I n f o r m a t i o n P r o c e s s i n g S y s t e m s 7

p . 2 3 1 { 2 3 8 , M I T P r e s s , C a m b r i d g e M A , 1 9 9 5 .

N e u r a l N e t w o r k E n s e m b l e s , C r o s s

V a l i d a t i o n , a n d A c t i v e L e a r n i n g

A n d e r s K r o g h

N o r d i t a

B l e g d a m s v e j 1 7

2 1 0 0 C o p e n h a g e n , D e n m a r k

J e s p e r V e d e l s b y

E l e c t r o n i c s I n s t i t u t e , B u i l d i n g 3 4 9

T e c h n i c a l U n i v e r s i t y o f D e n m a r k

2 8 0 0 L y n g b y , D e n m a r k

A b s t r a c t

L e a r n i n g o f c o n t i n u o u s v a l u e d f u n c t i o n s u s i n g n e u r a l n e t w o r k e n -

s e m b l e s ( c o m m i t t e e s ) c a n g i v e i m p r o v e d a c c u r a c y , r e l i a b l e e s t i m a -

t i o n o f t h e g e n e r a l i z a t i o n e r r o r , a n d a c t i v e l e a r n i n g . T h e a m b i g u i t y

i s d e n e d a s t h e v a r i a t i o n o f t h e o u t p u t o f e n s e m b l e m e m b e r s a v e r -

a g e d o v e r u n l a b e l e d d a t a , s o i t q u a n t i e s t h e d i s a g r e e m e n t a m o n g

t h e n e t w o r k s . I t i s d i s c u s s e d h o w t o u s e t h e a m b i g u i t y i n c o m b i n a -

t i o n w i t h c r o s s - v a l i d a t i o n t o g i v e a r e l i a b l e e s t i m a t e o f t h e e n s e m b l e

g e n e r a l i z a t i o n e r r o r , a n d h o w t h i s t y p e o f e n s e m b l e c r o s s - v a l i d a t i o n

c a n s o m e t i m e s i m p r o v e p e r f o r m a n c e . I t i s s h o w n h o w t o e s t i m a t e

t h e o p t i m a l w e i g h t s o f t h e e n s e m b l e m e m b e r s u s i n g u n l a b e l e d d a t a

B y a g e n e r a l i z a t i o n o f q u e r y b y c o m m i t t e e , i t i s n a l l y s h o w n h o w

t h e a m b i g u i t y c a n b e u s e d t o s e l e c t n e w t r a i n i n g d a t a t o b e l a b e l e d

i n a n a c t i v e l e a r n i n g s c h e m e .

1 I N T R O D U C T I O N

I t i s w e l l k n o w n t h a t a c o m b i n a t i o n o f m a n y d i e r e n t p r e d i c t o r s c a n i m p r o v e p r e d i c -

t i o n s . I n t h e n e u r a l n e t w o r k s c o m m u n i t y \ e n s e m b l e s " o f n e u r a l n e t w o r k s h a s b e e n

i n v e s t i g a t e d b y s e v e r a l a u t h o r s , s e e f o r i n s t a n c e 1 , 2 , 3 ] . M o s t o f t e n t h e n e t w o r k s

i n t h e e n s e m b l e a r e t r a i n e d i n d i v i d u a l l y a n d t h e n t h e i r p r e d i c t i o n s a r e c o m b i n e d .

T h i s c o m b i n a t i o n i s u s u a l l y d o n e b y m a j o r i t y ( i n c l a s s i c a t i o n ) o r b y s i m p l e a v e r -

a g i n g ( i n r e g r e s s i o n ) , b u t o n e c a n a l s o u s e a w e i g h t e d c o m b i n a t i o n o f t h e n e t w o r k s .

A u t h o r t o w h o m c o r r e s p o n d e n c e s h o u l d b e a d d r e s s e d . E m a i l : k r o g h @ n o r d i t a . d k

1

7/29/2019 10.1.1.52.9672

2/8

A t t h e w o r k s h o p a f t e r t h e l a s t N I P S c o n f e r e n c e ( D e c e m b e r , 1 9 9 3 ) a n e n t i r e s e s s i o n

w a s d e v o t e d t o e n s e m b l e s o f n e u r a l n e t w o r k s ( \ P u t t i n g i t a l l t o g e t h e r " , c h a i r e d b y

M i c h a e l P e r r o n e ) . M a n y i n t e r e s t i n g p a p e r s w e r e g i v e n , a n d i t s h o w e d t h a t t h i s a r e a

i s g e t t i n g a l o t o f a t t e n t i o n .

A c o m b i n a t i o n o f t h e o u t p u t o f s e v e r a l n e t w o r k s ( o r o t h e r p r e d i c t o r s ) i s o n l y u s e f u l

i f t h e y d i s a g r e e o n s o m e i n p u t s . C l e a r l y , t h e r e i s n o m o r e i n f o r m a t i o n t o b e g a i n e d

f r o m a m i l l i o n i d e n t i c a l n e t w o r k s t h a n t h e r e i s f r o m j u s t o n e o f t h e m ( s e e a l s o

2 ] ) . B y q u a n t i f y i n g t h e d i s a g r e e m e n t i n t h e e n s e m b l e i t t u r n s o u t t o b e p o s s i b l e

t o s t a t e t h i s i n s i g h t r i g o r o u s l y f o r a n e n s e m b l e u s e d f o r a p p r o x i m a t i o n o f r e a l -

v a l u e d f u n c t i o n s ( r e g r e s s i o n ) . T h e s i m p l e a n d b e a u t i f u l e x p r e s s i o n t h a t r e l a t e s t h e

d i s a g r e e m e n t ( c a l l e d t h e e n s e m b l e a m b i g u i t y ) a n d t h e g e n e r a l i z a t i o n e r r o r i s t h e

b a s i s f o r t h i s p a p e r , s o w e w i l l d e r i v e i t w i t h n o f u r t h e r d e l a y .

2 T H E B I A S - V A R I A N C E T R A D E O F F

A s s u m e t h e t a s k i s t o l e a r n a f u n c t i o n f f r o m R

N

t o R f o r w h i c h y o u h a v e a s a m p l e

o f p e x a m p l e s , ( x

y

) , w h e r e y

= f ( x

) a n d = 1 ; : : : ; p . T h e s e e x a m p l e s

a r e a s s u m e d t o b e d r a w n r a n d o m l y f r o m t h e d i s t r i b u t i o n p ( x ) . A n y t h i n g i n t h e

f o l l o w i n g i s e a s y t o g e n e r a l i z e t o s e v e r a l o u t p u t v a r i a b l e s .

T h e e n s e m b l e c o n s i s t s o f N n e t w o r k s a n d t h e o u t p u t o f n e t w o r k o n i n p u t x i s

c a l l e d V

( x ) . A w e i g h t e d e n s e m b l e a v e r a g e i s d e n o t e d b y a b a r , l i k e

V ( x ) =

P

w

V

( x ) ( 1 )

T h i s i s t h e n a l o u t p u t o f t h e e n s e m b l e . W e t h i n k o f t h e w e i g h t w

a s o u r b e l i e f i n

n e t w o r k a n d t h e r e f o r e c o n s t r a i n t h e w e i g h t s t o b e p o s i t i v e a n d s u m t o o n e . T h e

c o n s t r a i n t o n t h e s u m i s c r u c i a l f o r s o m e o f t h e f o l l o w i n g r e s u l t s .

T h e a m b i g u i t y o n i n p u t x o f a s i n g l e m e m b e r o f t h e e n s e m b l e i s d e n e d a s a

( x ) =

( V

( x ) ? V ( x ) )

2

. T h e e n s e m b l e a m b i g u i t y o n i n p u t x i s

a ( x ) =

P

w

a

( x ) =

P

w

( V

( x ) ? V ( x ) )

2

( 2 )

I t i s s i m p l y t h e v a r i a n c e o f t h e w e i g h t e d e n s e m b l e a r o u n d t h e w e i g h e d m e a n , a n d

i t m e a s u r e s t h e d i s a g r e e m e n t a m o n g t h e n e t w o r k s o n i n p u t x . T h e q u a d r a t i c e r r o r

o f n e t w o r k a n d o f t h e e n s e m b l e a r e

( x ) = ( f ( x ) ? V

( x ) )

2

( 3 )

e ( x ) = ( f ( x ) ? V ( x ) )

2

( 4 )

r e s p e c t i v e l y . A d d i n g a n d s u b t r a c t i n g f ( x ) i n ( 2 ) y i e l d s

a ( x ) =

P

w

( x ) ? e ( x ) ( 5 )

( a f t e r a l i t t l e a l g e b r a u s i n g t h a t t h e w e i g h t s s u m t o o n e ) . C a l l i n g t h e w e i g h t e d

a v e r a g e o f t h e i n d i v i d u a l e r r o r s ( x ) =

P

w

( x ) t h i s b e c o m e s

e ( x ) = ( x ) ? a ( x ) ( 6 )

2

7/29/2019 10.1.1.52.9672

3/8

A l l t h e s e f o r m u l a s c a n b e a v e r a g e d o v e r t h e i n p u t d i s t r i b u t i o n . A v e r a g e s o v e r t h e

i n p u t d i s t r i b u t i o n w i l l b e d e n o t e d b y c a p i t a l l e t t e r , s o

E

=

R

d x p ( x )

( x ) ( 7 )

A

=

R

d x p ( x ) a

( x ) ( 8 )

E =

R

d x p ( x ) e ( x ) ( 9 )

T h e r s t t w o o f t h e s e a r e t h e g e n e r a l i z a t i o n e r r o r a n d t h e a m b i g u i t y r e s p e c t i v e l y

f o r n e t w o r k , a n d E i s t h e g e n e r a l i z a t i o n e r r o r f o r t h e e n s e m b l e . F r o m ( 6 ) w e t h e n

n d f o r t h e e n s e m b l e g e n e r a l i z a t i o n e r r o r

E = E ? A ( 1 0 )

T h e r s t t e r m o n t h e r i g h t i s t h e w e i g h t e d a v e r a g e o f t h e g e n e r a l i z a t i o n e r r o r s o f

t h e i n d i v i d u a l n e t w o r k s ( E =

P

w

E

) , a n d t h e s e c o n d i s t h e w e i g h t e d a v e r a g e

o f t h e a m b i g u i t i e s ( A =

P

w

A

) , w h i c h w e r e f e r t o a s t h e e n s e m b l e a m b i g u i t y .

T h e b e a u t y o f t h i s e q u a t i o n i s t h a t i t s e p a r a t e s t h e g e n e r a l i z a t i o n e r r o r i n t o a t e r m

t h a t d e p e n d s o n t h e g e n e r a l i z a t i o n e r r o r s o f t h e i n d i v i d u a l n e t w o r k s a n d a n o t h e r

t e r m t h a t c o n t a i n a l l c o r r e l a t i o n s b e t w e e n t h e n e t w o r k s . F u r t h e r m o r e , t h e c o r r e -

l a t i o n t e r m A c a n b e e s t i m a t e d e n t i r e l y f r o m u n l a b e l e d d a t a i . e . , n o k n o w l e d g e i s

r e q u i r e d o f t h e r e a l f u n c t i o n t o b e a p p r o x i m a t e d . T h e t e r m \ u n l a b e l e d e x a m p l e " i s

b o r r o w e d f r o m c l a s s i c a t i o n p r o b l e m s , a n d i n t h i s c o n t e x t i t m e a n s a n i n p u t x f o r

w h i c h t h e v a l u e o f t h e t a r g e t f u n c t i o n f ( x ) i s u n k n o w n .

E q u a t i o n ( 1 0 ) e x p r e s s e s t h e t r a d e o b e t w e e n b i a s a n d v a r i a n c e i n t h e e n s e m b l e ,

b u t i n a d i e r e n t w a y t h a n t h e t h e c o m m o n b i a s - v a r i a n c e r e l a t i o n 4 ] i n w h i c h t h e

a v e r a g e s a r e o v e r p o s s i b l e t r a i n i n g s e t s i n s t e a d o f e n s e m b l e a v e r a g e s . I f t h e e n s e m b l e

i s s t r o n g l y b i a s e d t h e a m b i g u i t y w i l l b e s m a l l , b e c a u s e t h e n e t w o r k s i m p l e m e n t v e r y

s i m i l a r f u n c t i o n s a n d t h u s a g r e e o n i n p u t s e v e n o u t s i d e t h e t r a i n i n g s e t . T h e r e f o r e

t h e g e n e r a l i z a t i o n e r r o r w i l l b e e s s e n t i a l l y e q u a l t o t h e w e i g h t e d a v e r a g e o f t h e

g e n e r a l i z a t i o n e r r o r s o f t h e i n d i v i d u a l n e t w o r k s . I f , o n t h e o t h e r h a n d , t h e r e i s a

l a r g e v a r i a n c e , t h e a m b i g u i t y i s h i g h a n d i n t h i s c a s e t h e g e n e r a l i z a t i o n e r r o r w i l l

b e s m a l l e r t h a n t h e a v e r a g e g e n e r a l i z a t i o n e r r o r . S e e a l s o 5 ] .

F r o m t h i s e q u a t i o n o n e c a n i m m e d i a t e l y s e e t h a t t h e g e n e r a l i z a t i o n e r r o r o f t h e

e n s e m b l e i s a l w a y s s m a l l e r t h a n t h e ( w e i g h t e d ) a v e r a g e o f t h e e n s e m b l e e r r o r s ,

E < E . I n p a r t i c u l a r f o r u n i f o r m w e i g h t s :

E

1

N

P

E

( 1 1 )

w h i c h h a s b e e n n o t e d b y s e v e r a l a u t h o r s , s e e e . g . 3 ] .

3 T H E C R O S S - V A L I D A T I O N E N S E M B L E

F r o m ( 1 0 ) i t i s o b v i o u s t h a t i n c r e a s i n g t h e a m b i g u i t y ( w h i l e n o t i n c r e a s i n g i n d i v i d u a l

g e n e r a l i z a t i o n e r r o r s ) w i l l i m p r o v e t h e o v e r a l l g e n e r a l i z a t i o n . W e w a n t t h e n e t w o r k s

t o d i s a g r e e ! H o w c a n w e i n c r e a s e t h e a m b i g u i t y o f t h e e n s e m b l e ? O n e w a y i s t o

u s e d i e r e n t t y p e s o f a p p r o x i m a t o r s l i k e a m i x t u r e o f n e u r a l n e t w o r k s o f d i e r e n t

t o p o l o g i e s o r a m i x t u r e o f c o m p l e t e l y d i e r e n t t y p e s o f a p p r o x i m a t o r s . A n o t h e r

3

7/29/2019 10.1.1.52.9672

4/8

-4 -2 0 2 4

x

-1.

0.

1.

V(x)

F i g u r e 1 : A n e n s e m b l e o f v e n e t w o r k s w e r e t r a i n e d t o a p p r o x i m a t e t h e s q u a r e

w a v e t a r g e t f u n c t i o n f ( x ) . T h e n a l e n s e m b l e o u t p u t ( s o l i d s m o o t h c u r v e ) a n d

t h e o u t p u t s o f t h e i n d i v i d u a l n e t w o r k s ( d o t t e d c u r v e s ) a r e s h o w n . A l s o t h e s q u a r e

r o o t o f t h e a m b i g u i t y i s s h o w n ( d a s h - d o t l i n e ) . F o r t r a i n i n g 2 0 0 r a n d o m e x a m p l e s

w e r e u s e d , b u t e a c h n e t w o r k h a d a c r o s s - v a l i d a t i o n s e t o f s i z e 4 0 , s o t h e y w e r e e a c h

t r a i n e d o n 1 6 0 e x a m p l e s .

o b v i o u s w a y i s t o t r a i n t h e n e t w o r k s o n d i e r e n t t r a i n i n g s e t s . F u r t h e r m o r e , t o b e

a b l e t o e s t i m a t e t h e r s t t e r m i n ( 1 0 ) i t w o u l d b e d e s i r a b l e t o h a v e s o m e k i n d o f

c r o s s - v a l i d a t i o n . T h i s s u g g e s t s t h e f o l l o w i n g s t r a t e g y .

C h o s e a n u m b e r K p . F o r e a c h n e t w o r k i n t h e e n s e m b l e h o l d o u t K e x a m p l e s f o r

t e s t i n g , w h e r e t h e N t e s t s e t s s h o u l d h a v e m i n i m a l o v e r l a p , i . e . , t h e N t r a i n i n g s e t s

s h o u l d b e a s d i e r e n t a s p o s s i b l e . I f , f o r i n s t a n c e , K p = N i t i s p o s s i b l e t o c h o o s e

t h e K t e s t s e t s w i t h n o o v e r l a p . T h i s e n a b l e s u s t o e s t i m a t e t h e g e n e r a l i z a t i o n e r r o r

E

o f t h e i n d i v i d u a l m e m b e r s o f t h e e n s e m b l e , a n d a t t h e s a m e t i m e m a k e s u r e

t h a t t h e a m b i g u i t y i n c r e a s e s . W h e n h o l d i n g o u t e x a m p l e s t h e g e n e r a l i z a t i o n e r r o r s

f o r t h e i n d i v i d u a l m e m b e r s o f t h e e n s e m b l e , E

, w i l l i n c r e a s e , b u t t h e c o n j e c t u r e

i s t h a t f o r a g o o d c h o i c e o f t h e s i z e o f t h e e n s e m b l e ( N ) a n d t h e t e s t s e t s i z e

( K ) , t h e a m b i g u i t y w i l l i n c r e a s e m o r e a n d t h u s o n e w i l l g e t a d e c r e a s e i n o v e r a l l

g e n e r a l i z a t i o n e r r o r .

T h i s c o n j e c t u r e h a s b e e n t e s t e d e x p e r i m e n t a l l y o n a s i m p l e s q u a r e w a v e f u n c t i o n

o f o n e v a r i a b l e s h o w n i n F i g u r e 1 . F i v e i d e n t i c a l f e e d - f o r w a r d n e t w o r k s w i t h o n e

h i d d e n l a y e r o f 2 0 u n i t s w e r e t r a i n e d i n d e p e n d e n t l y b y b a c k - p r o p a g a t i o n u s i n g 2 0 0

r a n d o m e x a m p l e s . F o r e a c h n e t w o r k a c r o s s - v a l i d a t i o n s e t o f K e x a m p l e s w a s h e l d

o u t f o r t e s t i n g a s d e s c r i b e d a b o v e . T h e \ t r u e " g e n e r a l i z a t i o n a n d t h e a m b i g u i t y w e r e

e s t i m a t e d f r o m a s e t o f 1 0 0 0 r a n d o m i n p u t s . T h e w e i g h t s w e r e u n i f o r m , w

= 1 = 5

( n o n - u n i f o r m w e i g h t s a r e a d d r e s s e d l a t e r ) .

I n F i g u r e 2 a v e r a g e r e s u l t s o v e r 1 2 i n d e p e n d e n t r u n s a r e s h o w n f o r s o m e v a l u e s o f

4

7/29/2019 10.1.1.52.9672

5/8

F i g u r e 2 : T h e s o l i d l i n e s h o w s t h e g e n -

e r a l i z a t i o n e r r o r f o r u n i f o r m w e i g h t s a s

a f u n c t i o n o f K , w h e r e K i s t h e s i z e

o f t h e c r o s s - v a l i d a t i o n s e t s . T h e d o t t e d

l i n e i s t h e e r r o r e s t i m a t e d f r o m e q u a -

t i o n ( 1 0 ) . T h e d a s h e d l i n e i s f o r t h e

o p t i m a l w e i g h t s e s t i m a t e d b y t h e u s e o f

t h e g e n e r a l i z a t i o n e r r o r s f o r t h e i n d i v i d -

u a l n e t w o r k s e s t i m a t e d f r o m t h e c r o s s -

v a l i d a t i o n s e t s a s d e s c r i b e d i n t h e t e x t .

T h e b o t t o m s o l i d l i n e i s t h e g e n e r a l i z a -

t i o n e r r o r o n e w o u l d o b t a i n i f t h e i n d i -

v i d u a l g e n e r a l i z a t i o n e r r o r s w e r e k n o w n

e x a c t l y ( t h e b e s t p o s s i b l e w e i g h t s ) .

0 20 40 60 80

Size of CV set

0.02

0.04

0.06

0.08

GeneralizationError

K ( t o p s o l i d l i n e ) . F i r s t , o n e s h o u l d n o t e t h a t t h e g e n e r a l i z a t i o n e r r o r i s t h e s a m e

f o r a c r o s s - v a l i d a t i o n s e t o f s i z e 4 0 a s f o r s i z e 0 , a l t h o u g h n o t l o w e r , s o i t s u p p o r t s

t h e c o n j e c t u r e i n a w e a k e r f o r m . H o w e v e r , w e h a v e d o n e m a n y e x p e r i m e n t s , a n d

d e p e n d i n g o n t h e e x p e r i m e n t a l s e t u p t h e c u r v e c a n t a k e o n a l m o s t a n y f o r m , s o m e -

t i m e s t h e e r r o r i s l a r g e r a t z e r o t h a n a t 4 0 o r v i c e v e r s a . I n t h e e x p e r i m e n t s s h o w n ,

o n l y e n s e m b l e s w i t h a t l e a s t f o u r c o n v e r g i n g n e t w o r k s o u t o f v e w e r e u s e d . I f a l l

t h e e n s e m b l e s w e r e k e p t , t h e e r r o r w o u l d h a v e b e e n s i g n i c a n t l y h i g h e r a t K = 0

t h a n f o r K > 0 b e c a u s e i n a b o u t h a l f o f t h e r u n s n o n e o f t h e n e t w o r k s i n t h e e n -

s e m b l e c o n v e r g e d | s o m e t h i n g t h a t s e l d o m h a p p e n e d w h e n a c r o s s - v a l i d a t i o n s e t

w a s u s e d . T h u s i t i s s t i l l u n c l e a r u n d e r w h i c h c i r c u m s t a n c e s o n e c a n e x p e c t a d r o p

i n g e n e r a l i z a t i o n e r r o r w h e n u s i n g c r o s s - v a l i d a t i o n i n t h i s f a s h i o n .

T h e d o t t e d l i n e i n F i g u r e 2 i s t h e e r r o r e s t i m a t e d f r o m e q u a t i o n ( 1 0 ) u s i n g t h e

c r o s s - v a l i d a t i o n s e t s f o r e a c h o f t h e n e t w o r k s t o e s t i m a t e E

, a n d o n e n o t i c e s a

g o o d a g r e e m e n t .

4 O P T I M A L W E I G H T S

T h e w e i g h t s w

c a n b e e s t i m a t e d a s d e s c r i b e d i n e . g . 3 ] . W e s u g g e s t i n s t e a d

t o u s e u n l a b e l e d d a t a a n d e s t i m a t e t h e m i n s u c h a w a y t h a t t h e y m i n i m i z e t h e

g e n e r a l i z a t i o n e r r o r g i v e n i n ( 1 0 ) .

T h e r e i s n o a n a l y t i c a l s o l u t i o n f o r t h e w e i g h t s , b u t s o m e t h i n g c a n b e s a i d a b o u t

t h e m i n i m u m p o i n t o f t h e g e n e r a l i z a t i o n e r r o r . C a l c u l a t i n g t h e d e r i v a t i v e o f E a s

g i v e n i n ( 1 0 ) s u b j e c t t o t h e c o n s t r a i n t s o n t h e w e i g h t s a n d s e t t i n g i t e q u a l t o z e r o

s h o w s t h a t

E

? A

= E o r w

= 0 ( 1 2 )

( T h e c a l c u l a t i o n i s n o t s h o w n b e c a u s e o f s p a c e l i m i t a t i o n s , b u t i t i s e a s y t o d o . )

T h a t i s , E

? A

h a s t o b e t h e s a m e f o r a l l t h e n e t w o r k s . N o t i c e t h a t A

d e p e n d s

o n t h e w e i g h t s t h r o u g h t h e e n s e m b l e a v e r a g e o f t h e o u t p u t s . I t s h o w s t h a t t h e

o p t i m a l w e i g h t s h a v e t o b e c h o s e n s u c h t h a t e a c h n e t w o r k c o n t r i b u t e s e x a c t l y w

E

5

7/29/2019 10.1.1.52.9672

6/8

t o t h e g e n e r a l i z a t i o n e r r o r . N o t e , h o w e v e r , t h a t a m e m b e r o f t h e e n s e m b l e c a n h a v e

s u c h a p o o r g e n e r a l i z a t i o n o r b e s o c o r r e l a t e d w i t h t h e r e s t o f t h e e n s e m b l e t h a t i t

i s o p t i m a l t o s e t i t s w e i g h t t o z e r o .

T h e w e i g h t s c a n b e \ l e a r n e d " f r o m u n l a b e l e d e x a m p l e s e . g . b y g r a d i e n t d e s c e n t

m i n i m i z a t i o n o f t h e e s t i m a t e o f t h e g e n e r a l i z a t i o n e r r o r ( 1 0 ) . A m o r e e c i e n t

a p p r o a c h t o n d i n g t h e o p t i m a l w e i g h t s i s t o t u r n i t i n t o a q u a d r a t i c o p t i m i z a t i o n

p r o b l e m . T h a t p r o b l e m i s n o n - t r i v i a l o n l y b e c a u s e o f t h e c o n s t r a i n t s o n t h e w e i g h t s

(

P

w

= 1 a n d w

0 ) . D e n e t h e c o r r e l a t i o n m a t r i x ,

C

=

R

d x p ( x ) V

( x ) V

( x ) ( 1 3 )

T h e n , u s i n g t h a t t h e w e i g h t s s u m t o o n e , e q u a t i o n ( 1 0 ) c a n b e r e w r i t t e n a s

E =

P

w

E

+

P

w

C

w

?

P

w

C

( 1 4 )

H a v i n g e s t i m a t e s o f E

a n d C

t h e o p t i m a l w e i g h t s c a n b e f o u n d b y l i n e a r p r o -

g r a m m i n g o r o t h e r o p t i m i z a t i o n t e c h n i q u e s . J u s t l i k e t h e a m b i g u i t y , t h e c o r r e l a t i o n

m a t r i x c a n b e e s t i m a t e d f r o m u n l a b e l e d d a t a t o a n y a c c u r a c y n e e d e d ( p r o v i d e d t h a t

t h e i n p u t d i s t r i b u t i o n p i s k n o w n ) .

I n F i g u r e 2 t h e r e s u l t s f r o m a n e x p e r i m e n t w i t h w e i g h t o p t i m i z a t i o n a r e s h o w n .

T h e d a s h e d c u r v e s h o w s t h e g e n e r a l i z a t i o n e r r o r w h e n t h e w e i g h t s a r e o p t i m i z e d a s

d e s c r i b e d a b o v e u s i n g t h e e s t i m a t e s o f E

f r o m t h e c r o s s - v a l i d a t i o n ( o n K e x a m -

p l e s ) . T h e l o w e s t s o l i d c u r v e i s f o r t h e i d e a l i z e d c a s e , w h e n i t i s a s s u m e d t h a t t h e

e r r o r s E

a r e k n o w n e x a c t l y , s o i t s h o w s t h e l o w e s t p o s s i b l e e r r o r . T h e p e r f o r m a n c e

i m p r o v e m e n t i s q u i t e c o n v i n c i n g w h e n t h e c r o s s - v a l i d a t i o n e s t i m a t e s a r e u s e d .

I t i s i m p o r t a n t t o n o t i c e t h a t a n y e s t i m a t e o f t h e g e n e r a l i z a t i o n e r r o r o f t h e i n d i -

v i d u a l n e t w o r k s c a n b e u s e d i n e q u a t i o n ( 1 4 ) . I f o n e i s c e r t a i n t h a t t h e i n d i v i d u a l

n e t w o r k s d o n o t o v e r t , o n e m i g h t e v e n u s e t h e t r a i n i n g e r r o r s a s e s t i m a t e s f o r

E

( s e e 3 ] ) . I t i s a l s o p o s s i b l e t o u s e s o m e k i n d o f r e g u l a r i z a t i o n i n ( 1 4 ) , i f t h e

c r o s s - v a l i d a t i o n s e t s a r e s m a l l .

5 A C T I V E L E A R N I N G

I n s o m e n e u r a l n e t w o r k a p p l i c a t i o n s i t i s v e r y t i m e c o n s u m i n g a n d / o r e x p e n s i v e

t o a c q u i r e t r a i n i n g d a t a , e . g . , i f a c o m p l i c a t e d m e a s u r e m e n t i s r e q u i r e d t o n d t h e

v a l u e o f t h e t a r g e t f u n c t i o n f o r a c e r t a i n i n p u t . T h e r e f o r e i t i s d e s i r a b l e t o o n l y u s e

e x a m p l e s w i t h m a x i m a l i n f o r m a t i o n a b o u t t h e f u n c t i o n . M e t h o d s w h e r e t h e l e a r n e r

p o i n t s o u t g o o d e x a m p l e s a r e o f t e n c a l l e d a c t i v e l e a r n i n g .

W e p r o p o s e a q u e r y - b a s e d a c t i v e l e a r n i n g s c h e m e t h a t a p p l i e s t o e n s e m b l e s o f n e t -

w o r k s w i t h c o n t i n u o u s - v a l u e d o u t p u t . I t i s e s s e n t i a l l y a g e n e r a l i z a t i o n o f q u e r y b y

c o m m i t t e e 6 , 7 ] t h a t w a s d e v e l o p e d f o r c l a s s i c a t i o n p r o b l e m s . O u r b a s i c a s s u m p -

t i o n i s t h a t t h o s e p a t t e r n s i n t h e i n p u t s p a c e y i e l d i n g t h e l a r g e s t e r r o r a r e t h o s e

p o i n t s w e w o u l d b e n e t t h e m o s t f r o m i n c l u d i n g i n t h e t r a i n i n g s e t .

S i n c e t h e g e n e r a l i z a t i o n e r r o r i s a l w a y s n o n - n e g a t i v e , w e s e e f r o m ( 6 ) t h a t t h e

w e i g h t e d a v e r a g e o f t h e i n d i v i d u a l n e t w o r k e r r o r s i s a l w a y s l a r g e r t h a n o r e q u a l t o

t h e e n s e m b l e a m b i g u i t y ,

( x ) a ( x ) ( 1 5 )

6

7/29/2019 10.1.1.52.9672

7/8

0.5

1

1.5

2

2.5

0 10 20 30 40 50

Generalizationerror

Training set size0 10 20 30 40 50

Training set size

F i g u r e 3 : I n b o t h p l o t s t h e f u l l l i n e s h o w s t h e a v e r a g e g e n e r a l i z a t i o n f o r a c t i v e

l e a r n i n g , a n d t h e d a s h e d l i n e f o r p a s s i v e l e a r n i n g a s a f u n c t i o n o f t h e n u m b e r o f

t r a i n i n g e x a m p l e s . T h e d o t s i n t h e l e f t p l o t s h o w t h e r e s u l t s o f t h e i n d i v i d u a l

e x p e r i m e n t s c o n t r i b u t i n g t o t h e m e a n f o r t h e a c t i v e l e a r n i n g . T h e d o t s i n r i g h t p l o t

s h o w t h e s a m e f o r p a s s i v e l e a r n i n g .

w h i c h t e l l s u s t h a t t h e a m b i g u i t y i s a l o w e r b o u n d f o r t h e w e i g h t e d a v e r a g e o f t h e

s q u a r e d e r r o r . A n i n p u t p a t t e r n t h a t y i e l d s a l a r g e a m b i g u i t y w i l l a l w a y s h a v e a

l a r g e a v e r a g e e r r o r . O n t h e o t h e r h a n d , a l o w a m b i g u i t y d o e s n o t n e c e s s a r i l y i m p l y

a l o w e r r o r . I f t h e i n d i v i d u a l n e t w o r k s a r e t r a i n e d t o a l o w t r a i n i n g e r r o r o n t h e

s a m e s e t o f e x a m p l e s t h e n b o t h t h e e r r o r a n d t h e a m b i g u i t y a r e l o w o n t h e t r a i n i n g

p o i n t s . T h i s e n s u r e s t h a t a p a t t e r n y i e l d i n g a l a r g e a m b i g u i t y c a n n o t b e i n t h e c l o s e

n e i g h b o r h o o d o f a t r a i n i n g e x a m p l e . T h e a m b i g u i t y w i l l t o s o m e e x t e n t f o l l o w t h e

u c t u a t i o n s i n t h e e r r o r . S i n c e t h e a m b i g u i t y i s c a l c u l a t e d f r o m u n l a b e l e d e x a m p l e s

t h e i n p u t - s p a c e c a n b e s c a n n e d f o r t h e s e a r e a s t o a n y d e t a i l . T h e s e i d e a s a r e w e l l

i l l u s t r a t e d i n F i g u r e 1 , w h e r e t h e c o r r e l a t i o n b e t w e e n e r r o r a n d a m b i g u i t y i s q u i t e

s t r o n g , a l t h o u g h n o t p e r f e c t .

T h e r e s u l t s o f a n e x p e r i m e n t w i t h t h e a c t i v e l e a r n i n g s c h e m e i s s h o w n i n F i g u r e 3 .

A n e n s e m b l e o f 5 n e t w o r k s w a s t r a i n e d t o a p p r o x i m a t e t h e s q u a r e - w a v e f u n c t i o n

s h o w n i n F i g u r e 1 , b u t i n t h i s e x p e r i m e n t s t h e f u n c t i o n w a s r e s t r i c t e d t o t h e i n t e r v a l

f r o m ? 2 t o 2 . T h e c u r v e s s h o w t h e n a l g e n e r a l i z a t i o n e r r o r o f t h e e n s e m b l e i n a

p a s s i v e ( d a s h e d l i n e ) a n d a n a c t i v e l e a r n i n g t e s t ( s o l i d l i n e ) . F o r e a c h t r a i n i n g s e t

s i z e 2 x 4 0 i n d e p e n d e n t t e s t s w e r e m a d e , a l l s t a r t i n g w i t h t h e s a m e i n i t i a l t r a i n i n g

s e t o f a s i n g l e e x a m p l e . E x a m p l e s w e r e g e n e r a t e d a n d a d d e d o n e a t a t i m e . I n t h e

p a s s i v e t e s t e x a m p l e s w e r e g e n e r a t e d a t r a n d o m , a n d i n t h e a c t i v e o n e e a c h e x a m p l e

w a s s e l e c t e d a s t h e i n p u t t h a t g a v e t h e l a r g e s t a m b i g u i t y o u t o f 8 0 0 r a n d o m o n e s .

F i g u r e 3 a l s o s h o w s t h e d i s t r i b u t i o n o f t h e i n d i v i d u a l r e s u l t s o f t h e a c t i v e a n d

p a s s i v e l e a r n i n g t e s t s . N o t o n l y d o w e o b t a i n s i g n i c a n t l y b e t t e r g e n e r a l i z a t i o n b y

a c t i v e l e a r n i n g , t h e r e i s a l s o l e s s s c a t t e r i n t h e r e s u l t s . I t s e e m s t o b e e a s i e r f o r t h e

e n s e m b l e t o l e a r n f r o m t h e a c t i v e l y g e n e r a t e d s e t .

7

7/29/2019 10.1.1.52.9672

8/8

6 C O N C L U S I O N

T h e c e n t r a l i d e a i n t h i s p a p e r w a s t o s h o w t h a t t h e r e i s a l o t t o b e g a i n e d f r o m

u s i n g u n l a b e l e d d a t a w h e n t r a i n i n g i n e n s e m b l e s . A l t h o u g h w e d e a l t w i t h n e u r a l

n e t w o r k s , a l l t h e t h e o r y h o l d s f o r a n y o t h e r t y p e o f m e t h o d u s e d a s t h e i n d i v i d u a l

m e m b e r s o f t h e e n s e m b l e .

I t w a s s h o w n t h a t a p a r t f r o m g e t t i n g t h e i n d i v i d u a l m e m b e r s o f t h e e n s e m b l e t o

g e n e r a l i z e w e l l , i t i s i m p o r t a n t f o r g e n e r a l i z a t i o n t h a t t h e i n d i v i d u a l s d i s a g r e e s a s

m u c h a s p o s s i b l e , a n d w e d i s c u s s e d o n e m e t h o d t o m a k e e v e n i d e n t i c a l n e t w o r k s

d i s a g r e e . T h i s w a s d o n e b y t r a i n i n g t h e i n d i v i d u a l s o n d i e r e n t t r a i n i n g s e t s b y

h o l d i n g o u t s o m e e x a m p l e s f o r e a c h i n d i v i d u a l d u r i n g t r a i n i n g . T h i s h a d t h e a d d e d

a d v a n t a g e t h a t t h e s e e x a m p l e s c o u l d b e u s e d f o r t e s t i n g , a n d t h e r e b y o n e c o u l d

o b t a i n g o o d e s t i m a t e s o f t h e g e n e r a l i z a t i o n e r r o r .

I t w a s d i s c u s s e d h o w t o n d t h e o p t i m a l w e i g h t s f o r t h e i n d i v i d u a l s o f t h e e n s e m b l e .

F o r o u r s i m p l e t e s t p r o b l e m t h e w e i g h t s f o u n d i m p r o v e d t h e p e r f o r m a n c e o f t h e

e n s e m b l e s i g n i c a n t l y .

F i n a l l y a m e t h o d f o r a c t i v e l e a r n i n g w a s d e s c r i b e d , w h i c h w a s b a s e d o n t h e m e t h o d

o f q u e r y b y c o m m i t t e e d e v e l o p e d f o r c l a s s i c a t i o n p r o b l e m s . T h e i d e a i s t h a t i f t h e

e n s e m b l e d i s a g r e e s s t r o n g l y o n a n i n p u t , i t w o u l d b e g o o d t o n d t h e l a b e l f o r t h a t

i n p u t a n d i n c l u d e i t i n t h e t r a i n i n g s e t f o r t h e e n s e m b l e . I t w a s s h o w n h o w a c t i v e

l e a r n i n g i m p r o v e s t h e l e a r n i n g c u r v e a l o t f o r a s i m p l e t e s t p r o b l e m .

A c k n o w l e d g e m e n t s

W e w o u l d l i k e t o t h a n k P e t e r S a l a m o n f o r n u m e r o u s d i s c u s s i o n s a n d f o r h i s i m p l e -

m e n t a t i o n o f l i n e a r p r o g r a m m i n g f o r o p t i m i z a t i o n o f t h e w e i g h t s . W e a l s o t h a n k

L a r s K a i H a n s e n f o r m a n y d i s c u s s i o n s a n d g r e a t i n s i g h t s , a n d D a v i d W o l p e r t f o r

v a l u a b l e c o m m e n t s .

R e f e r e n c e s

1 ] L . K . H a n s e n a n d P S a l a m o n . N e u r a l n e t w o r k e n s e m b l e s . I E E E T r a n s a c t i o n s o n

P a t t e r n A n a l y s i s a n d M a c h i n e I n t e l l i g e n c e , 1 2 ( 1 0 ) : 9 9 3 { 1 0 0 1 , O c t . 1 9 9 0 .

2 ] D . H W o l p e r t . S t a c k e d g e n e r a l i z a t i o n . N e u r a l N e t w o r k s , 5 ( 2 ) : 2 4 1 { 5 9 , 1 9 9 2 .

3 ] M i c h a e l P . P e r r o n e a n d L e o n N C o o p e r . W h e n n e t w o r k s d i s a g r e e : E n s e m b l e m e t h o d

f o r n e u r a l n e t w o r k s . I n R . J . M a m m o n e , e d i t o r , N e u r a l N e t w o r k s f o r S p e e c h a n d I m a g e

p r o c e s s i n g . C h a p m a n - H a l l , 1 9 9 3 .

4 ] S . G e m a n , E . B i e n e n s t o c k , a n d R D o u r s a t . N e u r a l n e t w o r k s a n d t h e b i a s / v a r i a n c e

d i l e m m a . N e u r a l C o m p u t a t i o n , 4 ( 1 ) : 1 { 5 8 , J a n . 1 9 9 2 .

5 ] R o n n y M e i r . B i a s , v a r i a n c e a n d t h e c o m b i n a t i o n o f e s t i m a t o r s ; t h e c a s e o f l i n e a r l e a s t

s q u a r e s . P r e p r i n t ( I n N e u r o p r o s e ) , T e c h n i o n , H e i f a , I s r a e l , 1 9 9 4 .

6 ] H . S . S e u n g , M . O p p e r , a n d H . S o m p o l i n s k y . Q u e r y b y c o m m i t t e e . I n P r o c e e d i n g s o f

t h e F i f t h W o r k s h o p o n C o m p u t a t i o n a l L e a r n i n g T h e o r y , p a g e s 2 8 7 { 2 9 4 , S a n M a t e o ,

C A , 1 9 9 2 . M o r g a n K a u f m a n n .

7 ] Y . F r e u n d , H . S . S e u n g , E . S h a m i r , a n d N . T i s h b y . I n f o r m a t i o n , p r e d i c t i o n , a n d q u e r y

b y c o m m i t t e e . I n A d v a n c e s i n N e u r a l I n f o r m a t i o n P r o c e s s i n g S y s t e m s , v o l u m e 5 , S a n

M a t e o , C a l i f o r n i a , 1 9 9 3 . M o r g a n K a u f m a n n .

8