Improvements to SMO Algorithm for SVM Regression_ieee_smo_reg

8/17/2019 Improvements to SMO Algorithm for SVM Regression_ieee_smo_reg

1/15

I m p r o v e m e n t s t o S M O A l g o r i t h m f o r S V M R e g r e s s i o n

1

S . K . S h e v a d e S . S . K e e r t h i C . B h a t t a c h a r y y a & K . R . K . M u r t

s h i r i s h @ c s a . i i s c . e r n e t . i n m p e s s k @ g u p p y . m p e . n u s . e d u . s g c b c h i r u @ c s a . i i s c . e r n e t . i n m u r t h y @ c s a . i i s c . e r

1

A u t h o r f o r C o r r e s p o n d e n c e : P r o f . S . S . K e e r t h i , D e p t o f M e c h a n i c a l a n d P r o d u c t i o n E n g i n e e r i n g , N a t i o n a l

U n i v e r s i t y o f S i n g a p o r e , S i n g a p o r e - 1 1 9 6 2 0


2/15

A b s t r a c t

T h i s p a p e r p o i n t s o u t a n i m p o r t a n t s o u r c e o f i n e c i e n c y i n S m o l a a n d S c h o l k o p f ' s S e q u e n -

t i a l M i n i m a l O p t i m i z a t i o n ( S M O ) a l g o r i t h m f o r S V M r e g r e s s i o n t h a t i s c a u s e d b y t h e u s e o f a

s i n g l e t h r e s h o l d v a l u e . U s i n g c l u e s f r o m t h e K K T c o n d i t i o n s f o r t h e d u a l p r o b l e m , t w o t h r e s h -

o l d p a r a m e t e r s a r e e m p l o y e d t o d e r i v e m o d i c a t i o n s o f S M O f o r r e g r e s s i o n . T h e s e m o d i e d

a l g o r i t h m s p e r f o r m s i g n i c a n t l y f a s t e r t h a n t h e o r i g i n a l S M O o n t h e d a t a s e t s t r i e d .

1 I n t r o d u c t i o n

S u p p o r t V e c t o r M a c h i n e ( S V M ) i s a n e l e g a n t t o o l f o r s o l v i n g p a t t e r n - r e c o g n i t i o n a n d r e g r e s s i o n

p r o b l e m s . O v e r t h e p a s t f e w y e a r s , i t h a s a t t r a c t e d a l o t o f r e s e a r c h e r s f r o m t h e n e u r a l n e t w o r k

a n d m a t h e m a t i c a l p r o g r a m m i n g c o m m u n i t y t h e m a i n r e a s o n f o r t h i s b e i n g t h e i r a b i l i t y t o p r o v i d e

e x c e l l e n t g e n e r a l i z a t i o n p e r f o r m a n c e . S V M s h a v e a l s o b e e n d e m o n s t r a t e d t o b e v a l u a b l e f o r s e v e r a l

r e a l - w o r l d a p p l i c a t i o n s .

I n t h i s p a p e r , w e a d d r e s s t h e S V M r e g r e s s i o n p r o b l e m . R e c e n t l y , S m o l a a n d S c h o l k o p f 7 , 8 ]

p r o p o s e d a n i t e r a t i v e a l g o r i t h m c a l l e d S e q u e n t i a l M i n i m a l O p t i m i z a t i o n ( S M O ) , f o r s o l v i n g t h e

r e g r e s s i o n p r o b l e m u s i n g S V M . T h i s a l g o r i t h m i s a n e x t e n s i o n o f t h e S M O a l g o r i t h m p r o p o s e d b y

P l a t t 5 ] f o r S V M c l a s s i e r d e s i g n . T h e r e m a r k a b l e f e a t u r e o f t h e S M O a l g o r i t h m s i s t h a t t h e y a r e

f a s t a s w e l l a s v e r y e a s y t o i m p l e m e n t . I n a r e c e n t p a p e r 4 ] w e s u g g e s t e d s o m e i m p r o v e m e n t s t o

P l a t t ' s S M O a l g o r i t h m f o r S V M c l a s s i e r d e s i g n . I n t h i s p a p e r , w e e x t e n d t h o s e i d e a s t o S m o l a

a n d S c h o l k o p f ' s S M O a l g o r i t h m f o r r e g r e s s i o n . T h e i m p r o v e m e n t s t h a t w e s u g g e s t i n t h i s p a p e r

e n h a n c e t h e v a l u e o f S M O f o r r e g r e s s i o n e v e n f u r t h e r . I n p a r t i c u l a r , w e p o i n t o u t a n i m p o r t a n t

s o u r c e o f i n e c i e n c y c a u s e d b y t h e w a y S M O m a i n t a i n s a n d u p d a t e s a s i n g l e t h r e s h o l d v a l u e .

G e t t i n g c l u e s f r o m o p t i m a l i t y c r i t e r i a a s s o c i a t e d w i t h t h e K a r u s h - K u h n - T u c k e r ( K K T ) c o n d i t i o n s

f o r t h e d u a l p r o b l e m , w e s u g g e s t t h e u s e o f t w o t h r e s h o l d p a r a m e t e r s a n d d e v i s e t w o m o d i e d

v e r s i o n s o f S M O f o r r e g r e s s i o n t h a t a r e e c i e n t t h a n t h e o r i g i n a l S M O . C o m p u t a t i o n a l c o m p a r i s o n

o n d a t a s e t s s h o w t h a t t h e m o d i c a t i o n s p e r f o r m s i g n i c a n t l y b e t t e r t h a n t h e o r i g i n a l S M O .

T h e p a p e r i s o r g a n i z e d a s f o l l o w s . I n s e c t i o n 2 w e b r i e y d i s c u s s t h e S V M r e g r e s s i o n p r o b l e m

f o r m u l a t i o n , t h e d u a l p r o b l e m a n d t h e a s s o c i a t e d K K T o p t i m a l i t y c o n d i t i o n s . W e a l s o p o i n t o u t

h o w t h e s e c o n d i t i o n s l e a d t o p r o p e r c r i t e r i a f o r t e r m i n a t i n g a l g o r i t h m s f o r d e s i g n i n g S V M f o r

r e g r e s s i o n . S e c t i o n 3 g i v e s a b r i e f o v e r v i e w o f S m o l a ' s S M O a l g o r i t h m f o r r e g r e s s i o n . I n s e c t i o n

1


3/15

4 w e p o i n t o u t t h e i n e c i e n c y a s s o c i a t e d w i t h t h e w a y S M O u s e s a s i n g l e t h r e s h o l d v a l u e a n d

d e s c r i b e t h e m o d i e d a l g o r i t h m i n s e c t i o n 5 . C o m p u t a t i o n a l c o m p a r i s o n i s d o n e i n s e c t i o n 6 .

2 T h e S V M R e g r e s s i o n P r o b l e m a n d O p t i m a l i t y C o n d i t i o n s

T h e b a s i c p r o b l e m a d d r e s s e d i n t h i s p a p e r i s t h e r e g r e s s i o n p r o b l e m . T h e t u t o r i a l b y S m o l a a n d

S c h o l k o p f 7 ] g i v e s a g o o d o v e r v i e w o f t h e s o l u t i o n o f t h i s p r o b l e m u s i n g S V M s . T h r o u g h o u t t h e

p a p e r w e w i l l u s e x t o d e n o t e t h e i n p u t v e c t o r o f t h e s u p p o r t v e c t o r m a c h i n e a n d z t o d e n o t e t h e

f e a t u r e s p a c e v e c t o r w h i c h i s r e l a t e d t o x b y a t r a n s f o r m a t i o n , z = ( x ) . L e t t h e t r a i n i n g s e t ,

f x

i

d

i

g , c o n s i s t o f m d a t a p o i n t s , w h e r e x

i

i s t h e i - t h i n p u t p a t t e r n a n d d

i

i s t h e c o r r e s p o n d i n g

t a r g e t v a l u e , d

i

2 R . T h e g o a l o f S V M r e g r e s s i o n i s t o e s t i m a t e a f u n c t i o n f ( x ) t h a t i s a s \ c l o s e "

a s p o s s i b l e t o t h e t a r g e t v a l u e s d

i

f o r e v e r y x

i

a n d a t t h e s a m e t i m e , i s a s \ a t " a s p o s s i b l e f o r

g o o d g e n e r a l i z a t i o n . T h e f u n c t i o n f i s r e p r e s e n t e d u s i n g a l i n e a r f u n c t i o n i n t h e f e a t u r e s p a c e :

f ( x ) = w ( x ) + b

w h e r e b d e n o t e s t h e b i a s . A s i n a l l S V M d e s i g n s , w e d e n e t h e k e r n e l f u n c t i o n k ( x ^ x ) = ( x ) ( ^ x ) ,

w h e r e \ " d e n o t e s i n n e r p r o d u c t i n t h e z s p a c e . T h u s , a l l c o m p u t a t i o n s w i l l b e d o n e u s i n g o n l y t h e

k e r n e l f u n c t i o n . T h i s i n n e r - p r o d u c t k e r n e l h e l p s i n t a k i n g t h e d o t p r o d u c t o f t w o v e c t o r s i n t h e

f e a t u r e s p a c e w i t h o u t h a v i n g t o c o n s t r u c t t h e f e a t u r e s p a c e e x p l i c i t l y . M e r c e r ' s t h e o r e m 2 ] t e l l s t h e

c o n d i t i o n s u n d e r w h i c h t h i s k e r n e l o p e r a t o r i s u s e f u l f o r S V M d e s i g n s .

F o r S V M r e g r e s s i o n p u r p o s e s , V a p n i k 9 ] s u g g e s t e d t h e u s e o f - i n s e n s i t i v e l o s s f u n c t i o n w h e r e

t h e e r r o r i s n o t p e n a l i z e d a s l o n g a s i t i s l e s s t h a n . I t i s a s s u m e d h e r e t h a t i s k n o w n a p r i o r i .

U s i n g t h i s e r r o r f u n c t i o n t o g e t h e r w i t h a r e g u l a r i z i n g t e r m , a n d l e t t i n g z

i

= ( x

i

) , t h e o p t i m i z a t i o n

p r o b l e m s o l v e d b y t h e s u p p o r t v e c t o r m a c h i n e c a n b e f o r m u l a t e d a s :

m i n

1

2

k w k

2

+ C

P

i

(

i

+

i

0

)

s : t : d

i

; w z

i

; b +

i

w z

i

+ b ; d

i

+

i

0

i

i

0

0

( P )

T h e a b o v e p r o b l e m i s r e f e r r e d t o a s t h e p r i m a l p r o b l e m . T h e c o n s t a n t C > 0 d e t e r m i n e s t h e

t r a d e - o b e t w e e n t h e s m o o t h n e s s o f f a n d t h e a m o u n t u p t o w h i c h d e v i a t i o n s l a r g e r t h a n a r e

t o l e r a t e d .

2


4/15

L e t u s d e n e w (

0

) =

P

i

(

i

;

i

0

) z

i

: W e w i l l r e f e r t o t h e

i

( 0 )

' s a s L a g r a n g e m u l t i p l i e r s .

U s i n g W o l f e d u a l i t y t h e o r y , i t c a n b e s h o w n t h a t t h e

( 0 )

' s a r e o b t a i n e d b y s o l v i n g t h e f o l l o w i n g

D u a l p r o b l e m :

m a x

X

i

d

i

(

i

;

i

0

) ;

X

i

(

i

+

i

0

) ;

1

2

w (

0

) w (

0

)

s : t :

X

i

(

i

;

i

0

) = 0

i

i

0

2 0 C ] 8 i

( D )

O n c e t h e

i

' s a n d

i

0

' s a r e o b t a i n e d , t h e p r i m a l v a r i a b l e s , w b

i

a n d

i

0

c a n b e e a s i l y d e t e r m i n e d

b y u s i n g t h e K K T c o n d i t i o n s m e n t i o n e d e a r l i e r .

T h e f e a t u r e s p a c e ( a n d h e n c e w ) c a n b e i n n i t e d i m e n s i o n a l . T h i s m a k e s i t c o m p u t a t i o n a l l y

d i c u l t t o s o l v e t h e p r i m a l p r o b l e m ( P ) . T h e n u m e r i c a l a p p r o a c h i n S V M d e s i g n i s t o s o l v e t h e

d u a l p r o b l e m s i n c e i t i s a n i t e - d i m e n s i o n a l o p t i m i z a t i o n p r o b l e m . ( N o t e t h a t w (

0

) w (

0

) =

P

i

P

j

(

i

;

0

i

) (

j

;

0

j

) k ( x

i

x

j

) . ) T o d e r i v e p r o p e r s t o p p i n g c o n d i t i o n s f o r a l g o r i t h m s w h i c h s o l v e

t h e d u a l , i t i s i m p o r t a n t t o w r i t e d o w n t h e o p t i m a l i t y c o n d i t i o n s f o r t h e d u a l . T h e L a g r a n g i a n f o r

t h e d u a l i s :

L

D

=

1

2

w (

0

) w (

0

) ;

X

i

d

i

(

i

;

i

0

) +

X

i

(

i

+

i

0

)

+

X

i

(

i

;

i

0

) ;

X

i

i

i

;

X

i

i

i

0

;

X

i

i

( C ;

i

) ;

X

i

i

( C ;

i

0

)

L e t

F

i

= d

i

; w (

0

) z

i

T h e K K T c o n d i t i o n s f o r t h e d u a l p r o b l e m a r e :

@ L

D

@

i

= ; F

i

+ + ;

i

+

i

= 0

@ L

D

@

i

0

= F

i

+ ; ;

i

+

i

= 0

i

i

= 0

i

0

i

0

i

i

0

= 0

i

0

i

0

0

i

( C ;

i

) = 0

i

0

i

C

i

( C ;

i

0

) = 0

i

0

i

0

C

3


5/15

T h e s e c o n d i t i o n s

2

c a n b e s i m p l i e d b y c o n s i d e r i n g t h e f o l l o w i n g v e c a s e s . I t i s e a s y t o c h e c k t h a t a t

o p t i m a l i t y , f o r e v e r y i ,

i

a n d

i

0

c a n n o t b e n o n - z e r o a t t h e s a m e t i m e . H e n c e c a s e s c o r r e s p o n d i n g

t o

i

i

0

6= 0 h a v e b e e n l e f t o u t . ( I t i s w o r t h n o t i n g h e r e t h a t i n t h e S M O r e g r e s s i o n a l g o r i t h m a n d

i t s m o d i c a t i o n s d i s c u s s e d i n t h i s p a p e r , t h e c o n d i t i o n ,

i

i

0

= 0 8 i i s m a i n t a i n e d t h r o u g h o u t . )

C a s e 1 :

i

=

i

0

= 0

; ( F

i

; ) ( 1 a )

C a s e 2 :

i

= C

F

i

; ( 1 b )

C a s e 3 :

i

0

= C

F

i

; ; ( 1 c )

C a s e 4 :

i

2 ( 0 C )

F

i

; = ( 1 d )

C a s e 5 :

i

0

2 ( 0 C )

F

i

; = ; ( 1 e )

D e n e t h e f o l l o w i n g i n d e x s e t s a t a g i v e n : I

0 a

= f i : 0 <

i

< C g I

0 b

= f i : 0 <

i

0

<

C g I

1

= f i :

i

= 0

i

0

= 0 g I

2

= f i :

i

= 0

i

0

= C g I

3

= f i :

i

= C

i

0

= 0 g . A l s o , l e t

I

0

= I

0 a

I

0 b

. L e t u s a l s o d e n e

~

F

i

a n d

F

i

a s

~

F

i

= F

i

+ i f i 2 I

0 b

I

2

= F

i

; i f i 2 I

0 a

I

1

:

a n d

F

i

= F

i

; i f i 2 I

0 a

I

3

= F

i

+ i f i 2 I

0 b

I

1

:

U s i n g t h e s e d e n i t i o n s w e c a n r e w r i t e t h e n e c e s s a r y c o n d i t i o n s m e n t i o n e d i n ( 1 a ) - ( 1 e ) a s

~

F

i

8 i 2 I

0

I

1

I

2

F

i

8 i 2 I

0

I

1

I

3

: ( 2 )

L e t u s d e n e

b

u p

= m i n f

F

i

: i 2 I

0

I

1

I

3

g a n d b

l o w

= m a x f

~

F

i

: i 2 I

0

I

1

I

2

g ( 3 )

2

T h e K K T c o n d i t i o n s a r e b o t h n e c e s s a r y a n d s u c i e n t f o r o p t i m a l i t y . H e r e a f t e r w e w i l l s i m p l y r e f e r t o t h e m a s

o p t i m a l i t y c o n d i t i o n s .

4


6/15

T h e n t h e o p t i m a l i t y c o n d i t i o n s w i l l h o l d a t s o m e i

b

l o w

b

u p

( 4 )

I t i s e a s y t o s e e t h e c l o s e r e l a t i o n s h i p b e t w e e n t h e t h r e s h o l d p a r a m e t e r b i n t h e p r i m a l p r o b l e m

a n d t h e m u l t i p l i e r , . I n p a r t i c u l a r , a t o p t i m a l i t y , a n d b a r e i d e n t i c a l . T h e r e f o r e , i n t h e r e s t o f

t h e p a p e r , a n d b w i l l d e n o t e o n e a n d t h e s a m e q u a n t i t y .

W e w i l l s a y t h a t a n i n d e x p a i r ( i j ) d e n e s a v i o l a t i o n a t (

0

) i f o n e o f t h e f o l l o w i n g t w o s e t s

o f c o n d i t i o n s h o l d s :

i 2 I

0

I

1

I

2

j 2 I

0

I

1

I

3

a n d

~

F

i

>

F

j

( 5 a )

i 2 I

0

I

1

I

3

j 2 I

0

I

1

I

2

a n d

F

i

<

~

F

j

( 5 b )

N o t e t h a t o p t i m a l i t y c o n d i t i o n w i l l h o l d a t i t h e r e d o e s n o t e x i s t a n y i n d e x p a i r ( i j ) t h a t

d e n e s a v i o l a t i o n .

S i n c e , i n n u m e r i c a l s o l u t i o n , i t i s u s u a l l y n o t p o s s i b l e t o a c h i e v e o p t i m a l i t y e x a c t l y , t h e r e i s a

n e e d t o d e n e a p p r o x i m a t e o p t i m a l i t y c o n d i t i o n s . T h e c o n d i t i o n ( 4 ) c a n b e r e p l a c e d b y

b

l o w

b

u p

+ 2 ( 6 )

w h e r e i s a p o s i t i v e t o l e r a n c e p a r a m e t e r . ( I n t h e p s e u d o - c o d e s g i v e n i n t h e a p p e n d i x o f t h i s p a p e r ,

t h i s p a r a m e t e r i s r e f e r r e d t o a s t o l ) . C o r r e s p o n d i n g l y , t h e d e n i t i o n o f v i o l a t i o n c a n b e a l t e r e d b y

r e p l a c i n g ( 5 a ) a n d ( 5 b ) r e s p e c t i v e l y b y :

i 2 I

0

I

1

I

2

j 2 I

0

I

1

I

3

a n d

~

F

i

>

F

j

+ 2 ( 7 a )

i 2 I

0

I

1

I

3

j 2 I

0

I

1

I

2

a n d

F

i

<

~

F

j

; 2 ( 7 b )

H e r e a f t e r i n t h e p a p e r , w h e n o p t i m a l i t y i s m e n t i o n e d i t w i l l m e a n a p p r o x i m a t e o p t i m a l i t y .

L e t E

i

= F

i

; b . U s i n g ( 1 ) i t i s e a s y t o c h e c k t h a t o p t i m a l i t y h o l d s i t h e r e e x i s t s a b s u c h t h a t

t h e f o l l o w i n g h o l d f o r e v e r y i :

i

> 0 ) E

i

; ( 8 a )

i

< C ) E

i

+ ( 8 b )

i

0

> 0 ) E

i

; + ( 8 c )

i

0

< C ) E

i

; ; ( 8 d )

5


7/15

T h e s e c o n d i t i o n s a r e u s e d i n 7 , 8 ] t o g e t h e r w i t h a s p e c i a l c h o i c e o f b t o c h e c k i f a n e x a m p l e v i o l a t e s

t h e K K T c o n d i t i o n s . H o w e v e r , u n l e s s t h e c h o i c e o f b t u r n s o u t t o b e r i g h t , u s i n g t h e a b o v e

c o n d i t i o n s f o r c h e c k i n g o p t i m a l i t y c a n b e i n c o r r e c t . W e w i l l s a y m o r e a b o u t t h i s i n s e c t i o n 4 a f t e r

a b r i e f d i s c u s s i o n o f S m o l a a n d S c h o l k o p f ' s S M O a l g o r i t h m i n t h e n e x t s e c t i o n .

3 S m o l a a n d S c h o l k o p f ' s S M O A l g o r i t h m f o r R e g r e s s i o n

A n u m b e r o f a l g o r i t h m s h a v e b e e n s u g g e s t e d f o r s o l v i n g t h e d u a l p r o b l e m . S m o l a a n d S c h o l k o p f 7 ,

8 ] g i v e a d e t a i l e d v i e w o f t h e s e a l g o r i t h m s a n d t h e i r i m p l e m e n t a t i o n s . T r a d i t i o n a l q u a d r a t i c p r o -

g r a m m i n g a l g o r i t h m s s u c h a s i n t e r i o r p o i n t a l g o r i t h m s a r e n o t s u i t a b l e f o r l a r g e s i z e p r o b l e m s

b e c a u s e o f t h e f o l l o w i n g r e a s o n s . F i r s t , t h e y r e q u i r e t h a t t h e k e r n e l m a t r i x k ( x

i

x

j

) b e c o m p u t e d

a n d s t o r e d i n m e m o r y . T h i s r e q u i r e s e x t r e m e l y l a r g e m e m o r y . S e c o n d , t h e s e m e t h o d s i n v o l v e

e x p e n s i v e m a t r i x o p e r a t i o n s s u c h a s C h o l e s k y d e c o m p o s i t i o n o f a l a r g e s u b - m a t r i x o f t h e k e r n e l

m a t r i x . T h i r d , c o d i n g o f t h e s e a l g o r i t h m s i s d i c u l t .

A t t e m p t s h a v e b e e n m a d e t o d e v e l o p m e t h o d s t h a t o v e r c o m e s o m e o r a l l o f t h e s e p r o b l e m s . O n e

s u c h m e t h o d i s c h u n k i n g . T h e i d e a h e r e i s t o o p e r a t e o n a x e d s i z e s u b s e t o f t h e t r a i n i n g s e t a t a

t i m e . T h i s s u b s e t i s c a l l e d t h e w o r k i n g s e t a n d t h e o p t i m i z a t i o n s u b p r o b l e m i s s o l v e d w i t h r e s p e c t

t o t h e v a r i a b l e s c o r r e s p o n d i n g t o t h e e x a m p l e s i n t h e w o r k i n g s e t a n d a s e t o f s u p p o r t v e c t o r s

f o r t h e c u r r e n t w o r k i n g s e t i s f o u n d . T h e s e c u r r e n t s u p p o r t v e c t o r s a r e t h e n u s e d t o d e t e r m i n e

t h e n e w w o r k i n g s e t , t h e d a t a t h e c u r r e n t e s t i m a t o r w o u l d m a k e e r r o r o n . T h e n e w o p t i m i z a t i o n

s u b p r o b l e m i s s o l v e d a n d t h i s p r o c e s s i s r e p e a t e d u n t i l t h e K K T c o n d i t i o n s a r e s a t i s e d f o r a l l t h e

e x a m p l e s .

P l a t t 5 ] p r o p o s e d a n a l g o r i t h m , c a l l e d S e q u e n t i a l M i n i m a l O p t i m i z a t i o n ( S M O ) f o r t h e S V M

c l a s s i e r d e s i g n . T h i s a l g o r i t h m p u t s c h u n k i n g t o t h e e x t r e m e b y i t e r a t i v e l y s e l e c t i n g w o r k i n g

s e t s o f s i z e t w o a n d o p t i m i z i n g t h e t a r g e t f u n c t i o n w i t h r e s p e c t t o t h e m . O n e a d v a n t a g e o f u s i n g

w o r k i n g s e t s o f s i z e 2 i s t h a t t h e o p t i m i z a t i o n s u b p r o b l e m c a n b e s o l v e d a n a l y t i c a l l y . T h e c h u n k i n g

p r o c e s s i s r e p e a t e d t i l l a l l t h e t r a i n i n g e x a m p l e s s a t i s f y K K T c o n d i t i o n s . S m o l a a n d S c h o l k o p f 7 , 8 ]

e x t e n d e d t h e s e i d e a s f o r s o l v i n g t h e r e g r e s s i o n p r o b l e m u s i n g S V M s . W e d e s c r i b e t h i s a l g o r i t h m

v e r y b r i e y b e l o w . T h e d e t a i l s , t o g e t h e r w i t h a p s e u d o - c o d e c a n b e f o u n d i n 7 , 8 ] . W e a s s u m e t h a t

t h e r e a d e r i s f a m i l i a r w i t h t h e m . T o c o n v e y o u r i d e a s c o m p a c t l y w e e m p l o y t h e n o t a t i o n s u s e d i n

6


8/15

7 , 8 ] .

T h e b a s i c s t e p i n S M O a l g o r i t h m c o n s i s t s o f c h o o s i n g a p a i r o f i n d i c e s , ( i

1

i

2

) a n d o p t i m i z i n g

t h e d u a l o b j e c t i v e f u n c t i o n i n ( D ) b y v a r y i n g t h e L a g r a n g e m u l t i p l i e r s c o r r e s p o n d i n g t o i

1

a n d i

2

o n l y . W e m a k e o n e i m p o r t a n t c o m m e n t h e r e o n t h e r o l e o f t h e t h r e s h o l d p a r a m e t e r , . A s i n 7 , 8 ]

d e n e t h e o u t p u t e r r o r o n i - t h p a t t e r n a s

E

i

= F

i

;

L e t u s c a l l t h e i n d i c e s o f t h e t w o m u l t i p l i e r s c h o s e n f o r j o i n t o p t i m i z a t i o n i n o n e s t e p a s i

2

a n d i

1

.

T o t a k e a s t e p b y v a r y i n g t h e L a g r a n g e m u l t i p l i e r s o f e x a m p l e s i

1

a n d i

2

, w e o n l y n e e d t o k n o w

E

i

1

; E

i

2

= F

i

1

; F

i

2

. T h e r e f o r e a k n o w l e d g e o f t h e v a l u e o f i s n o t n e e d e d t o t a k e a s t e p .

T h e m e t h o d f o l l o w e d t o c h o o s e i

1

a n d i

2

a t e a c h s t e p i s c r u c i a l f o r n d i n g t h e s o l u t i o n o f t h e

p r o b l e m e c i e n t l y . T h e S M O a l g o r i t h m e m p l o y s a t w o l o o p a p p r o a c h : t h e o u t e r l o o p c h o o s e s i

2

a n d , f o r a c h o s e n i

2

t h e i n n e r l o o p c h o o s e s i

1

. T h e o u t e r l o o p i t e r a t e s o v e r a l l p a t t e r n s v i o l a t i n g

t h e o p t i m a l i t y c o n d i t i o n s , r s t o n l y o v e r t h o s e w i t h L a g r a n g e m u l t i p l i e r s n e i t h e r o n t h e u p p e r

n o r o n t h e l o w e r b o u n d a r y ( i n S m o l a a n d S c h o l k o p f ' s p s e u d o - c o d e t h i s l o o p i n g i s i n d i c a t e d b y

e x a m i n e A l l = 0 ) , a n d o n c e a l l o f t h e m a r e s a t i s e d , o v e r a l l p a t t e r n s v i o l a t i n g t h e o p t i m a l i t y

c o n d i t i o n s ( e x a m i n e A L L = 1 ) t o e n s u r e t h a t t h e p r o b l e m h a s i n d e e d b e e n s o l v e d . F o r e c i e n t

i m p l e m e n t a t i o n a c a c h e f o r E

i

i s m a i n t a i n e d a n d u p d a t e d f o r t h o s e i n d i c e s i c o r r e s p o n d i n g t o

n o n - b o u n d a r y L a g r a n g e m u l t i p l i e r s . T h e r e m a i n i n g E

i

a r e c o m p u t e d a s a n d w h e n n e e d e d .

L e t u s n o w s e e h o w t h e S M O a l g o r i t h m c h o o s e s i

1

. T h e a i m i s t o m a k e a l a r g e i n c r e a s e i n t h e

o b j e c t i v e f u n c t i o n . S i n c e i t i s e x p e n s i v e t o t r y o u t a l l p o s s i b l e c h o i c e s o f i

1

a n d c h o o s e t h e o n e

t h a t g i v e s t h e b e s t i n c r e a s e i n t h e o b j e c t i v e f u n c t i o n , t h e i n d e x i

1

i s c h o s e n t o m a x i m i z e j E

i

2

; E

i

1

j

o r j E

i

2

; E

i

1

2 j d e p e n d i n g o n t h e m u l t i p l i e r s o f i

1

a n d i

2

. S i n c e E

i

i s a v a i l a b l e i n c a c h e f o r

n o n - b o u n d a r y m u l t i p l i e r i n d i c e s , o n l y s u c h i n d i c e s a r e i n i t i a l l y u s e d i n t h e a b o v e c h o i c e o f i

1

. I f

s u c h a c h o i c e o f i

1

d o e s n o t y i e l d s u c i e n t p r o g r e s s , t h e n t h e f o l l o w i n g s t e p s a r e t a k e n . S t a r t i n g

f r o m a r a n d o m l y c h o s e n i n d e x , a l l i n d i c e s c o r r e s p o n d i n g t o n o n - b o u n d m u l t i p l i e r s a r e t r i e d a s a

c h o i c e f o r i

1

, o n e b y o n e . I f s t i l l s u c i e n t p r o g r e s s i s n o t p o s s i b l e , a l l i n d i c e s a r e t r i e d a s c h o i c e s

f o r i

1

, o n e b y o n e , a g a i n s t a r t i n g f r o m a r a n d o m l y c h o s e n i n d e x . T h u s t h e c h o i c e o f r a n d o m s e e d

a e c t s t h e r u n n i n g t i m e o f S M O .

A l t h o u g h a v a l u e o f i s n o t n e e d e d t o t a k e a s t e p , i t i s n e e d e d i f ( 8 a ) - ( 8 d ) a r e e m p l o y e d f o r

c h e c k i n g o p t i m a l i t y . I n t h e S M O a l g o r i t h m i s u p d a t e d a f t e r e a c h s t e p . A v a l u e o f i s c h o s e n s o

7


9/15

a s t o s a t i s f y ( 1 ) f o r i 2 f i

1

i

2

g . I f , a f t e r a s t e p i n v o l v i n g ( i

1

i

2

) , o n e o f t h e L a g r a n g e m u l t i p l i e r s

( o r b o t h ) t a k e s a n o n - b o u n d a r y v a l u e t h e n ( 1 d ) o r ( 1 e ) i s e x p l o i t e d t o u p d a t e t h e v a l u e o f . I n

t h e r a r e c a s e t h a t t h i s d o e s n o t h a p p e n , t h e r e e x i s t s a w h o l e i n t e r v a l , s a y

l o w

u p

] , o f a d m i s s i b l e

t h r e s h o l d s . I n t h i s s i t u a t i o n S M O s i m p l y c h o o s e s t o b e t h e m i d - p o i n t o f t h i s i n t e r v a l .

4 I n e c i e n c y o f t h e S M O a l g o r i t h m

S M O a l g o r i t h m f o r r e g r e s s i o n , d i s c u s s e d a b o v e , i s v e r y s i m p l e a n d e a s y t o i m p l e m e n t . H o w e v e r

i t c a n b e c o m e i n e c i e n t , t y p i c a l l y n e a r a s o l u t i o n p o i n t , b e c a u s e o f i t s w a y o f c o m p u t i n g a n d

m a i n t a i n i n g a s i n g l e t h r e s h o l d v a l u e . A t a n y i n s t a n t , t h e S M O a l g o r i t h m x e s b b a s e d o n t h e

c u r r e n t t w o i n d i c e s u s e d f o r j o i n t o p t i m i z a t i o n . H o w e v e r , w h i l e c h e c k i n g w h e t h e r t h e r e m a i n i n g

e x a m p l e s v i o l a t e o p t i m a l i t y o r n o t , i t i s q u i t e p o s s i b l e t h a t a d i e r e n t , s h i f t e d c h o i c e o f b m a y d o

a b e t t e r j o b . S o , i n t h e S M O a l g o r i t h m i t i s q u i t e p o s s i b l e t h a t , e v e n t h o u g h (

0

) h a s r e a c h e d

a v a l u e w h e r e o p t i m a l i t y i s s a t i s e d ( i . e . , ( 6 ) ) , b u t S M O h a s n o t d e t e c t e d t h i s b e c a u s e i t h a s n o t

i d e n t i e d t h e c o r r e c t c h o i c e o f b . I t i s a l s o q u i t e p o s s i b l e t h a t , a p a r t i c u l a r i n d e x m a y a p p e a r t o

v i o l a t e t h e o p t i m a l i t y c o n d i t i o n s b e c a u s e ( 8 ) i s e m p l o y e d u s i n g a n \ i n c o r r e c t " v a l u e o f b a l t h o u g h

t h i s i n d e x m a y n o t b e a b l e t o p a i r w i t h a n o t h e r t o m a k e p r o g r e s s i n t h e o b j e c t i v e f u n c t i o n . I n s u c h

a s i t u a t i o n t h e S M O a l g o r i t h m d o e s a n e x p e n s i v e a n d w a s t e f u l s e a r c h l o o k i n g f o r a s e c o n d i n d e x

s o a s t o t a k e a s t e p . W e b e l i e v e t h a t t h i s i s a m a j o r s o u r c e o f i n e c i e n c y i n t h e S M O a l g o r i t h m .

T h e r e i s o n e s i m p l e a l t e r n a t e w a y o f c h o o s i n g b t h a t i n v o l v e s a l l i n d i c e s . B y d u a l i t y t h e o r y , t h e

o b j e c t i v e f u n c t i o n v a l u e i n ( P ) o f a p r i m a l f e a s i b l e s o l u t i o n i s g r e a t e r t h a n o r e q u a l t o t h e o b j e c t i v e

f u n c t i o n v a l u e i n ( D ) o f a d u a l f e a s i b l e s o l u t i o n . T h e d i e r e n c e b e t w e e n t h e s e t w o v a l u e s i s r e f e r r e d

t o a s t h e d u a l i t y g a p . T h e d u a l i t y g a p i s z e r o o n l y a t o p t i m a l i t y . S u p p o s e (

0

) i s g i v e n a n d

w = w (

0

) . T h e t e r m

i

c a n b e c h o s e n o p t i m a l l y ( a s a f u n c t i o n o f ) . T h e r e s u l t i s t h a t t h e

d u a l i t y g a p i s e x p r e s s e d a s a f u n c t i o n o f o n l y . O n e p o s s i b l e w a y o f i m p r o v i n g t h e S M O a l g o r i t h m

i s t o a l w a y s c h o o s e s o a s t o m i n i m i z e t h e d u a l i t y g a p . T h i s c o r r e s p o n d s t o t h e s u b p r o b l e m ,

m i n

X

i

m a x ( 0 F

i

; ; ; F

i

+ ; )

L e t m d e n o t e t h e n u m b e r o f e x a m p l e s . I n a n i n c r e a s i n g o r d e r a r r a n g e m e n t o f f F

i

; g a n d

f F

i

+ g l e t f

m

a n d f

m + 1

b e t h e m - t h a n d ( m + 1 ) - t h v a l u e s . T h e n a n y i n t h e i n t e r v a l , f

m

f

m + 1

]

i s a m i n i m i z e r . T h e d e t e r m i n a t i o n o f f

m

a n d f

m + 1

c a n b e d o n e e c i e n t l y u s i n g a \ m e d i a n - n d i n g "

8


10/15


11/15

3 . T h e p r o c e d u r e t a k e S t e p i s m o d i e d . A f t e r a s u c c e s s f u l s t e p u s i n g a p a i r o f i n d i c e s , ( i

2

i

1

) ,

l e t

^

I = I

0

f i

1

i

2

g . W e c o m p u t e , p a r t i a l l y , ( i

l o w

b

l o w

) a n d ( i

u p

b

u p

) u s i n g

^

I o n l y ( i . e . , u s e o n l y

i 2

^

I i n ( 9 ) ) . N o t e t h a t t h e s e e x t r a s t e p s a r e i n e x p e n s i v e b e c a u s e c a c h e f o r f F

i

i 2 I

0

g i s a v a i l a b l e

a n d u p d a t e s o f F

i

1

F

i

2

a r e e a s i l y d o n e . A c a r e f u l l o o k s h o w s t h a t , s i n c e i

2

a n d i

1

h a v e b e e n j u s t

i n v o l v e d i n a s u c c e s s f u l s t e p , e a c h o f t h e t w o s e t s ,

^

I \ ( I

0

I

1

I

2

) a n d

^

I \ ( I

0

I

1

I

3

) , i s n o n - e m p t y

h e n c e t h e p a r t i a l l y c o m p u t e d ( i

l o w

b

l o w

) a n d ( i

u p

b

u p

) w i l l n o t b e n u l l e l e m e n t s . S i n c e i

l

o w a n d

i

u

p c o u l d t a k e v a l u e s f r o m f i 2 i

1

g a n d t h e y a r e u s e d a s c h o i c e s f o r i

1

i n t h e s u b s e q u e n t s t e p ( s e e

i t e m 1 a b o v e ) , w e k e e p t h e v a l u e s o f F

i

1

a n d F

i

2

a l s o i n c a c h e .

4 . W h e n w o r k i n g w i t h o n l y

i

i

0

i 2 I

0

, i . e . , a l o o p w i t h e x a m i n e A l l = 0 , o n e s h o u l d n o t e

t h a t , i f ( 6 ) h o l d s a t s o m e p o i n t t h e n i t i m p l i e s t h a t o p t i m a l i t y h o l d s a s f a r a s I

0

i s c o n c e r n e d . ( T h i s

i s b e c a u s e , a s m e n t i o n e d i n i t e m 3 a b o v e , t h e c h o i c e o f b

l o w

a n d b

u p

a r e i n u e n c e d b y a l l i n d i c e s i n

I

0

. ) T h i s g i v e s a n e a s y w a y o f e x i t i n g t h i s l o o p .

5 . T h e r e a r e t w o w a y s o f i m p l e m e n t i n g t h e l o o p i n v o l v i n g i n d i c e s i n I

0

o n l y ( e x a m i n e A l l = 0 ) .

M e t h o d 1 . T h i s i s s i m i l a r t o w h a t i s d o n e i n S M O . L o o p t h r o u g h a l l i

2

2 I

0

. F o r e a c h i

2

,

c h e c k o p t i m a l i t y a n d i f v i o l a t e d , c h o o s e i

1

a p p r o p r i a t e l y . F o r e x a m p l e , i f

F

i

2

< b

l o w

; 2 t h e n t h e r e

i s a v i o l a t i o n a n d i n t h a t c a s e c h o o s e i

1

= i

l o w

.

M e t h o d 2 . A l w a y s w o r k w i t h t h e w o r s t v i o l a t i n g p a i r , i . e . , c h o o s e i

2

= i

l o w

a n d i

1

= i

u p

.

D e p e n d i n g o n w h i c h o n e o f t h e s e m e t h o d s i s u s e d , w e c a l l t h e r e s u l t i n g o v e r a l l m o d i c a t i o n

o f S M O a s S M O - M o d i c a t i o n 1 a n d S M O - M o d i c a t i o n 2 . S M O a n d S M O - M o d i c a t i o n 1 a r e

i d e n t i c a l e x c e p t i n t h e w a y t h e b i a s i s m a i n t a i n e d a n d o p t i m a l i t y i s t e s t e d . O n t h e o t h e r h a n d ,

S M O - M o d i c a t i o n 2 c a n b e t h o u g h t o f a s a f u r t h e r i m p r o v e m e n t o f S M O - M o d i c a t i o n 1 w h e r e t h e

c a c h e i s e e c t i v e l y u s e d t o c h o o s e t h e v i o l a t i n g p a i r w h e n e x a m i n e A l l = 0 .

6 . W h e n o p t i m a l i t y o n I

0

h o l d s , a s a l r e a d y s a i d w e c o m e b a c k t o c h e c k o p t i m a l i t y o n a l l i n d i c e s

( e x a m i n e A l l = 1 ) . H e r e w e l o o p t h r o u g h a l l i n d i c e s , o n e b y o n e . S i n c e ( b

l o w

i

l o w

) a n d ( b

u p

i

u p

)

h a v e b e e n p a r t i a l l y c o m p u t e d u s i n g I

0

o n l y , w e u p d a t e t h e s e q u a n t i t i e s a s e a c h i i s e x a m i n e d .

F o r a g i v e n i , F

i

i s c o m p u t e d r s t a n d o p t i m a l i t y i s c h e c k e d u s i n g t h e c u r r e n t ( b

l o w

i

l o w

) a n d

b

u p

i

u p

) i f t h e r e i s n o v i o l a t i o n , F

i

a r e u s e d t o u p d a t e t h e s e q u a n t i t i e s . F o r e x a m p l e , i f i 2 I

3

a n d

F

i

< b

l o w

; 2 , t h e n t h e r e i s a v i o l a t i o n , i n w h i c h c a s e w e t a k e a s t e p u s i n g ( i i

l o w

) . O n t h e

o t h e r h a n d , i f t h e r e i s n o v i o l a t i o n , t h e n ( i

u p

b

u p

) i s m o d i e d u s i n g

F

i

, i . e . , i f

F

i

< b

u p

t h e n w e d o :

i

u p

: = i a n d b

u p

: =

F

i

.

1 0


12/15

7 . S u p p o s e w e d o a s d e s c r i b e d a b o v e . W h a t h a p p e n s i f t h e r e i s n o v i o l a t i o n f o r a n y i i n a l o o p

h a v i n g e x a m i n e A l l = 1 ? C a n w e c o n c l u d e t h a t o p t i m a l i t y h o l d s f o r a l l i ? T h e a n s w e r i s : Y E S .

T h i s i s e a s y t o s e e f r o m t h e f o l l o w i n g a r g u m e n t . S u p p o s e , b y c o n t r a d i c t i o n , t h e r e d o e s e x i s t o n e

( i j ) p a i r s u c h t h a t t h e y d e n e a v i o l a t i o n , i . e . , t h e y s a t i s f y ( 7 ) . L e t u s s a y , i < j . T h e n j w o u l d

n o t h a v e s a t i s e d t h e o p t i m a l i t y c h e c k i n t h e a b o v e d e s c r i b e d i m p l e m e n t a t i o n b e c a u s e e i t h e r

F

i

o r

~

F

i

w o u l d h a v e , e a r l i e r t h a n j i s s e e n , a e c t e d e i t h e r t h e c a l c u l a t i o n o f b

u p

a n d / o r b

l o w

s e t t i n g s . I n

o t h e r w o r d s , e v e n i f i i s m i s t a k e n l y t a k e n a s h a v i n g s a t i s e d o p t i m a l i t y e a r l i e r i n t h e l o o p , j w i l l

b e d e t e c t e d a s v i o l a t i n g o p t i m a l i t y w h e n i t i s a n a l y s e d . O n l y w h e n ( 6 ) h o l d s i t i s p o s s i b l e f o r a l l

i n d i c e s t o s a t i s f y t h e o p t i m a l i t y c h e c k s . F u r t h e r m o r e , w h e n ( 6 ) h o l d s a n d t h e l o o p o v e r a l l i n d i c e s

h a s b e e n c o m p l e t e d , t h e t r u e v a l u e s o f b

u p

a n d b

l o w

, a s d e n e d i n ( 3 ) w o u l d h a v e b e e n c o m p u t e d

s i n c e a l l i n d i c e s h a v e b e e n e n c o u n t e r e d . A s a n a l c h o i c e o f b ( f o r l a t e r u s e i n d o i n g i n f e r e n c e ) i t i s

a p p r o p r i a t e t o s e t : b = 0 : 5 ( b

u p

+ b

l o w

) .

6 C o m p u t a t i o n a l C o m p a r i s o n

I n t h i s s e c t i o n w e c o m p a r e t h e p e r f o r m a n c e o f o u r m o d i c a t i o n s a g a i n s t S m o l a a n d S c h o l k o p f ' s

S M O a l g o r i t h m f o r r e g r e s s i o n o n t h r e e d a t a s e t s . W e i m p l e m e n t e d a l l t h e s e m e t h o d s i n C a n d r a n

t h e m u s i n g g c c o n a P 3 4 5 0 M H z L i n u x m a c h i n e . T h e v a l u e , = : 0 1 w a s u s e d f o r a l l e x p e r i m e n t s .

T h e r s t d a t a s e t i s a t o y d a t a s e t w h e r e t h e f u n c t i o n t o b e a p p r o x i m a t e d i s a c u b i c p o l y n o m i a l ,

: 0 2 x

3

+ : 0 5 x

2

; x . T h e d o m a i n o f t h i s f u n c t i o n w a s x e d t o ; 1 0 1 0 ] . A G a u s s i a n n o i s e o f m e a n

z e r o a n d v a r i a n c e 1 w a s a d d e d t o t h e t r a i n i n g s e t o u t p u t . A h u n d r e d t r a i n i n g s a m p l e s w e r e c h o s e n

r a n d o m l y . T h e p e r f o r m a n c e o f t h e f o u r a l g o r i t h m s f o r t h e p o l y n o m i a l k e r n e l

k ( x

i

x

j

) = ( 1 + x

i

x

j

)

p

w h e r e p w a s c h o s e n t o b e 3 , i s s h o w n i n F i g . 1 .

T h e s e c o n d d a t a s e t i s t h e B o s t o n h o u s i n g d a t a s e t w h i c h i s a s t a n d a r d b e n c h m a r k f o r t e s t i n g

r e g r e s s i o n a l g o r i t h m s . T h i s d a t a s e t i s a v a i l a b l e a t U C I R e p o s i t o r y 1 ] . T h e d i m e n s i o n o f t h e i n p u t

i s 1 3 . W e u s e d t h e t r a i n i n g s e t o f s i z e 4 0 6 . A G a u s s i a n n o i s e o f m e a n z e r o a n d s t a n d a r d d e v i a t i o n

6 w a s a d d e d t o t h e t r a i n i n g d a t a . = : 5 6 w a s u s e d i n t h i s c a s e . F i g . 2 s h o w s t h e p e r f o r m a n c e o f

t h e f o u r a l g o r i t h m s o n t h i s d a t a s e t . F o r t h i s a s w e l l a s t h e t h i r d d a t a s e t t h e G a u s s i a n k e r n e l

k ( x

i

x

j

) = e x p ( ; k x

i

; x

j

k

2

= )

1 1


13/15


14/15

w h i c h o n e i s b e t t e r .

W e h a v e n o t r e p o r t e d a c o m p a r i s o n o f t h e g e n e r a l i z a t i o n a b i l i t i e s o f t h e t h r e e m e t h o d s s i n c e

a l l t h r e e m e t h o d s a p p l y t o t h e s a m e p r o b l e m f o r m u l a t i o n , a r e t e r m i n a t e d a t t h e s a m e t r a i n i n g s e t

a c c u r a c y , a n d h e n c e g i v e v e r y c l o s e g e n e r a l i z a t i o n p e r f o r m a n c e .

7 C o n c l u s i o n

I n t h i s p a p e r w e h a v e p o i n t e d o u t a n i m p o r t a n t s o u r c e o f i n e c i e n c y i n S m o l a a n d S c h o l k o p f ' s

S M O a l g o r i t h m t h a t i s c a u s e d b y t h e o p e r a t i o n w i t h a s i n g l e t h r e s h o l d v a l u e . W e h a v e s u g g e s t e d

t w o m o d i c a t i o n s o f t h e S M O a l g o r i t h m t h a t o v e r c o m e t h e p r o b l e m b y e c i e n t l y m a i n t a i n i n g a n d

u p d a t i n g t w o t h r e s h o l d p a r a m e t e r s . O u r c o m p u t a t i o n a l e x p e r i m e n t s s h o w t h a t t h e s e m o d i c a t i o n s

s p e e d u p t h e S M O a l g o r i t h m s i g n i c a n t l y i n m o s t s i t u a t i o n s .

R e f e r e n c e s

1 ] C . L . B l a k e a n d C . J . M e r z , U C I r e p o s i t o r y o f m a c h i n e l e a r n i n g d a t a b a s e s , U n i v e r s i t y o f

C a l i f o r n i a , D e p a r t m e n t o f I n f o r m a t i o n a n d C o m p u t e r S c i e n c e , I r v i n e , C A , U S A , 1 9 9 8 . S e e :

h t t p : / / w w w . i c s . u c i . e d u / ~ m l e a r n / M L R e p o s i t o r y . h t m l .

2 ] C . J . C . B u r g e s , A t u t o r i a l o n s u p p o r t v e c t o r m a c h i n e s f o r p a t t e r n r e c o g n i t i o n , D a t a M i n i n g

a n d K n o w l e d g e D i s c o v e r y , 3 ( 2 ) , 1 9 9 8 .

3 ] D e l v e : D a t a f o r e v a l u a t i n g l e a r n i n g i n v a l i d e x p e r i m e n t s . S e e :

h t t p : / / w w w . c s . u t o r o n t o . c a / ~ d e l v e

4 ] S . S . K e e r t h i , S . K , S h e v a d e , C . B h a t t a c h a r y y a a n d K . R . K . M u r t h y , I m p r o v e m e n t s t o P l a t t ' s

s m o a l g o r i t h m f o r s v m c l a s s i e r d e s i g n , T e c h n i c a l R e p o r t C D - 9 9 - 1 4 , C o n t r o l D i v i s i o n , D e p t . o f

M e c h a n i c a l a n d P r o d u c t i o n E n g i n e e r i n g , N a t i o n a l U n i v e r s i t y o f S i n g a p o r e , S i n g a p o r e , A u g u s t

1 9 9 9 . S e e : h t t p : / / g u p p y . m p e . n u s . e d u . s g / ~ m p e s s k

5 ] J . C . P l a t t , F a s t t r a i n i n g o f s u p p o r t v e c t o r m a c h i n e s u s i n g s e q u e n t i a l m i n i m a l o p t i m i z a t i o n ,

i n B . S c h o l k o p f , C . B u r g e s , A . S m o l a . A d v a n c e s i n K e r n e l M e t h o d s : S u p p o r t v e c t o r M a c h i n e s ,

M I T P r e s s , C a m b r i d g e , M A , D e c e m b e r 1 9 9 8 .

1 3


15/15

6 ] S . K . S h e v a d e , S . S . K e e r t h i , C . B h a t t a c h a r y y a a n d K . R . K . M u r t h y , I m p r o v e m e n t t o s m o a l -

g o r i t h m f o r r e g r e s s i o n , T e c h n i c a l R e p o r t C D - 9 9 - 1 6 , C o n t r o l D i v i s i o n , D e p t . o f M e c h a n i c a l

a n d P r o d u c t i o n E n g i n e e r i n g , N a t i o n a l U n i v e r s i t y o f S i n g a p o r e , S i n g a p o r e , A u g u s t 1 9 9 9 . S e e :

h t t p : / / g u p p y . m p e . n u s . e d u . s g / ~ m p e s s k

7 ] A . J . S m o l a , L e a r n i n g w i t h k e r n e l s , P h D T h e s i s , G M D , B i r l i n g h o v e n , G e r m a n y , 1 9 9 8

8 ] A . J . S m o l a a n d B . S c h o l k o p f , A t u t o r i a l o n s u p p o r t v e c t o r r e g r e s s i o n , N e u r o C O L T T e c h n i c a l

R e p o r t T R 1 9 9 8 - 0 3 0 , R o y a l H o l l o w a y C o l l e g e , L o n d o n , U K , 1 9 9 8 .

9 ] V . V a p n i k , T h e N a t u r e o f S t a t i s t i c a l L e a r n i n g T h e o r y , S p r i n g e r , N Y , U S A , 1 9 9 5 .

1 4

Documents

Improvements to SMO Algorithm for SVM Regression_ieee_smo_reg