A Hopfield Network Implementation of the Viterbi Algorithm for Hidden Markov Models

7/27/2019 A Hopfield Network Implementation of the Viterbi Algorithm for Hidden Markov Models

1/7

S . V . B . A i y e r & F . F a l l s i d e

J u n e 1 7 , 1 9 9 2

C a m b r i d g e U n i v e r s i t y E n g i n e e r i n g D e p a r t m e n t

T r u m p i n g t o n S t r e e t

C a m b r i d g e C B 2 1 P Z

E n g l a n d

: s v b 1 0 / f a l l s i d e @ d s l . e n g . c a m . a c . u k

S u b m i t t e d t o I J C N N - 9 1 - S e a t t l e

E m a i l

A H O P F I E L D N E T W O R K I M P L E M E N T A T I O N

O F T H E V I T E R B I A L G O R I T H M F O R

H I D D E N M A R K O V M O D E L S

C U E D / F - I N F E N G / T R 6 0


2/7

+ 1

t t

t t

1 2

1 2

= 1

1

= 1

N

i j j i

K

i j j i

t

k

t

i

M

t

p o

M

t

p p

r e t i n g t h e i t e r i l g o r i t h m s f o r m o f o m i n t o r i l o p t i m i z t i o n D t h i s p p e r s h o w s h o w i t n

e i m p l e m e n t e d o n o p e l d n e t w o r k F h e i m p l e m e n t t i o n u s e s f r m e w o r k d e v e l o p e d i n o u r p r e v i o u s

p p e r s I D P w h i h e n s u r e s t h e n e t w o r k n h i e v e v l i d s o l u t i o n s f o r m u h l r g e r l s s o f o m i n t o r i l

o p t i m i z t i o n p r o l e m t h n p r e v i o u s l y o n s i d e r e d F h i s l s s i n l u d e s d y n m i p r o g r m m i n g p r o l e m s

o f t h e t y p e r e p r e s e n t e d y t h e i t e r i l g o r i t h m F h e i m h e r e i s t o p r e s e n t i n d e t i l t h e t u l

m p p i n g r e q u i r e d t o i m p l e m e n t t h e i t e r i l g o r i t h m o n t h e o p e l d n e t w o r k D t o g e t h e r w i t h n n l y s i s

n d j u s t i t i o n o f i t F i n l l y D t o o n r m t h e t h e o r y D r e s u l t s r e p r e s e n t e d w h i h s h o w t h e o p e l d

n e t w o r k h i e v i n g t h e s m e s o l u t i o n s s t n d r d d y n m i p r o g r m m i n g s e d i t e r i l g o r i t h m D f o r

r e o g n i t i o n t s k s e d o n p r e E t r i n e d I H s t t e i d d e n r k o v m o d e l F

o p e l d n d n k 9 s I W V S p p e r Q e s t l i s h e d t h e o p e l d n e t w o r k D s n i m p o r t n t l t e r n t i v e m e t h o d

o f s o l v i n g o m i n t o r i l o p t i m i z t i o n p r o l e m s F l t h o u g h m n y r e s e r h e r s h v e s i n e p r o p o s e d

w i d e v r i e t y o f u s e s f o r t h e n e t w o r k D m o s t o f t h e s e p p l i t i o n s h v e e e n t o s o l v e h i g h l y r t i i l

o m i n t o r i l o p t i m i z t i o n p r o l e m s D s u h s t h e r v e l l i n g l e s m n n d r p h r t i t i o n i n g p r o l e m s F

v e n i n t h e s e s e s i t h s e e n f o u n d t h t t h e n e t w o r k r r e l y h i e v e s v l i d s o l u t i o n s t o t h e p r o l e m i t

i s e i n g u s e d t o s o l v e R D S F h i s p r o l e m o f r e l i i l i t y h s e e n d d r e s s e d i n I D P n d f r m e w o r k

f o r u s i n g t h e n e t w o r k w i t h g u r n t e e d r e l i i l i t y h s e e n d e v e l o p e d F o n s e q u e n e o f t h i s f r m e w o r k

@ s e e P A i s t h e p o s s i i l i t y o f u s i n g t h e n e t w o r k t o s o l v e y n m i r o g r m m i n g t y p e o m i n t o r i l

o p t i m i z t i o n p r o l e m s l i k e t h e i t e r i l g o r i t h m T F h i s l g o r i t h m h s d i r e t p p l i t i o n t o i d d e n

r k o v o d e l s D s p e i l l y f o r r e o g n i t i o n t s k s s u h s t h o s e t h t o u r i n s p e e h p r o e s s i n g F

n t h i s p p e r t h e p o s s i i l i t y o f u s i n g t h e o p e l d n e t w o r k t o s o l v e d y n m i p r o g r m m i n g p r o l e m s i s

d e v e l o p e d i n t o n t u l i m p l e m e n t t i o n o f t h e i t e r i l g o r i t h m F h e d e s r i p t i o n o f t h e i m p l e m e n t t i o n

i s d i v i d e d i n t o t h r e e s e t i o n s F h e r s t i n t r o d u e s t h e k e y o n e p t s n d n o t t i o n o n v e n t i o n s r e l e v n t

t o t h e i d d e n r k o v o d e l n d t h e i t e r i l g o r i t h m F h e s e o n d s e t i o n d e v e l o p s n d j u s t i e s t h e

e x p r e s s i o n s r e q u i r e d t o m p t h e i t e r i l g o r i t h m o n t o t h e p r m e t e r s o f t h e o p e l d n e t w o r k F i n l l y

t h e l s t s e t i o n p r e s e n t s n d d i s u s s e s t h e e x p e r i m e n t l r e s u l t s F

e t e d i s r e t e t i m e v r i l e w h e r e X I P F

e t e t h e s t t e s o f n w i t h s t t e s F

e t e t h e m t r i x o f i n t e r s t t e t r n s i t i o n p r o i l i t i e s X a r @ t C I t A

e t e s e t o f o u t p u t s y m o l s F

e t e t h e o u t p u t s y m o l p r o i l i t y m t r i x X a r t t

e t e e l e m e n t v e t o r w h i h d e n o t e s s e q u e n e o f o u t p u t s y m o l s X a i f t h e o u t p u t

s y m o l t t i m e i s

e t e e l e m e n t v e t o r w h i h d e n o t e s s e q u e n e o f s t t e s X a i f t t i m e t h e i s i n

s t t e

h e i t e r i l g o r i t h m s e e k s t o n d s e q u e n e o f s t t e s w h i h m x i m i z e s t h e j o i n t l i k e l i h o o d t h t

t h e g e n e r t e d w i t h s t t e s e q u e n e F e t @ A d e n o t e t h i s j o i n t l i k e l i h o o d F s i n g t h i s

e x p r e s s i o n t h e i t e r i l g o r i t h m r e d u e s t o X

r g m x @ A

o t e t h t y y e s t h e o r e m D @ A a @ A @ A D n d t h t X

@ A a @ I A

@ A a @ P A

t t ; ; : : : ; M

q ; q ; : : : ; q N

N N A q t q t

! ; ! : : : : ; ! K

N K B w t q t

M M O k

t !

M p i t

q

; ;

; ;

; ; ; ; ;

; ; B

; A

P f g

j

j

v j

v j

v j v j v j

v j

v j

A b s t r a c t

A

B

O

p

p

O p O p A B

p

O p A B

O p A B O A B p p A B

O A B p

p A B

1

I n t r o d u c t i o n a n d O u t l i n e

T h e H i d d e n M a r k o v M o d e l a n d V i t e r b i A l g o r i t h m


3/7

1

2

1 2

1 2 3 4 3 4

M

M

j

1

2

1 2 1 2

1 2 3 3 4 4

o p T o p o p

T

o p o p o p

o p o p

o p

o p

o p

p

p

i p i

p

t h

p

p

p

p

p

p p p

i j

p

i

T T

p

T

p

T

p

T

p

T

p

T

p

T

k i j

h i s m p p i n g h s t w o s i r e q u i r e m e n t s X

v e t o r o f o n e s n d z e r o s @ i F e v e t o r t h t o r r e s p o n d s t o h y p e r u e o r n e r A h s t o e f o u n d

t h t n u n i q u e l y r e p r e s e n t t h e s t t e s e q u e n e F e t t h i s v e t o r e d e n o t e d @ A F

q u d r t i i p u n o v f u n t i o n o f t h e n e t w o r k o u t p u t v e t o r h s t o e f o u n d D w h i h i s o f t h e f o r m

@ A a F h e m t r i x n d v e t o r m u s t e s u h t h t @ @ A A i s

m o n o t o n i f u n t i o n o f @ A F n o t h e r w o r d s

i f @ A @ A t h e n @ @ A A @ @ A A

s s u m i n g i s s y m m e t r i D i t n e s h o w n t h t t h e o p e l d n e t w o r k w i l l g r d u l l y h n g e s o

s t o m i n i m i z e @ A F u r t h e r D u s i n g t h e t e h n i q u e o f v l i d s u s p e o n n e m e n t d e v e l o p e d i n o u r

p r e v i o u s p p e r P D i t n l s o e e n s u r e d t h t w h e n e v e r n l s o l u t i o n i s r e h e d D i s o f t h e f o r m @ A F

i n i m i z i n g @ A s u j e t t o a @ A i s e q u i v l e n t t o m x i m i z i n g @ A o v e r D h e n e i t i s

p o s s i l e f o r t h e o p e l d n e t w o r k t o p e r f o r m t h e s m e o p t i m i z t i o n o p e r t i o n s t h e i t e r i l g o r i t h m F

e t @ A e t h e d i m e n s i o n l o E o r d i n t e v e t o r g i v e n y D

@ A a a

I i f a

H i f a

I P @ Q A

n e e t @ A i s t h e o l u m n o f t h e i d e n t i t y m t r i x F h e @ A p r t o f t h e v e t o r

@ A D s p e i e s t h e n u m e r o f e l e m e n t s i n t h i s v e t o r n d t h e r n g e o f F f t h i s i s o v i o u s f r o m t h e

o n t e x t o f u s e D t h e n i t w i l l e o m i t t e d D l e v i n g j u s t F

h e d i m e n s i o n l v e t o r @ A D w h i h o r r e s p o n d s t o t h e s t t e s e q u e n e d e n o t e d y D n n o w

e d e n e d s f o l l o w s X

@ A a

@ A

@ A

@ A

@ R A

n l t e r n t i v e w y o f r e p r e s e n t i n g i s y m t r i x F e t s u h m t r i x e d e n o t e d @ A D

n d e d e n e d y X

@ A a

@ A @ A @ A

o r @ A a @ A @ S A

o r R s t t e D w i t h t h e s e q u e n e o f s t t e s D t h e v e t o r s n d @ A p l u s t h e m t r i x

@ A w o u l d e x p n d s f o l l o w s D

@ A @ A

I P Q Q R R

I H H H H I H H H H I H H H I H H H H I H H H I

I H H H H H

H I H H H H

H H I I H H

H H H H I I

h e f u n t i o n v e @ A @ s e e U A D w h i h o n t e n t e s t h e o l u m n s o f m t r i x i n t o o n e v e t o r D n e u s e d

t o m p t h e m t r i x t o e l e m e n t v e t o r X

a v e @ A a w h e r e a @ I A C

r o m t h e d e n i t i o n s o f @ A n d @ A g i v e n i n @ R A @ S A D i t n e s e e n t h t @ A a v e @ @ A A F

E E

; ;

; ; ; ; E E

E

E ; ;

N N

N

i p

i p

p ; ; : : : ; N

N p N N N

N p

N M

N

N

N

N M

N N N

N

q q q q q q

; ; ; ; ;

N M N M

v V k N j i

v j

v j ! v j

v j

T

P f g

A

( i )

p v p

( i i ) v

v v T v i v T i v p

O p A B

O p A B O p A B v p v p

T v

v

v v p

v v v p O p A B p

N . B .

v p p

v p

p V p

V p V p

p v p

V p

p v p V p

V v

v V

v p V p v p V p

( )

2

A g e n e r a l e x p r e s s i o n f o r v p

M a p p i n g o f t h e V i t e r b i A l g o r i t h m f o r H M M s o n t o a H o p e l d N e t w o r k

&

P

T

T

R

Q

U

U

S

P

T

T

R

Q

U

U

S


4/7

+ 1

+ 1

+ 1 + 1

+ 1

j j

l

j

j

j j j j

t t

1 1 1 2 1

2 1 2 2 2

1 2

= 1 = 1 = 1

1

2

= 1 = 1 = 1 = 1 = 1

= 1 = 1

1

2

= 1 = 1

1

2

= 1

1

= 1

1

2

1

= 1

1

= 1

1

2

1

2

1

2

1

2

1

2

1

2

1

2

1

2

1

2

o p o p

o p

o p p q p q

T

p q

M

M

M M M M

T

T

T p q T

N M

i

i i

N

i

M

j

i j i j

p q T p q

j i

x y x y

T

k l

N

i

M

j

k i i j l j

N

i

M

j

k i p i l j

M

j

k p l j

l j l j k l

k p

p q

N

i

M

j

i j i j i j p i

p q

N

i

M

j

i j i p

N

i

M

j

p i i p

M

j

p p

M

t

p p

p q

T o p T p q p q

T

T p q T p q T

T o p

o p o p

h e e x p r e s s i o n s f o r n d r e l y o n t h e u s e o f t h e r o n e k e r p r o d u t n o t t i o n d e v e l o p e d i n P @ s e e

U f o r d e t i l e d d e n i t i o n s n d p r o o f s o f t h e r o n e k e r p r o d u t i d e n t i t i e s A D w i t h e i n g g i v e n y n

e x p r e s s i o n o f t h e f o r m X

a C C w h e r e a @ A a

n d w h e r e i s m t r i x D i s m t r i x F

e t t h e e l e m e n t v e t o r n d t h e m t r i x e r e l t e d y X a v e @ A F r o m t h e i d e n t i t y

@ s e e U A X

@ A a v e @ A w h e r e a v e @ A @ T A

i t f o l l o w s t h t i f a @ A t h e n a @ A @ A s i n e @ A a v e @ @ A A F e n e X

@ A @ A a @ A a @ A a @ A @ U A

o n s i d e r t h e v l u e o f a @ A @ A f o r t h e s e w h e r e X

a

I i f a I

H o t h e r w i s e

I P @ V A

a l o g @ A I P @ W A

s i n g @ S A n d @ Q A l l o w s a @ A t o e w r i t t e n i n o m p o n e n t f o r m X

a @ A a l o g @ A a l o g @ A

i n e a I o n l y i f a C I n d a H o t h e r w i s e X a

l o g @ A i f a I I

H i f a

u t f r o m @ U A a @ A D h e n e s i n e @ A a X

a

@ A l o g @ A i f a I I

H i f a

a l o g @ A a l o g @ A

r o m @ P A @ A a h e n e a l o g @ @ A A F h i s m e n s X

@ A @ A a @ A @ C C A @ A

a @ A C @ A @ A C @ @ A @ A A

a @ A C l o g @ @ A A C l o g @ @ A A

@ A @ A a C l o g @ @ A A @ I H A

P P P

P P P

P P P

M M N N

N M N M

U

E

P

i j

i ; j ; ; : : : ; M

Q A x ; y ; ; : : : ; N

U P A P A P

P j l P U

A l : : : M

l M

E U

E

A j : : : M

j M

A A

; A E ;

; ;

M ;

P f g

P f g

v j v j

j j

j j v j v j

A v j

T i

T

T I T T T P Q

Q Q Q

Q Q Q

Q Q Q

P Q

u U u U

P Q v Q V P v V

U Q V p P u P Q v p v p V p

v p T v p v p u v p u V p

v p T v p

U Q V p P

Q V p

V p V p

V p

p A B p A B

v p T v p v p I T T v p

v p v p T v p v p T v p

v p p A B p A B

v p T v p p A B

3

E x p r e s s i o n s f o r T a n d i

P

T

T

R

Q

U

U

S

&

&

&


5/7

j

j j

j j j j

= 1

= 1 = 1 = 1

1

2

1

2

1

2

1

1

= 1

1 2 2 0

1 1 0

1 1

o p o p o p o p

o p

i j i O

M

j

p O

o p

T

o p T

N

i

M

j

i O p i

M

j

p O

o p o p o p

T

o p

o p

z s z s

z s

i j i j

N

z s z s z s z s

z s z s

z s

i j

N

z s

z s

N

i

i j

b

z s o p b o p

T

N M

o w l e t t h e e l e m e n t v e t o r e r e l t e d t o t h e m t r i x y X a v e @ A F u r t h e r l e t X

a l o g @ A @ I I A

o t i n g f r o m @ I A t h t @ A a i t n n o w e s e e n t h t X

@ A a v e @ A v e @ @ A A a l o g @ A a l o g @ A a l o g @ @ A A @ I P A

u t t i n g @ I H A n d @ I P A t o g e t h e r X

@ @ A A a @ A @ A @ A a l o g @ @ A A l o g @ @ A A

@ @ A A a l o g @ @ A A

h u s D s r e q u i r e d D @ @ A A i s m o n o t o n i f u n t i o n o f @ A F @ h e p r m e t e r i s

u s e d t o e n s u r e o n v e r g e n e t o h y p e r u e o r n e r F o r d i s u s s i o n o f i t s r o l e s e e P A

o l l o w i n g t h e n l y s i s d e v e l o p e d i n P D t h e e n f o r e m e n t o f a @ A i s h i e v e d y o n n i n g t h e n e t w o r k

o u t p u t t o s u s p e E t h e v l i d s u s p e E s u h t h t i f i s h y p e r u e o r n e r t h t l i e s i n t h e v l i d

s u s p e D t h e n i t m u s t e o f t h e f o r m @ A F

h e g e n e r l e q u t i o n o f t h e v l i d s u s p e i s X

a C w i t h a @ A

w h e r e i s o n s t n t v e t o r n d i s p r o j e t i o n m t r i x D w h i h p r o j e t s o n t o t h e z e r o s u m s u s p e D

i s t h e i d e n t i t y m t r i x n d i s m t r i x g i v e n y X a F

e t a a v e @ A n d a v e @ A w h e r e n d r e m t r i e s F s i n g t h e i d e n t i t y

@ T A i t n e s e e n t h t X

a v e @ A a v e @ A

u l t i p l i t i o n y h s t h e e e t o f s e t t i n g t h e o l u m n s u m s o f m t r i x t o z e r o @ f o r p r o o f s e e P A D

h e n e t h e o l u m n s u m s o f r e l w y s z e r o F o w l e t e g i v e n y a F f a C t h e n

a C h e n e i f s t i s e s t h e v l i d s u s p e e q u t i o n t h e n m u s t h v e o l u m n s u m s e q u l t o

a I F l e r l y i f i s h y p e r u e o r n e r @ i F e v e t o r o f o n e s n d z e r o s A n d h s o l u m n

s u m o f o n e D t h e n m u s t e o f t h e f o r m @ A n d h e n e a @ A F

h e s i m p l e s t m e t h o d o f i m p l e m e n t t i o n i s t o s e t t h e o n n e t i o n m t r i x n d i n p u t i s o f t h e

n e t w o r k s p r o p o s e d i n Q o r d i n g t o e q u t i o n s @ R H A n d @ R Q A o f P F h u s X

a @ A C n d a C w h e r e i s v r i l e p o s i t i v e p r m e t e r @ I Q A

o w e v e r D f o r r e s o n s o f e i e n y i t i s e t t e r t o u s e t h e m o d i e d n e t w o r k p r o p o s e d i n P n d s h o w n i n

i g P F h i s w s t h e s e f o r t h e s i m p l e e x p e r i m e n t t h t w s p e r f o r m e d t o o n r m t h e t h e o r y e h i n d

t h e m p p i n g o f t h e i t e r i l g o r i t h m F

h e t u l e x p e r i m e n t o n s i s t e d o f n d i n g t h e o p t i m u m s t t e s e q u e n e f o r I H s t t e l e f t t o r i g h t

@ s h o w n i n i g I A t o g e n e r t e s e q u e n e o f P H o u t p u t s y m o l s F

s s i m p l i t i o n D t h e t o t l n u m e r o f p o s s i l e o u t p u t s y m o l s w s r e s t r i t e d t o P H n d t h e o u t p u t

s e q u e n e w s s s u m e d t o e X h e n e a I P P H F h e t r n s i t i o n m t r i x i s s h o w n

i n i g I n d t h e o u t p u t p r o i l i t y m t r i x w s g e n e r t e d r n d o m l y s u j e t t o t h e o n s t r i n t t h t

t h e s u m o f e h r o w w s o n e @ i F e t h e t o t l o u t p u t p r o i l i t y p e r s t t e w s o n e A F n d d i t i o n D t o e n s u r e

t h t t h e s t r t e d i n s t t e n d e n d e d i n s t t e D l l t h e e l e m e n t s o f t h e r s t n d l s t r o w s n d

o l u m n s o f w e r e s e t t o z e r o D e x e p t f o r t h e e l e m e n t n d w h i h w h e r e s e t t o o n e F i g Q

s h o w s t h e e v o l u t i o n o f t h e n e t w o r k o u t p u t f r o m n i n i t i l r n d o m s t t e t o t h e n l s o l u t i o n F

N M N M

B

; ; B

B B ; ;

E M ; ; ;

E M ; ;

E ; ;

M M N N R

N M

S

S

! ! ! ; ; : : : ;

q q

B B

v j

v j

v j v j

A v j

v j

i I i I

I

O A B p

i v p I V p O A B p

v p v p T v p i v p p A B O A B p

v p O p A B

v p O p A B N . B .

v v p

v v

v p

v s T v T I R

s T v

I R

v T v V s S V S

v V R V

R

V S v s v

V S V v V

v V

V V p v v p

T i

T T I T i s i

O A

B

B

= ( )

4

E n f o r c e m e n t o f v v p b y c o n n e m e n t t o t h e v a l i d s u b s p a c e

I m p l e m e n t a t i o n o n a H o p e l d n e t w o r k a n d R e s u l t s o f a S i m p l e E x p e r i m e n t


6/7

q1

q2

q3

q10

1 2 3 4 5 6 6 6 6 6 7 7 8 8 9 9 9 9 9 1 0

o p o p

a

H S H S H H

H H S H S H

H H H S H

H H H H S

h e o u t p u t s h o w n i n i g u r e Q l e r l y s h o w s t h e n e t w o r k h i e v i n g v l i d s o l u t i o n F u r t h e r t h e s t t e

s e q u e n e r e p r e s e n t e d y t h i s s o l u t i o n D i s i n f t t h e o p t i m u m D

s i n e s t n d r d d y n m i p r o g r m m i n g s e d i t e r i l g o r i t h m g i v e s e x t l y t h e s m e s t t e s e q u e n e F

h i s e x p e r i m e n t p r o v i d e s u s e f u l i l l u s t r t i o n o f s o m e o f t h e f e t u r e s i n t r i n s i t o t h e o p e l d n e t w o r k

p p r o h F n e o f t h e s e i s t h e i l i t y o f t h e n e t w o r k t o k e e p t i v e m o r e t h n o n e s o l u t i o n F o r e x m p l e D

t i t e r t i o n P H H i t n e s e e n t h t t w o p r t i l s o l u t i o n s r e t i v e s i m u l t n e o u s l y D o f w h i h o n e e v e n t u l l y

d o m i n t e s F n d d i t i o n D f r o m @ I P A n d @ I H A i t n e s e e n t h t t h e m p p i n g u s e d n e t l y s p l i t s u p t h e

j o i n t l i k e l i h o o d f u n t i o n i n t o n o u t p u t s e q u e n e p r t D @ A D w h i h i s h n d l e d y t h e i n p u t i s

t e r m D n d s t t e s e q u e n e p r t @ A w h i h i s h n d l e d y t h e q u d r t i t e r m @ A @ A F

i n e t h e i n p u t i s t e r m i s n e x t e r n l i n p u t t o t h e n e t w o r k D i t i s h i g h l y p p r o p r i t e t h t i t r r i e s

l l t h e i n f o r m t i o n o u t t h e e x t e r n l o u t p u t s e q u e n e w h i h t h e i s t r y i n g t o r e o g n i s e F v e r l l D

t h e s e f e t u r e s D t o g e t h e r w i t h t h e o v i o u s d v n t g e o f t h e n e t w o r k s i n h e r e n t p r l l e l s t r u t u r e D m k e

t h i s m p p i n g o f t h e i t e r i l g o r i t h m o n t o t h e o p e l d n e t w o r k n o t j u s t u r i o s i t y u t s e r i o u s

p p l i t i o n w i t h s i g n i n t p o t e n t i l F

I i y e r D F F D i r n j n D D l l s i d e D D

r n s F e u r l e t w o r k s D o l E I D s s u e P D p P H R E P I S D F

P i y e r D F F D i r n j n D D l l s i d e D D

m r i d g e n i v F n g i n e e r i n g e p t F e h F e p o r t G E

G E S S

Q o p e l d D F D n k D F D i o l o g i l

y e r n e t i s F S P D I E P S D F

R i l s o n D D w l e y D F i o E

l o g i l y e r n e t i s S V D p T Q E U H F

S h n g D D r o F

V W D o l D p S I Q E S P H D F

T e v i n s o n D D r o F D o l F U Q D o F I I D o v F

F

U r h m D D l l i s o r w o o d t d D h i h E

e s t e r F

: :

: :

:

:

q q q q q q q q q q q q q q q q q q q q

; ;

;

v j

v j

A T h e o r e t i c a l I n v e s t i g a t i o n i n t o t h e p e r f o r m a n c e o f t h e H o p -

e l d M o d e l

A S u b s p a c e A p p r o a c h t o S o l v i n g C o m b i n a t o r i a l O p t i m i z a t i o n

P r o b l e m s u s i n g H o p e l d N e t w o r k s

N e u r a l C o m p u t a t i o n o f D e c i s i o n s i n O p t i m i z a t i o n P r o b l e m s

O n t h e S t a b i l i t y o f t h e T S P P r o b l e m A l g o r i t h m o f H o p e l d a n d T a n k

T r a v e l i n g S a l e s m a n H e u r i s t i c s a n d E m b e d d i n g D i m e n s i o n i n t h e H o p e l d M o d e l

S t r u c t u r a l M e t h o d s i n A u t o m a t i c S p e e c h R e c o g n i t i o n

K r o n e c k e r P r o d u c t s a n d M a t r i x C a l c u l u s : w i t h A p p l i c a t i o n s

A

O A B p

i p A B v p T v p

1 9 9 0

1 9 9 0

1 9 8 5

1 9 8 8

1 9 8 9

1 9 8 5

1 9 8 1

F i g u r e 1 : D i a g r a m o f l e f t t o r i g h t 1 0 s t a t e H M M w i t h a 1 0 1 0 s t a t e t r a n s i t i o n m a t r i x

5

A

D i s c u s s i o n a n d C o n c l u s i o n

R e f e r e n c e s

P

T

T

T

T

R

Q

U

U

U

U

S


7/7

state 1

state 10t=1

t=20

state 1

state 10t=1

t=20

state 1

state 10t=1

t=20

state 1

state 10t=1

t=20

v=Topv+iop

+ v

v

v

(1) (2)

.

(3)

v=s+Tzsv

z s z s

o p

o p o p

o p o p

r o j e t i o n o f o n t o v l i d s u s p e

a C w h e r e a @ A

o n l i n e r s y m m e t r i r m p 9 t h r e s h o l d f u n E

t i o n s o n s t r i n i n g t o t h e u n i t h y p e r u e F

h n g e i n g i v e n y t h e g r d i e n t o f t h e o p t i E

m i z t i o n e n e r g y t e r m D w i t h a

t e r t i o n I H E a I V V S t e r t i o n P H H E a I R P U

t e r t i o n Q S H E a V I W t e r t i o n V H H E a R V I

E t

E : E :

E : E :

( 1 ) v

v s T v T I R

( 2 )

v

( 3 ) v

v v

F i g u r e 2 : S c h e m a t i c d i a g r a m o f m o d i e d n e t w o r k i m p l e m e n t a t i o n

F i g u r e 3 : 3 D M e s h P l o t s s h o w i n g t h e e v o l u t i o n o f ( t h e m a t r i x r e p r e s e n t a t i o n o f t h e n e t w o r k

o u t p u t v e c t o r , w h e r e v e c ( ) = ) i n a s i m u l a t i o n o f t h e m o d i e d n e t w o r k i m p l e m e n t i n g t h e

V i t e r b i a l g o r i t h m f o r a 1 0 s t a t e H M M a n d s e q u e n c e o f 2 0 o u t p u t s y m b o l s . T h e n a l s o l u t i o n

a t i t e r a t i o n 8 0 0 i s i d e n t i c a l t o t h e s o l u t i o n o b t a i n e d b y d y n a m i c p r o g r a m m i n g , i . e . i t i s t h e

g l o b a l o p t i m u m . ( N . B . T h e v e r t i c a l a x i s s c a l e c h a n g e s f o r e a c h m e s h p l o t . )

6

V

v V v

Documents

A Hopfield Network Implementation of the Viterbi Algorithm for Hidden Markov Models