7/29/2019 Voice x Ml Paper

1/8

V o i c e X M L i n a R e a l A u t o m a t i c M e t e o r o l o g i c a l

I n f o r m a t i o n S y s t e m

L u i s V i l l a r e j o , J a v i e r H e r n a n d o , a n d N u r i a C a s t e l l

T A L P R e s e a r c h C e n t e r , U n i v e r s i t a t P o l i t e c n i c a d e C a t a l u n y a

C a m p u s N o r d - A 0 , J o r d i G i r o n a 1 - 3 , 0 8 0 3 4 B a r c e l o n a , S p a i n

f l u i s v , j a v i e r , c a s t e l l g @ t a l p . u p c . e s

A b s t r a c t . T h i s p a p e r d e s c r i b e s t h e w o r k d o n e i n d e v e l o p i n g a r e a l a u t o -

m a t i c m e t e o r o l o g i c a l i n f o r m a t i o n s y s t e m b y m e a n s o f b u i l d i n g a V o i c e X M L

f r a m e w o r k , o r b r o w s e r , o v e r a n o p e n s o u r c e V o i c e X M L i n t e r p r e t e r . T h e

s y s t e m p r o v i d e s r e a l - t i m e t e l e p h o n e a c c e s s t o m e t e o r o l o g i c a l d a t a a n d a

w a r n i n g s e r v i c e w h i c h k e e p s u s e r s i n f o r m e d o n t h e w e a t h e r c o n d i t i o n s . T h e

i n t e r p r e t e r h a s b e e n i n t e g r a t e d w i t h t h e t e l e p h o n y p l a t f o r m , t h e t e x t - t o -

s p e e c h e n g i n e a n d t h e a u t o m a t i c s p e e c h r e c o g n i t i o n e n g i n e . S o w e h a v e

o b t a i n e d a f u l l y f u n c t i o n a l f r a m e w o r k f o r V o i c e X M L a p p l i c a t i o n s q u i c k d e -

v e l o p m e n t a n d d e p l o y m e n t . I n t h i s p a p e r , a f t e r t h e d e s c r i p t i o n o f t h e s y s t e m

f u n c t i o n a l i t i e s , w e p r e s e n t t h e f r a m e w o r k b y d e s c r i b i n g i t s a r c h i t e c t u r e a n d

t h e e o r t d o n e i n i n t e g r a t i n g t h e v o i c e t e c h n o l o g y w i t h t h e i n t e r p r e t e r a s

l o n g a s i n o v e r c o m i n g t h e d i c u l t i e s f o u n d f r o m t h e i n d u s t r i a l p o i n t o f

v i e w .

1 I n t r o d u c t i o n

T h e s p r e a d o f v o i c e a p p l i c a t i o n s h a s r e a c h e d m a n y e l d s , n o t o n l y i n r e s e a r c h b u t

a l s o i n e d u c a t i o n a n d i n d u s t r y . M e t e o r o l o g y h a s n o t b e e n a n e x c e p t i o n , f o r a l o n g

t i m e i t h a s b e e n p r o v i d e d b y m e a n s o f w e a t h e r r e p o r t s o n t e l e v i s i o n , r a d i o a n d l a t e l y

o n t h e i n t e r n e t . N o w a d a y s s p e e c h a c c e s s p e r m i t s m a k i n g t h i s i n f o r m a t i o n a v a i l a b l e

t o a l a r g e n u m b e r o f c u s t o m e r s a n y t i m e a n d a n y p l a c e f r o m t h e i r m o b i l e p h o n e . T h e

V o i c e X M L s t a n d a r d 1 ] i s t a k i n g a n i m p o r t a n t r o l e i n g i v i n g s u p p o r t t o t h i s k i n d o f

i n t e r a c t i v e s p e e c h s y s t e m s d e v e l o p m e n t s w h i c h c o v e r a g r e a t r a n g e o f d o m a i n s . T o

q u i c k l y r e v i e w s o m e V o i c e X M L - b a s e d s y s t e m s w e s h o u l d m e n t i o n t h e I N S P I R E 2 ]

( I n f o t a i n m e n t m a n a g e m e n t w i t h s p e e c h i n t e r a c t i o n v i a r e m o t e - m i c r o p h o n e s a n d

t e l e p h o n e i n t e f a c e s ) p r o j e c t , w h i c h f o c u s e s o n s p e e c h d i a l o g u e - b a s e d a s s i s t a n t f o r

w i r e l e s s c o m m a n d a n d c o n t r o l o f h o m e a p p l i a n c e s . O r t h e F A Z . N E T F o n s e r v i c e 3 ]

( F r a n k f u r t e r A l l g e m e i n e Z e i t u n g ) p r o j e c t w h i c h f o c u s e s o n g i v i n g s p e e c h a c c e s s t o

t h i s G e r m a n n e w s p a p e r i n f o r m a t i o n . L a t e l y s o m e s y s t e m s h a v e f o c u s e d o n m e t e o -

r o l o g i c a l i n f o r m a t i o n l i k e t h e J U P I T E R Z u 0 0 ] p r o j e c t , n o t d e v e l o p e d i n V o i c e X M L

b u t b e i n g a r e f e r e n c e w o r k i n t h i s e l d .

I n t h i s p a p e r w e d e s c r i b e a T T e m p s

1

P H 0 2 ] , a V o i c e X M L s y s t e m w h i c h p r o v i d e s

1

T h i s w o r k h a s b e e n s u p p o r t e d b y t h e C a t a l a n S e c r e t a r y f o r t h e I n f o r m a t i o n S o c i e t y

a n d b y t h e S p a n i s h G o v e r n m e n t ( T I C 2 0 0 0 - 1 7 3 5 - C 0 2 - 0 1 ) .

7/29/2019 Voice x Ml Paper

2/8

n o t o n l y a s e t o f p e r s o n a l i z e d r e a l - t i m e m e t e o r o l o g i c a l d a t a b u t a l s o a f u l l y c o n -

g u r a b l e w a r n i n g s e r v i c e a c t i v a t e d e i t h e r b y t i m e o r b y m e t e o r o l o g i c a l c o n d i t i o n s .

T h e s y s t e m m a k e s u s e o f a w i d e r a n g e o f t h e V o i c e X M L 2 . 0 d i a l o g c a p a b i l i t i e s . W e

s t a r t b y p r e s e n t i n g , i n s e c t i o n 2 , t h e f u n c t i o n a l g o a l s o f t h e s y s t e m , i t s i n f o r m a -

t i o n s o u r c e s , i t s g e o g r a p h i c c o v e r a g e a n d a t y p i c a l d i a l o g u e e x a m p l e . I n s e c t i o n 3

t h e s y s t e m a r c h i t e c t u r e i s d e s c r i b e d . A f t e r t h a t , w e d i s c u s s t h e i n t e g r a t i o n i s s u e s

i n v o l v e d w i t h i m p l e m e n t i n g t h e f r a m e w o r k i n s e c t i o n 4 . S e c t i o n 5 g i v e s a g e n e r a l

o v e r v i e w o n t h e d i a l o g u e m a n a g e r . A n d a t t h e e n d o f t h e d o c u m e n t , s e c t i o n 6 , w e

p r e s e n t t h e c o n c l u s i o n s a n d f u r t h e r w o r k .

2 a T T e m p s s c e n a r i o

a T T e m p s c o v e r s t w o m a i n f u n c t i o n a l r e q u i r e m e n t s : o e r i n g r e a l - t i m e d a t a a n d

s e t t i n g u p a w a r n i n g m e s s a g e . I n m o r e d e t a i l , t h e r s t o n e , a s c a n b e s e e n i n

F i g u r e 1 , i s t o p r o v i d e p e r s o n a l i z e d r e a l - t i m e d a t a o n a s e t o f m e t e o r o l o g i c a l c o n d i -

t i o n s / v a r i a b l e s o n e a c h p l a c e o f t h e C a t a l a n g e o g r a p h y i n t h e C a t a l a n l a n g u a g e v i a

p h o n e . S o u s e r s c a n a s k t h e s y s t e m f o r m e t e o r o l o g i c a l c o n d i t i o n s / v a r i a b l e s s u c h a s

t e m p e r a t u r e , w i n d s p e e d , r a i n f o r e s c a s t . . . t a k i n g p l a c e a t c a l l i n g t i m e . A d i a l o g u e

i s i n i t i a t e d b y t h e s y s t e m i n o r d e r t o u n d e r s t a n d t h e u s e r r e q u e s t a n d p r o v i d e t h e

d e s i r e d i n f o r m a t i o n . T h e s e c o n d f u n c t i o n a l r e q u i r e m e n t , a s w e s t a t e d b e f o r e , i s t o

e s t a b l i s h a n o t i c e a n d a l a r m s y s t e m o n t h e m e t e o r o l o g i c a l c o n d i t i o n s . S o u s e r s c a n

a s k t h e s y s t e m t o b e n o t i e d ( w i t h a n S M S o r a v o i c e m e s s a g e ) e i t h e r w h e n s o m e

u s e r d e n e d m e t e o r o l o g i c a l c o n d i t i o n s t a k e p l a c e o r a t c e r t a i n d a t e a n d t i m e a b o u t

s o m e m e t e o r o l o g i c a l c o n d i t i o n s . I n o r d e r t o g i v e s u p p o r t f o r b o t h s c e n a r i o s t h e

s y s t e m e x p l o i t s d i e r e n t i n f o r m a t i o n s o u r c e s f r o m t h e S e r v e i M e t e o r o l o g i c C a t a l a

( S M C 4 ] , C a t a l a n M e t e o r o l o g i c a l S e r v i c e ) .

F i g . 1 . R e a l - t i m e m e t e o r o l o g i c a l d a t a o n d e m m a n d

2 . 1 I n f o r m a t i o n S o u r c e s a n d G e o g r a p h i c C o v e r a g e

D a t a q u e r i e d b y t h e u s e r s a r e o b t a i n e d f r o m f o u r d i e r e n t i n f o r m a t i o n s o u r c e s o f -

f e r e d b y t h e S M C :

7/29/2019 Voice x Ml Paper

3/8

1 ) T w o m e t e o r o l o g i c a l g r o u n d n e t s , m a d e u p o f n i n e t y o n e a u t o m a t i c g r o u n d s t a -

t i o n s , s c a t t e r e d o v e r t h e C a t a l a n g e o g r a p h y . T h e s e s t a t i o n s a r e c o n n e c t e d v i a s a t e l -

l i t e o r m o d e m t o t h e m e t e o r o l o g i c a l c e n t r e w h e r e a n a v e r a g e o f t h e d a t a a c q u i r e d

c o n s t a n t l y b y t h e s t a t i o n s i s r e c e i v e d e v e r y h a l f a n h o u r .

2 ) A m e t e o r o l o g i c a l s e a n e t , m a d e u p o f f o u r a u t o m a t i c b u o y s s c a t t e r e d o v e r t h e

C a t a l a n c o a s t . C o n s t a n t l y a c q u i r i n g i n f o r m a t i o n , a n a v e r a g e o f t h e d a t a i s s e n t t o

t h e m e t e o r o l o g i c a l c e n t r e v i a s a t e l l i t e e v e r y h o u r .

3 ) R a i n f o r e c a s t , u p d a t e d t w i c e a d a y , p r o v i d i n g i n f o r m a t i o n a b o u t r a i n f a l l s f o r

t h e n e x t 1 2 , 2 4 a n d 3 6 h o u r s .

4 ) W e a t h e r a l a r m s , u p d a t e d e v e r y h a l f a n h o u r , o n s p e c i a l s i t u a t i o n s l i k e r i s k o f

r e s , h a i l s t o r m s , d a n g e r o f o o d s , a v a l a n c h e s . . .

A l l t h i s i n f o r m a t i o n i s o e r e d a b o u t n e a r l y o n e t h o u s a n d C a t a l a n m u n i c i p a l i t i e s

a n d a s e t o f t o p o n y m s o f s p e c i a l i n t e r e s t l i k e a i r p o r t s o r t o u r i s t p l a c e s . O f c o u r s e ,

t h e r e i s n o t o n e m e t e o r o l o g i c a l s t a t i o n f o r e v e r y m u n i c i p a l i t y , s o a n i n f e r e n c e s y s -

t e m h a s b e e n d e v e l o p e d i n o r d e r t o s e t t h e s t a t i o n w h i c h b e s t s u i t s f o r e v e r y

m u n i c i p a l i t y .

2 . 2 E x a m p l e o f U s e

A t y p i c a l d i a l o g u e , t r a n s l a t e d t o E n g l i s h , i s d e s c r i b e d b e l o w i n o r d e r t o g i v e a n i d e a

o f t h e b a s i c i n t e r a c t i o n b e t w e e n t h e u s e r a n d t h e s y s t e m . I n t h i s c a s e w e p r e s e n t a

u s e r w h o w a n t s t o b e w a r n e d i f s i g n i c a n t r a i n f a l l s t a k e p l a c e i n B a d a l o n a c i t y .

S y s t e m : W e l c o m e t o t h e a t t e m p s m e t e o r o l o g i c a l w a r n i n g a n d i n f o r m a t i o n s y s t e m . Y o u

c a n a l w a y s s a y h e l p , c o r r e c t i o n , r e p e t i t i o n o r e x i t . F r o m w h i c h C a t a l a n p l a c e d o y o u w a n t

i n f o r m a t i o n , o r d o y o u w a n t t o e s t a b l i s h a w a r n i n g ?

U s e r : I w o u l d l i k e t o a c t i v a t e a w a r n i n g .

S y s t e m : T e l l m e , d i g i t b y d i g i t , t h e t e l e p h o n e n u m b e r w h e r e y o u w a n t t o r e c e i v e t h e w a r n -

i n g . Y o u c a n a l s o d i a l i t o n y o u r t e l e p h o n e .

U s e r : 6 6 9 5 1 6 1 5 8

S y s t e m : T o t h e 6 6 9 5 1 6 1 5 8 , a b o u t w h i c h C a t a l a n p l a c e d o y o u w a n t t o r e c e i v e t h e w a r n -

i n g ? .

U s e r : U m m m m . . . . a b o u t B a d a l o n a , p l e a s e .

S y s t e m : A b o u t B a r c e l o n a , i n w h i c h i n f o r m a t i o n a r e y o u i n t e r e s t e d ?

U s e r : N o , n o t f r o m B a r c e l o n a , I w a n t t o c o r r e c t .

S y s t e m : A b o u t w h i c h C a t a l a n p l a c e d o y o u w a n t t o r e c e i v e t h e w a r n i n g ?

U s e r : I w a n t a w a r n i n g a b o u t B a d a l o n a .

S y s t e m : A b o u t B a d a l o n a , i n w h i c h i n f o r m a t i o n a r e y o u i n t e r e s t e d ?

U s e r : I n e e d i n f o r m a t i o n o n r a i n f a l l s .

S y s t e m : D o y o u w a n t t o r e c e i v e t h e m e s s a g e i f i t r a i n s , i f i t d o e s n ' t r a i n o r d e p e n d i n g o n

7/29/2019 Voice x Ml Paper

4/8

r a i n f a l l s q u a n t i t y ? .

U s e r : N o t i f y m e i f r a i n f a l l s a r e o v e r 5 l i t e r s p e r s q u a r e m e t e r .

S y s t e m : W h i c h k i n d o f w a r n i n g d o y o u w a n t t o r e c e i v e ? a t a s p e c i c d a t e a n d t i m e , e v e r y

t i m e r a i n f a l l s a t B a r c e l o n a r e a c h o v e r 5 l i t e r s p e r s q u a r e m e t e r , o r j u s t t h e r s t t i m e ?

U s e r : I w a n t y o u t o n o t i f y m e e v e r y t i m e , p l e a s e .

S y s t e m : D o y o u w a n t t o b e n o t i e d w i t h a n S M S o r a p h o n e c a l l ?

U s e r : A n S M S w i l l b e o k .

S y s t e m : O k , y o u w i l l b e n o t i e d w i t h a n S M S t o t h e 6 6 9 5 1 6 1 5 8 e v e r y t i m e r a i n f a l l s a t

B a d a l o n a r e a c h o v e r 5 l i t e r s p e r s q u a r e m e t e r . I s t h i s c o r r e c t ?

U s e r : Y e s .

S y s t e m : T h e w a r n i n g h a s b e e n c o r r e c t l y r e g i s t e r e d , d o y o u w a n t a n y o t h e r i n f o r m a t i o n ?

U s e r : N o , I d o n ' t . T h a n k s .

S y s t e m : T h a n k s f o r c a l l i n g , g o o d b y e .

3 a T T e m p s A r c h i t e c t u r e

S y s t e m a r c h i t e c t u r e f o l l o w s t h e t y p i c a l V o i c e X M L a r c h i t e c t u r e , t h a t m e a n s t h a t

i t i s o r g a n i z e d a r o u n d t h e V o i c e X M L f r a m e w o r k ( d e t a i l e d i n n e x t s e c t i o n ) w h i c h

r e q u e s t s t h e w e b s e r v e r f o r t h e V o i c e X M L d o c u m e n t s t h a t m a k e u p t h e d i a l o g u e

m a n a g e r . T h o s e d o c u m e n t s a r e g e n e r a t e d i n t h e s e r v e r s i d e w i t h d y n a m i c c o n t e n t

f r o m t h e s y s t e m d a t a b a s e w h i c h i s u p d a t e d e v e r y h a l f a n h o u r b y t h e d a t a a c q u i -

s i t i o n m o d u l e t h a t q u e r i e s t h e S M C s e r v e r . I n o r d e r t o u n d e r s t a n d l a t e r s e c t i o n s a

s h o r t o v e r v i e w o f a l l m o d u l e s ( e x c l u d i n g t h e f r a m e w o r k a n d t h e d i a l o g u e m a n a g e r

w h i c h a r e d e t a i l e d i n n e x t s e c t i o n s ) i s d o n e i n t h i s s e c t i o n . F o r a d e e p e r k n o w l e d g e

o f t h e s y s t e m s e e V i 0 2 ] .

S y s t e m d a t a i s s t o r e d i n t w o d i e r e n t d a t a b a s e s . T h e r s t o n e , a r e l a t i o n a l d a t a b a s e ,

s t o r e s t h e m e t e o r o l o g i c a l i n f o r m a t i o n a n d i s u p d a t e d b y t h e d a t a a c q u i s i t i o n m o d -

u l e . W h i l e t h e s e c o n d o n e , a n L D A P ( L i g h t w e i g h t D i r e c t o r y A c c e s s P r o t o c o l )

d a t a b a s e t o o p t i m i z e s e a r c h e s , s t o r e s t h e u s e r p r o l e k e p t f o r e v e r y w a r n i n g a n d i s

u p d a t e d e v e r y t i m e t h a t e i t h e r a w a r n i n g t a k e s p l a c e o r a u s e r a c t i v a t e s o r d e a c t i -

v a t e s a w a r n i n g .

T h e d a t a a c q u i s i t i o n m o d u l e u p d a t e s t h e m e t e o r o l o g i c a l d a t a b a s e e v e r y h a l f a n

h o u r w i t h t h e i n f o r m a t i o n a c q u i r e d f r o m t h e S M C s e r v e r . T h i s m o d u l e s t a n d s a s

t h e g u a r a n t o r f o r r e a l - t i m e d a t a .

4 V o i c e X M L F r a m e w o r k

T h e m a i n g o a l i n b u i l d i n g t h i s f r a m e w o r k h a s b e e n s e t t i n g u p a s t r u c t u r e t h a t f a c i l -

i t a t e s a n d a c c e l e r a t e s a s m u c h a s p o s s i b l e t h e d e v e l o p m e n t a n d d e p l o y m e n t o f o r a l

d i a l o g u e m a n a g e r s b y m a k i n g t h e m i n d e p e n d e n t f r o m t h e v o i c e t e c h n o l o g y . F i r s t l y ,

w e i d e n t i e d V o i c e X M L a s t h e l a n g u a g e f o r o u r f r a m e w o r k b e c a u s e i t s t a n d a r d i z e s

v o i c e a p p l i c a t i o n s d e v e l o p m e n t t a k i n g a d v a n t a g e o f w e b t e c h n o l o g i e s a n d m a k i n g

7/29/2019 Voice x Ml Paper

5/8

t h e d i a l o g u e m a n a g e r i n d e p e n d e n t n o t o n l y f r o m v o i c e t e c h n o l o g y b u t a l s o f r o m

a p p l i c a t i o n l o g i c . O n c e t h e l a n g u a g e w a s c h o s e n , O p e n V X I 2 . 0 E b 0 2 ] f r o m S p e e c h -

W o r k s 5 ] w a s c h o s e n a s t h e t o o l k i t t o i n t e r p r e t V o i c e X M L b e c a u s e o f i t s p o r t a b l e

o p e n s o u r c e d e s i g n . S o , a s c a n b e s e e n i n F i g u r e 2 , t h e f r a m e w o r k i s b a s e d o n t h e

i n t e r p r e t e r w h i c h a c t s a s t h e s k e l e t o n w h e r e t o i n t e g r a t e t h e t e c h n o l o g y d e p e n d e n t

c o m p o n e n t s . T h e s e a r e t h e t e l e p h o n y p l a t f o r m , t h e t e x t t o s p e e c h e n g i n e ( T T S )

a n d t h e a u t o m a t i c s p e e c h r e c o g n i t i o n e n g i n e ( A S R ) . T h e e o r t d o n e i n i n t e g r a t i n g

t h e s e t e c h n o l o g y d e p e n d e n t c o m p o n e n t s i s m a d e b y m e a n s o f d i e r e n t a p p l i c a t i o n

p r o g r a m m i n g i n t e r f a c e s ( A P I ) a n d i s b r i e y d e s c r i b e d i n t h e n e x t t h r e e s e c t i o n s .

F i g . 2 . V o i c e X M L f r a m e w o r k a r c h i t e c t u r e a n d t e c h n o l o g y d e p e n d e n t c o m p o n e n t s u s e d

4 . 1 T e l e p h o n y A P I

T h e b u i l d i n g o f t h i s A P I i n v o l v e d t h e i n t e g r a t i o n o f D i a l o g i c 6 ] t e l e p h o n e c a r d , a s

t h e f r a m e w o r k t e l e p h o n y p l a t f o r m . T h e w o r k d o n e i n t h i s A P I m a i n l y c o n s i s t e d i n

r s t l y , i n i t i a l i z e t h e t e l e p h o n y p l a t f o r m a n d w a i t f o r a p h o n e c a l l t o c o m e . S e c o n d l y ,

o n c e a p h o n e c a l l h a s b e e n r e c e i v e d , a l o g i c a l c h a n n e l i s a s s i g n e d t o i t a n d n o t i e d

t o t h e i n t e r p r e t e r . A n d l a s t b u t n o t l e a s t , t h e h a n d l i n g o f t e l e p h o n y e v e n t s d u r i n g

t h e l i f e o f t h e c a l l .

4 . 2 T e x t T o S p e e c h A P I

T h e d e v e l o p m e n t o f t h i s A P I i m p l i e d t h e i n t e g r a t i o n o f I b e r V o x 7 ] a s t h e f r a m e w o r k

T T S e n g i n e . T h i s s o f t w a r e p r o v i d e s a s y n c h r o n o u s m e s s a g e r e p r o d u c t i o n w h i c h w a s

i n c o r p o r a t e d . T h e m a i n g o a l h e r e i s t o p r o v i d e t e x t - t o - s p e e c h s e r v i c e s , t h a t i s ,

t a k i n g c a r e o f p r o m p t i n g m a n a g e m e n t a n d p r o v i d i n g t h e a u d i o t o t h e t e l e p h o n y

s e r v i c e s f o r p l a y b a c k .

T h e m a n a g e m e n t s t r a t e g y c o n s i s t e d r s t l y i n p r e p r o c e s s i n g e v e r y p r o m p t i n o r -

d e r t o t r a n s l a t e t h e S p e e c h S y n t h e s i s M a r k u p L a n g u a g e ( S S M L ) m a r k s i n t o t h e

s p e c i c T T S e n g i n e l a n g u a g e . A n d s e c o n d l y i n m a i n t a i n i n g a b u e r w h e r e p r o m p t s

7/29/2019 Voice x Ml Paper

6/8

a r e s t o r e d .

T h e s t r a t e g y u s e d w h e n a p l a y e v e n t i s d e t e c t e d i s m a d e u p o f f o u r s t e p s . F i r s t o f

a l l , t h e c o n t e n t o f t h e b u e r h o l d i n g t h e p r o m p t b a s i c b l o c k i s r e c o v e r e d a n d t h e

b u e r r e l e a s e d . S e c o n d l y , a s i l e n c e i s a d d e d a t t h e e n d o f t h e p r o m p t i f t h e b a r g e - i n

p r o p e r t y i s o n ( t h i s i s j u s t i e d i n t h e A S R A P I s e c t i o n ) . T h i r d l y , t h e s y s t e m w a i t s

f o r t h e c h a n n e l t o b e f r e e , t h i s i s w a i t i n g e i t h e r f o r a n y m e s s a g e s t o n i s h i t s r e p r o -

d u c t i o n o r f o r a n y s p e e c h r e c o g n i t i o n a c t i o n t o n i s h . A n d n a l l y , a n a s y n c h r o n o u s

r e p r o d u c t i o n e v e n t i s s e n t t o t h e T T S e n g i n e .

4 . 3 A u t o m a t i c S p e e c h R e c o g n i t i o n A P I

T h e b u i l d i n g o f t h i s A P I e n t a i l e d t h e i n t e g r a t i o n o f I b e r V o x a s t h e f r a m e w o r k A S R

e n g i n e w h i c h i s i n c h a r g e o f p r o c e s s i n g c a l l e r i n p u t o b t a i n e d v i a t h e t e l e p h o n y

s e r v i c e s . T h e t w o t a s k s t o t a c k l e h e r e a r e t h e s p e e c h r e c o g n i t i o n s e r v i c e s h a n d l i n g

( e x p l a i n e d i n t h e n e x t s e c t i o n d u e t o i t s h i g h b a r g e - i n d e p e n d e n c y ) , a n d t h e c o o r -

d i n a t i o n o f t h e i n t e r p r e t e r a n d t h e A S R e n g i n e t o m a n a g e g r a m m a r s .

O n e o f t h e i n t e r p r e t e r d e c i e n c i e s w a s g r a m m a r m a n a g e m e n t . W e f o u n d t h a t t h e

s y n t a c t i c p a r s e r o e r e d b y t h e i n t e r p r e t e r o n l y a d m i t t e d w o r d l i s t s , t h a t i s , w i t h

n o s y n t a c t i c s t r u c t u r e . T h a t w a s t o t a l l y i n s u c i e n t i f r e a l a p p l i c a t i o n s w e r e t o

b e i m p l e m e n t e d o v e r t h i s f r a m e w o r k , s o a n A B N F p a r s e r w a s i m p l e m e n t e d a n d

i n c o r p o r a t e d i n o r d e r t o a c c e p t a w i d e r a n d r i c h e r r a n g e o f g r a m m a t i c a l c o n s t r u c -

t i o n s f r o m t h e u s e r . T h i s p a r s e r a c c e p t s b o t h i n - l i n e a n d e x t e r n a l g r a m m a r s g i v i n g

s u p p o r t t o d y n a m i c g r a m m a r c o n s t r u c t i o n . T h e g r a m m a r p r o c e s s i n g i n v o l v e s t h e

f o l l o w i n g s t e p s f o r e a c h l o a d e d V o i c e X M L d o c u m e n t : 1 ) g e t t i n g g r a m m a r c o n t e n t

2 ) d o i n g s y n t a c t i c p a r s i n g a n d 3 ) d o i n g a t r a n s c r i p t i o n i n t o a n i n t e r n a l f o r m a t

f a c i l i t a t i n g i t s h a n d l i n g . L a s t s t e p r e p r e s e n t e d a b o t t l e n e c k d u e t o t h e t i m e t a k e n

b y t h i s p r o c e s s w h e n b i g g r a m m a r s , l i k e t h e o n e h o l d i n g o n e t h o u s a n d p l a c e s , a r e

i n v o l v e d . T h a t i s c o m m o n l y a v o i d e d b y p r e p r o c e s s i n g b i g g r a m m a r s a n d m a k i n g i t s

i n t e r n a l r e p r e s e n t a t i o n p e r s i s t e n t s o a s c o m p i l a t i o n o n l y h a s t o b e d o n e o n c e . O n c e

a l l g r a m m a r s i n t h e d o c u m e n t h a v e b e e n p r o c e s s e d , t h e i n t e r p r e t e r d e t e r m i n e s i n

e v e r y m o m e n t w h i c h o f t h e m a r e a c t i v e . P r o c e s s i n g j u s t a c t i v e g r a m m a r s i s a n

i n t e r p r e t e r i m p r o v e m e n t w h i c h s p e e d s u p t h e f r a m e w o r k .

4 . 4 S u p p o r t i n g b a r g e - i n

A S R a n d T T S A P I ' s m u s t b e c o o r d i n a t e d , s p e c i a l l y t o h a n d l e t h e b a r g e - i n p r o p -

e r t y . D e p e n d i n g o n i t s v a l u e t w o d i e r e n t r e p r o d u c t i o n p o l i c i e s a r e a p p l i e d :

1 ) W i t h b a r g e - i n o n , s p e e c h r e p r o d u c t i o n a n d r e c o g n i t i o n m u s t b e t h r o w n s i m u l t a -

n e o u s l y . T h i s m e a n s t h a t g r a m m a r s m u s t b e c o m p i l e d b e f o r e p l a y i n g a n y m e s s a g e .

I n o r d e r t o s i m p l i f y t h e p r o m p t m a n a g e m e n t t h e s y s t e m s t o r e s p r o m p t s i n a b u e r

b y m e a n s o f b a s i c b l o c k s , w h e r e a b a s i c b l o c k i s a s e q u e n c e o f p r o m p t s n o t c u t b y

a n y p l a y . S o t h e p r o m p t s a r e n o t r e p r o d u c e d a s s o o n a s t h e s y s t e m p r o c e s s e s t h e m

7/29/2019 Voice x Ml Paper

7/8

b u t w h e n a p l a y e v e n t i s t h r o w n ( w h i c h i s u s u a l l y f o l l o w e d b y a s p e e c h r e c o g n i t i o n

a c t i o n ) . R e c o g n i t i o n a n d p l a y f u n c t i o n s a r e s t o p p e d w h e n a t e r m i n a t i o n e v e n t f r o m

e i t h e r i s d e t e c t e d , l e t t i n g t h e u s e r t o i n t e r r u p t t h e s y s t e m m e s s a g e s w h e n e v e r s / h e

w a n t e d .

2 ) W i t h b a r g e - i n o , i n o r d e r t o a v o i d u n c o m f o r t a b l e a n d u n n e c e s s a r y s i l e n c e s

c a u s e d b y b i g g r a m m a r p r o c e s s i n g o r l o n g c a l c u l u s p e r f o r m a n c e , a n d t a k i n g a d -

v a n t a g e o f t h e T T S a s y n c h r o n o u s c a p a b i l i t i e s p r o m p t s a r e r e p r o d u c e d a s s o o n a s

t h e y a r r i v e t o t h e b u e r . S o t h e s y s t e m c a n g o o n w h i l e r e p r o d u c i n g a m e s s a g e .

5 T h e d i a l o g u e m a n a g e r

T h e d i a l o g u e m a n a g e r i s m a d e u p o f V o i c e X M L l e s w h i c h a r e g e n e r a t e d w i t h d y -

n a m i c c o n t e n t ( f r o m d a t a b a s e s ) i n t h e s e r v e r s i d e u s i n g C G I s c r i p t s . D e s i g n i n g t h e

d i a l o g u e s e v e r a l f a c t o r s m u s t b e t a k e n i n t o a c c o u n t l i k e t h e d i a l o g u e o w , t h e c o n -

r m a t i o n p o l i c y , t h e l a n g u a g e g e n e r a t i o n , t h e h e l p i n g f e a t u r e s a n d t h e a p p l i c a t i o n

s t r u c t u r e i n t o V o i c e X M L d o c u m e n t s . A m o n g t h e m , h e r e w e w o u l d l i k e t o p o i n t o u t

t h e l a s t t w o . F o r a d e e p e r d e s c r i p t i o n s e e V C H 0 3 ] .

T h e h e l p i n g s y s t e m h a s b e e n b a s e d i n t w o m a i n f e a t u r e s . F i r s t l y , s e t t i n g u p a n

a u t o m a t i c a l l y a d a p t a b l e h e l p m e s s a g i n g s e r v i c e t a k i n g a d v a n t a g e o f V o i c e X M L

f e a t u r e s . T h i s s e r v i c e a i m i s t o p r o v i d e h e l p i n g m e s s a g e s e x a c t l y w h e n n e e d e d

a v o i d i n g a n n o y i n g t h e u s e r w i t h u n n e c e s s a r y m e s s a g e s . S o w h e n w e l c o m e i s d o n e ,

u s e r b e h a v i o u r i s b r i e y e x p l a i n e d a n d a f t e r t h a t , h e l p i s o n l y p r o v i d e d w h e n u s e r

k e e p s q u i e t , w h e n u s e r i n p u t i s n o t u n d e r s t o o d b y t h e s y s t e m o r w h e n u s e r e x p l i c -

i t l y a s k s f o r h e l p . A n d S e c o n d l y , a s e t o f C a t a l a n k e y / w o r d s e x p r e s s i o n s , s h o w n i n

T a b l e 1 , h a s b e e n s e t u p t o s u p p o r t m o s t f r e q u e n t u s e r a c t i o n s a n y t i m e .

T a b l e 1 . K e y w o r d s / e x p r e s s i o n s

K e y f o r m s U s e r n e e d s S y s t e m r e a c t i o n

( T r a n s l a t e d t o E n g l i s h )

\ A g a i n p l e a s e ? " , \ R e p e a t p l e a s e " . . . R e p e t i t i o n R e p e a t s l a s t m e s s a g e

\ I w a n t t o r e c t i f y " , \ C o r r e c t i o n " . . . C o r r e c t i o n A s k s f o r t h e l a s t v a l u e g i v e n

\ H e l p m e " , \ I w a n t h e l p " . . . H e l p P r o v i d e s h e l p

\ G o o d b y e " , \ E x i t " . . . E x i t F i n i s h e s t h e i n t e r a c t i o n

A p p l i c a t i o n s t r u c t u r e h a s b e e n d e t e r m i n e d b y t h e m a i n i n t e r p r e t e r b o t t l e n e c k ,

t h a t i s t h e g r a m m a r c o m p i l a t i o n . A s w e s t a t e d b e f o r e , t h e i n t e r p r e t e r c o m p i l e s

a l l g r a m m a r s i n t h e c u r r e n t d o c u m e n t w i t h o u t t a k i n g i n t o a c c o u n t w h e t h e r e a c h

g r a m m a r i s a c t i v e o r n o t . C o n s i d e r i n g t h i s l i m i t a t i o n a n d t h e f a c t t h a t l o a d i n g

a d o c u m e n t t a k e s a n e g l i g i b l e t i m e w e d e c i d e d t o s e p a r a t e g r a m m a r s a s m u c h

a s n e e d e d i n d i e r e n t d o c u m e n t s i n o r d e r t o s p e e d u p t h e d o c u m e n t p r o c e s s i n g .

S p e c i a l l y t h e o n e c o n t a i n i n g t h e p l a c e s g r a m m a r w h i c h i s t h e b i g g e s t .

7/29/2019 Voice x Ml Paper

8/8

6 C o n c l u s i o n s

A w o r k i n g m e t e o r o l o g i c a l i n f o r m a t i o n V o i c e X M L - b a s e d s y s t e m h a s b e e n i m p l e -

m e n t e d c o v e r i n g t h e f u n c t i o n a l r e q u i r e m e n t s s t a t e d . I n a d d i t i o n t o g i v i n g m e t e -

o r o l o g i c a l d a t a , t h e s y s t e m p r o v i d e s a w a r n i n g s e r v i c e w h i c h c a n b e a c t i v a t e d i n

a q u i t e f r i e n d l y w a y . W e h a v e p r e s e n t e d n o t o n l y t h e m e t e o r o l o g i c a l a p l i c a t i o n ,

o p e r a t e d v i a a n a t u r a l l a n g u a g e i n t e r f a c e , b u t a l s o t h e i n t e g r a t i o n p r o c e s s n e e d e d

t o b u i l d t h e v o i c e f r a m e w o r k w h i c h s u p p o r t s i t . A s a r e s u l t o f t h a t , t h i s f r a m e w o r k

s e r v e s a s a n i m p l e m e n t a t i o n p l a t f o r m f o r a p p l i c a t i o n s d e a l i n g w i t h t h e V o i c e X M L

s t a n d a r d .

W h i l e i n t e g r a t i n g s p e e c h t e c h n o l o g y i n t h e i n t e r p r e t e r , s o m e d e c i e n c i e s h a v e b e e n

d e t e c t e d . A m a j o r i s s u e w a s t h e i n t e r p r e t e r a n d t h e A S R e n g i n e c o o r d i n a t i o n t o

s o l v e g r a m m a r m a n a g e m e n t . T h e p o l i c i e s i m p l e m e n t e d t o o v e r c o m e t h e s e d e c i e n -

c i e s h a v e b e e n p r e s e n t e d . T h e s e p o l i c i e s g o f r o m t h e n e e d o f d e v e l o p i n g a n A B N F

g r a m m a r p a r s e r t o t h e n e c e s s i t y o f p r e c o m p i l i n g v e r y h u g e g r a m m a r s , d u e t o b o t h

i n t e r p r e t e r a n d s p e e c h t e c h n o l o g y s o f t w a r e l a c k s . I n o r d e r t o i m p r o v e t h e n a t u r a l -

n e s s o f t h e s y s t e m , t h e g r a m m a r s s h o u l d b e e n r i c h e d t o r e c o g n i z e a g r e a t e r r a n g e

o f u t t e r a n c e s f r o m t h e u s e r . M o r e o v e r , t h e a d d i t i o n o f t h e a l r e a d y d e v e l o p e d t e x t

g e n e r a t i o n m o d u l e w i l l i n c r e a s e t h e s y s t e m r e s p o n s e v a r i a b i l i t y .

R e f e r e n c e s

E b 0 2 ] E b e r m a n , B . , C a r t e r , J . , M e y e r , D . , G o d d e a u , D . : \ B u i l d i n g V o i c e X M L B r o w s e r s

w i t h O p e n V X I " , 2 0 0 2 . h t t p : / / w w w 2 0 0 2 . o r g / C D R O M / r e f e r e e d / 2 6 0 / i n d e x . h t m l

P H 0 2 ] P a d r e l l , J . , H e r n a n d o , J . : \ A T T E M P S : A c c e s s t o M e t e o r o l o g i c a l I n f o r m a t i o n b y

T e l e p h o n e " , I C S L P 2 0 0 2 , v o l . 4 , p p . 2 7 1 3 - 2 7 1 6 .

V i 0 2 ] V i l l a r e j o , L . : \ G e s t o r d e d i a l o g o d e u n s i s t e m a d e i n f o r m a c i o n m e t e o r o l o g i c a " , i n

S p a n i s h , M a s t e r T h e s i s i n I n f o r m a t i c s E n g i n e e r i n g , F I B , 2 0 0 2 .

V C H 0 3 ] V i l l a r e j o , L . , C a s t e l l , N . , H e r n a n d o , J . : \ D i a l o g u e M a n a g e m e n t i n a n A u t o m a t i c

M e t e o r o l o g i c a l I n f o r m a t i o n S y s t e m " , I E A / A I E 2 0 0 3 , L N C S v o l . 2 7 1 8 , p p . 4 9 5 - 5 0 4 .

Z u 0 0 ] Z u e , V . , S e n e , S . , G l a s s , J . R . , P o l i f r o n i , J . , P a o , C . , H a z e n , T . J . , H e t h e r i n g t o n ,

L . : \ J u p i t e r : A T e l e p h o n e - B a s e d C o n v e r s a t i o n a l I n t e r f a c e f o r W e a t h e r I n f o r m a t i o n " ,

I E E E T r a n s a c t i o n s o n S p e e c h a n d A u d i o P r o c e s s i n g , v o l . 8 , n . 1 , p p . 8 5 - 9 6 , 2 0 0 0 .

1 . W 3 C , V o i c e e X t e n s i b l e M a r k u p L a n g u a g e ( V o i c e X M L ) v e r s i o n 2 . 0 ,

h t t p : / / w w w . w 3 . o r g / T R / v o i c e x m l 2 0 , F e b r u a r y 2 0 0 3 .

2 . I N S P I R E p r o j e c t : h t t p : / / w w w . i n s p i r e - p r o j e c t . o r g

3 . F A Z . N E T p r o j e c t : h t t p : / / w w w . h l t c e n t r a l . o r g / p a g e - 1 0 5 8 . s h t m l

4 . S e r v e i M e t e o r o l o g i c C a t a l a h t t p : / / s m c . g e n c a t . e s .

5 . S p e e c h W o r k s , s p e e c h r e c o g n i t i o n s o l u t i o n s p r o v i d e r . h t t p : / / w w w . s p e e c h w o r k s . c o m

6 . D i a l o g i c , s u p p l i e r o f c o m p u t e r t e l e p h o n y p r o d u c t s . h t t p : / / w w w . d i a l o g i c . c o m

7 . I b e r v o x f r o m A t l a s - C T I . h t t p : / / w w w . a t l a s - c t i . c o m / e s / i b e r v o x a s r . h t m