8/10/2019 J98-2013.pdf

1/3

Co m putational Linguistics Volume 24, N um ber 2

E v a l u a t i n g N a t u r a l L a n g u a g e P r o c e s s i n g S y s t e m s : A n A n a l y s i s

a n d R e v i e w

Karen Sparck Jon es and Ju lia R. Ga lliers

( U n i v e rs i ty o f C a m b r i d g e )

Be r li n : S p r inge r - V e r l a g ( L e c tu r e N o te s

i n C o m p u t e r S c i en c e 10 8 3 , e d i t e d b y G .

G o o s , J . H a r t m a n i s a n d J . v a n L e e u w e n ,

S ubse r i e s L e c tu r e N o te s i n A r t i f i c i a l

I n t e l l ige nc e , e d i t e d b y J . G . Ca r bon e l l

a n d J . S i e kma n n) , 1995 , xv + 228 pp ;

pa pe rb ou nd , ISBN 3-540-61309-9 , $43.00

Reviewed by

Sharon M . Walter

Air Force Research Laboratory

H a v i n g m a t u r e d t o t h e p o i n t o f u t i l i t y f o r c e r t a i n c i r c u m s c r i b e d a p p l i c a t i o n s , n a t u -

r al l a n g u a g e p r o c e ss i n g ( N L P) t e c h n o l o g y h a s a g r o w i n g n e e d f o r t h e f o r m u l a t i o n

o f e v a l u a t io n m e t h o d o l o g i e s . Evaluating Natural L anguage Processing Systems: An Anal-

ysis and Review p r o v i d e s a h i s t o r ic a l p e r s p e c t i v e a n d o u t l i n e o f ef f o rt s t h a t h a v e b e e n

m a d e t o p r o v i d e m e a n i n g f u l a n d u s e f u l e v a lu a t i o n s o f N L P s y s t e m s , d es c r ib e s th e

d e f i ci e n c ie s o f t h o s e e f fo r ts , a n d o f fe r s a n e v a l u a t i o n a p p r o a c h i n t e n d e d t o a d d r e s s

those de f i c ie nc i e s .

Evaluating Natural Language Processing Systems

i s d i v i d e d i n t o t h r e e c h a p t e r s. W h i l e

C h a p t e r 1 p u r p o r t s t o i n t r o d u c e e v a l u a t i o n c o n c e p t s a n d t e r m i n o l o g y , t h e e s o te r ic

p r e s e n t a t i o n s t y le d e t r a c t s f ro m i ts v a l u e f o r t e c h n o l o g y n e o p h y t e s . T h e c h a p t e r d o e s ,

h o w e v e r , p r o v i d e a g r e a t d e a l o f i n f o r m a t i o n a n d i n t h e c o u r s e o f d o i n g s o, p r e s e n t s

r e l e v a n t, i n t e re s t i n g i ss u e s s u c h a s t h e s p e c i al p r o b l e m s a s s o c i a t e d w i t h e v a l u a t i n g s o -

c a l l e d generic systems a n d t h e v a l u e o f qualitative ve r s us (o r, i n c on ju nc t ion w i th )

quantitative e v a l u a t i o n a p p r o a c h e s .

C h a p t e r 2 is a c o m p r e h e n s i v e a n d i n - d e p t h r e v i e w o f s ig n i f ic a n t N L P e v a l u a t i o n

r e se a r c h a c ti v i t ie s a nd r e sou r c e s , r a n g in g a c r os s mu l t i p l e m oda l i t i e s ( e .g . , spe e c h ) , t a sk

doma ins ( e . g . , me ssa ge p r oc e s s ing ) , pa r t i c ipa to r y a c t i v i t i e s ( e . g . , w or kshops , t u to r i -

a ls ), e v a l u a t i o n m e t h o d o l o g i e s a n d e x p e r i m e n t t e c h n i q u e s ( e. g., W i z a rd - o f - O z e x p e r i -

m e n t s ) , r e so u r c e s ( e .g ., c o r po r a , t e s t su i t e s , t oo lk i ts ) , a nd r e sou r c e a s soc i a t i ons ( e. g. , t he

L i n g u i s ti c D a t a C o n s o r t i u m ) . I t i s m a d e u p o f th r e e s e ct io n s . S u b d i v i s i o n s w i t h i n t h e

f ir s t s e c t io n f o c u s o n e v a l u a t i o n a c t iv i ti e s in e a c h o f t h e t a s k a r e a s o f m a c h i n e t r an s l a -

t io n , m e s s a g e p r o c e ss i ng , d a t a b a s e i n q u ir y , sp e e c h u n d e r s t a n d i n g , s u m m a r i z i n g a n d

m e s s a g e c a t e g o r iz a t io n . T h e t a s k a r e a o f t e x t re t r ie v a l e v a l u a t i o n i s a ls o r e p o r t e d h e r e ,

w i t h t h e c a v e a t t h a t t h o u g h te x t r e t ri e v a l i s n o t d e f i n e d h e r e a s a n N L P t a s k , r e c e n t

e v a l u a t i o n a c t iv i ti e s r e c o g n i s i n g th e e ff e ct s o f e n v i r o n m e n t a n d t a s k o r f u n c t i o n c o m -

p l e x i t y a r e re l e v a n t to N L P s y s t e m e v a l u a t i o n . S e c ti o n 1 c o n c l u d e s w i t h a b ri e f, b u t

e x c e ll e n t, i n v e s t i g a t i o n o f w h e t h e r l e s s o n s l e a r n e d f r o m t as k - sp e c if ic e v a l u a t i o n s

p r o v i d e a n y i n s i g h t t o w a r d t h e d e v e l o p m e n t o f g e n e r a l N L P e v a l u a t i o n t o o l s , a n d

l i s t s s e ve n ba s i c , c l e a r a nd c onc i se , l e s sons r e l a t i ng to t he s e t - up r e qu i r e me n t s f o r a ny

( g e n e r a l or t a sk - sp e c if ic ) N L P e v a l u a t i o n . T h e s e l e s so n s a r e r e c o m m e n d a t i o n s a b o u t

e v a l u a t i o n p a r a m e t e r s t h a t m u s t b e c l a r if i ed b e f o r e a n e v a l u a t i o n t a k e s p l ac e .

S e c ti o n 2 o f C h a p t e r 2 p r e s e n t s a s u r v e y o f N L P e v a l u a t i o n a c ti v i ti e s a n d m a t e r i -

336

8/10/2019 J98-2013.pdf

2/3

Book Rev iews

a l s t h a t d o

not

f o c u s o n s p e c if ic N L P t a s k s. I n f o r m a t i v e s y n o p s e s o f t h re e e v a l u a t i o n

w o r k s h o p s , t w o p a r s i n g e v a l u a t i o n w o r k s h o p s , a n d a n e v a l u a t i o n t u t o r i a l a r e p r o -

v i d e d . A n a s s e s s m e n t o f t h e g e n e r a l i m p a c t o f D A R P A - s p o n s o r e d a c ti v it ie s a c k n o w l -

e d g e s D A R P A ' s c r u c i a l r o l e i n N L P e v a l u a t i o n a n d p r e s e n t s a p e n e t r a t i n g c r i t i q u e

o f t h o s e a ct iv it ie s . T w o e v a l u a t i o n m e t h o d o l o g i e s , t h e W i z a r d -o f - O z m e t h o d a n d t h e

N e a l - M o n t g o m e r y S y s t e m E v a l u a t i o n M e t h o d o l o g y , a r e r e v i e w e d . I w a s p e r i p h e r a l l y

i n v o l v e d i n t h e d e v e l o p m e n t o f t h e l a tt e r o f t h e s e a n d w a s a s t o n i s h e d t o re a d t h a t i t

w a s i n t e n d e d b y i ts a u t h o r s t o b e th s t a n d a r d e v a l u a t i o n t o o l f o r a n y N L P s y s t e m .

U n f o r t u n a t e l y , I b e l i e v e t h a t I a m t h e s o u r c e o f t h a t m i s i n f o r m a t i o n , h a v i n g m i s i n -

t e r p re t e d , a n d r e s p o n d e d t o, a q u e r y a t t h e D A R P A S p e e c h a n d N a t u r a l L a n g u a g e

W o r k s h o p o f F e b r u a r y 19 92 a b o u t t h e m e t h o d o l o g y a s t h e s t a n d a r d . I h o p e m y

m i s s t a t e m e n t h a s n o t d e t e r r e d r e s e a r c h e rs f r o m i n v e s t i g a ti n g t h e v a l u e o f th a t e x c e p -

t i o n a l p i ece o f w o r k . A s I s t a t ed i n t h e p r e f a ce o f N ea l e t al. (1 99 2), Th e e v a lu a t i o n

m e t h o d o l o g y i s n o t p r e s e n t e d h e r e a s a p r o d u c t t o b e a c c e p t e d , i n t o t o , b y t h e N L P

c o m m u n i t y a s th e s t a n d a r d f or s y s t e m e v a l u a t i o n , b u t r a t h e r a s a b a s i s f or d is c u s s io n ,

c r it iq u e , a n d p o s s i b l e r e f in e m e n t t o w a r d s s t a n d a r d s d e v e l o p m e n t .

S p a r c k J o n e s a n d G a l l ie r s c o n c l u d e C h a p t e r 2 w i t h a s u m m a r y o f f o u r b as i c re -

q u i r e m e n t s f o r N L P e v a l u a t i o n s t h a t t h e y h a v e d e r i v e d f r o m t h e ir o b s e r v a t i o n o f

e x i s t i n g a p p r o a c h e s a n d m e t h o d o l o g i e s :

1. E v a l u a t i o n s m u s t b e d e s i g n e d t o a d d r e s s i s s u e s r e l e v a n t t o t h e s p e c if ic

t a s k d o m a i n o f t h e N L P s y s t e m ; t h e re f o re , N L P s y s t e m s o p e r a t i n g i n

d i f f e r e n t t a s k d o m a i n s r e q u i r e d i f f e r e n t e v a l u a t i o n c r i t e r i a .

2. E v a l u a t i o n s m u s t f o c u s m o r e a t t e n ti o n o n t h e e n v i r o n m e n t a l f a c to r s

a s s o c i a t e d w i t h N L P s y s t e m s i n a c t u a l u s e - - f o r e x a m p l e , e n d - u s e r

charac te r i s t ics .

3 . E v a l u a t i o n s m u s t i d e n t i f y a l l s y s t e m e l e m e n t s t h a t c a n f i g u re a s

p e r f o r m a n c e f a ct o rs . S p a rc k J o n es a n d G a l l ie r s r e c o m m e n d u s e o f a

p r o c e s s o f f a c t o r d e c o m p o s i t i o n t o e n s u r e th a t al l r e l e v a n t a s p e c t s o f a

s y s t e m a n d i t s e n v i r o n m e n t a r e c o n s i d e r e d i n a n e v a l u a t i o n .

4 . E v a l u a t i o n c r it e ri a f o r g e n e r i c N L P s y s t e m s a r e n o t , a n d p r o b a b l y c a n n o t

b e , a d e q u a t e l y d e f i n e d . I t i s t h e a u t h o r s ' o p i n i o n t h a t g e n e r i c s y s t e m s

m u s t b e i n s t a n ti a t e d w i t h i n a t a s k to a l lo w m e a n i n g f u l e v a l u a ti o n .

I n C h a p t e r 3 , f r o m c o n c l u s i o n s p r e s e n t e d i n C h a p t e r 2 , t h e a u t h o r s p r o p o s e t h a t

e v a l u a t i o n s b e d e s i g n e d a n d c o n d u c t e d o n t h e b a s i s o f a n i n - d e p t h e x a m i n a t i o n ( b y

d e c o m p o s i t i o n ) o f a ll N L P s y s t e m a n d e n v i r o n m e n t a l f a c to r s t h a t m a y a f f e ct p e r f o r-

m a n c e . T h e i n - d e p t h e x a m i n a t i o n i s p e r f o r m e d c o m p r e h e n s i v e l y a n d s y s te m a t i ca l ly , i n

a t o p - d o w n f a sh i o n, b e f o r e th e e v a l u a t i o n p e r s e p r o c e e d s . I n t h e fi rs t p h a s e , a n s w e r s

t o a se r ie s o f g e n e r a l q u e s t i o n s a b o u t t h e p u r p o s e a n d m o d e o f e v a l u a t i o n d e f i n e t h e

e v a l u a t i o n r e m i t . I n f o r m a t i o n i n t h e r e m i t i s t h e n u s e d t o d e v e l o p t h e e v a l u a t i o n d e -

s i g n , t h e p r e c i s e d e f in i t i o n o f t h e e v a l u a t i o n p a r a m e t e r s e t ti n g s . T o g e th e r , t h e r e m i t

a n d d e s i g n r e p r e s e n t t h e f in e d e t a il o f a ll a s p e c t s o f t h e e v a l u a t i o n . E v a l u a t i o n s w i t h

m i n o r v a r i a t i o n s o n t h e e n tr i e s in th e r e m i t o r d e s i g n r e p r e s e n t i n d i v i d u a l r u n s o f t h e

e v a l u a t io n , w h i c h c a n t h e n b e c o m p a r e d t o e a c h o t h e r b y p r e s e n t i n g t h e m i n a g r i d f o r-

m a t . T h i s e v a l u a t i o n m e t h o d o l o g y i s p r o p o s e d t o a d d r e s s t h e f o u r b a s i c r e q u i r e m e n t s

o f N L P e v a l u a t i o n s ( a b o v e , f r o m t h e b o o k ' s C h a p t e r 2).

T h e N L P s y s t e m e v a l u a t io n m e t h o d o l o g y d e s c r ib e d b y S p a r c k Jo n e s a n d G a ll ie rs

m a k e s t h e c i r c u m s t a n c e s o f e v a l u a t i o n s c l ea r, c o m p a r a b l e , a n d r e p e a ta b l e . P r o p e r l y

337

8/10/2019 J98-2013.pdf

3/3

Com putat ional Linguist ics Volume 24, N um ber 2

a p p l i e d , i t c o u l d e n s u r e c o m m o n , c o n s i s t e n t g r o u n d c o n d i t i o n s f o r N L P s y s t e m e v a l -

u a t i o n c o m p a r i s o n s , m a k i n g i t a v e r y v a l u a b l e r e so u r c e . T h e e v a l u a t i o n m e t h o d o l o g y

d o e s n o t , h o w e v e r , a p p e a r t o s tr ik e a t t h e h e a r t o f t h e e v a l u a t i o n p r o b l e m o f d e f i n in g

s p e c i f i c c r i t e r i a b y w h i c h t o d e s c r i b e a n d c o m p a r e s y s t e m c a p a b i l i t i e s , e v a d i n g t h e

i s s u e in f a ct b y p r o p o s i n g t h a t g e n e r a l c r i te r ia c a n n o t b e d e f i n e d d u e t o t h e n e c e s s i t y

o f c a s e - b y - c a s e s p e c i f i c a t io n o f e v a l u a t i o n c r it e ri a .

I d i s a g r e e w i t h t h e a u t h o r s ' p r e m i s e t h a t g e n e r ic N L P s y s t e m s c a n n o t b e e v a l u a t e d

w i t h o u t b e i n g i n s t a n t i a t e d w i t h i n a s p e c if ic ta s k d o m a i n . A s a m a t t e r o f f a ct , i t s e e m s

t h at t h e p r o p o s e d e v a l u a t i o n m e t h o d o l o g y g o e s a g r e at d i st a n ce t o w a r d s p r o v i d i n g a

m e a n s t o re l a y v a l u a b l e i n fo r m a t i o n a b o u t t h e b o u n d a r y c a p a b il it ie s o f a n u n i n s t a n -

t i a te d g e n e r i c s y s t e m . F u r th e r , i n d o i n g s o, t h e m e t h o d o l o g y m a y c h a r a c te r i z e c l a s s e s

o f t a s k d o m a i n s t o w h i c h a g e n e ri c s y s t e m c o u l d a p p r o p r i a t e l y b e a p p l i e d a n d t h e

d a t a t h a t i s r eq u i r ed f o r i t s i n s t an t i a t i o n .

F i na ll y, o n a b o o k f o r m a t m a t t e r, t h e r e i s a g l o s s a r y a t t h e f r o n t o f t h e b o o k , b u t t h e

d e f i n i ti o n s i t p r o v i d e s a r e n e i t h e r c o m p l e t e n o r s u f f i c i e n tl y d e s c r i p t i v e o f i t s t e r m s t o

b e o f u se . F o r e x a m p l e ,

complexity operation parameter

a n d

transportabili ty

a r e a l l l i s t ed

w i t h t h e s a m e v a g u e g l o s s a r y d e f i n i ti o n , o f s y s t e m . S i m i la r ly , broad scope nar row

scope a n d working a r e l i s t e d w i t h th e o b s c u r e d e f i n i ti o n , o f s e t u p . A s e p a r a t e t a b l e

o f a b b r e v i a t i o n s w o u l d a l s o h a v e b e e n w o r t h w h i l e .

R e f e r e n c e

Neal, Jeannette G., Elissa L. Feit, Douglas J.

Funke, and Christine A. Montgomery.

1992. An Evaluation M ethod ology for

Natural Language Processing Systems.

Rom e Labo ratory Technical Rep or t 92-308.

Sharon M. Wa lter

is a me m ber of the Spe ech Processing G rou p at the Air Force Research Labora-

tory Rom e Research Si te in Rome, N ew York. H er technical in teres ts include natural languag e

processing and NL P evaluat ion , spoken language translation, and speech processing technology

applications for law-enforcement domains. W alter 's add ress is: AFRL /IFEC, 32 H ang ar Road ,

Rom e, N ew Yo rk 13441-4114; e-mail: w alters@rl.af.mil

338