7/28/2019 A Bayesian Approach to User Profiling in Information Retrieval
1/7
A B a y e s i a n A p p r o a c h t o U s e r P r o l i n g
i n I n f o r m a t i o n R e t r i e v a l
S . K . M . W o n g C . J . B u t z
D e p a r t m e n t o f C o m p u t e r S c i e n c e S c h o o l o f I n f o r m a t i o n T e c h n o l o g y & E n g i n e e r i n g
U n i v e r s i t y o f R e g i n a U n i v e r s i t y o f O t t a w a
R e g i n a , S a s k a t c h e w a n , C a n a d a , S 4 S 0 A 2 O t t a w a , O n t a r i o , C a n a d a , K 1 N 6 N 5
w o n g @ c s . u r e g i n a . c a b u t z @ s i t e . u o t t a w a . c a
A b s t r a c t
N u m e r o u s p r o b a b i l i t y m o d e l s h a v e b e e n s u g -
g e s t e d f o r i n f o r m a t i o n r e t r i e v a l ( I R ) o v e r t h e
y e a r s . T h e s e m o d e l s h a v e b e e n a p p l i e d t o
t r y t o m a n a g e t h e i n h e r e n t u n c e r t a i n t y i n
I R , f o r i n s t a n c e , d o c u m e n t a n d q u e r y r e p r e -
s e n t a t i o n , r e l e v a n c e f e e d b a c k , a n d e v a l u a t i n g
t h e e e c t i v e n e s s o f I R s y s t e m . O n t h e o t h e r
h a n d , B a y e s i a n n e t w o r k s h a v e b e c o m e a n e s -
t a b l i s h e d p r o b a b i l i s t i c f r a m e w o r k f o r u n c e r -
t a i n t y m a n a g e m e n t i n a r t i c i a l i n t e l l i g e n c e .
I n t h i s p a p e r , w e s u g g e s t t h e u s e o f B a y e s i a n
n e t w o r k s f o r u s e r p r o l i n g i n I R . O u r a p -
p r o a c h c a n t a k e f u l l a d v a n t a g e o f b o t h t h e e f -
f e c t i v e l e a r n i n g a l g o r i t h m s a n d e c i e n t q u e r y
p r o c e s s i n g t e c h n i q u e s a l r e a d y d e v e l o p e d f o r
p r o b a b i l i s t i c n e t w o r k s . M o r e o v e r , B a y e s i a n
n e t w o r k s c a p t u r e a m o r e g e n e r a l c l a s s o f
p r o b a b i l i t y d i s t r i b u t i o n s t h a n t h e p r e v i o u s l y
p r o p o s e d p r o b a b i l i s t i c m o d e l s . F i n a l l y , t h i s
p a p e r p r o v i d e s a t h e o r e t i c a l f o u n d a t i o n f o r
t h e c r o s s - f e r t i l i z a t i o n o f t e c h n i q u e s b e t w e e n
I R a n d B a y e s i a n n e t w o r k s .
1 I n t r o d u c t i o n
I n t h e e n v i r o n m e n t o f i n f o r m a t i o n r e t r i e v a l ( I R ) 8 ,
2 4 ] , t h e r e e x i s t s a c o l l e c t i o n o f d o c u m e n t s a n d a g r o u p
o f u s e r s . T h e p r i m a r y o b j e c t i v e o f a r e t r i e v a l s y s t e m i s
t o i d e n t i f y t h o s e d o c u m e n t s t h a t a r e u s e f u l t o a p a r t i c -
u l a r u s e r . A d o c u m e n t i s r e l e v a n t t o a u s e r w h e n e v e r i t
i s t h o u g h t t h a t t h e d o c u m e n t i s u s e f u l , o t h e r w i s e t h e
d o c u m e n t i s c o n s i d e r e d a s b e i n g n o n r e l e v a n t . T h e r e
a r e m a n y c o m p l e x f a c t o r s w h i c h g o v e r n t h e r e l e v a n c e
r e l a t i o n s h i p b e t w e e n a d o c u m e n t a n d a u s e r q u e r y . I t
i s p r a c t i c a l l y i m p o s s i b l e t o d e s i g n a s y s t e m t h a t w i l l
m a k e s t r i c t p r e d i c t i o n s a b o u t s u c h r e l e v a n c e r e l a t i o n -
s h i p s . H o w e v e r , t h e p r o b l e m o f r e t r i e v a l c a n b e f o r m u -
l a t e d a s a p r o b l e m o f e v i d e n c e a n d p r e d i c t i o n b a s e d o n
t h e p r o b a b i l i t y t h e o r y 1 9 ] .
T r a d i t i o n a l p r o b a b i l i s t i c m o d e l s c o n s t r u c t a d i s c r i m i -
n a n t ( d e c i s i o n ) f u n c t i o n , r e p r e s e n t i n g t h e i n f o r m a t i o n
r e q u e s t , t h r o u g h a n i n d u c t i v e l e a r n i n g p r o c e s s ( r e l e -
v a n c e f e e d b a c k ) . A l t h o u g h t h e p r o b a b i l i s t i c m o d e l i s
t h e o r e t i c a l l y s o u n d , a n d i t s r e t r i e v a l e e c t i v e n e s s e x -
t e n s i v e l y s t u d i e d 4 , 5 , 6 , 1 8 , 2 9 ] , o n e i s o f t e n f o r c e d
t o m a k e s o m e r a t h e r r e s t r i c t i v e a s s u m p t i o n s o n t h e
o i n t p r o b a b i l i t y d i s t r i b u t i o n F o r e x a m p l e d u e t o
t h e p r o b l e m o f l a r g e d i m e n s i o n a l i t y , w e m a y a s s u m e
t h a t t h e i n d e x t e r m s a r e p r o b a b i l i s t i c a l l y i n d e p e n -
d e n t . T h e i n d e p e n d e n c e m o d e l i s s i m p l e b u t i t s v a -
l i d i t y i s q u e s t i o n a b l e . O t h e r h i g h e r - o r d e r a p p r o x i m a -
t i o n s 1 8 , 2 4 , 2 9 , 3 0 ] w e r e s u g g e s t e d s u c h a s t h e t r e e
d e p e n d e n c e m o d e l 7 ] . H o w e v e r , m o s t o f t h e s e a p -
p r o a c h e s c a n o n l y c a p t u r e a r e s t r i c t e d s u b c l a s s o f p r o b -
a b i l i t y d i s t r i b u t i o n s .
T u r t l e a n d C r o f t 2 2 , 2 3 ] i n t r o d u c e d a n i n f e r e n c e m o d e l
f o r r e a s o n i n g w i t h u n c e r t a i n t y t o I R . I n 1 0 ] , t h i s
m o d e l w a s e x t e n d e d t o i n c l u d e r e l e v a n c e f e e d b a c k .
M o r e r e c e n t l y , F u n g a n d D e l F a v e r o 9 ] s u g g e s t e d a
m e t h o d f o r a p p l y i n g B a y e s i a n n e t w o r k s 1 7 ] t o I R . A l l
o f t h e s e a p p r o a c h e s a r e o n l i n e m e t h o d s w h i c h c o n -
s t r u c t a n e t w o r k f o r e a c h i n d i v i d u a l q u e r y . S u c h a n
a p p r o a c h m a y n o t a l w a y s b e p r a c t i c a l . T h u s , w e s u g -
g e s t a n a l t e r n a t i v e a p p r o a c h o f a p p l y i n g B a y e s i a n n e t -
w o r k s t o I R .
I n t h i s p a p e r , w e p r o p o s e a m e t h o d f o r c o n s t r u c t i n g
a u s e r p r o l e u s i n g e i t h e r a B a y e s i a n o r M a r k o v n e t -
w o r k . T h e i n p u t t o o u r a p p r o a c h i s a s a m p l e o f d o c -
u m e n t s t h a t t h e u s e r h a s m a r k e d a s e i t h e r r e l e v a n t o r
n o n r e l e v a n t . W e c a n t h e n l e a r n a p r o b a b i l i s t i c n e t -
w o r k w h i c h e n c o d e s t h e u s e r ' s p r e f e r e n c e s . S u c h a
n e t w o r k p r o v i d e s a f o r m a l f o u n d a t i o n f o r p r o b a b i l i s -
t i c i n f e r e n c e . D o c u m e n t s c a n t h e n b e r a n k e d a c c o r d -
i n g t o t h e c o n d i t i o n a l p r o b a b i l i t y d e n e d b y t h e n e t -
w o r k . O u r a p p r o a c h h a s s e v e r a l a d v a n t a g e s . W e w o u l d
l i k e t o e m p h a s i z e t h a t t h e c l a s s o f p r o b a b i l i t y d i s t r i -
b u t i o n s r e p r e s e n t e d i n t h e C h o w a n d L i u m e t h o d 7 ]
7/28/2019 A Bayesian Approach to User Profiling in Information Retrieval
2/7
i s a p r o p e r s u b s e t o f t h e d i s t r i b u t i o n s r e p r e s e n t e d i n
o u r a p p r o a c h . O u r m e t h o d c a n t a k e f u l l a d v a n t a g e
o f t h e e s t a b l i s h e d t e c h n i q u e s a l r e a d y e m p l o y e d f o r u n -
c e r t a i n t y m a n a g e m e n t i n a r t i c i a l i n t e l l i g e n c e . F o r i n -
s t a n c e , m a n y a l g o r i t h m s e x i s t f o r l e a r n i n g a B a y e s i a n
n e t w o r k 3 , 1 2 , 1 3 , 1 5 , 2 1 ] o r a M a r k o v n e t w o r k 2 7 , 2 8 ] .
M o r e o v e r , e c i e n t i n f e r e n c e t e c h n i q u e s e x i s t f o r q u e r y
p r o c e s s i n g i n B a y e s i a n n e t w o r k s 1 7 ] a n d M a r k o v n e t -
w o r k s 1 4 , 1 6 , 2 0 ] . I n t h i s d i s c u s s i o n , w e p r o m o t e t h e
h a r m o n i z a t i o n o f t h e I R a n d B a y e s i a n n e t w o r k c o m -
m u n i t i e s b y d i r e c t l y a d o p t i n g t h e p r o v e n l e a r n i n g a n d
q u e r y p r o c e s s i n g t e c h n i q u e s a l r e a d y i m p l e m e n t e d i n
p r o b a b i l i s t i c r e a s o n i n g s y s t e m s .
W e w o u l d l i k e t o m a k e i t c l e a r t h a t t h e w o r k h e r e i s
q u i t e d i e r e n t f r o m 9 , 1 0 , 2 2 , 2 3 ] . A s a l r e a d y m e n -
t i o n e d , t h o s e m e t h o d s t a k e a n o n l i n e a p p r o a c h . T h a t
i s , a n e t w o r k i s b u i l t a t t h e t i m e t h e q u e r y i s i s s u e d
b y t h e u s e r . O n t h e c o n t r a r y , w e l e a r n o u r n e t w o r k o f -
i n e . O u r a p p r o a c h s h o u l d g i v e a f a s t e r r e s p o n s e t i m e
s i n c e t h e n e t w o r k u s e d o n l i n e i s a l r e a d y x e d . T h e
p r o b a b i l i s t i c n e t w o r k c a n a l w a y s b e r e n e d b a s e d o n
n e w s a m p l e s t h a t t h e u s e r h a s m a r k e d a s e i t h e r r e l e -
v a n t o r n o n r e l e v a n t . T h i s m e a n s t h a t t h e q u a l i t y o f
t h e p r o b a b i l i s t i c n e t w o r k u s e d i n p r a c t i c e w i l l i m p r o v e
a s t h e s a m p l e s i z e i n c r e a s e s .
T h i s p a p e r i s o r g a n i z e d a s f o l l o w s . I n S e c t i o n 2 , w e r e -
v i e w t h e t w o t y p e s o f p r o b a b i l i s t i c n e t w o r k s , n a m e l y ,
B a y e s i a n n e t w o r k s a n d M a r k o v n e t w o r k s . I n S e c t i o n
3 , w e r e v i e w C h o w a n d L i u ' s 7 ] p i o n e e r i n g w o r k o n
l e a r n i n g p r o b a b i l i s t i c n e t w o r k s . W e s h o w h o w t h i s
w o r k c a n b e g e n e r a l i z e d i n S e c t i o n 4 . I n S e c t i o n 5 ,
w e d i s c u s s h o w t h e s e g e n e r a l l e a r n i n g a l g o r i t h m s c a n
b e a p p l i e d t o b u i l d a u s e r p r o l e . T h e c o n c l u s i o n i s
g i v e n i n S e c t i o n 6 .
2 P r o b a b i l i s t i c M o d e l s
I n t h i s s e c t i o n , w e i n t r o d u c e t w o f r a m e w o r k s f o r
t h e r e p r e s e n t a t i o n o f p r o b a b i l i s t i c k n o w l e d g e , n a m e l y ,
B a y e s i a n n e t w o r k s a n d M a r k o v n e t w o r k s 2 , 1 1 , 1 7 ] .
2 . 1 B a y e s i a n N e t w o r k s
L e t R = f A
1
A
2
: : : A
k
g d e n o t e a n i t e s e t o f d i s c r e t e
v a r i a b l e s . E a c h v a r i a b l e A
i
i s a s s o c i a t e d w i t h a n i t e
d o m a i n D
i
. L e t D b e t h e C a r t e s i a n p r o d u c t o f t h e
d o m a i n s D
i
1 i k A j o i n t p r o b a b i l i t y d i s t r i b u t i o n
( j p d ) 1 1 , 1 7 ] o n D i s a f u n c t i o n p o n D , a s s i g n i n g t o
e a c h t u p l e t 2 D a r e a l n u m b e r 0 p ( t ) 1 s u c h
t h a t
P
t 2 D
p ( t ) = 1 . I n g e n e r a l , a p o t e n t i a l 1 1 ] i s a
f u n c t i o n q o n D s u c h t h a t q ( t ) i s a n o n n e g a t i v e r e a l
n u m b e r a n d
P
t 2 D
q ( t ) i s p o s i t i v e , i . e . , a t l e a s t o n e
q ( t ) > 0 . E a c h p o t e n t i a l q c a n b e t r a n s f o r m e d t o a
o i n t p r o b a b i l i t y d i s t r i b u t i o n p t h r o u g h n o r m a l i z a t i o n
t h a t i s , b y s e t t i n g p ( t ) = q ( t ) =
P
v 2 D
q ( v ) . W e s a y t h e
d i s t r i b u t i o n p i s o n R , a n d s o m e t i m e s w r i t e p a s p ( R )
i f t h e d o m a i n D i s u n d e r s t o o d .
W e s a y Y a n d Z a r e c o n d i t i o n a l l y i n d e p e n d e n t g i v e n
X u n d e r p , d e n o t e d I
p
( Y X Z ) , i f
p ( y x z ) = p ( y x ) ( 1 )
w h e n e v e r p ( x z ) > 0 . T h i s c o n d i t i o n a l i n d e p e n d e n c y
I
p
( Y X Z ) c a n b e e q u i v a l e n t l y w r i t t e n a s
p ( y x z ) =
p ( y x ) p ( x z )
p ( x )
( 2 )
W e w r i t e I
p
( Y X Z ) a s I ( Y X Z ) i f t h e j o i n t p r o b a -
b i l i t y d i s t r i b u t i o n p i s u n d e r s t o o d . I n t h e s p e c i a l c a s e
w h e r e Y X Z = R , w e c a l l t h e p r o b a b i l i s t i c c o n -
d i t i o n a l i n d e p e n d e n c e I ( Y X Z ) n o n e m b e d d e d o t h e r -
w i s e I ( Y X Z ) i s c a l l e d e m b e d d e d
B y t h e c h a i n r u l e , a j o i n t p r o b a b i l i t y d i s t r i b u t i o n p
o v e r R = f A
1
A
2
: : : A
m
g c a n a l w a y s b e w r i t t e n a s :
p ( R ) = p ( A
1
) p ( A
2
A
1
) p ( A
3
A
1
A
2
)
p ( A
m
A
1
A
2
: : : A
m 1
) ( 3 )
T h e a b o v e e q u a t i o n i s a n i d e n t i t y . H o w e v e r , o n e c a n
u s e c o n d i t i o n a l i n d e p e n d e n c i e s t h a t a r e a s s u m e d t o
h o l d i n t h e p r o b l e m d o m a i n t o o b t a i n a s i m p l e r r e p r e -
s e n t a t i o n o f a j o i n t d i s t r i b u t i o n . F o r e x a m p l e , c o n s i d e r
a j o i n t d i s t r i b u t i o n p ( A B C D E F ) . B y e q u a t i o n
( 3 ) , t h e j o i n t d i s t r i b u t i o n p ( R ) c a n b e w r i t t e n a s
p ( R ) = p ( A ) p ( B A ) p ( C A B )
p ( D A B C ) p ( E A B C D )
p ( F A B C D E ) ( 4 )
C o n s i d e r t h e f o l l o w i n g s e t C o f c o n d i t i o n a l i n d e p e n -
d e n c i e s :
p ( C A B ) = p ( C A )
p ( D A B C ) = p ( D B C )
p ( E A B C D ) = p ( E B C )
p ( F A B C D E ) = p ( F E )
n a m e l y ,
C = f I ( C A B ) I ( D B C A ) ( 5 )
I ( E B C A D ) I ( F E A B C D ) g
w h e r e A
i
: : : A
j
d e n o t e s f A
i
: : : A
j
g U t i l i z i n g t h e s e
c o n d i t i o n a l i n d e p e n d e n c i e s , t h e j o i n t d i s t r i b u t i o n p ( R )
w r i t t e n u s i n g t h e c h a i n r u l e i n e q u a t i o n ( 4 ) c a n b e
e x p r e s s e d i n a s i m p l e r f o r m , n a m e l y :
p ( R ) = p ( A ) p ( B A ) p ( C A ) p ( D B C )
p ( E B C ) p ( F E ) ( 6 )
7/28/2019 A Bayesian Approach to User Profiling in Information Retrieval
3/7
W e c a n r e p r e s e n t t h e d e p e n d e n c y s t r u c t u r e o f t h i s
o i n t d i s t r i b u t i o n b y t h e d i r e c t e d a c y c l i c g r a p h ( D A G )
s h o w n i n F i g u r e 1 . T h i s D A G , t o g e t h e r w i t h t h e
c o n d i t i o n a l p r o b a b i l i t y t a b l e s p ( A ) p ( B A ) p ( C A )
p ( D B C ) p ( E B C ) , a n d p ( F E ) , d e n e a B a y e s i a n
n e t w o r k . S u c h a n e t w o r k p r o v i d e s a n e c o n o m i c a l r e p -
r e s e n t a t i o n o f a j o i n t p r o b a b i l i t y d i s t r i b u t i o n .
A
B C
D E
F
F i g u r e 1 : T h e d i r e c t e d a c y c l i c g r a p h r e e c t i n g t h e c o n -
d i t i o n a l i n d e p e n d e n c i e s d e n e d i n e q u a t i o n ( 6 ) .
2 . 2 M a r k o v N e t w o r k s
E v e n t h o u g h B a y e s i a n n e t w o r k s p r o v i d e a n e c o n o m i -
c a l r e p r e s e n t a t i o n o f a j o i n t p r o b a b i l i t y d i s t r i b u t i o n ,
i t m a y s t i l l b e d i c u l t t o c o m p u t e m a r g i n a l d i s t r i -
b u t i o n s . T h u s , s e v e r a l e c i e n t l o c a l c o m p u t a t i o n a l -
g o r i t h m s 1 4 , 1 6 , 2 0 ] w e r e d e v e l o p e d f o r c o m p u t i n g
m a r g i n a l d i s t r i b u t i o n s i n M a r k o v n e t w o r k s 1 1 ] . I t
s h o u l d b e n o t e d t h a t a M a r k o v n e t w o r k d e n e d b y
H a j e k , H a v r a n e k a n d J i r o u s e k 1 1 ] i s c a l l e d a d e c o m -
p o s a b l e M a r k o v n e t w o r k b y P e a r l 1 7 ] . T h a t i s , t h e
d e n i t i o n o f M a r k o v n e t w o r k i n 1 7 ] i s d i e r e n t f r o m
t h e o n e u s e d h e r e .
T o f a c i l i t a t e p r o b a b i l i s t i c i n f e r e n c e , i t i s u s e f u l t o
t r a n s f o r m a B a y e s i a n n e t w o r k i n t o a M a r k o v n e t w o r k .
T h e D A G r e p r e s e n t i n g t h e d e p e n d e n c y s t r u c t u r e o f
a B a y e s i a n n e t w o r k c a n b e c o n v e r t e d b y t h e m o r a l -
i z a t i o n a n d t r i a n g u l a t i o n p r o c e d u r e s 1 1 , 1 7 ] i n t o a n
a c y c l i c h y p e r g r a p h . ( A n a c y c l i c h y p e r g r a p h i n f a c t
r e p r e s e n t s a c h o r d a l u n d i r e c t e d g r a p h . E a c h m a x i -
m a l c l i q u e i n t h e g r a p h c o r r e s p o n d s t o a h y p e r e d g e
i n t h e a c y c l i c h y p e r g r a p h . ) F o r e x a m p l e , b y a p p l y i n g
t h e s e p r o c e d u r e s t o t h e D A G i n F i g u r e 1 , w e o b t a i n
t h e a c y c l i c h y p e r g r a p h d e p i c t e d i n F i g u r e 2 . S u c h a n
a c y c l i c h y p e r g r a p h r e p r e s e n t s t h e d e p e n d e n c y s t r u c -
t u r e o f a M a r k o v n e t w o r k . T h e j o i n t p r o b a b i l i t y d i s -
t r i b u t i o n d e n e d b y e q u a t i o n ( 6 ) c a n b e r e w r i t t e n i n
t e r m s o f m a r g i n a l d i s t r i b u t i o n s a s :
p ( R ) ( 7 )
=
p ( A B C ) p ( B C D ) p ( B C E ) p ( E F )
p ( B C ) p ( B C ) p ( E )
R
R
D C
FE
AB
R
1R
2
4
3
F i g u r e 2 : A g r a p h i c a l r e p r e s e n t a t i o n o f t h e a c y c l i c h y -
p e r g r a p h H = f R
1
= f A B C g R
2
= f B C D g
R
3
= f B C E g R
4
= f E F g g
A B a y e s i a n n e t w o r k i s m o r e e x p r e s s i v e t h a n a
M a r k o v n e t w o r k . C o n s i d e r t h e m a r g i n a l d i s t r i b u -
t i o n p ( A B C ) o b t a i n e d f r o m t h e B a y e s i a n n e t w o r k
i n e q u a t i o n ( 6 ) :
p ( A B C )
=
X
D E F
p ( A B C D E F )
=
X
D E F
p ( A ) p ( B A ) p ( C A ) p ( D B C )
p ( E B C ) p ( F E )
= p ( A ) p ( B A ) p ( C A )
=
p ( A B ) p ( A C )
p ( A )
T h u s , t h e e m b e d d e d p r o b a b i l i s t i c c o n d i t i o n a l i n d e p e n -
d e n c e p ( C A B ) = p ( C A ) i s r e e c t e d b y t h e B a y e s i a n
n e t w o r k i n e q u a t i o n ( 6 ) . H o w e v e r , t h i s s a m e i n d e p e n -
d e n c y i s n o t r e e c t e d b y t h e M a r k o v n e t w o r k i n e q u a -
t i o n ( 7 ) :
p ( A B C )
=
X
D E F
p ( A B C D E F )
=
p ( A B C ) p ( B C D ) p ( B C E ) p ( E F )
p ( B C ) p ( B C ) p ( E )
=
p ( A B C ) p ( B C ) p ( B C )
p ( B C ) p ( B C )
= p ( A B C )
I n t h e a b o v e d i s c u s s i o n , w e e x a m i n e d t w o t y p e s o f
p r o b a b i l i s t i c n e t w o r k s , n a m e l y , B a y e s i a n a n d M a r k o v .
A B a y e s i a n n e t w o r k i s d e n e d b y a D A G a n d c o r r e -
s p o n d i n g c o n d i t i o n a l p r o b a b i l i t y d i s t r i b u t i o n s . O n t h e
o t h e r h a n d , a M a r k o v n e t w o r k i s d e n e d b y a n a c y c l i c
h y p e r g r a p h a n d c o r r e s p o n d i n g m a r g i n a l d i s t r i b u t i o n s .
7/28/2019 A Bayesian Approach to User Profiling in Information Retrieval
4/7
3 L e a r n i n g a D e p e n d e n c e T r e e
C h o w a n d L i u 7 ] d e v e l o p e d a n e l e g a n t m e t h o d t o a p -
p r o x i m a t e a n n - d i m e n s i o n a l d i s c r e t e p r o b a b i l i t y d i s t r i -
b u t i o n b y a p r o d u c t o f s e c o n d - o r d e r d i s t r i b u t i o n s . T h e
c o n d i t i o n a l i n d e p e n d e n c i e s l e a r n e d b y t h e i r a l g o r i t h m
a r e r e p r e s e n t e d b y a s i n g l y - c o n n e c t e d D A G , c a l l e d a
r s t - o r d e r d e p e n d e n c e t r e e i n 7 ] .
T h e s i n g l y - c o n n e c t e d D A G i n F i g u r e 3 ( i ) w a s g i v e n
i n 7 ] a s a n e x a m p l e o f a ( r s t - o r d e r ) d e p e n d e n c e t r e e .
T h i s d e p e n d e n c e t r e e i n d i c a t e s t h a t t h e j o i n t d i s t r i b u -
t i o n c a n b e w r i t t e n a s :
p ( A B C D E F ) ( 8 )
= p ( A ) p ( B A ) p ( C B ) p ( D B ) p ( E B ) p ( F E )
( W e h a v e r e v e r s e d t h e d i r e c t i o n o f t h e a r r o w s t o m a k e
i t c o n s i s t e n t w i t h B a y e s i a n n e t w o r k s . ) T h e f a c t o r i z a -
t i o n o f t h e j o i n t d i s t r i b u t i o n p ( A B C D E F ) i n E q u a t i o n
( 8 ) c a n b e e q u i v a l e n t l y w r i t t e n i n t e r m s o f m a r g i n a l
d i s t r i b u t i o n s :
p ( A B C D E F ) ( 9 )
=
p ( A B ) p ( B C ) p ( B D ) p ( B E ) p ( E F )
p ( B ) p ( B ) p ( B ) p ( E )
T h e u n d i r e c t e d g r a p h i n F i g u r e 3 ( i i ) e x p r e s s e s e x a c t l y
t h e s a m e c o n d i t i o n a l i n d e p e n d e n c i e s a s t h e D A G i n
F i g u r e 3 ( i ) . T h e u n d i r e c t e d g r a p h i n F i g u r e 3 ( i i ) c a n
b e e q u i v a l e n t l y r e p r e s e n t e d a s a n a c y c l i c h y p e r g r a p h
H , a s i l l u s t r a t e d i n F i g u r e 3 ( i i i ) . ( R e c a l l t h a t t h e
m a x i m a l c l i q u e s i n t h e u n d i r e c t e d g r a p h a r e p r e c i s e l y
t h e h y p e r e d g e s o f H )
B
DC E
(i)
C D E
F F
C
D
E
F
B
A
(ii) (iii)
A
B
A
F i g u r e 3 : ( i ) A s i n g l y - c o n n e c t e d D A G ( a d e p e n d e n c e
t r e e ) D . ( i i ) T h e c o r r e s p o n d i n g u n d i r e c t e d g r a p h U
r e p r e s e n t i n g p r e c i s e l y t h e s a m e i n d e p e n d e n c y i n f o r m a -
t i o n a s D . ( i i i ) T h e u n d i r e c t e d g r a p h U i n ( i i ) c a n b e
e q u i v a l e n t l y r e p r e s e n t e d a s a n a c y c l i c h y p e r g r a p h H
T h e i m p o r t a n t p o i n t i s t h a t t h e i r m e t h o d i s g u a r a n -
t e e d t o n d a n o p t i m a l a p p r o x i m a t i o n o f t h e j o i n t
d i s t r i b u t i o n u n d e r t h e g i v e n s c o r i n g m e t r i c ( a m e a -
s u r e o f c l o s e n e s s ) a n d t h e r e s t r i c t i o n t o u s i n g s e c o n d -
o r d e r d i s t r i b u t i o n s . H e n c e , o n e c a n n o t i m p r o v e t h e i r
m e t h o d u n d e r t h e s e c o n d i t i o n s . H o w e v e r , i n t h e n e x t
s e c t i o n , w e d i s c u s s t w o w a y s i n w h i c h t h e i r m e t h o d
c a n b e g e n e r a l i z e d f o r t h e p u r p o s e o f l e a r n i n g a u s e r
p r o l e .
4 L e a r n i n g P r o b a b i l i s t i c M o d e l s
L e a r n i n g M a r k o v a n d B a y e s i a n n e t w o r k s a r e b o t h g e n -
e r a l i z a t i o n s o f t h e C h o w a n d L i u m e t h o d .
A s a l r e a d y m e n t i o n e d , t h e c o n d i t i o n a l i n d e p e n d e n c i e s
l e a r n e d b y t h e C h o w a n d L i u m e t h o d a r e r e p r e s e n t e d
b y a s i n g l y - c o n n e c t e d D A G . E v e r y s i n g l y - c o n n e c t e d
D A G i s e q u i v a l e n t t o a ( d e c o m p o s a b l e ) M a r k o v n e t -
w o r k . M o r e s p e c i c a l l y , e v e r y s i n g l y - c o n n e c t e d D A G
i s e q u i v a l e n t t o a M a r k o v n e t w o r k i n w h i c h e v e r y
m a r g i n a l d i s t r i b u t i o n i s d e n e d o n p r e c i s e l y t w o v a r i -
a b l e s . I n o t h e r w o r d s , t h e g r a p h i c a l s t r u c t u r e l e a r n e d
b y C h o w a n d L i u i s a s u b c l a s s w i t h i n t h e m o r e g e n -
e r a l c l a s s o f M a r k o v n e t w o r k s . T h i s m e a n s t h a t , b y r e -
l a x i n g t h e c o n d i t i o n t h a t e v e r y m a r g i n a l d i s t r i b u t i o n
m u s t i n v o l v e p r e c i s e l y t w o v a r i a b l e s , o n e c a n l e a r n a n y
M a r k o v n e t w o r k . I n f a c t , w e h a v e a l r e a d y d e v e l o p e d a
m e t h o d w h i c h c a n l e a r n a M a r k o v n e t w o r k f r o m s a m -
p l e d a t a 2 7 , 2 8 ] . E x p e r i m e n t a l r e s u l t s a n d c o m p l e x i t y
a n a l y s i s c a n b e f o u n d i n 2 7 , 2 8 ] .
A s e c o n d w a y t o g e n e r a l i z e t h e C h o w a n d L i u m e t h o d
i s t o a l s o l e a r n e m b e d d e d C I s . R e c a l l t h a t a M a r k o v
n e t w o r k o n l y e n c o d e s f u l l C I s , n a m e l y , t h o s e C I s w h i c h
i n v o l v e e v e r y v a r i a b l e i n t h e n e t w o r k . O n t h e o t h e r
h a n d , a n e m b e d d e d C I i s a C I w h i c h i s a l l o w e d t o
i n v o l v e a p r o p e r s u b s e t o f v a r i a b l e s i n t h e n e t w o r k ( s e e
S e c t i o n 2 . 1 ) . I n o t h e r w o r d s , f u l l C I s a r e a s p e c i a l
c a s e o f e m b e d d e d C I s a n e m b e d d e d C I b e c o m e s a f u l l
C I e x a c t l y w h e n t h e C I i n v o l v e s e v e r y v a r i a b l e i n t h e
n e t w o r k . M a n y l e a r n i n g a l g o r i t h m s e x i s t f o r l e a r n i n g
B a y e s i a n n e t w o r k s f r o m d a t a 3 , 1 2 , 1 3 , 1 5 , 2 1 ] .
5 B u i l d i n g t h e U s e r P r o l e
W e s u g g e s t t h a t a u s e r p r o l e c a n b e r e p r e s e n t e d a s
a p r o b a b i l i s t i c n e t w o r k . S u c h a r e p r e s e n t a t i o n o e r s
m a n y a d v a n t a g e s . A p r o b a b i l i s t i c n e t w o r k p r o v i d e s
a f o r m a l f o u n d a t i o n f o r p r o b a b i l i s t i c i n f e r e n c e . M o r e
i m p o r t a n t l y , q u e r i e s i n v o l v i n g a n y s u b s e t o f t e r m s ( a t -
t r i b u t e s ) m a y b e p o s e d t o t h e n e t w o r k . F i n a l l y , w e
c a n d i r e c t l y e m p l o y t h e e x i s t i n g t e c h n i q u e s a l r e a d y i m -
p l e m e n t e d i n p r o b a b i l i s t i c r e a s o n i n g s y s t e m s f o r I R
p u r p o s e s , n a m e l y , t h e w e l l - s t u d i e d l e a r n i n g a l g o r i t h m s
a n d t h e p r o v e n q u e r y o p t i m i z a t i o n t e c h n i q u e s .
T h e i n p u t t o o u r a p p r o a c h i s a s a m p l e o f d o c u m e n t s ,
r e p r e s e n t e d b y a x e d s e t o f t e r m s , t h a t t h e u s e r
h a s m a r k e d a s e i t h e r r e l e v a n t o r n o n r e l e v a n t . ( N o t e
t h a t t h e l e a r n i n g a l g o r i t h m s d o n o t d e p e n d o n b i n a r y
7/28/2019 A Bayesian Approach to User Profiling in Information Retrieval
5/7
v a l u e d a t t r i b u t e s . ) T h u s , o n e a t t r i b u t e l a b e l l e d R e l -
e v a n c e c a n b e a p p e n d e d t o t h e u s u a l v e c t o r r e p r e -
s e n t a t i o n . T h i s s a m p l e d a t a c a n b e g i v e n a s i n p u t
t o o u r M a r k o v n e t w o r k l e a r n i n g a l g o r i t h m 2 7 , 2 8 ] ,
o r a n y o n e o f t h e B a y e s i a n n e t w o r k l e a r n i n g a l g o -
r i t h m s 3 , 1 2 , 1 3 , 1 5 , 2 1 ] . T h e l e a r n i n g a l g o r i t h m s
w i l l t r e a t t h e a d d i t i o n a l c o l u m n R e l e v a n c e a s s i m p l y
a n o t h e r c o l u m n . T h e r e b y , t h e o u t p u t w i l l b e e i t h e r a
M a r k o v o r B a y e s i a n n e t w o r k w i t h t h e e x c e p t i o n t h a t
o n e a t t r i b u t e i n t h e n e t w o r k r e p r e s e n t s t h e p r e f e r e n c e
o f t h e u s e r . O n c e t h e p r o b a b i l i s t i c n e t w o r k i s c o n -
s t r u c t e d , t h e d o c u m e n t s c a n b e r a n k e d a c c o r d i n g t o
t h e c o m p u t e d c o n d i t i o n a l p r o b a b i l i t i e s . M o r e i m p o r -
t a n t l y , p e r h a p s , q u e r i e s c a n b e p o s e d t o t h e n e t w o r k
i n v o l v i n g a n y s u b s e t o f t e r m s .
I t i s i m p o r t a n t t o n o t e t h a t t h e p r o b a b i l i s t i c n e t w o r k
c a n b e r e n e d . T h e u s e r c a n m a r k s u b s e q u e n t l y v i e w e d
d o c u m e n t s a s e i t h e r r e l e v a n t o r n o n r e l e v a n t . T h e s e
n e w s a m p l e s c a n b e u s e d t o m o d i f y t h e n e t w o r k i n a n
o i n e m o d e . I n o t h e r w o r d s , t h e s e n e w s a m p l e s c a n
b e a d d e d t o t h e o r i g i n a l s a m p l e . T h e q u a l i t y o f t h e
l e a r n e d n e t w o r k w i l l i n c r e a s e a s t h e s a m p l e s i z e g r a d -
u a l l y i n c r e a s e s . W e i l l u s t r a t e t h e p r o p o s e d m e t h o d f o r
u s e r p r o l i n g w i t h t h e a i d o f t h e f o l l o w i n g e x a m p l e .
C o n s i d e r a u s e r w h o r e c e i v e s n u m e r o u s e l e c t r o n i c m a i l
( e m a i l ) m e s s a g e s e a c h d a y . T h i s p a r t i c u l a r u s e r i s t o o
b u s y t o r e a d a l l o f t h e n e w e m a i l m e s s a g e s r e c e i v e d
e a c h d a y . T h e r e b y , s h e w o u l d p r e f e r t o r e a d t h e m o s t
r e l e v a n t e m a i l m e s s a g e s o f t h e u n r e a d m e s s a g e s . F o r
s i m p l i c i t y , l e t u s a s s u m e i n t h i s e x a m p l e t h a t e v e r y
e m a i l m e s s a g e i s r e p r e s e n t e d b y t h e s a m e x e d s e t
f A
1
A
2
: : : A
n
g o f t e r m s . S u p p o s e f u r t h e r t h a t t h e r e
i s a v a i l a b l e a n a u t o - i n d e x i n g p r o g r a m w h i c h w i l l a s -
s i g n v a l u e s A
1
= a
1
A
2
= a
2
A
n
= a
n
t o e a c h
n e w l y a r r i v e d e m a i l m e s s a g e . G i v e n a s a m p l e o f e m a i l
m e s s a g e s t h a t t h e u s e r h a s m a r k e d a s e i t h e r r e l e v a n t
o r n o n r e l e v a n t , w e c a n a p p l y t h e l e a r n i n g a l g o r i t h m s
d i s c u s s e d i n S e c t i o n 4 t o l e a r n a B a y e s i a n o r M a r k o v
n e t w o r k . W h e n e v e r a n e w e m a i l m e s s a g e a r r i v e s , w e
r a n k i t a c c o r d i n g t o t h e f o l l o w i n g c o n d i t i o n a l p r o b a -
b i l i t y d e n e d b y t h e p r o b a b i l i s t i c n e t w o r k :
p ( R e l = r e l e v a n t A
1
= a
1
A
2
= a
2
: : : A
n
= a
n
)
w h e r e R e l s t a n d s f o r R e l e v a n c e . B a s e d o n t h e o r i g i -
n a l p r o b a b i l i s t i c n e t w o r k , l e t e
1
e
2
e
3
e
4
e
5
e
6
b e ( t h e
v e c t o r r e p r e s e n t a t i o n s o f ) s i x n e w e m a i l m e s s a g e s w i t h
c o n d i t i o n a l p r o b a b i l i t i e s :
p ( R e l e v a n c e = r e l e v a n t e
1
) = 0 5
p ( R e l e v a n c e = r e l e v a n t e
2
) = 0 1
p ( R e l e v a n c e = r e l e v a n t e
3
) = 0 7
p ( R e l e v a n c e = r e l e v a n t e
4
) = 0 0
p ( R e l e v a n c e = r e l e v a n t e
5
) = 0 9
p ( R e l e v a n c e = r e l e v a n t e
6
) = 0 3
T h e r e b y , t h e s e n e w e m a i l m e s s a g e s w o u l d b e r a n k e d
a s e
5
e
3
e
1
e
6
e
2
e
4
. F o l l o w i n g t h i s r a n k i n g , l e t u s
a s s u m e t h a t t h e u s e r h a s t i m e t o r e a d e
5
e
3
e
1
, w h i c h
s h e r a n k s a s r e l e v a n t n o n r e l e v a n t , a n d r e l e v a n t , r e -
s p e c t i v e l y . U s i n g t h e s e t h r e e n e w s a m p l e s , t h e o r i g i n a l
p r o b a b i l i s t i c n e t w o r k c a n b e r e n e d i n a n o i n e m o d e .
S u p p o s e t h a t t h e r a n k i n g , s p e c i e d b y t h e r e n e d n e t -
w o r k , o f t h e p r e v i o u s l y u n r e a d m e s s a g e s e
6
e
2
e
4
a n d
t h e n e w l y a r r i v e d m e s s a g e s e
7
e
8
i s
p ( R e l e v a n c e = r e l e v a n t e
8
) = 0 9
p ( R e l e v a n c e = r e l e v a n t e
6
) = 0 7
p ( R e l e v a n c e = r e l e v a n t e
2
) = 0 2
p ( R e l e v a n c e = r e l e v a n t e
7
) = 0 1
p ( R e l e v a n c e = r e l e v a n t e
4
) = 0 0
N o t i c e t h a t t h e r e n e d n e t w o r k d e n e s a d i e r e n t c o n -
d i t i o n a l p r o b a b i l i t y f o r t h e m e s s a g e s e
6
a n d e
2
6 C o n c l u s i o n
I n t h i s p a p e r , w e h a v e s u g g e s t e d t h a t a u s e r p r o l e
c a n b e r e p r e s e n t e d a s e i t h e r a B a y e s i a n o r M a r k o v
n e t w o r k . S u c h a n e t w o r k i s l e a r n e d f r o m a s a m p l e o f
d o c u m e n t s t h a t a r e j u d g e d b y t h e u s e r t o b e r e l e v a n t
o r n o n r e l e v a n t . A s p r o b a b i l i s t i c n e t w o r k s a r e w e l l -
e s t a b l i s h e d a s a r i g o r o u s f o u n d a t i o n f o r u n c e r t a i n t y
m a n a g e m e n t 1 1 , 1 7 ] , w e c a n p r o c e s s q u e r i e s p o s e d
t o t h e n e t w o r k i n v o l v i n g a n y s u b s e t o f i n d e x t e r m s
t a k i n g o n a n y v a l u e s f r o m t h e i r r e s p e c t i v e d o m a i n s .
M o r e o v e r , t h e p r o b a b i l i s t i c n e t w o r k c a n b e r e n e d a s
t h e u s e r v i e w s n e w d o c u m e n t s . I n o t h e r w o r d s , a s t h e
s a m p l e s i z e i n c r e a s e s , s o d o e s t h e q u a l i t y o f t h e l e a r n e d
n e t w o r k .
O u r a p p r o a c h h a s s e v e r a l a d v a n t a g e s . T h e p r o b a -
b i l i t y d i s t r i b u t i o n s r e p r e s e n t e d i n t h e C h o w a n d L i u
m e t h o d 7 ] f o r m a s u b c l a s s o f d i s t r i b u t i o n s r e p r e s e n t e d
b y B a y e s i a n a n d M a r k o v n e t w o r k s . O u r m e t h o d c a n
t a k e f u l l a d v a n t a g e o f t h e e s t a b l i s h e d t e c h n i q u e s a l -
r e a d y e m p l o y e d f o r u n c e r t a i n t y m a n a g e m e n t i n a r t i -
c i a l i n t e l l i g e n c e . F o r i n s t a n c e , m a n y a l g o r i t h m s e x i s t
f o r l e a r n i n g a B a y e s i a n n e t w o r k 3 , 1 2 , 1 3 , 1 5 , 2 1 ] o r
a M a r k o v n e t w o r k 2 7 , 2 8 ] . M o r e o v e r , e c i e n t i n f e r -
e n c e t e c h n i q u e s e x i s t f o r q u e r y p r o c e s s i n g i n B a y e s i a n
n e t w o r k s 1 7 ] a n d M a r k o v n e t w o r k s 1 4 , 1 6 , 2 0 ] . S i n c e
w e d i r e c t l y a d o p t t e c h n i q u e s a l r e a d y i m p l e m e n t e d i n
p r o b a b i l i s t i c r e a s o n i n g s y s t e m s , t h e d i s c u s s i o n h e r e
c a n t h e n b e s e e n a s a t h e o r e t i c a l f o u n d a t i o n f o r h a r -
m o n i z i n g t h e I R a n d B a y e s i a n n e t w o r k c o m m u n i t i e s .
F i n a l l y , w e w o u l d l i k e t o e m p h a s i z e t h a t t h e w o r k h e r e
i s q u i t e d i e r e n t f r o m o t h e r p r o p o s e d m e t h o d s o f a p -
p l y i n g i n f e r e n c e n e t w o r k s f o r I R p u r p o s e s 9 , 1 0 , 2 2 ,
2 3 ] . T h o s e m e t h o d s b u i l d a n e t w o r k o n l i n e f o r e a c h
q u e r y i s s u e d b y t h e u s e r . O n t h e c o n t r a r y , w e l e a r n
7/28/2019 A Bayesian Approach to User Profiling in Information Retrieval
6/7
o u r n e t w o r k o i n e . O u r a p p r o a c h s h o u l d g i v e a f a s t e r
r e s p o n s e t i m e s i n c e t h e n e t w o r k u s e d i n p r a c t i c e i s a l -
r e a d y x e d .
R e f e r e n c e s
1 ] C . B e e r i , R . F a g i n , D . M a i e r a n d M . Y a n n a k a k i s ,
O n t h e d e s i r a b i l i t y o f a c y c l i c d a t a b a s e s c h e m e s .
J A C M 3 0 , 3 , 4 7 9 - 5 1 3 , 1 9 8 3 .
2 ] C . J . B u t z , T h e r e l a t i o n a l d a t a b a s e t h e o r y o f
B a y e s i a n n e t w o r k s . P h . D . T h e s i s , D e p a r t m e n t o f
C o m p u t e r S c i e n c e , U n i v e r s i t y o f R e g i n a , 2 0 0 0 .
3 ] G . F . C o o p e r a n d E . H . H e r s k o v i t s , A B a y e s i a n
m e t h o d f o r t h e i n d u c t i o n o f p r o b a b i l i s t i c n e t w o r k s
f r o m d a t a , M a c h i n e L e a r n i n g 9 , 3 0 9 - 3 4 7 , 1 9 9 2 .
4 ] F . C r e s t a n i a n d C . J . v a n R i j s b e r g e n , P r o b a b i l i t y
k i n e m a t i c s i n i n f o r m a t i o n r e t r i e v a l , P r o c e e d i n g s o f
t h e 1 8 t h A n n u a l I n t e r n a t i o n a l A C M - S I G I R c o n -
f e r e n c e , 2 9 1 - 2 9 9 , 1 9 9 5 .
5 ] F . C r e s t a n i a n d C . J . v a n R i j s b e r g e n , A s t u d y
o f p r o b a b i l i t y k i n e m a t i c s i n i n f o r m a t i o n r e t r i e v a l ,
A C M T r a n s a c t i o n s o n I n f o r m a t i o n S y s t e m s 1 6
3 , 2 2 5 - 2 5 5 , 1 9 9 8 .
6 ] W . B . C r o f t a n d D . J . H a r p e r , U s i n g p r o b a b i l i s t i c
m o d e l s o f d o c u m e n t r e t r i e v a l w i t h o u t r e l e v a n c e
i n f o r m a t i o n . J o u r n a l o f D o c u m e n t a t i o n 3 5 , 1 0 6 -
1 1 9 , 1 9 7 7 .
7 ] C . K . C h o w a n d C . N . L i u , A p p r o x i m a t i n g d i s c r e t e
p r o b a b i l i t y d i s t r i b u t i o n s w i t h d e p e n d e n c e t r e e s .
I E E E T r a n s a c t i o n s o n I n f o r m a t i o n T h e o r y I T -
1 4 , 3 , 4 6 2 - 4 6 7 , 1 9 6 8 .
8 ] F r a k e s , W . , B a e z a - Y a t e s , R . ( E d s . ) , I n f o r m a t i o n
R e t r i e v a l : D a t a S t r u c t u r e s a n d A l g o r i t h m s . P r e n -
t i c e H a l l , E n g l e w o o d C l i s , U S A , 4 1 9 - 4 4 2 , 1 9 9 2 .
9 ] R . F u n g a n d B . D e l F a v e r o , A p p l y i n g B a y e s i a n
n e t w o r k s t o i n f o r m a t i o n r e t r i e v a l . C o m m u n i c a -
t i o n o f A C M 3 8 , 3 , 4 2 - 4 8 , 5 7 , 1 9 9 5 .
1 0 ] D . H a i n e s a n d W . B . C r o f t , R e l e v a n c e f e e d b a c k
a n d i n f e r e n c e n e t w o r k s . P r o c e e d i n g s o f t h e 1 6 t h
A n n u a l I n t e r n a t i o n a l A C M - S I G I R c o n f e r e n c e 2 -
1 1 , 1 9 9 3 .
1 1 ] P . H a j e k , T . H a v r a n e k a n d R . J i r o u s e k , U n c e r t a i n
I n f o r m a t i o n P r o c e s s i n g i n E x p e r t S y s t e m s . C R C
P r e s s , 1 9 9 2 .
1 2 ] D . H e c k e r m a n , D . G e i g e r a n d D . M . C h i c k e r i n g ,
L e a r n i n g B a y e s i a n n e t w o r k s : t h e c o m b i n a t i o n o f
k n o w l e d g e a n d s t a t i s t i c a l d a t a . M a c h i n e L e a r n -
i n g 2 0 , 1 9 7 - 2 4 3 , 1 9 9 5 .
1 3 ] E . H . H e r s k o v i t s a n d G . F . C o o p e r , K u t a t o : a n
e n t r o p y - d r i v e n s y s t e m f o r c o n s t r u c t i o n o f p r o b a -
b i l i s t i c e x p e r t s y s t e m s f r o m d a t a b a s e . P r o c e e d i n g s
o f t h e S i x t h C o n f e r e n c e o n U n c e r t a i n t y i n A r t i -
c i a l I n t e l l i g e n c e , 5 4 - 6 2 , 1 9 9 0 .
1 4 ] F . V . J e n s e n , S . L . L a u r i t z e n a n d K . G . O l e -
s e n , B a y e s i a n u p d a t i n g i n c a u s a l p r o b a b i l i s t i c
n e t w o r k s b y l o c a l c o m p u t a t i o n . C o m p u t a t i o n a l
S t a t i s t i c s Q u a r t e r l y 4 , 2 6 9 - 2 8 2 , 1 9 9 0 .
1 5 ] W . L a m a n d F . B a c c h u s , L e a r n i n g B a y e s i a n n e t -
w o r k s : a n a p p r o a c h b a s e d o n t h e M D L p r i n c i p l e .
C o m p u t a t i o n a l I n t e l l i g e n c e 1 0 , 3 , 2 6 9 - 2 9 3 , 1 9 9 4 .
1 6 ] S . L . L a u r i t z e n a n d D . J . S p i e g e l h a l t e r , L o c a l c o m -
p u t a t i o n w i t h p r o b a b i l i t i e s o n g r a p h i c a l s t r u c -
t u r e s a n d t h e i r a p p l i c a t i o n t o e x p e r t s y s t e m s .
J o u r n a l o f t h e R o y a l S t a t i s t i c a l S o c i e t y B , 5 0 ,
1 5 7 - 2 4 4 , 1 9 8 8 .
1 7 ] J . P e a r l , P r o b a b i l i s t i c R e a s o n i n g i n I n t e l l i g e n t
S y s t e m s : N e t w o r k s o f P l a u s i b l e I n f e r e n c e . M o r -
g a n K a u f m a n n , S a n F r a n c i s c o , C a l i f o r n i a , 1 9 8 8 .
1 8 ] S . E . R o b e r t s o n a n d K . S p a r c k J o n e s , R e l e v a n c e
w e i g h t i n g o f s e a r c h t e r m s . J o u r n a l o f t h e A m e r i -
c a n S o c i e t y f o r I n f o r m a t i o n S c i e n c e 2 7 , 1 2 9 - 1 4 6 ,
1 9 7 6 .
1 9 ] S . E . R o b e r t s o n , T h e p r o b a b i l i t y r a n k i n g p r i n c i -
p l e i n I R . J o u r n a l o f D o c u m e n t a t i o n 3 3 , 2 9 4 - 3 0 4 ,
1 9 7 7 .
2 0 ] G . S h a f e r , A n a x i o m a t i c s t u d y o f c o m p u t a t i o n
i n h y p e r t r e e s . T e c h n i c a l r e p o r t . U n i v e r s i t y o f
K a n s a s , S c h o o l o f B u s i n e s s W o r k i n g P a p e r s , 2 3 2 ,
1 9 9 1 .
2 1 ] P . S p i r t e s a n d C . G l y m o u r , A n a l g o r i t h m f o r f a s t
r e c o v e r y o f s p a r s e c a u s a l g r a p h s . S o c i a l S c i e n c e
C o m p u t e r R e v i e w 9 , 1 , 6 2 - 7 3 , 1 9 9 1 .
2 2 ] H . R . T u r t l e , I n f e r e n c e n e t w o r k s f o r d o c u m e n t
r e t r i e v a l . P h . D . T h e s i s , U n i v e r s i t y o f M a s -
s a c h u s e t t s , 1 9 9 0 .
2 3 ] H . R . T u r t l e a n d W . B . C r o f t , I n f e r e n c e n e t w o r k s
f o r d o c u m e n t r e t r i e v a l . P r o c e e d i n g s o f t h e 1 3 t h I n -
t e r n a t i o n a l C o n f e r e n c e o n R e s e a r c h a n d D e v e l o p -
m e n t i n I n f o r m a t i o n R e t r i e v a l , 1 - 2 4 , 1 9 9 0 .
2 4 ] C . J . v a n R i j s b e r g e n , I n f o r m a t i o n R e t r i e v a l . B u t -
t e r w o r t h s , L o n d o n , U K , 1 9 7 9 .
2 5 ] S . K . M . W o n g a n d Y . Y . Y a o , A p r o b a b i l i t y d i s -
t r i b u t i o n m o d e l f o r i n f o r m a t i o n r e t r i e v a l . I n f o r -
m a t i o n P r o c e s s i n g & M a n a g e m e n t 2 5 , 1 , 3 9 - 5 3 ,
1 9 8 9 .
7/28/2019 A Bayesian Approach to User Profiling in Information Retrieval
7/7
2 6 ] S . K . M . W o n g a n d Y . Y . Y a o , A g e n e r a l i z e d b i n a r y
p r o b a b i l i s t i c i n d e p e n d e n c e m o d e l . J o u r n a l o f t h e
A m e r i c a n S o c i e t y f o r I n f o r m a t i o n S c i e n c e 4 1 5
3 2 4 - 3 2 9 , 1 9 9 0 .
2 7 ] S . K . M . W o n g a n d Y . X i a n g , C o n s t r u c t i o n o f a
M a r k o v n e t w o r k f r o m d a t a f o r p r o b a b i l i s t i c i n -
f e r e n c e . P r o c e e d i n g s o f t h e T h i r d I n t e r n a t i o n a l
W o r k s h o p o n R o u g h S e t s a n d S o f t C o m p u t i n g
5 6 2 - 5 6 9 , 1 9 9 4 .
2 8 ] Y . X i a n g , S . K . M . W o n g a n d N . C e r c o n e , A
\ m i c r o s c o p i c " s t u d y o f m i n i m u m e n t r o p y s e a r c h
i n l e a r n i n g d e c o m p o s a b l e M a r k o v n e t w o r k s . M a -
c h i n e L e a r n i n g 2 6 , 1 , 6 5 - 9 2 , 1 9 9 7 .
2 9 ] C . T . Y u a n d G . S a l t o n , P r e c i s i o n w e i g h t i n g - a n
e e c t i v e a u t o m a t i c i n d e x i n g m e t h o d . J o u r n a l o f
t h e A s s o c i a t i o n f o r C o m p u t i n g M a c h i n e r y 2 3
7 6 - 8 8 , 1 9 7 6 .
3 0 ] C . T . Y u , W . S . L u k a n d T . Y . C h e u n g , A s t a t i s -
t i c a l m o d e l f o r r e l e v a n c e f e e d b a c k i n i n f o r m a t i o n
r e t r i e v a l . J o u r n a l o f t h e A s s o c i a t i o n f o r C o m p u t -
i n g M a c h i n e r y 2 3 , 2 7 3 - 2 8 6 , 1 9 7 6 .