Upload
duyentran
View
212
Download
0
Embed Size (px)
Citation preview
8/15/2019 Difference Bayes - Multual Information
1/51
BỘ CÔNG THƯƠNGTRƯỜNG ĐẠI HỌC CÔNG NGHIỆP TP. HỒ CHÍ MINH
KHOA CÔNG NGHỆ THÔNG TIN
TIỂU LUẬN MÔN HỌCTRÍ TUỆ NHÂN TẠO NÂNG CAO
GIÁO VIÊN HƯỚNG DẪN: PG. T HU!NH TRUNG HI"U
HỌC VIÊN THỰC HIỆN :#. TR$N %&N 'U("N ) #*##+,*#-. NGU(N 'U( KHOA / #*##,0*#
LỚP: CHKHMT*B
TP. Hồ Chí Minh, tháng 6 năm 2016.
8/15/2019 Difference Bayes - Multual Information
2/51
Tiểu luận môn họ T!" #u$ nh%n #&' n%n( )'
B1NG PHÂN CÔNG CÔNG %IỆC
T23 4536 7894 N6:;8 4 =893 G=8 4=?
* D+h ,-i ,.' #/ #!)n( 0*12* T3n( h45 h6nh 78) n9i un(2
* ;'&n 7li< #hu=># #!?nh2
T@AN VBN DEN
* D+h ,-i ,.' #/ #!)n( 0F >n h>#2
* Tm ## ,-i ,.'2
* Thu=># #!?nh J- #!K li %u hMi2
NGN D HO
Q
8/15/2019 Difference Bayes - Multual Information
3/51
Tiểu luận môn họ T!" #u$ nh%n #&' n%n( )'
@ KHC NHAU GIA PHÂN LP BA(D
%E PHÂN LP THÔNG TIN TƯƠNG HF MI LE GJR)'*G)n( HuS Thành viên cao cấp, I
T!m t"t / T36 36=823 4 3Q 4 =S8 =3 VW BSXY 7 =3 VW
8/15/2019 Difference Bayes - Multual Information
4/51
Tiểu luận môn họ T!" #u$ nh%n #&' n%n( )'
m #hôn( #in h`u "h #/ ` li$u l]n2 Ph%n l]5 nh+ 5h%n 7Y l- m9# Jn t
X ,Kn #!'n( ntn Zn( n( nhW Jậ=2 Ph%n l]5 d) #!Un . itu _h'Kn hi 5h" h' 7d
%n ,rn( q) . l]5 lki l- m9# hq t #hôn( #hWn( #!'n( hn '.n = #>2 Ph%n l]5 7)i
p
8/15/2019 Difference Bayes - Multual Information
5/51
Tiểu luận môn họ T!" #u$ nh%n #&' n%n( )'
#/ flki l]5 Ig }h'j fWXn( #"nh (iKg~ h'j #/ flki l]5 IIg }h'j f%m #"nh (iKg~ l- _h.
nh)u .n( _ể #!'n( ,^i Knh . h' 9n( = #>2 T!'n( . Zn( n( q) . l‚nh Jd
_h.S n(Wi #) n( xn 5hKi 5h%n ,i$# . l]5 lki h' _># uK h45 l\ #!'n( 5h%n
l]52 T!'n( 7^ ## K . u9 itu #!)S . itu _h'Kn hi 5h"S m- #hWn( W4 [.
+nh ,si n(Wi vn( #/ m9# m) #!ận hi 5h"S n( m9# J)i #!ƒ u)n #!ọn( #!'n( Ji$
họ l]5 m# %n ,rn( b00*0pc bQFc bp•c bp„c2 T!'n( . 5h%n l]5 nh+ 5h%n J]i m9# #v=
họn l'&i ,MS 5h%n l]5 R)=u m9# _h") &nh _h.h u)n #hd #hi ể 5h%n l]5 J]i m9# ld) họn l'&i
,MS m9# _h _hwn #…n #&i h' m.= 5h%n l]5 R)=n n)=S
Wn( nhW _hôn( ,.' .' n(hiUn Zu n-' h' 5h%n l]5 R)=
8/15/2019 Difference Bayes - Multual Information
6/51
8/15/2019 Difference Bayes - Multual Information
7/51
Tiểu luận môn họ T!" #u$ nh%n #&' n%n( )'
Côn( #!?nh n-= #ậ5 #!un( Ji$ #?m hiểu 7d _h. ,i$# (i`) l\ #hu=># 5h%n l]5
R)=# lậ5 ‹_hôn(
m9# #v= họn l'&i ,M2 zj ,i$#S ,-i ,.' n-= tu [u# 5h.# nhitu #/ J- ' liUn u)n
>n ôn( Ji$ q) Ch' ,rn( .h 5h%n ,i$# . l'&i lki J- . l'&i l'&i ,M2 zể
W4 7d ‘ _iểm 7'.# 5h%n #"h m- _hôn( l-m m# #"nh #3n( u.#S hi>n lW4 q) Ji$
.5 n( . (iK +nh Xn (iKn nhWn( \ n(h‚) nh# h' nh`n( Jn t 5h%n l]5 W4
#h# . Jn t #hd #>2 T!'n( #hd #>S 7Z m&nh q) 5h%n
l]5 R)=#S
nhWn( [u# hi$n #/ n(u=Un # 7u= luận hun( q) hen( #!'n( Ji$ hW]n( on Zn(
n( #hd #>S n()= K #!'n( nh`n( 7d #WXn( Zn( #!'n( họ #hu=>#2 Chen( #ôi h'-n #'-n
nhận !) !rn( (iK +nh Jt _i>n #hZ x= q Jt 5h%n ,^ [. 7u# liUn u)n #hể_hôn( ,)' (i l- #!Wn( h45 #!'n( . Jn t #h> (i]i #hd b0c bc2 C. (iKi 5h.5
&n( n( q) 5h%n l]5 R)=
8/15/2019 Difference Bayes - Multual Information
8/51
Tiểu luận môn họ T!" #u$ nh%n #&' n%n( )'
+nh hun( q) 5h%n l]5 R)=
8/15/2019 Difference Bayes - Multual Information
9/51
Tiểu luận môn họ T!" #u$ nh%n #&' n%n( )'
LWu \ !rn( +nh n(h‚) q) #!'n( ôn( Ji$ n-= he# _h. ,i$# 7' J]i #!'n(
bpcS ' 7Y #&' #h-nh m9# m) #!ận Q[2 Ch' bc h' !rn( nh`n( _h _hwn ,)n
xu #!Un #/ #!d u)n #!'n( 5h%n l]5:
C. _h _hwn h-m \ !rn( m9# 5h%n l]5 7)i 7Y 5hKi h+u m9# hi 5h" )' hXn 7'
J]i m9# 7d l'&i ,MS J- 7d l'&i ,M 7Y (i. )' hXn m9# 5h%n l]5 h"nh [.2 u)n h$ Jt
l- m^i u)n #%m h"nh #!'n( Ji$ n(hiUn Zu họ J]i hi 5h" nh&= KmS J- Jn t
n-= 7Y W4 (iKi u=># 7)u #!'n( n-=2 T3n( !qi !' h' xu !) u=># +nh = 7Y l- bpc
J]i #"h h45 #!Un #'-n ,9 _hôn( (i)n u)n 7.# V2
/nh í 1 *phn p 3a'45+ N>u m9# 5h%n l]5 W4 [. +nh #/ Ji$ (iKm #hiểu !qi !'
q) n #!Un ## K . mou:
h'j W]i h?nh #hZ _h. #!Un m9# mou [:
Ph%n l]5 n-= W4 (ọi l- f5h%n l]5 R)=# !rn( . itu _h'Kn hi 5h" W4 .5 n(
m- _hôn( 5h%n ,i$# (i`) . lki J- #!'n( 7^ . l'&i l'&i ,M2 Th
8/15/2019 Difference Bayes - Multual Information
10/51
Tiểu luận môn họ T!" #u$ nh%n #&' n%n( )'
o?i @A
C! 5> o?i @A
89':t ;/nh '2 n:9
o?i @A
C! 5> o?i @A
89':t ;/nh ' n:9
}•~
TB' th9c vào }•~
o?i @A }• o?i @A
Riểu #hZ }•~ +nh n(h‚) q) h)i n(W”n(S }(ọi l- fn(W”n( l'&i l'&i ,Mg bc~ T!0
J- T!Q2 ‰inh hZn(S [
8/15/2019 Difference Bayes - Multual Information
11/51
Tiểu luận môn họ T!" #u$ nh%n #&' n%n( )'
Riểu #hZ }„~ mô #K m^i u)n h$ hun( (i`) . n(W”n( J- . itu _i$n hi
5h" #!'n( 5h%n l]5 nh+ 5h%nS h' 5hŠ5 5h%n l]5 ể 5h%n ,i$# (i`) . lki J- (i`) .
l'&i l'&i ,M2 LWu \ !rn( . #hi># lậ5 j ,i$# . u= # q) Ch' bc #hể W4 ,#
n(u…n #/ ,iểu #hZ }„~:
‰9# m^i u)n h$ u)n #!ọn( #!'n( bQyc n( #hể W4:
Pi
l'&i l'&i ,M J- n(u…n (^ . m^i u)n h$ (i`) h)i {n(W”n( #| l$ _hK nwn({ J- .
itu _h'Kn hi 5h"2 C. u= # q) #hi>u itu _h'Kn J- l- _hôn( l\ #hu=># ni
hun(S hW) x= q h' . Zn( n(2 Chen( n(u…n (^ ,iểu #hZ u= nh# #/
nh`n( h&n h> ,# ,?nh an( q) . J-
S #WXn( Zn(2 z>n n)=S JŽ nhW hW) )i ,.' .' . _h
_hwn hun( }•~ #!'n( . #-i li$u2 Dd) #!Un ,iểu #hZ }•~S n(Wi #) #hể l= W4
,iểu #hZ h45 l\ }~S #h)= J? 78 n( #!d (i.2
Rrn( .h .5 n( S #) #hể W4 .
u= # u=># +nh #/ ,iểu #hZ }•~ J]i . [. 7u# J- n(W”n( 7)u vn( #!'n( m9#
mou Xn (iKn J- #^# hXn h' 5h%n l]5 h&n h> J]i:89':t ;/nh '1 n:9
89':t ;/nh '2 n:9
89':t ;/nh ' cho các tDEFng hGp cn ?i,
Ph$ th9c vào }0F~
;' J]i . u= +nh q) ,iểu #hZ }•~S W4 ,iểu i‘n #h R)=
8/15/2019 Difference Bayes - Multual Information
12/51
Tiểu luận môn họ T!" #u$ nh%n #&' n%n( )'
#!'n( h?nh2 0 . ,iểu … W4 mô #K #!Un m9# ,i>n m9# hitu h' . 5h%n 5h^i
G)u77i)n q) 2 Vi$ Xn (iKn h) hk #!4 . t [u# q) Du) J- . 9n( 7dS !rn(
{_hôn( nUn l-m m . #!un( iểm minh họ) #!'n( J" Xn (iKn q) hen( #){ bpc2
H)i ,9 iểm h?nh họ W4 hiển #h+ #!'n( . ,iểu …2 ‰9# #ậ5 W4 (ọi l- {iểm (i)'
#{S ,iểu hi$n ,rn( S W4 h?nh #h-nh #/ h)i Wn( 'n( q) J- 2 V-
nh`n( .i _h. W4 (ọi l- { iểm !)nh (i]i{S ,iểu hi$n ,rn( 2 C. _hu Jd 5h%n
l]5 iểm !)nh (i]i h' . Jn t m9# hitu2 z^i J]i m9# #!Wn( h45 {_hôn( l'&i l'&i
,M{S . iểm !)nh (i]i W4 _iểm 7'.# ,si . #| l$ 2 T!'n( 5h%n l]5
h&n h>S nh`n( iểm W4 [. +nh #/ h)i n(W”n( #WXn( Zn(2 z^i J]i Jn t nhitu
_"h #hW]S n(Wi #) #hể hiểu !rn( K h)i l]5 nh`n( iểm nUu #!Un #!s #h-nh Wn(
'n( h'j #hậm h" nh`n( ,t mj# 5hZ #&52
Hnh 1. Các tnh h9Jng o?i @A tK các ;ồ th/ cLa p*ti-&+ cho các phn @J a955 ;Nn @i:n.
V]i nh`n( _i>n #hZ h"nh [. q) S J- S n(Wi #) #hể #"nh #'.n
!qi !' R)=
8/15/2019 Difference Bayes - Multual Information
13/51
Tiểu luận môn họ T!" #u$ nh%n #&' n%n( )'
J]i J- l- [. 7u# q) . fCôn( nhận h"nh [.gS fLkigS J- fL'&i ,Mg
h' l]5 #hZ i #!'n( 5h%n l]5S #WXn( Zn( J- >n l- nh`n( _hu Jd 5h%n l]5 .
l]5 0S l]5 Q J- l]5 l'&i l'&i ,M J- #WXn( Zn(– C. m^i u)n h$ hun( (i`) J-
h' 5h%n l]5 nh+ 5h%n W4 W) !) ,si bc:
}0Q~
J]i J- &i i$n h' #3n( ôn( nhận h"nh [.S #3n( 7^ lki J- #3n( #6 l$ l'&i
,MS #WXn( Zn( J- l- mZ 9 h"nh [. q) . 5h%n l]52
B. P=3 # #^# hXn Jt m^i u)n h$ (i`) . itu _h'Kn hi 5h" J- _># uK xu !)
q) 5h%n l]5 R)=u n #hể W4 ,iểu i‘n W]i &n( m9# J
8/15/2019 Difference Bayes - Multual Information
14/51
Tiểu luận môn họ T!" #u$ nh%n #&' n%n( )'
/nh 7 *Tham 5J ;c Sp+ ‰9# mô h?nh W4 h' l- W4 itu h6nh ,si .
#h)m 7^ 9 lậ5 n>u n #hể W4 ,iểu i‘n #h
8/15/2019 Difference Bayes - Multual Information
15/51
Tiểu luận môn họ T!" #u$ nh%n #&' n%n( )'
}0‡~
Dd) #!Un ,iểu #hZ }„~ J- }0Q~S #3n( 7^ lki }h'j l'&i ,M~ q) 5h%n l]5 R)=S #3n( 7^ . #h)m 7^ 9 lậ5 #!'n( .
itu _h'Kn hi 5h" ể [. +nh 5h%n l]5 R)=
8/15/2019 Difference Bayes - Multual Information
16/51
Tiểu luận môn họ T!" #u$ nh%n #&' n%n( )'
H'j
ể W4 7d 5h%n l]5 R)=# lậ5 ƒi hMi \ n(h‚) _h. nh)u J- _hôn( #hể hi$n . m^i
u)n h$ #WXn( WXn(S n('&i #!/ #hôn( u) ,iểu #hZ }„~2 D' S m9# 7d nhxm lon
#hể (j5 5hKi _hi ^ (n( ể hiểu W4 h-nh Ji q) . lki J- #6 l$ l'&i ,M J]i _h") &nh
J]i #hi># lậ5 _h. nh)u q) . itu _h'Kn hi 5h"2 V? l\ ' n-=S . itu _h'Kn hi
5h" #hể W) !) m9# Jn t n9i #&i ể [. +nh m9# h?nh #hZ hun( q) . #hi># lậ5
#!'n( họ #ậ5 nh&= Km hi 5h" n>u m9# #v= họn l'&i ,M W4 #hd #hi2
YhSn &Zt 2 T!'n( _hi z+nh l\ Q h6 h' #h= m9# W] #"nh #!Un !?) q) h'
5h%n l]5 R)=n #!'n( bpc W4 #hôn( u) J? l\ ' h' #h=
0•
8/15/2019 Difference Bayes - Multual Information
17/51
Tiểu luận môn họ T!" #u$ nh%n #&' n%n( )'
n(u=Un # X ,Kn Jt l\ #hu=># n( nhW . (iKi 5h.5 h?nh #hZ n(2 D' S n>u .
_i>n #hZ liUn u)n q) J- W4 W) !)S n(Wi #) #hể mô #K W4 n9i
un( q) #/ ,iểu #hZ }0~ }H?nh 0~2 HXn n`)S _hi W4 ,i># >nS . _hu Jd
5h%n l]5 q) >n #!'n( itu _i$n q) 7Y W4 ^ +nh h' 5h%n l]5 R)=n S h'j S W4 [. +nhS !qi !' R)=52
N(Wi #) #hể #h= !rn( nh`n( !)nh (i]i n-= #hể #hu W4 #/ . ` li$u W4 ,i>#
>n q) _hi (iKi u=># m9# 5hWXn( #!?nh ,?nh an( #!Un }•)~ h'j }•,~:
}0y~
C. ` li$u q) #hể W4 nhận !) h'j #/ _h'Kn hi 5h" S h'j #/
n(W”n( }[ . ` li$u h"nh [. q) J-
h' . 5h%n 5h^i G)u77i)nS nXi J- &i i$n h' (i. #!+ #!un(
,?nh J- 9 l$h hun J-' l]5 #hZ iS J- . ` li$u q) } #/ nh#
+nh~ #!'n( }0y~S n(Wi #) #hể W4 . (iKi 5h.5 h?nh #hZ n( . iểm !)nh
(i]i }h' J- ~:
}01)~
}01,~
hi m9# l- m9# ,i>n #!un( (i)n W4 [. +nh ,si:
}01~
Riểu #hZ }01~ n( hi$u uK ^i J]i 5h%n l]5 R)=
8/15/2019 Difference Bayes - Multual Information
18/51
Tiểu luận môn họ T!" #u$ nh%n #&' n%n( )'
h)i l]5 tu (i^n( nh)u2 Th)= #h> . ` li$u _h. q) J-' ,iểu #hZ }01~ 7Y m)n(
m9# j5 ` li$u J- h'j m9# Xn S W]i &n( #WXn( #d q) ,iểu #hZ }01~2
Gi^n( nhW . (iKi 5h.5 h' . iểm !)nh (i]iS iểm (i)' nh)u n( #hể
#hu W4 #/ Ji$ (iKi u=># ,iểu #hZ }0y~ h'j }01~ ,rn( .h #h)= — 02 N(Wi #)
#hể hZn( minh !rn( ,) #!Wn( h45 #hể 7Y W4 .5 Zn( J]i . iểm (i)' nh)u #/
.h (iKi ,iểu #hZ }0y~S #hể l- h)iS m9#S h'j _hôn( iểm (i)' nh)u n-'2 C.
#!Wn( h45 h' h)i iểm (i)' nh)u h6 [u# hi$n _hi #!'n( ,iểu #hZ }01~S J-
h)i Wn( 'n( q) J- hZn( minh 7d _hôn( Xn i$u }h?nh 0,~ #hôn(
u) . an( #hZ 2 hi 9 l$h #iUu hun liUn u)n tu ,rn( nh)u
h' h)i l]5S #Z l-S S h6 m9# iểm (i)' nh)u [u# hi$nS #WXn( Zn( J]i .
Wn( 'n( Xn i$u q) J- }h?nh 0)~2 C. #!Wn( h45 iểm (i)' nh)u
iểm _hôn( [K= !) _hi S #WXn( Zn( J]i (i. #!+ _hôn( #hd }nhWn( (i. #!+
5hZ #&5~ (iKi 5h.5 ể ,iểu #hZ }01)~ J- ể . #?nh hu^n( q) . Wn( 'n( _hôn(
Xn i$u q) q) J- 2 Phxn 7)uS hen( #) 7Y #hK' luận m9# 7^ #!Wn( h45
#hể h' 7d l'&i ,M ^i J]i nh`n( iểm (i)' nh)u (i`) Wn( 'n( J-
S n( nhW . #hi># lậ5 liUn u)n #!Un J- 2 ‰9# itu _i$n W4 .5 n( ể
mô #K mọi #!Wn( h452 V" S fTDEFng hGp[\[3] g h6 !) f\ g h' . #!Wn( h45 #hZ_‹ fRg }h'j f‰g~ h' 5h%n l]5 R)=
8/15/2019 Difference Bayes - Multual Information
19/51
Tiểu luận môn họ T!" #u$ nh%n #&' n%n( )'
ThK' luận Jt #!Wn( h45 n-=S hen( #) n]i lMn( . h&n h> #!'n( ,iểu #hZ
}• (i. #!+ ,rn( _hôn(
h' n(W”n( #h-nh ,iểu #hZ }„~S n(Wi #) 7Y W4 (iKi 5h.5 h'
2 C. _># uK n-= n( \ !rn( _hôn( hi 5h" nhận W4
n()= K ^i J]i m9# u=># +nh l'&i ,M h' m9# mô h?nh2 @† !-n(S m9# #!Wn( h45 nhW
#h> n-= xn 5hKi #!.nh2 T!'n( m9# 7^ #!Wn( h45S n>u n(Wi #) +nh l'&i ,M m9# l]5
h'-n h6nh }J" S l]5 0~S itu _h'Kn hi 5h" liUn u)n nUn #hi># lậ5 ,rn( _hôn( }
~ Chen( #ôi (ọi nh`n( #?nh hu^n( nhW 5h%n l]5 fl]5*m9# J- l]5*l'&i
,MgS J? h6 h)i l'&i W4 [. +nhS l-S fl]5 Qg J- fl]5 l'&i ,Mg #WXn( Zn(2
TDEFng hGp[[3 ^o?i @A tDong hai ;im giao nha9 và
C. itu _i$n xn #hi># ể #hd hi$n #!Wn( h45 n-= ,# n(u…n #/ ,iểu #hZ }0y~
h' S #!'n( _hi (iK 78 :
}QF~
Thd #!&n( hun( #!'n( #!Wn( h45 n-= l- _hi J-
S #!'n( _hu Jd l'&i ,M W4 hi) ,si h)i Jvn(2
hi S h6 m9# l]5 W4 [. +nhS nhWn( ## K . mou
_h. W4 5h%n l]5 J-' m9# l]5 l'&i ,M2 V? Jậ=S hen( #ôi t ậ5 #?nh #!&n( n-= nhW
fl]5 0 J- l]5 l'&i ,Mg2 RKn( I n( li$# _U . #?nh hu^n( _h. ể l'&i ,M #/ . #hi>#
lậ5 _h. nh)u #!Un 2
01
8/15/2019 Difference Bayes - Multual Information
20/51
Tiểu luận môn họ T!" #u$ nh%n #&' n%n( )'
TDEFng hGp[[3 ^o?i @A t?i mt ;im giao nha9 .
C. itu _i$n hun( h' Ji$ #hd hi$n #!Wn( h45 n-= #!'n( ,^i Knh 5h%n l]5
_hôn( d) #/ #hi># lậ5 m9# itu _i$n ,rn( nh)u #!Un }QF~ h' 2 Chen( #) ,M u)
#hi># lậ5 nhW Jậ= #!'n( #!Wn( h45 n-=S nhWn( (.n n J-' T!Wn( h45›‡›RG2 NhW
#!?nh ,-= #!'n( ,iểu #hZ }01,~S #?nh #!&n( hun( q) . #!Wn( h45 n-= l- h6 l- m9#
#hi># lậ5 Xn (iKn 2 ể #/ _hi #hu9 #"nh Xn i$u W4 h' 5hŠ5 h' .
Wn( 'n( q) J- #!'n( #!Wn( h45 n-=S m9# _hu Jd l'&i ,M Xn
W4 h?nh #h-nh }H?nh 0~2
TDEFng hGp[Q[3 ^o?i @A ;im giao nha9 5J 0.
C. itu _i$n hun( ể #hd hi$n #!Wn( h45 n-= #WXn( Zn( J]i m9# h-nh Ji Ji
5h&m . #iUu h" #!Un }01)~S h'j #!'n( }QF~2 T!'n( #!Wn( h45 n-=S m9# l]5
luôn luôn hiển #h+ m9# (i. #!+ )' hXn q) 5h%n ,^ [. 7u# hậu n(hi$m #!Un m9# .i
_h. #!'n( #'-n mitn q) [2 T/ +nh n(h‚) #!'n( Ji$ n(hiUn Zu . l]5 #ậ5 ` li$u
m# %n ,rn( b0pc b0•cS n>u #!'n( 5h%n l]5 nh+ 5h%nS l]5 0 7Y W4 (ọi
l- m9# l]5 f) 7^g J- l]5 Q l- m9# l]5 f#hiểu 7^g2 GiK 78 !rn( S _hi
S ## K . mou 7Y W4 'i nhW l- L]5 02 Chen( #ôi (ọi . #?nhhu^n( n-= nhW l- m9# 5h%n l]5 fz) 7^*l=*## Kg D' nh`n( h&n h> nhW J-
QF
8/15/2019 Difference Bayes - Multual Information
21/51
Tiểu luận môn họ T!" #u$ nh%n #&' n%n( )'
S m9# l- _hôn( #hể nhận !) m9# 5h%n l]5 fThiểu 7^*l=*## Kg2
hi J- S ## K . mou 7Y W4 5h%n hi)
#h-nh h)i l]5S l-S ) 7^ J- l'&i ,M2 Chen( #ôi (ọi nh`n( #?nh hu^n( 5h%n l]5 fl]5 )
7^g J- fl]5 l'&i ,Mg2 C. #?nh hu^n( q) 5h%n l]5 fl]5 #hiểu 7^g J- fl]5 l'&i ,Mg [K=
!) n>u J- 2
T/ Ji$ n(hiUn Zu họ ` li$u m# %n ,rn( nhận W4 7d u)n #%m nhitu (xn
%= b0•c b0„c b0ycS m9# #!'n( nh`n( +nh l\ liUn u)n q) 5h%n l]5 R)=
8/15/2019 Difference Bayes - Multual Information
22/51
Tiểu luận môn họ T!" #u$ nh%n #&' n%n( )'
'. %q s{ =3 VW BSXY 7m =3 =p8 \o36 3=r< \Z3 h8l3
Ch' bc #!?nh ,-= m9# n(hiUn Zu Jt l'&i ,M #/ 5h%n l]5 R)=n #hZ liUn u)n q) J- W4 W) !)S m9# l- #hể
W4 . [. 7u# 7)u #/ . ,iểu #hZ }0~ J- }Q0~ ,rn( m9# &n( n(:
}Qp)~
}Qp,~
Cwn Z J-' . u= # R)=5 h' l]5 0 J- l]5 QS #WXn( Zn(
nhW #!'n( h?nh Q2 Ph&m Ji ƒn l&i W4 _\ hi$u l- S J? n xn 5hKi W4
[. +nh hXn n`) #v= #hu9 J-' n(W”n( W4 +nh n(h‚) #!'n( }„~2 D' 7d Xn (iKn q)
8/15/2019 Difference Bayes - Multual Information
23/51
Tiểu luận môn họ T!" #u$ nh%n #&' n%n( )'
. 5h%n ,^ …n( tuS n(Wi #) #hể nhận !) . (iKi 5h.5 5h%n #"h #!d #i>5 h'
5h%n l]5 R)=
8/15/2019 Difference Bayes - Multual Information
24/51
Tiểu luận môn họ T!" #u$ nh%n #&' n%n( )'
}Qy,~
Th#
uK 5h%n #"h:
}Q1~
V-
}F~
C. (iKi 5h.5 #hể 7Y W4 nhận #!'n( #!Wn( h45 n-= #!Un l]5 QS h'-n #'-n
h…n( hŠ' #!'n( l]5 02 T# K . mou #!'n( 5h&m Ji l]5 Q #hể W4 5h%n l]5 7)i
h'j ,+ l'&i ,M h'-n #'-n 5h #hu9 J-' . #hi># lậ5 q) . itu _h'Kn hi 5h"2
TDEFng hGp[[3] Phn tách giba hai phn @J.
zitu n-= l- #hể W4 . (iKi 5h.5 h"nh [. m- _hôn( ,# _Œ lki J- l'&i ,M2
‰ọi _h'Kn hi 5h" l- Jô "h #!'n( #!Wn( h45 n-=2
Hnh 2. Các tnh h9Jng phn p cho phn @J ;ồng ;X9 ;Nn @i:n.
III. PHÂN LP '@A TR…N THÔNG TIN TƯƠNG HF %I T( CHỌN LOẠI
B‚
A. Cn4 =3 VW s>S
8/15/2019 Difference Bayes - Multual Information
25/51
Tiểu luận môn họ T!" #u$ nh%n #&' n%n( )'
#!'n( T J- e l- . ,i>n m #iUu J- u=># +nh ,i>n xu !)S t J- ' l- . (i. #!+ q)
hen(S #WXn( Zn(2 zể Xn (iKnS hen( #) ,iểu #h+ l-
nh`n( #hôn( #in #WXn( hk ,?nh #hWn( #!'n( m9# &n( q) b00c:
}Q)~#!'n( H }T~ l- n m #iUuS
}Q,~
J- l- #hôn( #in #WXn( hk (i`) h)i ,i>n 7^ q) T J- e byc:
}Q~#!'n( m l- m9# 7^ #3n( q) . l]5 #!'n( T 2 z^i J]i 5h%n l]5 nh+ 5h%nS hen( #) j#
m — Q2 T!'n( }Q~S p*t,'+ l- 5h%n ,^ hun( (i`) h)i ,i>nS J- p*t+ J- p*'+ l- . 5h%n ,^
ận ,iUn #hể ,# n(u…n #/ byc:
}~
Vt mj# #'.n họS ,iểu #hZ }0~ #hể hi$n !rn( l- m9# 5h%n l]5 #^i Wu Jt .
#hôn( #in #WXn( hk #^i )S h'j n T J- e ^i J]i . (i]i h&n ,?nh #hWn( cLa H *T+ }— hrn( 7^S h' p *t+~S
nhWn( 7Y _hôn( #&' 7d _h. ,i$# h' >n le #̂ i Wu [. +nh ,si }0~2 Chen( #) .5
n( +nh n(h‚)
8/15/2019 Difference Bayes - Multual Information
26/51
Tiểu luận môn họ T!" #u$ nh%n #&' n%n( )'
T!'n( &i i$n h' 7^ q) l]5 #hZ iS n W4 5h%n l]5 l- l]5 #hZ ’2 C.
` li$u h-n( #WXn( Zn( J]i . l]5 h"nh [.S J- . ` li$u 9# #WXn( Zn( J]i . l]5
d '.n2 C9# u^i vn( &i i$n h' m9# l]5 l'&i ,M2 C. m^i u)n h$ J- nh`n( h&n
h> q) m9# m) #!ận nhxm lon (i) #wn( l-:
}‡~
#!'n( l- #3n( 7^ q) l]5 #hZ n2 C. ` li$u h' W4 ,i># >n #!'n( Jn t
5h%n l]52
T!'n( Ji$ n-=S (iK 78 !rn( ` li$u xu J-' h' . 5h%n l]5 W4 ,i># h"nh
[. Jt [. 7u# #!W] J- . itu _i$n mậ# 9 [. 7u# h-m 7^ S #) #hể
l= W4 . m) #!ận 5h%n 5h^i hun( (n J]i m) #!ận nhxm lon:
}•~
J]i @’ W4 _\ hi$u l- mitn #!'n( mki mou & W4 [. +nh l- l]5 #hZ ’S J-
l- mậ# 9 [. 7u# #hd n(hi$m h' . Zn( n( m- h6 m9# m) #!ận
nhxm lon W4 W) !)2 T!'n( nh`n( Zn( n(S #3n( 7^ mou n #hWn( W4 ,i># >n2
Riểu #hZ }•~ mô #K m^i u)n h$ (i`) [5 [6 5h%n 5h^i hun( J- m) #!ận nhxm
lon2 N>u nh`n( _i>n #hZ Jt J- W4 ,i># h"nh [.S n(Wi #) #hể #hi># _>
m9# 5h%n l]5 #hôn( #in #WXn( hk #!d #i>52 N>u _hôn( #hôn( #in ,)n xu W4 ,i>#
Jt J- mậ# 9 [. 7u# #hd n(hi$m 5h%n 5h^i hun(S #hể W4
W] #"nh #/ . m) #!ận nhxm lon b00c2 ;d [8 l" n-=S d) #!Un n(u=Un # #xn 7^ q) m9#
m) #!ận nhxm lonS _hôn( 5hKi l- #'.n họ Zn( nhS nhWn( 7Y un( 5 m9# 5hWXn(
5h.5 Xn (iKn ể 5h%n l'&i ể .5 n( . n(u=Un # S #hôn( #in nh# +nh ,i># #!W] Jt . l]5:
}y~
V]i h6 7^ #!Un fT g &i i$n h' m9# hu=ển J+S J- 5h%n ,^ ,iUn p*'+ l-:
Q•
8/15/2019 Difference Bayes - Multual Information
27/51
Tiểu luận môn họ T!" #u$ nh%n #&' n%n( )'
}1~
Th)= }„~ * }y~ J-' }Q~S #) #hể W4 ôn( #hZ q) YI Jt J- 2
hi . _i>n #hZ #!W] _hi W4 W) !)S . itu _i$n # h' Ji$ #hi># _> J-
5h%n #"h 5h%n l]5 #hôn( #in #WXn( hk #hm . iểm !)nh (i]i #/ h-m lki2 Ch6 #"nh #'.n ,rn( 7^ m]i #hể #hu
W4 S n('&i #!/ m9# #!Wn( h45 j ,i$#2 R# Z _hi n-' m9# #v= họn l'&i ,M W4
#hi># lậ5S 5h%n l]5 #hôn( #in #WXn( hk 7Y #&' !) mitn 5h%n l]5 #d 9n(
#h
8/15/2019 Difference Bayes - Multual Information
28/51
Tiểu luận môn họ T!" #u$ nh%n #&' n%n( )'
TDEFng hGp[1[M u m9# (iKi 5h.5 5h%n #"h nhW Jậ=
[u# 5h.# #/ Ji$ [. +nh 2 T!'n( #!Wn( h45 n-=S ' itu _i$n S n(Wi #)
7Y m9# iểm (i)' nh)u u= nh# l- #!Wn( h45 hun( #!'n( 5h%n l]5 nh+ 5h%n
h' . 5h%n 5h^i G)u77i)n2 N>u m9# #v= họn l'&i ,M W4 họnS n(Wi #) 7Y #hWn(
h)i iểm !)nh J- 2 GiK 78 J- S #) #hể 5h%n Jvn(
mitn 5h%n l]5 nhW: J- 2 GiK 78 h)i iểm
!)nh (i]i W4 W) !)S #) #hể m9# ôn( #hZ h?nh #hZ n( #!Un ,iểu #hZ }„~:}Riểu #hZ pQ)~
}pQ)~
J]i l- m9# h-m lki J-
}pQ,~
Qy
8/15/2019 Difference Bayes - Multual Information
29/51
Tiểu luận môn họ T!" #u$ nh%n #&' n%n( )'
T!'n( n(hiUn Zu n-=S hen( #ôi .5 n( m9# .h #i>5 ận #"nh #'.n ể #?m
_i>m . _># uK #!Un J- 2 R# Z _hi n-' nh`n( (i. #!+ W4 ,i># >nS #) #hể
W4 #| l$ lki J- #| l$ l'&i ,M #/:
}p)~
}p,~
TDEFng hGp[[M ^o?i @A tDong hai ;im giao nha9.
z%= l- m9# #!Wn( h45 hun( h' 5h%n l]5 #hôn( #in #WXn( hk #!'n( ,^n
iểm !)nh (i]iS S W4 h?nh #h-nh2 hi ,^n iểm #hu W4 7^ lW4n( ,rn( .h (iKi
u=># ,iểu #hZ }0~S . mitn 5h%n l]5 >n 7Y W4 #hi># lậ5 nhW #hể hi$n #!'n(
RKn( II2 V]i itu _i$n q) S . (iKi 5h.5 h?nh #hZ n( q)
p*t, '+ #hể W4 W) !) #!'n( m9# .h #WXn( #d nhW q) ,iểu #hZ }pQ~2 N('-i !)S K
h)i #6 l$ lki J- l'&i ,M #hể W4 .nh (i. #/ p *t, '+. zể 7' 7.nh J]i 5h%n l]5 R)=
8/15/2019 Difference Bayes - Multual Information
30/51
Tiểu luận môn họ T!" #u$ nh%n #&' n%n( )'
}pp,~
J]i itu _i$n q) #!'n( h?nh 0S #h)= #h> h'j h'j J-'
}pp~ 7Y h' (i. #!+ nhW nh)u #!Un S J- m9# .i #WXn( #d h' h'j #!Un 2
C. _># uK q) J- h6 !) !rn( 5h%n l]5 #hôn( #in #WXn( hk 7Y #d 9n( #?m _i>m
. n(W”n( l'&i ,M ể %n ^i #6 l$ lki J- #6 l$ l'&i ,M h' . ` li$u W) !) q) .
l]52 T"nh nwn( j ,i$# n-= 7Y W4 #hK' luận #!'n( 5hxn IV2
C. %q s{ 7m =3 VW # +nh #hi>u #d #in #hể W4
#h)m (i) J]i #!'n( h?nh Q)2 Th)= }p‡~ J-' }Q~S n(Wi #) 7Y W4 ,) ,9 q) YI 2
F
8/15/2019 Difference Bayes - Multual Information
31/51
Tiểu luận môn họ T!" #u$ nh%n #&' n%n( )'
C. (iKi 5h.5 h?nh #hZ n( Jt u=># +nh #hể W4 W) !)S nhWn( Ji$ n-= #hôn(
u) m9# .h #i>5 ận 7^ h' Ji$ ,M u) . (i]i #hi$u nh-m h.n q) . ôn( #hZ2
TDEFng hGp[2[M] Hoàn toàn chồng chZo @i mt p.
Côn( #hZ p *t, '+ #!'n( #!Wn( h45 n-= } H?nh Q,~ l-:
}p•)~
}p•,~
}p•~
N(Wi #) #hể W4 _># uK nhW 7)u _hi #h> hk }p•~ J-' }Q~:
}p„)~
}p„,~
Riểu #hZ }p„)~ h' #h= u=># +nh h' 7Y 7Kn [u# #hôn( #in 7^
F2 D' S 5h%n l]5 #hôn( #in #WXn( hk 7Y _hôn( ,)' (i #hd hi$n l'&i u=># +nh nhW
Jậ= }nhWn( 5h%n l]5 R)=
8/15/2019 Difference Bayes - Multual Information
32/51
Tiểu luận môn họ T!" #u$ nh%n #&' n%n( )'
&nh hun( q) 5h%n l]5 #hôn( #in #WXn( hk J- 5h%n l]5 R)=# l9 nh`n(
Wu iểm J- nhW4 iểm #WXn( Zn( q) hen(2 Le S . Jn t liUn u)n q) hen(S
h'j nh`n( #h.h #hZ m]i n( W4 #!?nh ,-= #h#
h"nh [. Jt 5h%n l]5 J- [. +nh #?nh #!&n( q) . #v= họn l'&i ,M }RKn( III~2 {i>n
#hZ h"nh [.{ #"nh nwn( .5 j# 7d =>u _Šm nh# #!Un h)i 5hWXn( 5h.5 #i>5 ận #!'n(
. Zn( n(2 Ni .h _h.S . 5hWXn( 5h.5 #i>5 ận \ n(h‚) nhitu hXn Jt mj#
l\ #hu=>#S hZ _hôn( 5hKi l- #!d #i>5 h`u "h h' Ji$ (iKi u=># . Jn t #hd #>2
hi . _i>n #hZ h"nh [. l- _hôn( _hK n(S W] #"nh hi$n 5hWXn( 5h.5 #i>5 ận
ể 5h%n l]5 bpc bc bpFc h' 5h%n l]5 R)= h"nh l- 7d linh h' q) n #!'n( Ji$ un( 5 . #hi># _> _h.h u)n
h'j hq u)n q) 5h%n l]52 hi . _i>n #hZ h"nh [. 7œn J- .n( #in ậ=S xu
J-' ` li$u nhW Jậ= 7Y !# Xn (iKn J- \ n(h‚) ể #hd hi$n #hi># _> _h.h u)n2
z…n( #hiS #hi># _> hq u)n 7Y luôn luôn l- #hể2 Nh`n( ,# l4i h"nh #hể [K= !)
h' . #hi># _> m #iUu n>u #hôn( #in x= q Jt . itu _h'Kn hi 5h"2 Ni
hun(S . _h'Kn hi 5h" h+u #!.h nhi$m nhitu hXn ể hq u)n hXn 7' J]i [. 7u#
#!W]2 T!'n( #!Wn( h45 n-=S #!.nh 7d (i]i #hi$u q) hq #hể _hôn( 5hKi l- m9# nhi$m
J ‘ -n( h' 5h%n l]5 R)=5 ận m #iUu2 Chen( m)n( #h# _>
hq u)nS #"nh _hK #hi Jt mj# _ #huậ# ,rn( .h (i]i #hi$u . #hôn( 7^ #d 'Shan( h&n nhW
8/15/2019 Difference Bayes - Multual Information
33/51
Tiểu luận môn họ T!" #u$ nh%n #&' n%n( )'
ThZ ,)S m9# #!'n( nh`n( Jn t ^i J]i . m #iUu họ hi$n #&i q) 5h%n l]5
R)=# q) hen( Jt h-nh Ji 5hKn Zn(S han( h&n nhWS (i]i h&n
#!Un J- W]i q) h' 5h%n l]5 #hôn( #in #WXn( hk2
ThZ nwmS 5h%n l]5 #hôn( #in #WXn( hk 7Y ,3 7un( #hUm 5hZ #&5 #"nh #'.n J-hi 5h" #h
8/15/2019 Difference Bayes - Multual Information
34/51
Tiểu luận môn họ T!" #u$ nh%n #&' n%n( )'
LWu \ !rn( . u9 #hK' luận s #!Un un( 5 m9# %u #!K li 7X ,9 h' %u hMi
j# !) #!'n( #iUu t q) ,-i Ji># n-=2 T!'n( m9# _># n^i _h.S Ph l R #!?nh ,-= (i]i
h&n hj# hY hXn (i`) 5 #hn _"h #hW] )'S l'&i ,M h' m9# #ậ5 h45 'n . l]5
bQQcS J- . n(hiUn Zu #hd n(hi$m #/ . #ậ5 ` li$u #hd #>2
B. Yn3= s>S
8/15/2019 Difference Bayes - Multual Information
35/51
Tiểu luận môn họ T!" #u$ nh%n #&' n%n( )'
N(Wi #) #hể W4 _># uK #WXn( #d _hi xu J-' h' 5h%n l]5
R)=# h45 J]i . l]5 7)i l]n hXn2 Tu= nhiUnS 5h%n l]5 #hôn( #in #WXn( hk luôn luôn
#hUm lW4n( hi 5h" nhitu hXn J-' Ji$ 5h%n l]5 7)i #/ m9# l]5 7)i nhM hXn2 Ni .h_h.S 5h%n l]5 #hôn( #in #WXn( hk #ậ5 #!un( ể #&' !) m9# lki nhM #!Un m9# l]5 7)i nhM
hXn 7' J]i 5h%n l]5 R)=
8/15/2019 Difference Bayes - Multual Information
36/51
Tiểu luận môn họ T!" #u$ nh%n #&' n%n( )'
hXn hi 5h" Jt Ji$ 5h%n l'&i 7)i #/ m9# l]5 7)i nhM hXnS J- n(W4 l&i #/ m9# l]5 7)i
l]n hXn2
N>u m9# ld) họn l'&i ,M W4 #hi h-nh î J]i . ` li$u 7)u:
,^n iểm !)nh (i]i W4 =Uu xu ể [. +nh _hu Jd 5h%n l]5 nhW h?nh 02 z^i J]i
. itu _h'Kn hi 5h" nh# +nhS m9# 5h%n l]5 R)=
8/15/2019 Difference Bayes - Multual Information
37/51
Tiểu luận môn họ T!" #u$ nh%n #&' n%n( )'
H'j
Nh`n( \ n(h‚) h' h)i ,9 Jt hi 5h" l- _h. nh)u2 Tậ5 xu #iUn h6 !) . hi
5h" #WXn( #d h' lkiS nhWn( .i #hZ h)i h' #h= . hi 5h" #WXn( #d h' l'&i ,M2 >#
uK #!Un n(h‚) l- m9# Jn t n9i #&i q) {_hôn( nh# u.n{ ể (iKi #h"h Jt hi 5h"2
Cxn 5hKi #hận #!ọn( Jt Jn t n-= _hi #hi># lậ5 . itu _h'Kn hi 5h" ể 5h%n l]5
R)=n #hZ
Jt . n(W”n( #…n #&iS 5h%n l]5 _iUn( l- #^# hXn ể .5 n( T D\ #!d #i>5 h' . `
li$u xu J-' }RKn( III~S #h)= J? 78 n( . itu _h'Kn hi 5h"2 N>u _hôn( #hôn(
#in W4 W) !) Jt . n(W”n( n-= h'j . itu _h'Kn hi 5h"S 5h%n l]5 #hôn( #in
#WXn( hk #hể un( 5 m9# m #iUuS h'j _hsi #&'S #h)m hi>u q) T D\ ể 5h%n l]5
R)=m h'ig #!'n( #'-n ,9 ` li$uS hen(
#) xn 5hKi #?m !) nh`n( h-nh Ji n-' K h)i l'&i 5h%n l]5 7Y hiển #h+2 V]i m "h
n-=S m9# _> h'&h #d nhiUn #!'n( . itu _h'Kn hi 5h" 7^ F*0 l- #hi># lậ5 h' 5h%n
l]5 R)=# uK
#WXn( #d _hi h)i l]5 %n ,rn( h"nh [.S l- 2 ‰9# iểm !)nh (i]i
„
8/15/2019 Difference Bayes - Multual Information
38/51
Tiểu luận môn họ T!" #u$ nh%n #&' n%n( )'
Xn }H?nh 0)~ #.h h)i l]5 #&i . iểm (i)' nh)u h"nh [. 2 hi m9#
l]5 ni h' L]5 QS #!s nUn nhM hXnS . iểm !)nh (i]i q) 5h%n l]5 R)=n iểm #!un( ,?nh q) L]5 Q }nhW W4 h6 !) #!'n( bbpcS
#!)n( 1c ~S J- u^i vn( JW4# u) n2 zể (i` nh`n( lki nhM nh#S m9# 5h%n l]5 R)=# uK s ,Kn( V [. nhận z+nh l\ 7^ lW4n( #!Un 5h%n
l]5 R)=
8/15/2019 Difference Bayes - Multual Information
39/51
Tiểu luận môn họ T!" #u$ nh%n #&' n%n( )'
Ph%n l]5 #hôn( #in #WXn( hk .h Zn( [8 _h. nh)u #!'n( #ậ5 ` li$u h'
#!W]2 C. #"nh nwn( u)n #!ọn( xu #iUn l- . iểm !)nh (i]i 7Y +h hu=ển Jt 5h")
iểm #!un( ,?nh q) l]5 Q nhWn( 7Y _hôn( ,)' (i i u) n2 T"nh nwn( #hZ
h)i h' ,i># !rn( 5hKn Zn( q) ,# xu #i>5 ận >n m9# (i. #!+ 3n +nhS
_h'Kn( FSp‡ #!'n( J" n-=S m9# #| l$ l]n . 2 T"nh nwn( n-= h6 !) !rn(
5h%n l]5 #hôn( #in #WXn( hk 7Y _hôn( ,)' (i h= 7inh m9# l]5 #hiểu 7^ h'-n #'-n #!'n(
J" #hể n-=2 ‰9# 5hxn .n( _ể q) l]5 hi>m W4 [. +nh m9# .h h"nh [.2
HXn n`)S . Wn( 'n( q) n( hZn( minh n(-= -n( (iKmS nhWn( _hôn(
Jt _hôn(S !-n( ,u9 Jt #| l$ lki }_h'Kn( FSF‡p~ _hi #i>5 ận ,rn( _hôn(2
Hi$n #W4n( n-= n(h‚) !rn(S ^i J]i 5h%n ,^ G)u77 q) . l]5S 5h%n l]5 #hôn( #in
#WXn( hk #hWn( _hôn( (i` m9# [u hW]n( h= 7inh m9# l]5 h'-n h6nh #!'n( 5h%n l]52
Tu= nhiUnS #/ m9# u)n iểm l\ #hu=>#S hen( #) Jon xn 5hKi #hi># lậ5 m9# n(u…n (^
5h%n #"h (i]i h&n #!Un J- W]i q) h' 5h%n l]5 #hôn( #in #WXn( hk2
í O$ im giao nha9 t?i 02 C. #hôn( 7^ W) !) h' h)i l]5 l-:
‰j v _hôn( ` li$u W4 u= +nh . itu _h'Kn hi 5h"S n #hWn( n(h‚) m9# h-m (iKm F*0 h' hen( bpc2 T/ ,iểu #hZ }0y~S #) #hể nh?n #h= m9#
#!Wn( h45 _hôn( (i)' nh)u [K= !) #!'n( J" n-= }H?nh2 p~2 z^i J]i . #hi># lậ5 F*
0 h' . itu _h'Kn hi 5h"S . 5h%n l]5 R)=
8/15/2019 Difference Bayes - Multual Information
40/51
Tiểu luận môn họ T!" #u$ nh%n #&' n%n( )'
5h%n l]5 _iUn(2 N(W4 l&iS m- _hôn( h6 +nh ,# _Œ itu _h'Kn hi 5h"S 5h%n l]5
#hôn( #in #WXn( hk #hể 5h.# hi$n . l]5 m #iUu J]i m9# mZ 9 h45 l\ h"nh [.2
hi _hôn( l'&i ,M W4 họnS "# hXn 7' J]i h)i lki #| l$ 5hxn #!wm } 2 ( 1.Qk~
[K= !) J-' l]5 m #iUu2 ‰j v #3n( lki } ( Q1,k~ )' hXn nhitu 7' J]i ^i #. q)
m?nh R)=# uK q) _h'Kn( #.m iểm 5hxn #!wm } j Y
( l.6Qk~ mZ ,M l” ể m #iUu l- #hd 7d \ n(h‚) #!'n( . Zn( n(2 N>u m9#
ld) họn l'&i ,M #h)m (i)S #| l$ ,M l” l- #i>5 # (iKm [u^n( j Y ( .10kS nhWn(
,)' (…m #hUm m9# #| l$ l'&i ,M 2,1k 7' J]i #3n( 7^ mou #hể2 V" n-= [. nhận
m9# lxn n`) . #"nh nwn( 9 .' q) 5h%n l]5 #hôn( #in #WXn( hk2 C. _># uK q)
T!_ #/ 5h%n l]5 #hôn( #in #WXn( hk n( #hể 5h J h' m9# #-i li$u #h)m _hK' h`u
"h h' Ji$ #hi># _> 5h%n l]5 _iUn( Ch'S h'j _hôn( _i>n #hZ Jt . itu
_h'Kn hi 5h"2
C. Yn3= m #!'n( Jn t 5h%n l]52 Phxn n-= h' #h= m9# J"
W) !) #/ bc2 ‰9# nk ld #hể W4 #hd hi$n #!Un 7d 7' 7.nh 7^ (i`) h)i l'&i 5h%n
l]52
Hnh . ồ th/ cLa ví O$
í O$ Mt phVn chồng chZo giba hai phn @J 2 Nhi$m J h' J" n-= l- ể #hi>#
lậ5 . itu _h'Kn hi 5h" h' Ji$ _iểm 7'.# . _># uK u=># +nh #!Un _hu Jd
h…n( hŠ' h' . ` li$u W) !) #/ bc2
pF
8/15/2019 Difference Bayes - Multual Information
41/51
Tiểu luận môn họ T!" #u$ nh%n #&' n%n( )'
T!'n( 5h%n ,^ …n( tuS m9# #h)m 7^ 9 lậ5 u= nh# 7Y l- q h' 5h%n l]52
RKn( VII li$# _U . _># uK _h. nh)u ^i J]i T D 2 LWu \ !rn( . _># uK hi$n n)=
ms !9n( 5h%n l]5 _iUn( Ch' ,rn( .h #hUm m9# #!Wn( h45 u=># +nh hXn q)
hXn 7' J]i nh`n( .i _h. #!'n( bc2 C. 5hxn ms !9n( l- ' ,)
n(u=Un # 78 n( #!'n( ,iểu #hZ }0F~S hZ _hôn( 5hKi l- h)i #!'n( 5h%n l]5 Ch'S
m- #hể hi$n m9# (iKi 5h.5 #3n( u.# hXn h' 5h%n l]52 N(Wi #) #hể #h= !rn( 5h%n
l]5 #hôn( #in #WXn( hk 7Y u=># +nh #/ . ` li$u h' . ,Kn 5h%n
5h^i l]5 7in m- họ nhận W4 (i. #!+ #^i ) q) YI 2 N>u _hôn( l'&i ,M W4 #hd
hi$nS 5h%n l]5 #hôn( #in #WXn( hk 7Y họn h' (iKi 5h.5 q) hen(2
%. K"T LUẬN
R-i ,.' n-= #?m hiểu 7d _h. ,i$# (i`) 5h%n l]5 R)=# J]i m9# l]5 #hiểu 7^2 u
hW]n( n-= 7Y ,i>n #h'.i m9# 5h%n l'&i nh+ 5h%n #h-nh m9# Jn t l]5 u= nh# h' .
(iKi 5h.5 Jô n(h‚)2 z+nh l\ _h. 5h.# hi$n !) 7d W #h/) #hôn( 7^ Jt hi 5h" #!'n(
5h%n l]5 _iUn(2 ziểm =>u n-= l- _hôn( h6 W4 m9# (iKi #h"h _hôn( 5hv h45 J]iitu _h'Kn hi 5h"2 h _hwn hq h^# 7Y W4 (i` #"nh _h.h u)n q) . itu
p0
8/15/2019 Difference Bayes - Multual Information
42/51
Tiểu luận môn họ T!" #u$ nh%n #&' n%n( )'
_h'Kn hi 5h"2 T!'n( Zn( n( #hd #>S #hôn( #in Jt . itu _h'Kn hi 5h" l- hi>m _hi
7œn2 zitu n-= j ,i$# en( ^i J]i . l'&i l'&i ,M2 T!'n( _hi R
#hể #h# ,&i #/ Ji$ .5 n( . itu _h'Kn hi 5h" #!'n( 5h%n l]52 T!'n( 7' 7.nhS
5h%n l]5 #hôn( #in #WXn( hk _hôn( 5hKi h+u nh`n( _h _hwn nhW Jậ=2 L4i #h> hen(
m- _hôn( ƒi hMi Jt hi 5h" 7Y h' 5hŠ5 5h%n l]5 hi$n h-nh ể [8 l\ 5h%n l]5 _iUn(S
(i^n( nhW m9# #hW m m]i q) {ThW n(hi n( #!'n( lọ #hW !. bppc2 m9# 7^ J"
,rn( 7^ #!'n( ôn( Ji$ n-= hk #!4 . l4i "h u= nh# q) Ji$ 78 n( 5h%n l]5
#hôn( #in #WXn( hk #!'n( #!Wn( h45 j ,i$#2 C. n(hiUn Zu 7' 7.nh #!'n( ôn( Ji$
n-= _hôn( n(h‚) l- ể #h)= #h> 5h%n l]5 R)=#2 #hK' luận
hi #i># hXn >n 7d _h. nh)u (i`) h)i l'&i q) 5h%n l]5 W4 W) !) #!'n( m IV2
NhW m9# _># luận u^i vn(S m9# %u #!K li Xn (iKn ể #iUu t %u hMi W4 #m ##
W]i %=:
Phn p th=ng tin tENng hd và phn p 3a'45 vX cN @_n \hác vi m$c tiê9
hc áp O$ng cLa chng. TK q9an ;im Ung O$ng, phn p 3a'45 à phB hGp hNn vicác tDEFng hGp \hi các ;iX9 \ho_n chi phí ;EGc ;EGc @i:t ;:n chính &ác vi 5> cn
@rng cLa các o?i di và các o?i o?i @A. Phn p th=ng tin n nha9 c! \h_ năng cn
@rng \hách q9an các o?i di và các o?i o?i @A t> ;ng mà \h=ng cVn 5s O$ng các
;iX9 \ho_n chi phí, nga' c_ tDong tDEFng hGp các @ Ob i9 mất cn @rng p c>c \u,
c! th m= t_ mt gi_i thích 7 th9':t t?i 5ao con ngEFi c! nhiX9 q9an ng?i vX tính
chính &ác cLa các p hi:m tDong phn p
pQ
8/15/2019 Difference Bayes - Multual Information
43/51
Tiểu luận môn họ T!" #u$ nh%n #&' n%n( )'
PH† L†C A
CH‡NG MINH ĐˆNH L‰
ChUng minh C. u= # u=># +nh q) 5h%n l]5 R)=n( #!'n( bpc2 ;)u S h6 . u= # h' . #!Wn( h45 {l'&i ,M{ W4
n(hiUn Zu #!'n( hZn( minh hi$n #&i2 Š# ,iểu #hZ }•)~ xu #iUn #/ }‡)~S m9# mô h?nh
Š W4 u=># +nh ,si m9# 5h%n l]5 R)=u J-
Th)= . ,iểu #hZ }0~ J- }Q~ J-' . ,# an( #hZ 7Y on
>n:
}0~
TWXn( #d nhW Jậ=S #) #hể W4:
}Q~
J- ,iểu #hZ }•~ #WXn( Zn(2 Riểu #hZ }0~ mô #K !rn( m9# (i]i h&n #!Un u= nh#
#!'n( Jƒn( h)i !)nh (i]i 7Y itu _hiển m9# mô h?nh x l- '12 TWXn( #d nhW Jậ=S ,iểu
#hZ }Q~ mô #K m9# (i]i h&n W]i !-n( ,u9 ^i J]i m9# mô h?nh x l- '22 T/ nh`n(
h&n h> }~S n(Wi #) _hôn( #hể [. +nh !)nh (i]i 7Y W4 (i]i h&n #!Un h'j (i]i h&n
W]i ,+ !-n( ,u92 Tu= nhiUnS #) #hể [. +nh hen( #/ h)i (4i \ 7)u %= #!'n( 5h%n
l]5:
2 Riểu #hZ }•~ mô #K m9# (i]i h&n W]i u= nh# J- m9# (i]i h&n #!Un u= nh#
h' m9# mô h?nh & l- '2
R2 C. (i]i h&n #!Un #!'n( }0~ J- (i]i h&n W]i ,+ !-n( ,u9 #!'n( }Q~ nUn W4
#!vn( J]i m9# #!'n( nh`n( !)nh (i]i }•~ #WXn( Zn( 7)' h' nh`n( Jvn( 5h%n l]5
#/ @ 0 >n @ 7Y ,)' (…m m9# mitn h'-n h6nh q) mou & }[ q) . n(W”n( ể l'&i
,M }•5 #/ }•~ J- }•~2
p
8/15/2019 Difference Bayes - Multual Information
44/51
Tiểu luận môn họ T!" #u$ nh%n #&' n%n( )'
PH† L†C B
RENG BUỘC CH‹T CHŒ HƠN GIA DNTROP( ĐIU KIỆN %E LFI
BA(D TRONG PHÂN LP NHˆ PHÂN
T!'n( n(hiUn Zu Jt m^i u)n h$ (i`) #hôn( #in #WXn( hk *I+ J- lki R)=
8/15/2019 Difference Bayes - Multual Information
45/51
8/15/2019 Difference Bayes - Multual Information
46/51
Tiểu luận môn họ T!" #u$ nh%n #&' n%n( )'
TEI LIỆU THAM KH1O
0 ;2@2 ul_)!niS G2 Lu('7iS G2S )n ;2;2 V
p @2O2 Du)S P22 H)!#S )n D2 ;#'!_S Patt4Dn Ca55)ication, Qn
0F 2 €)n( )n R2*G2 HuS fD
0pFS QFFy20Q P2 D'min('7S f‰
PDoc44Oing5 o) th4 Qth yCM w|T
0„ Ÿ2*HS Ÿh'u )n 2*2 LiuS fT!)inin( C'7#*7
8/15/2019 Difference Bayes - Multual Information
47/51
Tiểu luận môn họ T!" #u$ nh%n #&' n%n( )'
Ch)5m)n )n H)ll‹C@C P!Qy T2 Pi
F 2 G!)ll*‰)
2 u_un)()S #ntDoO9ction to wtati5tica Patt4Dn 4cognition, Qn ‡ ;2H2 )n(S R2*G2 HuS )n P2*H2 C'un
„ C22 ;h)nn'nS f ‰)#h
p„
8/15/2019 Difference Bayes - Multual Information
48/51
Tiểu luận môn họ T!" #u$ nh%n #&' n%n( )'
;'¡#)!< ;il),Sg PDoc44Oing5 o) # #nt4Dnationa ~oD\5hop on •p4n%5o9Dc4wo)txaD4 )oD wci4nti)ic Comp9tation *•wwC% 200+, 552 0„1*0ypS QFF12
pF ¢2O2 R
p0 I2 'n'n
p ¢2O2 R
pp ‰2 ;)h)miS ;2 Dum)i7S D2 H
p• @2 ;)n#'7*@'!"(u< Ŝ 2 Gu
8/15/2019 Difference Bayes - Multual Information
49/51
Tiểu luận môn họ T!" #u$ nh%n #&' n%n( )'
TŽM TT@ KHC NHAU GIA PHÂN LP BA(D
%E PHÂN LP THÔNG TIN TƯƠNG HF MI LE GJ
# . Nd8 s36
R-i ,.' #ậ5 #!un( Ji$ #?m hiểu 7d _h. ,i$# (i`) l\ #hu=># 5h%n l]5 R)=# lậ5 h'j _hôn( m9# #v=
họn l'&i ,M2
Dd) #!Un . n(hiUn Zu q) Ch' J- Du,) Jt 5h%n l]5 R)=#
nh`n( Wu iểm J- h&n h> #!'n( #/n( l'&i q) . 5h%n l]52 zxu #iUn l- . ,iểu #hZ(iKi #"h 5h%n l]5 R)=n n)=S Wn( nhW _hôn(
,.' .' n(hiUn Zu n-' h' 5h%n l]5 R)=
8/15/2019 Difference Bayes - Multual Information
50/51
Tiểu luận môn họ T!" #u$ nh%n #&' n%n( )'
‘. Cn4= 4 =893
T!'n( ,-i ,.'S #. (iK #hd hi$n . ôn( Ji$ 7)u:
N(hiUn Zu l\ #hu=># u= # u=># +nh hun( q) 5h%n l]5 R)=n2
Rrn( . #h" n(hi$m J]i . 7^ li$u #hd #> l-m n3i ,ậ# . #"nh nwn( !iUn( ,i$#
#!'n( . Zn( n( q) 5h%n l]5 R)=# luậnS #3n( _># l&i _># uK n(hiUn Zu2
’. Ư 3=:]4 \8_`
Ph%n l]5 #hôn( #in #WXn( hk J- 5h%n l]5 R)=# #&i 7)' 'n n(Wi nhitu u)n n(&i Jt #"nh h"nh
[. q) . l]5 hi>m #!'n( 5h%n l]5
C. m #iUu họ q) . 5h%n l]5 R)=n Ji$ .nh (i.
. !qi !' h'j lkiS m- hq =>u l- #WXn( #h"h J]i . m #iUu 5h%n l]5 #!'n( . Zn(
n( #hd #> u9 7^n(2 Tu= nhiUnS _h.i ni$m Jt #hôn( #in #WXn( hkS h'j . #iUu h"
d) #!Un # .
nh- #hi># _> J- n(Wi 78 n( 5h%n l]5
Ph%n l]5 R)=
8/15/2019 Difference Bayes - Multual Information
51/51
Tiểu luận môn họ T!" #u$ nh%n #&' n%n( )'
Ph%n l]5 R)=u _hôn(
. itu _h'Kn hi 5h" W4 u= +nh #!'n( 5h%n l]52 Ph%n l]5 #hôn( #in #WXn( hk
hiển #h+ l4i #h> j ,i$# #!'n( nh`n( #?nh hu^n(S _ể K #!Wn( h45 h' 5h%n l]5 _iUn(2
Chen( un( 5 m9# (iKi 5h.5 %n ^i . l'&i lki J- . l'&i l'&i ,M m- _hôn( 78
n( . itu _h'Kn hi 5h"2
Ph%n l]5 #hôn( #in #WXn( hk 7Y ,3 7un( #hUm 5hZ #&5 #"nh #'.n J- hi 5h" #h