Difference Bayes - Multual Information

Embed Size (px)

Citation preview

  • 8/15/2019 Difference Bayes - Multual Information

    1/51

    BỘ CÔNG THƯƠNGTRƯỜNG ĐẠI HỌC CÔNG NGHIỆP TP. HỒ CHÍ MINH

    KHOA CÔNG NGHỆ THÔNG TIN

    TIỂU LUẬN MÔN HỌCTRÍ TUỆ NHÂN TẠO NÂNG CAO

    GIÁO VIÊN HƯỚNG DẪN: PG. T HU!NH TRUNG HI"U

    HỌC VIÊN THỰC HIỆN :#. TR$N %&N 'U("N ) #*##+,*#-. NGU(N 'U( KHOA / #*##,0*#

    LỚP: CHKHMT*B

    TP. Hồ Chí Minh, tháng 6 năm 2016.

  • 8/15/2019 Difference Bayes - Multual Information

    2/51

    Tiểu luận môn họ T!" #u$ nh%n #&' n%n( )'

    B1NG PHÂN CÔNG CÔNG %IỆC

    T23 4536 7894 N6:;8 4 =893 G=8 4=?

    * D+h ,-i ,.' #/ #!)n( 0*12* T3n( h45 h6nh 78) n9i un(2

    * ;'&n 7li< #hu=># #!?nh2

    T@AN VBN DEN

    * D+h ,-i ,.' #/ #!)n( 0F >n h>#2

    * Tm ## ,-i ,.'2

    * Thu=># #!?nh J- #!K li %u hMi2

     NGN D HO

    Q

  • 8/15/2019 Difference Bayes - Multual Information

    3/51

    Tiểu luận môn họ T!" #u$ nh%n #&' n%n( )'

    @ KHC NHAU GIA PHÂN LP BA(D

    %E PHÂN LP THÔNG TIN TƯƠNG HF MI LE GJR)'*G)n( HuS Thành viên cao cấp, I 

    T!m t"t   / T36 36=823 4 3Q 4 =S8 =3 VW BSXY 7 =3 VW

  • 8/15/2019 Difference Bayes - Multual Information

    4/51

    Tiểu luận môn họ T!" #u$ nh%n #&' n%n( )'

    m #hôn( #in h`u "h #/ ` li$u l]n2 Ph%n l]5 nh+ 5h%n 7Y l- m9# Jn t

    X ,Kn #!'n( ntn Zn( n( nhW Jậ=2 Ph%n l]5 d) #!Un . itu _h'Kn hi 5h" h' 7d

    %n ,rn( q) . l]5 lki l- m9# hq t #hôn( #hWn( #!'n( hn '.n = #>2 Ph%n l]5 7)i

    p

  • 8/15/2019 Difference Bayes - Multual Information

    5/51

    Tiểu luận môn họ T!" #u$ nh%n #&' n%n( )'

    #/ flki l]5 Ig }h'j fWXn( #"nh (iKg~ h'j #/ flki l]5 IIg }h'j f%m #"nh (iKg~ l- _h.

    nh)u .n( _ể #!'n( ,^i Knh . h' 9n( = #>2 T!'n( . Zn( n( q) . l‚nh Jd

    _h.S n(Wi #) n( xn 5hKi 5h%n ,i$# . l]5 lki h' _># uK h45 l\ #!'n( 5h%n

    l]52 T!'n( 7^ ## K . u9 itu #!)S . itu _h'Kn hi 5h"S m- #hWn( W4 [.

    +nh ,si n(Wi vn( #/ m9# m) #!ận hi 5h"S n( m9# J)i #!ƒ u)n #!ọn( #!'n( Ji$

    họ l]5 m# %n ,rn( b00*0pc bQFc bp•c bp„c2 T!'n( . 5h%n l]5 nh+ 5h%n J]i m9# #v=

    họn l'&i ,MS 5h%n l]5 R)=u m9# _h") &nh _h.h u)n #hd #hi ể 5h%n l]5 J]i m9# ld) họn l'&i

     ,MS m9# _h _hwn #…n #&i h' m.= 5h%n l]5 R)=n n)=S

    Wn( nhW _hôn( ,.' .' n(hiUn Zu n-' h' 5h%n l]5 R)=

  • 8/15/2019 Difference Bayes - Multual Information

    6/51

  • 8/15/2019 Difference Bayes - Multual Information

    7/51

    Tiểu luận môn họ T!" #u$ nh%n #&' n%n( )'

    Côn( #!?nh n-= #ậ5 #!un( Ji$ #?m hiểu 7d _h. ,i$# (i`) l\ #hu=># 5h%n l]5

    R)=# lậ5 ‹_hôn(

    m9# #v= họn l'&i ,M2 zj ,i$#S ,-i ,.' n-= tu [u# 5h.# nhitu #/ J- ' liUn u)n

    >n ôn( Ji$ q) Ch' ,rn( .h 5h%n ,i$# . l'&i lki J- . l'&i l'&i ,M2 zể

    W4 7d ‘ _iểm 7'.# 5h%n #"h m- _hôn( l-m m# #"nh #3n( u.#S hi>n lW4 q) Ji$

    .5 n( . (iK +nh Xn (iKn nhWn( \ n(h‚) nh# h' nh`n( Jn t 5h%n l]5 W4

    #h# . Jn t #hd #>2 T!'n( #hd #>S 7Z m&nh q) 5h%n

    l]5 R)=#S

    nhWn( [u# hi$n #/ n(u=Un # 7u= luận hun( q) hen( #!'n( Ji$ hW]n( on Zn(

    n( #hd #>S n()= K #!'n( nh`n( 7d #WXn( Zn( #!'n( họ #hu=>#2 Chen( #ôi h'-n #'-n

    nhận !) !rn( (iK +nh Jt _i>n #hZ x= q Jt 5h%n ,^ [. 7u# liUn u)n #hể_hôn( ,)' (i l- #!Wn( h45 #!'n( . Jn t #h> (i]i #hd b0c bc2 C. (iKi 5h.5

    &n( n( q) 5h%n l]5 R)=

  • 8/15/2019 Difference Bayes - Multual Information

    8/51

    Tiểu luận môn họ T!" #u$ nh%n #&' n%n( )'

    +nh hun( q) 5h%n l]5 R)=

  • 8/15/2019 Difference Bayes - Multual Information

    9/51

    Tiểu luận môn họ T!" #u$ nh%n #&' n%n( )'

    LWu \ !rn( +nh n(h‚) q) #!'n( ôn( Ji$ n-= he# _h. ,i$# 7' J]i #!'n(

    bpcS ' 7Y #&' #h-nh m9# m) #!ận Q[2 Ch' bc h' !rn( nh`n( _h _hwn ,)n

    xu #!Un #/ #!d u)n #!'n( 5h%n l]5:

    C. _h _hwn h-m \ !rn( m9# 5h%n l]5 7)i 7Y 5hKi h+u m9# hi 5h" )' hXn 7'

    J]i m9# 7d l'&i ,MS J- 7d l'&i ,M 7Y (i. )' hXn m9# 5h%n l]5 h"nh [.2 u)n h$ Jt

     l- m^i u)n #%m h"nh #!'n( Ji$ n(hiUn Zu họ J]i hi 5h" nh&= KmS J- Jn t

    n-= 7Y W4 (iKi u=># 7)u #!'n( n-=2 T3n( !qi !' h' xu !) u=># +nh = 7Y l- bpc

    J]i #"h h45 #!Un #'-n ,9 _hôn( (i)n u)n 7.# V2

     /nh í 1 *phn p 3a'45+ N>u m9# 5h%n l]5 W4 [. +nh #/ Ji$ (iKm #hiểu !qi !'

    q) n #!Un ## K . mou:

    h'j W]i h?nh #hZ _h. #!Un m9# mou [:

    Ph%n l]5 n-= W4 (ọi l- f5h%n l]5 R)=# !rn( . itu _h'Kn hi 5h" W4 .5 n(

    m- _hôn( 5h%n ,i$# (i`) . lki J- #!'n( 7^ . l'&i l'&i ,M2 Th

  • 8/15/2019 Difference Bayes - Multual Information

    10/51

    Tiểu luận môn họ T!" #u$ nh%n #&' n%n( )'

      o?i @A

    C! 5> o?i @A

    89':t ;/nh '2 n:9

      o?i @A

    C! 5> o?i @A

    89':t ;/nh ' n:9

    }•~

    TB' th9c vào }•~

     

      o?i @A }• o?i @A

    Riểu #hZ }•~ +nh n(h‚) q) h)i n(W”n(S }(ọi l- fn(W”n( l'&i l'&i ,Mg bc~ T!0

    J- T!Q2 ‰inh hZn(S [

  • 8/15/2019 Difference Bayes - Multual Information

    11/51

    Tiểu luận môn họ T!" #u$ nh%n #&' n%n( )'

    Riểu #hZ }„~ mô #K m^i u)n h$ hun( (i`) . n(W”n( J- . itu _i$n hi

     5h" #!'n( 5h%n l]5 nh+ 5h%nS h' 5hŠ5 5h%n l]5 ể 5h%n ,i$# (i`) . lki J- (i`) .

    l'&i l'&i ,M2 LWu \ !rn( . #hi># lậ5 j ,i$# . u= # q) Ch' bc #hể W4 ,#

    n(u…n #/ ,iểu #hZ }„~:

    ‰9# m^i u)n h$ u)n #!ọn( #!'n( bQyc n( #hể W4:

    Pi

    l'&i l'&i ,M J- n(u…n (^ . m^i u)n h$ (i`) h)i {n(W”n( #| l$ _hK nwn({ J- .

    itu _h'Kn hi 5h"2 C. u= # q) #hi>u itu _h'Kn J- l- _hôn( l\ #hu=># ni

    hun(S hW) x= q h' . Zn( n(2 Chen( n(u…n (^ ,iểu #hZ u= nh# #/

    nh`n( h&n h> ,# ,?nh an( q) . J-

    S #WXn( Zn(2 z>n n)=S JŽ nhW hW) )i ,.' .' . _h

    _hwn hun( }•~ #!'n( . #-i li$u2 Dd) #!Un ,iểu #hZ }•~S n(Wi #) #hể l= W4

     ,iểu #hZ h45 l\ }~S #h)= J? 78 n( #!d (i.2

    Rrn( .h .5 n( S #) #hể W4 .

    u= # u=># +nh #/ ,iểu #hZ }•~ J]i . [. 7u# J- n(W”n( 7)u vn( #!'n( m9#

    mou Xn (iKn J- #^# hXn h' 5h%n l]5 h&n h> J]i:89':t ;/nh '1 n:9

    89':t ;/nh '2 n:9

    89':t ;/nh ' cho các tDEFng hGp cn ?i,

     Ph$ th9c vào }0F~

    ;' J]i . u= +nh q) ,iểu #hZ }•~S W4 ,iểu i‘n #h R)=

  • 8/15/2019 Difference Bayes - Multual Information

    12/51

    Tiểu luận môn họ T!" #u$ nh%n #&' n%n( )'

    #!'n( h?nh2 0 . ,iểu … W4 mô #K #!Un m9# ,i>n m9# hitu h' . 5h%n 5h^i

    G)u77i)n q) 2 Vi$ Xn (iKn h) hk #!4 . t [u# q) Du) J- . 9n( 7dS !rn(

    {_hôn( nUn l-m m . #!un( iểm minh họ) #!'n( J" Xn (iKn q) hen( #){ bpc2

    H)i ,9 iểm h?nh họ W4 hiển #h+ #!'n( . ,iểu …2 ‰9# #ậ5 W4 (ọi l- {iểm (i)'

    #{S ,iểu hi$n ,rn( S W4 h?nh #h-nh #/ h)i Wn( 'n( q) J- 2 V-

    nh`n( .i _h. W4 (ọi l- { iểm !)nh (i]i{S ,iểu hi$n ,rn( 2 C. _hu Jd 5h%n

    l]5 iểm !)nh (i]i h' . Jn t m9# hitu2 z^i J]i m9# #!Wn( h45 {_hôn( l'&i l'&i

     ,M{S . iểm !)nh (i]i W4 _iểm 7'.# ,si . #| l$ 2 T!'n( 5h%n l]5

    h&n h>S nh`n( iểm W4 [. +nh #/ h)i n(W”n( #WXn( Zn(2 z^i J]i Jn t nhitu

    _"h #hW]S n(Wi #) #hể hiểu !rn( K h)i l]5 nh`n( iểm nUu #!Un #!s #h-nh Wn(

    'n( h'j #hậm h" nh`n( ,t mj# 5hZ #&52

     Hnh 1. Các tnh h9Jng o?i @A tK các ;ồ th/ cLa p*ti-&+ cho các phn @J a955 ;Nn @i:n.

    V]i nh`n( _i>n #hZ h"nh [. q) S J- S n(Wi #) #hể #"nh #'.n

    !qi !' R)=

  • 8/15/2019 Difference Bayes - Multual Information

    13/51

    Tiểu luận môn họ T!" #u$ nh%n #&' n%n( )'

    J]i J- l- [. 7u# q) . fCôn( nhận h"nh [.gS fLkigS J- fL'&i ,Mg

    h' l]5 #hZ i #!'n( 5h%n l]5S #WXn( Zn( J- >n l- nh`n( _hu Jd 5h%n l]5 .

    l]5 0S l]5 Q J- l]5 l'&i l'&i ,M J- #WXn( Zn(– C. m^i u)n h$ hun( (i`) J-

     h' 5h%n l]5 nh+ 5h%n W4 W) !) ,si bc:

    }0Q~

    J]i J- &i i$n h' #3n( ôn( nhận h"nh [.S #3n( 7^ lki J- #3n( #6 l$ l'&i

     ,MS #WXn( Zn( J- l- mZ 9 h"nh [. q) . 5h%n l]52

    B. P=3 # #^# hXn Jt m^i u)n h$ (i`) . itu _h'Kn hi 5h" J- _># uK xu !)

    q) 5h%n l]5 R)=u n #hể W4 ,iểu i‘n W]i &n( m9# J

  • 8/15/2019 Difference Bayes - Multual Information

    14/51

    Tiểu luận môn họ T!" #u$ nh%n #&' n%n( )'

     /nh 7 *Tham 5J ;c Sp+ ‰9# mô h?nh W4 h' l- W4 itu h6nh ,si .

    #h)m 7^ 9 lậ5 n>u n #hể W4 ,iểu i‘n #h

  • 8/15/2019 Difference Bayes - Multual Information

    15/51

    Tiểu luận môn họ T!" #u$ nh%n #&' n%n( )'

    }0‡~

    Dd) #!Un ,iểu #hZ }„~ J- }0Q~S #3n( 7^ lki }h'j l'&i ,M~ q) 5h%n l]5 R)=S #3n( 7^ . #h)m 7^ 9 lậ5 #!'n( .

    itu _h'Kn hi 5h" ể [. +nh 5h%n l]5 R)=

  • 8/15/2019 Difference Bayes - Multual Information

    16/51

    Tiểu luận môn họ T!" #u$ nh%n #&' n%n( )'

    H'j

    ể W4 7d 5h%n l]5 R)=# lậ5 ƒi hMi \ n(h‚) _h. nh)u J- _hôn( #hể hi$n . m^i

    u)n h$ #WXn( WXn(S n('&i #!/ #hôn( u) ,iểu #hZ }„~2 D' S m9# 7d nhxm lon

    #hể (j5 5hKi _hi ^ (n( ể hiểu W4 h-nh Ji q) . lki J- #6 l$ l'&i ,M J]i _h") &nh

    J]i #hi># lậ5 _h. nh)u q) . itu _h'Kn hi 5h"2 V? l\ ' n-=S . itu _h'Kn hi

     5h" #hể W) !) m9# Jn t n9i #&i ể [. +nh m9# h?nh #hZ hun( q) . #hi># lậ5

    #!'n( họ #ậ5 nh&= Km hi 5h" n>u m9# #v= họn l'&i ,M W4 #hd #hi2

     YhSn &Zt 2 T!'n( _hi z+nh l\ Q h6 h' #h= m9# W] #"nh #!Un !?) q) h'

     5h%n l]5 R)=n #!'n( bpc W4 #hôn( u) J? l\ ' h' #h=

    0•

  • 8/15/2019 Difference Bayes - Multual Information

    17/51

    Tiểu luận môn họ T!" #u$ nh%n #&' n%n( )'

    n(u=Un # X ,Kn Jt l\ #hu=># n( nhW . (iKi 5h.5 h?nh #hZ n(2 D' S n>u .

    _i>n #hZ liUn u)n q) J- W4 W) !)S n(Wi #) #hể mô #K W4 n9i

    un( q) #/ ,iểu #hZ }0~ }H?nh 0~2 HXn n`)S _hi W4 ,i># >nS . _hu Jd

     5h%n l]5 q) >n #!'n( itu _i$n q) 7Y W4 ^ +nh h' 5h%n l]5 R)=n S h'j S W4 [. +nhS !qi !' R)=52

     N(Wi #) #hể #h= !rn( nh`n( !)nh (i]i n-= #hể #hu W4 #/ . ` li$u W4 ,i>#

    >n q) _hi (iKi u=># m9# 5hWXn( #!?nh ,?nh an( #!Un }•)~ h'j }•,~:

    }0y~

    C. ` li$u q) #hể W4 nhận !) h'j #/ _h'Kn hi 5h" S h'j #/

    n(W”n( }[ . ` li$u h"nh [. q) J-

     h' . 5h%n 5h^i G)u77i)nS nXi J- &i i$n h' (i. #!+ #!un(

     ,?nh J- 9 l$h hun J-' l]5 #hZ iS J- . ` li$u q) } #/ nh#

    +nh~ #!'n( }0y~S n(Wi #) #hể W4 . (iKi 5h.5 h?nh #hZ n( . iểm !)nh

    (i]i }h' J- ~:

    }01)~

    }01,~

    hi m9# l- m9# ,i>n #!un( (i)n W4 [. +nh ,si:

    }01~

    Riểu #hZ }01~ n( hi$u uK ^i J]i 5h%n l]5 R)=

  • 8/15/2019 Difference Bayes - Multual Information

    18/51

    Tiểu luận môn họ T!" #u$ nh%n #&' n%n( )'

    h)i l]5 tu (i^n( nh)u2 Th)= #h> . ` li$u _h. q) J-' ,iểu #hZ }01~ 7Y m)n(

    m9# j5 ` li$u J- h'j m9# Xn S W]i &n( #WXn( #d q) ,iểu #hZ }01~2

    Gi^n( nhW . (iKi 5h.5 h' . iểm !)nh (i]iS iểm (i)' nh)u n( #hể

    #hu W4 #/ Ji$ (iKi u=># ,iểu #hZ }0y~ h'j }01~ ,rn( .h #h)= — 02 N(Wi #)

    #hể hZn( minh !rn( ,) #!Wn( h45 #hể 7Y W4 .5 Zn( J]i . iểm (i)' nh)u #/

    .h (iKi ,iểu #hZ }0y~S #hể l- h)iS m9#S h'j _hôn( iểm (i)' nh)u n-'2 C.

    #!Wn( h45 h' h)i iểm (i)' nh)u h6 [u# hi$n _hi #!'n( ,iểu #hZ }01~S J-

    h)i Wn( 'n( q) J- hZn( minh 7d _hôn( Xn i$u }h?nh 0,~ #hôn(

    u) . an( #hZ 2 hi 9 l$h #iUu hun liUn u)n tu ,rn( nh)u

    h' h)i l]5S #Z l-S S h6 m9# iểm (i)' nh)u [u# hi$nS #WXn( Zn( J]i .

    Wn( 'n( Xn i$u q) J- }h?nh 0)~2 C. #!Wn( h45 iểm (i)' nh)u

    iểm _hôn( [K= !) _hi S #WXn( Zn( J]i (i. #!+ _hôn( #hd }nhWn( (i. #!+

     5hZ #&5~ (iKi 5h.5 ể ,iểu #hZ }01)~ J- ể . #?nh hu^n( q) . Wn( 'n( _hôn(

    Xn i$u q) q) J- 2 Phxn 7)uS hen( #) 7Y #hK' luận m9# 7^ #!Wn( h45

    #hể h' 7d l'&i ,M ^i J]i nh`n( iểm (i)' nh)u (i`) Wn( 'n( J-

    S n( nhW . #hi># lậ5 liUn u)n #!Un J- 2 ‰9# itu _i$n W4 .5 n( ể

    mô #K mọi #!Wn( h452 V" S fTDEFng hGp[\[3] g h6 !) f\ g h' . #!Wn( h45 #hZ_‹ fRg }h'j f‰g~ h' 5h%n l]5 R)=

  • 8/15/2019 Difference Bayes - Multual Information

    19/51

    Tiểu luận môn họ T!" #u$ nh%n #&' n%n( )'

    ThK' luận Jt #!Wn( h45 n-=S hen( #) n]i lMn( . h&n h> #!'n( ,iểu #hZ

    }• (i. #!+ ,rn( _hôn(

    h' n(W”n( #h-nh ,iểu #hZ }„~S n(Wi #) 7Y W4 (iKi 5h.5 h'

    2 C. _># uK n-= n( \ !rn( _hôn( hi 5h" nhận W4

    n()= K ^i J]i m9# u=># +nh l'&i ,M h' m9# mô h?nh2 @† !-n(S m9# #!Wn( h45 nhW

    #h> n-= xn 5hKi #!.nh2 T!'n( m9# 7^ #!Wn( h45S n>u n(Wi #) +nh l'&i ,M m9# l]5

    h'-n h6nh }J" S l]5 0~S itu _h'Kn hi 5h" liUn u)n nUn #hi># lậ5 ,rn( _hôn( }

    ~ Chen( #ôi (ọi nh`n( #?nh hu^n( nhW 5h%n l]5 fl]5*m9# J- l]5*l'&i

     ,MgS J? h6 h)i l'&i W4 [. +nhS l-S fl]5 Qg J- fl]5 l'&i ,Mg #WXn( Zn(2

    TDEFng hGp[[3 ^o?i @A tDong hai ;im giao nha9 và

    C. itu _i$n xn #hi># ể #hd hi$n #!Wn( h45 n-= ,# n(u…n #/ ,iểu #hZ }0y~

    h' S #!'n( _hi (iK 78 :

    }QF~

    Thd #!&n( hun( #!'n( #!Wn( h45 n-= l- _hi J-

    S #!'n( _hu Jd l'&i ,M W4 hi) ,si h)i Jvn(2

    hi S h6 m9# l]5 W4 [. +nhS nhWn( ## K . mou

    _h. W4 5h%n l]5 J-' m9# l]5 l'&i ,M2 V? Jậ=S hen( #ôi t ậ5 #?nh #!&n( n-= nhW

    fl]5 0 J- l]5 l'&i ,Mg2 RKn( I n( li$# _U . #?nh hu^n( _h. ể l'&i ,M #/ . #hi>#

    lậ5 _h. nh)u #!Un 2

    01

  • 8/15/2019 Difference Bayes - Multual Information

    20/51

    Tiểu luận môn họ T!" #u$ nh%n #&' n%n( )'

    TDEFng hGp[[3 ^o?i @A t?i mt ;im giao nha9 .

    C. itu _i$n hun( h' Ji$ #hd hi$n #!Wn( h45 n-= #!'n( ,^i Knh 5h%n l]5

    _hôn( d) #/ #hi># lậ5 m9# itu _i$n ,rn( nh)u #!Un }QF~ h' 2 Chen( #) ,M u)

    #hi># lậ5 nhW Jậ= #!'n( #!Wn( h45 n-=S nhWn( (.n n J-' T!Wn( h45›‡›RG2 NhW

    #!?nh ,-= #!'n( ,iểu #hZ }01,~S #?nh #!&n( hun( q) . #!Wn( h45 n-= l- h6 l- m9#

    #hi># lậ5 Xn (iKn 2 ể #/ _hi #hu9 #"nh Xn i$u W4 h' 5hŠ5 h' .

    Wn( 'n( q) J- #!'n( #!Wn( h45 n-=S m9# _hu Jd l'&i ,M Xn

    W4 h?nh #h-nh }H?nh 0~2

    TDEFng hGp[Q[3 ^o?i @A ;im giao nha9 5J 0.

    C. itu _i$n hun( ể #hd hi$n #!Wn( h45 n-= #WXn( Zn( J]i m9# h-nh Ji Ji

     5h&m . #iUu h" #!Un }01)~S h'j #!'n( }QF~2 T!'n( #!Wn( h45 n-=S m9# l]5

    luôn luôn hiển #h+ m9# (i. #!+ )' hXn q) 5h%n ,^ [. 7u# hậu n(hi$m #!Un m9# .i

    _h. #!'n( #'-n mitn q) [2 T/ +nh n(h‚) #!'n( Ji$ n(hiUn Zu . l]5 #ậ5 ` li$u

    m# %n ,rn( b0pc b0•cS n>u #!'n( 5h%n l]5 nh+ 5h%nS l]5 0 7Y W4 (ọi

    l- m9# l]5 f) 7^g J- l]5 Q l- m9# l]5 f#hiểu 7^g2 GiK 78 !rn( S _hi

    S ## K . mou 7Y W4 'i nhW l- L]5 02 Chen( #ôi (ọi . #?nhhu^n( n-= nhW l- m9# 5h%n l]5 fz) 7^*l=*## Kg D' nh`n( h&n h> nhW J-

    QF

  • 8/15/2019 Difference Bayes - Multual Information

    21/51

    Tiểu luận môn họ T!" #u$ nh%n #&' n%n( )'

    S m9# l- _hôn( #hể nhận !) m9# 5h%n l]5 fThiểu 7^*l=*## Kg2

    hi J- S ## K . mou 7Y W4 5h%n hi)

    #h-nh h)i l]5S l-S ) 7^ J- l'&i ,M2 Chen( #ôi (ọi nh`n( #?nh hu^n( 5h%n l]5 fl]5 )

    7^g J- fl]5 l'&i ,Mg2 C. #?nh hu^n( q) 5h%n l]5 fl]5 #hiểu 7^g J- fl]5 l'&i ,Mg [K=

    !) n>u J- 2

    T/ Ji$ n(hiUn Zu họ ` li$u m# %n ,rn( nhận W4 7d u)n #%m nhitu (xn

    %= b0•c b0„c b0ycS m9# #!'n( nh`n( +nh l\ liUn u)n q) 5h%n l]5 R)=

  • 8/15/2019 Difference Bayes - Multual Information

    22/51

    Tiểu luận môn họ T!" #u$ nh%n #&' n%n( )'

    '. %q s{ =3 VW BSXY 7m =3 =p8 \o36 3=r< \Z3 h8l3

    Ch' bc #!?nh ,-= m9# n(hiUn Zu Jt l'&i ,M #/ 5h%n l]5 R)=n #hZ liUn u)n q) J- W4 W) !)S m9# l- #hể

    W4 . [. 7u# 7)u #/ . ,iểu #hZ }0~ J- }Q0~ ,rn( m9# &n( n(:

    }Qp)~

      }Qp,~

    Cwn Z J-' . u= # R)=5 h' l]5 0 J- l]5 QS #WXn( Zn(

    nhW #!'n( h?nh Q2 Ph&m Ji ƒn l&i W4 _\ hi$u l- S J? n xn 5hKi W4

    [. +nh hXn n`) #v= #hu9 J-' n(W”n( W4 +nh n(h‚) #!'n( }„~2 D' 7d Xn (iKn q)

    QQ

  • 8/15/2019 Difference Bayes - Multual Information

    23/51

    Tiểu luận môn họ T!" #u$ nh%n #&' n%n( )'

    . 5h%n ,^ …n( tuS n(Wi #) #hể nhận !) . (iKi 5h.5 5h%n #"h #!d #i>5 h'

     5h%n l]5 R)=

  • 8/15/2019 Difference Bayes - Multual Information

    24/51

    Tiểu luận môn họ T!" #u$ nh%n #&' n%n( )'

    }Qy,~

    Th#

    uK 5h%n #"h:

    }Q1~

    V-

    }F~

    C. (iKi 5h.5 #hể 7Y W4 nhận #!'n( #!Wn( h45 n-= #!Un l]5 QS h'-n #'-n

    h…n( hŠ' #!'n( l]5 02 T# K . mou #!'n( 5h&m Ji l]5 Q #hể W4 5h%n l]5 7)i

    h'j ,+ l'&i ,M h'-n #'-n 5h #hu9 J-' . #hi># lậ5 q) . itu _h'Kn hi 5h"2

    TDEFng hGp[[3] Phn tách giba hai phn @J.

    zitu n-= l- #hể W4 . (iKi 5h.5 h"nh [. m- _hôn( ,# _Œ lki J- l'&i ,M2

    ‰ọi _h'Kn hi 5h" l- Jô "h #!'n( #!Wn( h45 n-=2

     Hnh 2. Các tnh h9Jng phn p cho phn @J ;ồng ;X9 ;Nn @i:n.

    III. PHÂN LP '@A TR…N THÔNG TIN TƯƠNG HF %I T( CHỌN LOẠI

    B‚

    A. Cn4 =3 VW s>S

  • 8/15/2019 Difference Bayes - Multual Information

    25/51

    Tiểu luận môn họ T!" #u$ nh%n #&' n%n( )'

    #!'n( T  J- e  l- . ,i>n m #iUu J- u=># +nh ,i>n xu !)S t  J- ' l- . (i. #!+ q)

    hen(S #WXn( Zn(2 zể Xn (iKnS hen( #) ,iểu #h+ l-

    nh`n( #hôn( #in #WXn( hk ,?nh #hWn( #!'n( m9# &n( q) b00c:

    }Q)~#!'n( H }T~ l- n m #iUuS

    }Q,~

    J- l- #hôn( #in #WXn( hk (i`) h)i ,i>n 7^ q) T  J- e  byc:

    }Q~#!'n( m l- m9# 7^ #3n( q) . l]5 #!'n( T 2 z^i J]i 5h%n l]5 nh+ 5h%nS hen( #) j#

    m — Q2 T!'n( }Q~S p*t,'+ l- 5h%n ,^ hun( (i`) h)i ,i>nS J- p*t+ J- p*'+ l- . 5h%n ,^

    ận ,iUn #hể ,# n(u…n #/ byc:

    }~

    Vt mj# #'.n họS ,iểu #hZ }0~ #hể hi$n !rn( l- m9# 5h%n l]5 #^i Wu Jt .

    #hôn( #in #WXn( hk #^i )S h'j n T  J- e  ^i J]i . (i]i h&n ,?nh #hWn( cLa H *T+ }— hrn( 7^S h' p *t+~S

    nhWn( 7Y _hôn( #&' 7d _h. ,i$# h' >n le #̂ i Wu [. +nh ,si }0~2 Chen( #) .5

    n( +nh n(h‚)

  • 8/15/2019 Difference Bayes - Multual Information

    26/51

    Tiểu luận môn họ T!" #u$ nh%n #&' n%n( )'

    T!'n( &i i$n h' 7^ q) l]5 #hZ iS n W4 5h%n l]5 l- l]5 #hZ ’2 C.

    ` li$u h-n( #WXn( Zn( J]i . l]5 h"nh [.S J- . ` li$u 9# #WXn( Zn( J]i . l]5

    d '.n2 C9# u^i vn( &i i$n h' m9# l]5 l'&i ,M2 C. m^i u)n h$ J- nh`n( h&n

    h> q) m9# m) #!ận nhxm lon (i) #wn( l-:

    }‡~

    #!'n( l- #3n( 7^ q) l]5 #hZ n2 C. ` li$u h' W4 ,i># >n #!'n( Jn t

     5h%n l]52

    T!'n( Ji$ n-=S (iK 78 !rn( ` li$u xu J-' h' . 5h%n l]5 W4 ,i># h"nh

    [. Jt [. 7u# #!W] J- . itu _i$n mậ# 9 [. 7u# h-m 7^ S #) #hể

    l= W4 . m) #!ận 5h%n 5h^i hun( (n J]i m) #!ận nhxm lon:

    }•~

    J]i @’ W4 _\ hi$u l- mitn #!'n( mki mou  & W4 [. +nh l- l]5 #hZ ’S J-

     l- mậ# 9 [. 7u# #hd n(hi$m h' . Zn( n( m- h6 m9# m) #!ận

    nhxm lon W4 W) !)2 T!'n( nh`n( Zn( n(S #3n( 7^ mou  n #hWn( W4 ,i># >n2

    Riểu #hZ }•~ mô #K m^i u)n h$ (i`) [5 [6 5h%n 5h^i hun( J- m) #!ận nhxm

    lon2 N>u nh`n( _i>n #hZ Jt J- W4 ,i># h"nh [.S n(Wi #) #hể #hi># _>

    m9# 5h%n l]5 #hôn( #in #WXn( hk #!d #i>52 N>u _hôn( #hôn( #in ,)n xu W4 ,i>#

    Jt J- mậ# 9 [. 7u# #hd n(hi$m 5h%n 5h^i hun(S #hể W4

    W] #"nh #/ . m) #!ận nhxm lon b00c2 ;d [8 l" n-=S d) #!Un n(u=Un # #xn 7^ q) m9#

    m) #!ận nhxm lonS _hôn( 5hKi l- #'.n họ Zn( nhS nhWn( 7Y un( 5 m9# 5hWXn(

     5h.5 Xn (iKn ể 5h%n l'&i ể .5 n( . n(u=Un # S #hôn( #in nh# +nh ,i># #!W] Jt . l]5:

    }y~

    V]i h6 7^ #!Un fT g &i i$n h' m9# hu=ển J+S J- 5h%n ,^ ,iUn  p*'+ l-:

    Q•

  • 8/15/2019 Difference Bayes - Multual Information

    27/51

    Tiểu luận môn họ T!" #u$ nh%n #&' n%n( )'

    }1~

    Th)= }„~ * }y~ J-' }Q~S #) #hể W4 ôn( #hZ q)  YI Jt J- 2

    hi . _i>n #hZ #!W] _hi W4 W) !)S . itu _i$n # h' Ji$ #hi># _> J-

     5h%n #"h 5h%n l]5 #hôn( #in #WXn( hk #hm . iểm !)nh (i]i #/ h-m lki2 Ch6 #"nh #'.n ,rn( 7^ m]i #hể #hu

    W4 S n('&i #!/ m9# #!Wn( h45 j ,i$#2 R# Z _hi n-' m9# #v= họn l'&i ,M W4

    #hi># lậ5S 5h%n l]5 #hôn( #in #WXn( hk 7Y #&' !) mitn 5h%n l]5 #d 9n(

    #h

  • 8/15/2019 Difference Bayes - Multual Information

    28/51

    Tiểu luận môn họ T!" #u$ nh%n #&' n%n( )'

    TDEFng hGp[1[M u m9# (iKi 5h.5 5h%n #"h nhW Jậ=

    [u# 5h.# #/ Ji$ [. +nh 2 T!'n( #!Wn( h45 n-=S ' itu _i$n S n(Wi #)

    7Y m9# iểm (i)' nh)u u= nh# l- #!Wn( h45 hun( #!'n( 5h%n l]5 nh+ 5h%n

    h' . 5h%n 5h^i G)u77i)n2 N>u m9# #v= họn l'&i ,M W4 họnS n(Wi #) 7Y #hWn(

    h)i iểm !)nh J- 2 GiK 78 J- S #) #hể 5h%n Jvn(

    mitn 5h%n l]5 nhW: J- 2 GiK 78 h)i iểm

    !)nh (i]i W4 W) !)S #) #hể m9# ôn( #hZ h?nh #hZ n( #!Un ,iểu #hZ }„~:}Riểu #hZ pQ)~

    }pQ)~

    J]i l- m9# h-m lki J-

    }pQ,~

    Qy

  • 8/15/2019 Difference Bayes - Multual Information

    29/51

    Tiểu luận môn họ T!" #u$ nh%n #&' n%n( )'

    T!'n( n(hiUn Zu n-=S hen( #ôi .5 n( m9# .h #i>5 ận #"nh #'.n ể #?m

    _i>m . _># uK #!Un J- 2 R# Z _hi n-' nh`n( (i. #!+ W4 ,i># >nS #) #hể

    W4 #| l$ lki J- #| l$ l'&i ,M #/:

    }p)~

    }p,~

    TDEFng hGp[[M ^o?i @A tDong hai ;im giao nha9.

    z%= l- m9# #!Wn( h45 hun( h' 5h%n l]5 #hôn( #in #WXn( hk #!'n( ,^n

    iểm !)nh (i]iS S W4 h?nh #h-nh2 hi ,^n iểm #hu W4 7^ lW4n( ,rn( .h (iKi

    u=># ,iểu #hZ }0~S . mitn 5h%n l]5 >n 7Y W4 #hi># lậ5 nhW #hể hi$n #!'n(

    RKn( II2 V]i itu _i$n q) S . (iKi 5h.5 h?nh #hZ n( q)

     p*t, '+  #hể W4 W) !) #!'n( m9# .h #WXn( #d nhW q) ,iểu #hZ }pQ~2 N('-i !)S K

    h)i #6 l$ lki J- l'&i ,M #hể W4 .nh (i. #/  p *t, '+. zể 7' 7.nh J]i 5h%n l]5 R)=

  • 8/15/2019 Difference Bayes - Multual Information

    30/51

    Tiểu luận môn họ T!" #u$ nh%n #&' n%n( )'

    }pp,~

    J]i itu _i$n q) #!'n( h?nh 0S #h)= #h> h'j h'j J-'

    }pp~ 7Y h' (i. #!+ nhW nh)u #!Un S J- m9# .i #WXn( #d h' h'j #!Un 2

    C. _># uK q) J- h6 !) !rn( 5h%n l]5 #hôn( #in #WXn( hk 7Y #d 9n( #?m _i>m

    . n(W”n( l'&i ,M ể %n ^i #6 l$ lki J- #6 l$ l'&i ,M h' . ` li$u W) !) q) .

    l]52 T"nh nwn( j ,i$# n-= 7Y W4 #hK' luận #!'n( 5hxn IV2

    C. %q s{ 7m =3 VW # +nh #hi>u #d #in #hể W4

    #h)m (i) J]i #!'n( h?nh Q)2 Th)= }p‡~ J-' }Q~S n(Wi #) 7Y W4 ,) ,9 q)  YI 2

    F

  • 8/15/2019 Difference Bayes - Multual Information

    31/51

    Tiểu luận môn họ T!" #u$ nh%n #&' n%n( )'

    C. (iKi 5h.5 h?nh #hZ n( Jt u=># +nh #hể W4 W) !)S nhWn( Ji$ n-= #hôn(

    u) m9# .h #i>5 ận 7^ h' Ji$ ,M u) . (i]i #hi$u nh-m h.n q) . ôn( #hZ2

    TDEFng hGp[2[M] Hoàn toàn chồng chZo @i mt p.

    Côn( #hZ p *t, '+ #!'n( #!Wn( h45 n-= } H?nh Q,~ l-:

    }p•)~

    }p•,~

    }p•~

     N(Wi #) #hể W4 _># uK nhW 7)u _hi #h> hk }p•~ J-' }Q~:

    }p„)~

    }p„,~

    Riểu #hZ }p„)~ h' #h= u=># +nh h' 7Y 7Kn [u# #hôn( #in 7^

    F2 D' S 5h%n l]5 #hôn( #in #WXn( hk 7Y _hôn( ,)' (i #hd hi$n l'&i u=># +nh nhW

    Jậ= }nhWn( 5h%n l]5 R)=

  • 8/15/2019 Difference Bayes - Multual Information

    32/51

    Tiểu luận môn họ T!" #u$ nh%n #&' n%n( )'

    &nh hun( q) 5h%n l]5 #hôn( #in #WXn( hk J- 5h%n l]5 R)=# l9 nh`n(

    Wu iểm J- nhW4 iểm #WXn( Zn( q) hen(2 Le S . Jn t liUn u)n q) hen(S

    h'j nh`n( #h.h #hZ m]i n( W4 #!?nh ,-= #h#

    h"nh [. Jt 5h%n l]5 J- [. +nh #?nh #!&n( q) . #v= họn l'&i ,M }RKn( III~2 {i>n

    #hZ h"nh [.{ #"nh nwn( .5 j# 7d =>u _Šm nh# #!Un h)i 5hWXn( 5h.5 #i>5 ận #!'n(

    . Zn( n(2 Ni .h _h.S . 5hWXn( 5h.5 #i>5 ận \ n(h‚) nhitu hXn Jt mj#

    l\ #hu=>#S hZ _hôn( 5hKi l- #!d #i>5 h`u "h h' Ji$ (iKi u=># . Jn t #hd #>2

    hi . _i>n #hZ h"nh [. l- _hôn( _hK n(S W] #"nh hi$n 5hWXn( 5h.5 #i>5 ận

    ể 5h%n l]5 bpc bc bpFc h' 5h%n l]5 R)= h"nh l- 7d linh h' q) n #!'n( Ji$ un( 5 . #hi># _> _h.h u)n

    h'j hq u)n q) 5h%n l]52 hi . _i>n #hZ h"nh [. 7œn J- .n( #in ậ=S xu

    J-' ` li$u nhW Jậ= 7Y !# Xn (iKn J- \ n(h‚) ể #hd hi$n #hi># _> _h.h u)n2

    z…n( #hiS #hi># _> hq u)n 7Y luôn luôn l- #hể2 Nh`n( ,# l4i h"nh #hể [K= !)

    h' . #hi># _> m #iUu n>u #hôn( #in x= q Jt . itu _h'Kn hi 5h"2 Ni

    hun(S . _h'Kn hi 5h" h+u #!.h nhi$m nhitu hXn ể hq u)n hXn 7' J]i [. 7u#

    #!W]2 T!'n( #!Wn( h45 n-=S #!.nh 7d (i]i #hi$u q) hq #hể _hôn( 5hKi l- m9# nhi$m

    J ‘ -n( h' 5h%n l]5 R)=5 ận m #iUu2 Chen( m)n( #h# _>

    hq u)nS #"nh _hK #hi Jt mj# _ #huậ# ,rn( .h (i]i #hi$u . #hôn( 7^ #d 'Shan( h&n nhW

  • 8/15/2019 Difference Bayes - Multual Information

    33/51

    Tiểu luận môn họ T!" #u$ nh%n #&' n%n( )'

    ThZ ,)S m9# #!'n( nh`n( Jn t ^i J]i . m #iUu họ hi$n #&i q) 5h%n l]5

    R)=# q) hen( Jt h-nh Ji 5hKn Zn(S han( h&n nhWS (i]i h&n

    #!Un J- W]i q) h' 5h%n l]5 #hôn( #in #WXn( hk2

    ThZ nwmS 5h%n l]5 #hôn( #in #WXn( hk 7Y ,3 7un( #hUm 5hZ #&5 #"nh #'.n J-hi 5h" #h

  • 8/15/2019 Difference Bayes - Multual Information

    34/51

    Tiểu luận môn họ T!" #u$ nh%n #&' n%n( )'

    LWu \ !rn( . u9 #hK' luận s #!Un un( 5 m9# %u #!K li 7X ,9 h' %u hMi

    j# !) #!'n( #iUu t q) ,-i Ji># n-=2 T!'n( m9# _># n^i _h.S Ph l R #!?nh ,-= (i]i

    h&n hj# hY hXn (i`) 5 #hn _"h #hW] )'S l'&i ,M h' m9# #ậ5 h45 'n . l]5

    bQQcS J- . n(hiUn Zu #hd n(hi$m #/ . #ậ5 ` li$u #hd #>2

    B. Yn3= s>S

  • 8/15/2019 Difference Bayes - Multual Information

    35/51

    Tiểu luận môn họ T!" #u$ nh%n #&' n%n( )'

     N(Wi #) #hể W4 _># uK #WXn( #d _hi xu J-' h' 5h%n l]5

    R)=# h45 J]i . l]5 7)i l]n hXn2 Tu= nhiUnS 5h%n l]5 #hôn( #in #WXn( hk luôn luôn

    #hUm lW4n( hi 5h" nhitu hXn J-' Ji$ 5h%n l]5 7)i #/ m9# l]5 7)i nhM hXn2 Ni .h_h.S 5h%n l]5 #hôn( #in #WXn( hk #ậ5 #!un( ể #&' !) m9# lki nhM #!Un m9# l]5 7)i nhM

    hXn 7' J]i 5h%n l]5 R)=

  • 8/15/2019 Difference Bayes - Multual Information

    36/51

    Tiểu luận môn họ T!" #u$ nh%n #&' n%n( )'

    hXn hi 5h" Jt Ji$ 5h%n l'&i 7)i #/ m9# l]5 7)i nhM hXnS J- n(W4 l&i #/ m9# l]5 7)i

    l]n hXn2

     N>u m9# ld) họn l'&i ,M W4 #hi h-nh î J]i . ` li$u 7)u:

     ,^n iểm !)nh (i]i W4 =Uu xu ể [. +nh _hu Jd 5h%n l]5 nhW h?nh 02 z^i J]i

    . itu _h'Kn hi 5h" nh# +nhS m9# 5h%n l]5 R)=

  • 8/15/2019 Difference Bayes - Multual Information

    37/51

    Tiểu luận môn họ T!" #u$ nh%n #&' n%n( )'

     H'j

     Nh`n( \ n(h‚) h' h)i ,9 Jt hi 5h" l- _h. nh)u2 Tậ5 xu #iUn h6 !) . hi

     5h" #WXn( #d h' lkiS nhWn( .i #hZ h)i h' #h= . hi 5h" #WXn( #d h' l'&i ,M2 >#

    uK #!Un n(h‚) l- m9# Jn t n9i #&i q) {_hôn( nh# u.n{ ể (iKi #h"h Jt hi 5h"2

    Cxn 5hKi #hận #!ọn( Jt Jn t n-= _hi #hi># lậ5 . itu _h'Kn hi 5h" ể 5h%n l]5

    R)=n #hZ

    Jt . n(W”n( #…n #&iS 5h%n l]5 _iUn( l- #^# hXn ể .5 n( T D\  #!d #i>5 h' . `

    li$u xu J-' }RKn( III~S #h)= J? 78 n( . itu _h'Kn hi 5h"2 N>u _hôn( #hôn(

    #in W4 W) !) Jt . n(W”n( n-= h'j . itu _h'Kn hi 5h"S 5h%n l]5 #hôn( #in

    #WXn( hk #hể un( 5 m9# m #iUuS h'j _hsi #&'S #h)m hi>u q) T D\  ể 5h%n l]5

    R)=m h'ig #!'n( #'-n ,9 ` li$uS hen(

    #) xn 5hKi #?m !) nh`n( h-nh Ji n-' K h)i l'&i 5h%n l]5 7Y hiển #h+2 V]i m "h

    n-=S m9# _> h'&h #d nhiUn #!'n( . itu _h'Kn hi 5h" 7^ F*0 l- #hi># lậ5 h' 5h%n

    l]5 R)=# uK

    #WXn( #d _hi h)i l]5 %n ,rn( h"nh [.S l- 2 ‰9# iểm !)nh (i]i

  • 8/15/2019 Difference Bayes - Multual Information

    38/51

    Tiểu luận môn họ T!" #u$ nh%n #&' n%n( )'

    Xn }H?nh 0)~ #.h h)i l]5 #&i . iểm (i)' nh)u h"nh [. 2 hi m9#

    l]5 ni h' L]5 QS #!s nUn nhM hXnS . iểm !)nh (i]i q) 5h%n l]5 R)=n iểm #!un( ,?nh q) L]5 Q }nhW W4 h6 !) #!'n( bbpcS

    #!)n( 1c ~S J- u^i vn( JW4# u) n2 zể (i` nh`n( lki nhM nh#S m9# 5h%n l]5 R)=# uK s ,Kn( V [. nhận z+nh l\ 7^ lW4n( #!Un 5h%n

    l]5 R)=

  • 8/15/2019 Difference Bayes - Multual Information

    39/51

    Tiểu luận môn họ T!" #u$ nh%n #&' n%n( )'

    Ph%n l]5 #hôn( #in #WXn( hk .h Zn( [8 _h. nh)u #!'n( #ậ5 ` li$u h'

    #!W]2 C. #"nh nwn( u)n #!ọn( xu #iUn l- . iểm !)nh (i]i 7Y +h hu=ển Jt 5h")

    iểm #!un( ,?nh q) l]5 Q nhWn( 7Y _hôn( ,)' (i i u) n2 T"nh nwn( #hZ

    h)i h' ,i># !rn( 5hKn Zn( q) ,# xu #i>5 ận >n m9# (i. #!+ 3n +nhS

    _h'Kn( FSp‡ #!'n( J" n-=S m9# #| l$ l]n . 2 T"nh nwn( n-= h6 !) !rn(

     5h%n l]5 #hôn( #in #WXn( hk 7Y _hôn( ,)' (i h= 7inh m9# l]5 #hiểu 7^ h'-n #'-n #!'n(

    J" #hể n-=2 ‰9# 5hxn .n( _ể q) l]5 hi>m W4 [. +nh m9# .h h"nh [.2

    HXn n`)S . Wn( 'n( q) n( hZn( minh n(-= -n( (iKmS nhWn( _hôn(

    Jt _hôn(S !-n( ,u9 Jt #| l$ lki }_h'Kn( FSF‡p~ _hi #i>5 ận ,rn( _hôn(2

    Hi$n #W4n( n-= n(h‚) !rn(S ^i J]i 5h%n ,^ G)u77 q) . l]5S 5h%n l]5 #hôn( #in

    #WXn( hk #hWn( _hôn( (i` m9# [u hW]n( h= 7inh m9# l]5 h'-n h6nh #!'n( 5h%n l]52

    Tu= nhiUnS #/ m9# u)n iểm l\ #hu=>#S hen( #) Jon xn 5hKi #hi># lậ5 m9# n(u…n (^

     5h%n #"h (i]i h&n #!Un J- W]i q) h' 5h%n l]5 #hôn( #in #WXn( hk2

    í O$ im giao nha9 t?i 02 C. #hôn( 7^ W) !) h' h)i l]5 l-:

    ‰j v _hôn( ` li$u W4 u= +nh . itu _h'Kn hi 5h"S n #hWn( n(h‚) m9# h-m (iKm F*0 h' hen( bpc2 T/ ,iểu #hZ }0y~S #) #hể nh?n #h= m9#

    #!Wn( h45 _hôn( (i)' nh)u [K= !) #!'n( J" n-= }H?nh2 p~2 z^i J]i . #hi># lậ5 F*

    0 h' . itu _h'Kn hi 5h"S . 5h%n l]5 R)=

  • 8/15/2019 Difference Bayes - Multual Information

    40/51

    Tiểu luận môn họ T!" #u$ nh%n #&' n%n( )'

     5h%n l]5 _iUn(2 N(W4 l&iS m- _hôn( h6 +nh ,# _Œ itu _h'Kn hi 5h"S 5h%n l]5

    #hôn( #in #WXn( hk #hể 5h.# hi$n . l]5 m #iUu J]i m9# mZ 9 h45 l\ h"nh [.2

    hi _hôn( l'&i ,M W4 họnS "# hXn 7' J]i h)i lki #| l$ 5hxn #!wm } 2 ( 1.Qk~

    [K= !) J-' l]5 m #iUu2 ‰j v #3n( lki }  ( Q1,k~ )' hXn nhitu 7' J]i ^i #. q)

    m?nh R)=# uK q) _h'Kn( #.m iểm 5hxn #!wm } j Y 

      ( l.6Qk~ mZ ,M l” ể m #iUu l- #hd 7d \ n(h‚) #!'n( . Zn( n(2 N>u m9#

    ld) họn l'&i ,M #h)m (i)S #| l$ ,M l” l- #i>5 # (iKm [u^n(  j Y ( .10kS nhWn(

     ,)' (…m #hUm m9# #| l$ l'&i ,M 2,1k 7' J]i #3n( 7^ mou #hể2 V" n-= [. nhận

    m9# lxn n`) . #"nh nwn( 9 .' q) 5h%n l]5 #hôn( #in #WXn( hk2 C. _># uK q)

    T!_  #/ 5h%n l]5 #hôn( #in #WXn( hk n( #hể 5h J h' m9# #-i li$u #h)m _hK' h`u

    "h h' Ji$ #hi># _> 5h%n l]5 _iUn( Ch'S h'j _hôn( _i>n #hZ Jt . itu

    _h'Kn hi 5h"2

    C. Yn3= m #!'n( Jn t 5h%n l]52 Phxn n-= h' #h= m9# J"

    W) !) #/ bc2 ‰9# nk ld #hể W4 #hd hi$n #!Un 7d 7' 7.nh 7^ (i`) h)i l'&i 5h%n

    l]52

     Hnh . ồ th/ cLa ví O$

    í O$ Mt phVn chồng chZo giba hai phn @J 2 Nhi$m J h' J" n-= l- ể #hi>#

    lậ5 . itu _h'Kn hi 5h" h' Ji$ _iểm 7'.# . _># uK u=># +nh #!Un _hu Jd

    h…n( hŠ' h' . ` li$u W) !) #/ bc2

    pF

  • 8/15/2019 Difference Bayes - Multual Information

    41/51

    Tiểu luận môn họ T!" #u$ nh%n #&' n%n( )'

    T!'n( 5h%n ,^ …n( tuS m9# #h)m 7^ 9 lậ5 u= nh# 7Y l- q h' 5h%n l]52

    RKn( VII li$# _U . _># uK _h. nh)u ^i J]i T D 2 LWu \ !rn( . _># uK hi$n n)=

    ms !9n( 5h%n l]5 _iUn( Ch' ,rn( .h #hUm m9# #!Wn( h45 u=># +nh hXn q)

     hXn 7' J]i nh`n( .i _h. #!'n( bc2 C. 5hxn ms !9n( l- ' ,)

    n(u=Un # 78 n( #!'n( ,iểu #hZ }0F~S hZ _hôn( 5hKi l- h)i #!'n( 5h%n l]5 Ch'S

    m- #hể hi$n m9# (iKi 5h.5 #3n( u.# hXn h' 5h%n l]52 N(Wi #) #hể #h= !rn( 5h%n

    l]5 #hôn( #in #WXn( hk 7Y u=># +nh #/ . ` li$u h' . ,Kn 5h%n

     5h^i l]5 7in m- họ nhận W4 (i. #!+ #^i ) q)  YI 2 N>u _hôn( l'&i ,M W4 #hd

    hi$nS 5h%n l]5 #hôn( #in #WXn( hk 7Y họn h' (iKi 5h.5 q) hen(2

    %. K"T LUẬN

    R-i ,.' n-= #?m hiểu 7d _h. ,i$# (i`) 5h%n l]5 R)=# J]i m9# l]5 #hiểu 7^2 u

    hW]n( n-= 7Y ,i>n #h'.i m9# 5h%n l'&i nh+ 5h%n #h-nh m9# Jn t l]5 u= nh# h' .

    (iKi 5h.5 Jô n(h‚)2 z+nh l\ _h. 5h.# hi$n !) 7d W #h/) #hôn( 7^ Jt hi 5h" #!'n(

     5h%n l]5 _iUn(2 ziểm =>u n-= l- _hôn( h6 W4 m9# (iKi #h"h _hôn( 5hv h45 J]iitu _h'Kn hi 5h"2  h _hwn hq h^# 7Y W4 (i` #"nh _h.h u)n q) . itu

    p0

  • 8/15/2019 Difference Bayes - Multual Information

    42/51

    Tiểu luận môn họ T!" #u$ nh%n #&' n%n( )'

    _h'Kn hi 5h"2 T!'n( Zn( n( #hd #>S #hôn( #in Jt . itu _h'Kn hi 5h" l- hi>m _hi

    7œn2 zitu n-= j ,i$# en( ^i J]i . l'&i l'&i ,M2 T!'n( _hi R

    #hể #h# ,&i #/ Ji$ .5 n( . itu _h'Kn hi 5h" #!'n( 5h%n l]52 T!'n( 7' 7.nhS

     5h%n l]5 #hôn( #in #WXn( hk _hôn( 5hKi h+u nh`n( _h _hwn nhW Jậ=2 L4i #h> hen(

    m- _hôn( ƒi hMi Jt hi 5h" 7Y h' 5hŠ5 5h%n l]5 hi$n h-nh ể [8 l\ 5h%n l]5 _iUn(S

    (i^n( nhW m9# #hW m m]i q) {ThW n(hi n( #!'n( lọ #hW !. bppc2 m9# 7^ J"

     ,rn( 7^ #!'n( ôn( Ji$ n-= hk #!4 . l4i "h u= nh# q) Ji$ 78 n( 5h%n l]5

    #hôn( #in #WXn( hk #!'n( #!Wn( h45 j ,i$#2 C. n(hiUn Zu 7' 7.nh #!'n( ôn( Ji$

    n-= _hôn( n(h‚) l- ể #h)= #h> 5h%n l]5 R)=#2 #hK' luận

    hi #i># hXn >n 7d _h. nh)u (i`) h)i l'&i q) 5h%n l]5 W4 W) !) #!'n( m IV2

     NhW m9# _># luận u^i vn(S m9# %u #!K li Xn (iKn ể #iUu t %u hMi W4 #m ##

    W]i %=:

    Phn p th=ng tin tENng hd và phn p 3a'45 vX cN @_n \hác vi m$c tiê9

    hc áp O$ng cLa chng. TK q9an ;im Ung O$ng, phn p 3a'45 à phB hGp hNn vicác tDEFng hGp \hi các ;iX9 \ho_n chi phí ;EGc ;EGc @i:t ;:n chính &ác vi 5> cn

    @rng cLa các o?i di và các o?i o?i @A. Phn p th=ng tin n nha9 c! \h_ năng cn

    @rng \hách q9an các o?i di và các o?i o?i @A t> ;ng mà \h=ng cVn 5s O$ng các

    ;iX9 \ho_n chi phí, nga' c_ tDong tDEFng hGp các @ Ob i9 mất cn @rng p c>c \u,

    c! th m= t_ mt gi_i thích 7 th9':t t?i 5ao con ngEFi c! nhiX9 q9an ng?i vX tính

    chính &ác cLa các p hi:m tDong phn p

    pQ

  • 8/15/2019 Difference Bayes - Multual Information

    43/51

    Tiểu luận môn họ T!" #u$ nh%n #&' n%n( )'

    PH† L†C A

    CH‡NG MINH ĐˆNH L‰

    ChUng minh C. u= # u=># +nh q) 5h%n l]5 R)=n( #!'n( bpc2 ;)u S h6 . u= # h' . #!Wn( h45 {l'&i ,M{ W4

    n(hiUn Zu #!'n( hZn( minh hi$n #&i2 Š# ,iểu #hZ }•)~ xu #iUn #/ }‡)~S m9# mô h?nh

    Š  W4 u=># +nh ,si m9# 5h%n l]5 R)=u J-

    Th)= . ,iểu #hZ }0~ J- }Q~ J-' . ,# an( #hZ 7Y on

    >n:

    }0~

    TWXn( #d nhW Jậ=S #) #hể W4:

    }Q~

    J- ,iểu #hZ }•~ #WXn( Zn(2 Riểu #hZ }0~ mô #K !rn( m9# (i]i h&n #!Un u= nh#

    #!'n( Jƒn( h)i !)nh (i]i 7Y itu _hiển m9# mô h?nh x   l-  '12 TWXn( #d nhW Jậ=S ,iểu

    #hZ }Q~ mô #K m9# (i]i h&n W]i !-n( ,u9 ^i J]i m9# mô h?nh x  l- '22 T/ nh`n(

    h&n h> }~S n(Wi #) _hôn( #hể [. +nh !)nh (i]i 7Y W4 (i]i h&n #!Un h'j (i]i h&n

    W]i ,+ !-n( ,u92 Tu= nhiUnS #) #hể [. +nh hen( #/ h)i (4i \ 7)u %= #!'n( 5h%n

    l]5:

    2 Riểu #hZ }•~ mô #K m9# (i]i h&n W]i u= nh# J- m9# (i]i h&n #!Un u= nh#

    h' m9# mô h?nh & l- '2

    R2 C. (i]i h&n #!Un #!'n( }0~ J- (i]i h&n W]i ,+ !-n( ,u9 #!'n( }Q~ nUn W4

    #!vn( J]i m9# #!'n( nh`n( !)nh (i]i }•~ #WXn( Zn( 7)' h' nh`n( Jvn( 5h%n l]5

    #/ @ 0 >n @  7Y ,)' (…m m9# mitn h'-n h6nh q) mou & }[ q) . n(W”n( ể l'&i

     ,M }•5 #/ }•~ J- }•~2

    p

  • 8/15/2019 Difference Bayes - Multual Information

    44/51

    Tiểu luận môn họ T!" #u$ nh%n #&' n%n( )'

    PH† L†C B

    RENG BUỘC CH‹T CHŒ HƠN GIA DNTROP( ĐIU KIỆN %E LFI

    BA(D TRONG PHÂN LP NHˆ PHÂN

    T!'n( n(hiUn Zu Jt m^i u)n h$ (i`) #hôn( #in #WXn( hk *I+ J- lki R)=

  • 8/15/2019 Difference Bayes - Multual Information

    45/51

  • 8/15/2019 Difference Bayes - Multual Information

    46/51

    Tiểu luận môn họ T!" #u$ nh%n #&' n%n( )'

    TEI LIỆU THAM KH1O

    0 ;2@2 ul_)!niS G2 Lu('7iS G2S )n ;2;2 V

    p @2O2 Du)S P22 H)!#S )n D2 ;#'!_S  Patt4Dn Ca55)ication, Qn

    0F 2 €)n( )n R2*G2 HuS fD

    0pFS QFFy20Q P2 D'min('7S f‰

     PDoc44Oing5 o) th4 Qth yCM w|T

    0„ Ÿ2*HS Ÿh'u )n 2*2 LiuS fT!)inin( C'7#*7

  • 8/15/2019 Difference Bayes - Multual Information

    47/51

    Tiểu luận môn họ T!" #u$ nh%n #&' n%n( )'

    Ch)5m)n )n H)ll‹C@C P!Qy T2 Pi

    F 2 G!)ll*‰)

    2 u_un)()S #ntDoO9ction to wtati5tica Patt4Dn 4cognition, Qn ‡ ;2H2 )n(S R2*G2 HuS )n P2*H2 C'un

    „ C22 ;h)nn'nS f ‰)#h

    p„

  • 8/15/2019 Difference Bayes - Multual Information

    48/51

    Tiểu luận môn họ T!" #u$ nh%n #&' n%n( )'

    ;'¡#)!< ;il),Sg  PDoc44Oing5 o) # #nt4Dnationa ~oD\5hop on •p4n%5o9Dc4wo)txaD4 )oD wci4nti)ic Comp9tation *•wwC% 200+, 552 0„1*0ypS QFF12

    pF ¢2O2 R

    p0 I2 'n'n

    p ¢2O2 R

    pp ‰2 ;)h)miS ;2 Dum)i7S D2 H

    p• @2 ;)n#'7*@'!"(u< Ŝ 2 Gu

  • 8/15/2019 Difference Bayes - Multual Information

    49/51

    Tiểu luận môn họ T!" #u$ nh%n #&' n%n( )'

    TŽM TT@ KHC NHAU GIA PHÂN LP BA(D

    %E PHÂN LP THÔNG TIN TƯƠNG HF MI LE GJ

    # . Nd8 s36

    R-i ,.' #ậ5 #!un( Ji$ #?m hiểu 7d _h. ,i$# (i`) l\ #hu=># 5h%n l]5 R)=# lậ5 h'j _hôn( m9# #v=

    họn l'&i ,M2

    Dd) #!Un . n(hiUn Zu q) Ch' J- Du,) Jt 5h%n l]5 R)=#

    nh`n( Wu iểm J- h&n h> #!'n( #/n( l'&i q) . 5h%n l]52 zxu #iUn l- . ,iểu #hZ(iKi #"h 5h%n l]5 R)=n n)=S Wn( nhW _hôn(

     ,.' .' n(hiUn Zu n-' h' 5h%n l]5 R)=

  • 8/15/2019 Difference Bayes - Multual Information

    50/51

    Tiểu luận môn họ T!" #u$ nh%n #&' n%n( )'

    ‘. Cn4= 4 =893

    T!'n( ,-i ,.'S #. (iK #hd hi$n . ôn( Ji$ 7)u:

     N(hiUn Zu l\ #hu=># u= # u=># +nh hun( q) 5h%n l]5 R)=n2

    Rrn( . #h" n(hi$m J]i . 7^ li$u #hd #> l-m n3i ,ậ# . #"nh nwn( !iUn( ,i$#

    #!'n( . Zn( n( q) 5h%n l]5 R)=# luậnS #3n( _># l&i _># uK n(hiUn Zu2

    ’. Ư 3=:]4 \8_`

    Ph%n l]5 #hôn( #in #WXn( hk J- 5h%n l]5 R)=# #&i 7)' 'n n(Wi nhitu u)n n(&i Jt #"nh h"nh

    [. q) . l]5 hi>m #!'n( 5h%n l]5

    C. m #iUu họ q) . 5h%n l]5 R)=n Ji$ .nh (i.

    . !qi !' h'j lkiS m- hq =>u l- #WXn( #h"h J]i . m #iUu 5h%n l]5 #!'n( . Zn(

    n( #hd #> u9 7^n(2 Tu= nhiUnS _h.i ni$m Jt #hôn( #in #WXn( hkS h'j . #iUu h"

    d) #!Un # .

    nh- #hi># _> J- n(Wi 78 n( 5h%n l]5

    Ph%n l]5 R)=

  • 8/15/2019 Difference Bayes - Multual Information

    51/51

    Tiểu luận môn họ T!" #u$ nh%n #&' n%n( )'

    Ph%n l]5 R)=u _hôn(

    . itu _h'Kn hi 5h" W4 u= +nh #!'n( 5h%n l]52 Ph%n l]5 #hôn( #in #WXn( hk

    hiển #h+ l4i #h> j ,i$# #!'n( nh`n( #?nh hu^n(S _ể K #!Wn( h45 h' 5h%n l]5 _iUn(2

    Chen( un( 5 m9# (iKi 5h.5 %n ^i . l'&i lki J- . l'&i l'&i ,M m- _hôn( 78

    n( . itu _h'Kn hi 5h"2

    Ph%n l]5 #hôn( #in #WXn( hk 7Y ,3 7un( #hUm 5hZ #&5 #"nh #'.n J- hi 5h" #h