10
c d 1 d 2 d 3 c d 1 d 2 d 3 f: C × D R f i (c, d) [ (d) c = c i ] (d) d c i (d) c = c i (c, d)

ACL 2003 - Maxent Tutorial - cs224n...4 % #! . # 2 ! 0 + # 2 : 2! # $-! {f i} . {c}. + 5 % # / ($λ i . 2-! f * + ! # ! = c,d 2 $-! / $ ( 0 vote(c) = Σλ if(c,d ) # c ' Σλ if (c,d

  • Upload
    others

  • View
    1

  • Download
    0

Embed Size (px)

Citation preview

Page 1: ACL 2003 - Maxent Tutorial - cs224n...4 % #! . # 2 ! 0 + # 2 : 2! # $-! {f i} . {c}. + 5 % # / ($λ i . 2-! f * + ! # ! = c,d 2 $-! / $ ( 0 vote(c) = Σλ if(c,d ) # c ' Σλ if (c,d

� � � � � � � � � � � � �� � � � � � � � � � � � � � � � � � � � �

� � � � � � � � � � � � � � � � � �� � ! " # $ � � � % &

' ' !

( � � � � � ) � � � �

* + � � � , � � � - � � � � � � � � � � � � . � � � � / � � � � � 0 � 1 � �� 2 3 4 5 6 7 8 7 4 5 9 : � � 6 7 ; 3 < 7 = 7 5 9 8 7 > ? � � � . � . � @ � � � � ,A � B � @ � � � " $ C D + E D � � B � � � � , �

* F � , � 1 � � GH I J K L M NO K J N M J P Q Q R S P Q L T K S U V S W P X Q KY I J K L W P Z K N [ K P \ L [ V N X Q V S T V S P [ K ] V [ \ V U] N X M R N \ [ N Q P ] ] L N W T V S [ P X [ U K P [ R S K \Y I J K L P ] ] V ^ P R [ V W P [ N Q _ R N ] ` N X M V U ] P X M R P M KN X ` K T K X ` K X [ a S K [ P S M K [ P _ ] K b c d W V ` R ] K \

e f g h i j k l m f h n g i g f h o p q f n r p k

s t V N X [ u M K X K S P [ N O K v W V ` K ] \ T ] P Q K T S V _ P _ N ] N [ N K \ V O K S_ V [ J V _ \ K S O K ` ` P [ P P X ` [ J K J N ` ` K X \ [ R U U u M K X K wS P [ K [ J K V _ \ K S O K ` ` P [ P U S V W J N ` ` K X \ [ R U U v xY y ] ] [ J K _ K \ [ Z X V ^ X z [ P [ b c d W V ` K ] \ x

{ | } ~ � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � �� � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � } � � � � ~ � � � � � � �� � � � � � � � � � �   � ¡ ¢ £ � ¤ � ¥ �   � ¤ � � ¦ § � ¤ ¥ ¢ ¦ �   � ¨ ¢   © ¢ ¥ �   �� � ª �¡ ¢ � « � � ¥ ¬ ­   � ¬ � ¤ ® � ® � ¦ �   ¯ ¤ ¡ ¢ � © � ¥ ¥ ¢ ��   � ­ �   ­ � ¢ ª � ¡ ¢ �   © ¢ ¥ �   � °

± ² � ~ � � � � � � � ~ � � � � � � � � � � � � � � � � � � � � � ~ � � � � � � � � � � � � �� � � � � ³ � � � � � � � � � � � � � � � � � � � � � ´ µ ¶ � � �� � � � � � � � � � � ·

¸ £ � « ¥ §

¸ £ � ¹ ¥ §

º » ¼ ½ ¾ ¿ ½ À Á Â Ã » Ä Å Æ Ç » È É Ê Ë ½ È ¾

� Ì � ¯ ¢ � � ¢   ¥ � � ª � � � � ¥ � � Í � � � � ¦ ¢ � Î ¤ � � � � ¥ ¤ �¡ � � � � ® ¦ ¢ � « � � ¥ ¦ � � ¢ � Î ¤ � ¥ � � ¢ �   ¥ ¢ ¬ ¢ � ¥ ¢ � � � ¢ �� Ï ¤ � ¢ ¡ � � � � ® ¦ ¢ � � � ¢ ¤ ® � ¢ � ¡ ¢ ¥ Ð � ¤ � ¢ � � ¢ © � ¥ ¥ ¢ �� Ñ � � © � ¤ ¥ ¢ � � � ¦ �     ¦ ¢ � ¦ � � � � Î � ¢ � £ � ¤ � ¥ �   � ¤ � � ¦¬ � ¤ ® � ® � ¦ �   ¯   � ® ¦ ¢ § ® � � ¢ ¥ ¤ � � � � ¤ � � � ª � � � �

c

d1 d 2 d 3� � � � � � � � � �

c

d1 d2 d3

Ò ¢ � ¢ � �   �¡ ¢² � ~ � � � � � Ó � ~ � � � � � � �� � � � � � � � � �   � ¡ ¢

Ô Ê Õ Ë Æ À Æ Ê Õ » È Ö Ê Ë ½ È ¾ × Ê Ã Ø × ½ È È ÙÚ Ê Ã Ë Û ½ Õ ¾ ½ Ü Æ ¾ » Ö Ý Æ Þ ß » À Æ Ê Õ

à á â ã ä å æ ç è é ê ë ì í î ï í ð éñ ë ò é ó é ë í ô õ é ñ ö ÷ è ø ä ù æ ä ùú û ü ý þ ü æ ä ç ç ü ÷ ü ä ÿ æ ç æ ü ä ø �ã � ç æ ý ø ç æ ü ä æ ä ÷ û ã ø � ã �� ã û ú ü û ý ø ä ÷ ãà � è ø ç æ � ö å ã � � ã ç è ã � ø ý ã� ý ü ü ç è æ ä ù ö ø ä ÿ ç è ã � ø ý ã� � õ � � ì î ë ñ ñ ú ã ø ç � û ã � ö å ãþ � � ç ÷ è ø ä ù ã ç è ã ä � ý ã û � � ø û ø ý ã ç ã û � �

� û ø æ ä æ ä ù � ã ç

� � �� ü ä ÿ � � æ � ã �� � � �� ü æ ä ç � æ � ã �

� ÷ ÷ � û ø ÷ �� þ ã ÷ ç æ â ã

� ã � ç � ã ç

� � � �� ü ä ÿ � � æ � ã �� � � �� ü æ ä ç � æ � ã �

� ÷ ÷ � û ø ÷ �� þ ã ÷ ç æ â ã

´ � � � � � � � � � � � � � � ~ � � � � � ³ � � � ~ µ � � � � � � � } � � � � ·

! ½ » À ß Ã ½ ¾

� " �   © ¢ � ¢ � ¦ � ¥ ¢ � � � ¥ � ¤ �   � � # ¢ �   Í ¤ � ¨ °$ % & ' ( ) % * + , - - . - / - 0 1 + , 2 3 4 - 5 - 6 7 8 - 9 4 : - 0 5 - 1 ; + 1. 4 0 < + 6 3 - 5 1 6 7 8 = ; + 1 = - 7 > 6 - , 9 - ? = 4 1 ; + 5 + 1 - @ 7 , 2A 1 ; + 1 = - = + 0 1 1 7 3 , - : 4 5 1 B

C D 8 - + 1 E , - ; + 6 + F > 7 E 0 : - : G , - + . 9 + . E - Hf: C × D I R C J 6 E + . .2 8 - + 1 E , - 6 + , - 4 0 : 4 5 + 1 7 , 8 E 0 5 1 4 7 0 6 7 8

3 , 7 3 - , 1 4 - 6 7 8 1 ; - 4 0 3 E 1 + 0 : + 3 + , 1 4 5 E . + , 5 . + 6 6F % K % ) L M N % O % P ) % * % N ' Q * G R S ; - 2 3 4 5 < 7 E 1 + 6 E > 6 - 1 RT fi(c, d) ≡≡≡≡ [U (d) ∧∧∧∧ c = ci] V W + . E - 4 6 X 7 , Y Z

C [ - = 4 . . 8 , - - . 2 6 + 2 1 ; + 1 \(d)

4 6 + 8 - + 1 E , - 7 8 1 ; - : + 1 +d ] = ; - 0 ] 8 7 , - + 5 ;

ci ] 1 ; - 5 7 0 ^ E 0 5 1 4 7 0 \(d) ∧∧∧∧ c = ci

4 6+ 8 - + 1 E , - 7 8 1 ; - : + 1 + _ 5 . + 6 6 3 + 4 ,

(c, d)R

Page 2: ACL 2003 - Maxent Tutorial - cs224n...4 % #! . # 2 ! 0 + # 2 : 2! # $-! {f i} . {c}. + 5 % # / ($λ i . 2-! f * + ! # ! = c,d 2 $-! / $ ( 0 vote(c) = Σλ if(c,d ) # c ' Σλ if (c,d

� � � � � � � �

C � 7 , - + / 3 . - H f1(c, d) ≡ [c= “NN” ∧∧∧∧ islower(w0) ∧∧∧∧ ends(w0, “d”)] f2(c, d) ≡ [c = “NN” ∧∧∧∧ w-1 = “to” ∧∧∧∧ t-1 = “TO”] f3(c, d) ≡ [c = “VB” ∧∧∧∧ islower(w0)]

� � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � ! "� # $ % � � � � � � � � � � & � ' % � � � � � � � ( � � � � � � � � � )

� � � � � � ' % � � � � � � � � � � � � � � � � )

* + , ,- . / 0 1 2 , 3 30 4 5 6 7 8* + 9 :- . / 0 12 , , ,0 4 5 8 1

;∈

=),(observed),(

),()( empiricalDCdc ii dcffE

<∈

=),(),(

),(),()(DCdc ii dcfdcPfE

= > ? @ A B > C D ? E > F G H F > I E

J K L M N M O P Q P R S T U R V W T N T W T X R P S W P Q U T Q M NR S Y Z R S W L M [ M T W V \ M Q T O W P ] M T W W L T W X R P S W ^

_ ` a b c d a a e a f g h i jk l f m n o m p q n q g r st m f m

u o m f v p o jw s x j f g h i j x k l f x m xn o m p q n x q g r x s y

z m { o q_ ` a b c d a a

| o } f~ m f o � g p l � m f l g �

s f g p o j f p v h f v p o{ m � i e � � c d � � o { f �t m f m

u o m f v p o jw s x � � p o j f p v h f v p o xc � � o { f x z � � � x s y

z m { o q� � c d �

� g p � � a o � j ot l j m � { l � v m f l g �

t | � � c c s| k o � p o � l g v j � m q q st m f m

u o m f v p o jw � � � m q q x � | � � �� � � � p o � l g v j y

z m { o qc c

� � a | m � � l � �

� � ? � � I > � � > � @ � ? @ > � H B � � ? @ � H �

� � �   ¡ ¢   ¡ £ ¤ ¥ ¦ § ¨ © © ª «¬ ­ ® ¯ ° ± ² ® ³ ¯ ² ® ¯ ´ µ ² ¶ · ¸ ¶ µ ¹ ± º ® ¸ ° ¯ ¸ ¶ ¹ » ¯ ³ ³ ¼ ° ½ ® ¾

¶ µ ¿ ® ¯ ° ± ² ® ³ ® » ® ¹ ° · µ ¸ ° µ ± ³ ® ² ® » · ¯ À » ® · ¸ ¶ · ¹ ¯ ° µ ² ³ Á¬  ® ³ ° ³ µ ¸ ¹ » ¯ ³ ³ · ¹ à ® ± ° ® ² ³ ¶ ¯ ° ¯ ³ ® ° ¼ ¯ ¸ ¶ µ ° ½ ® ² ³ Á

Ä Å ¯ Æ Ç ® È ¯ ¾ ® ³ É Ê Ê Ë Ì Í ­ ÎÏ Ð Ñ Ò Ó Ô Õ Õ Ó Ö Õ Ó × × Ñ Ø Ò Ù Ú Û Ü Ý ÞÏ Ð Ø Ö Ñ × ß Ñ à Õ Ó Ö Õ Ó × × Ñ Ø Ò Ù Ú Û Ü á ÞÏ â ã ä ä Ø Õ ß å Ó à ß Ø Õ æ Ô à ç Ñ Ò Ó Ù Ú Û Ü è Þ

é ê æ ä ç Ô × Ñ ë Ó × ß ç Ó Ñ æ ä Ø Õ ß Ô Ò à Ó Ø ì í î ï ð ñ ò í ó ô ò õ ó ö ÷ø × æ Ø Ø ß ç Ñ Ò Ö ù ì Ø Õ × ã à à Ó × × ì ã ú ã × Ó Ø ì û Ñ × à Õ Ñ æ Ñ Ò Ô ß Ñå Óæ Ó ß ç Ø û × ø Ò Ø ß ã × Ó û Ñ Ò æ Ø × ß Ó Ô Õ ú ü ý Ð þ ÿ � � � Ø Õ � ù

� � � � � � � � � � � � � � �Ï � � � � � � � � � � � � � � � � � � � ! " # # $ % & ' ( # $ ) * + " , ' % $ - & . + # / , * % * , + 0 1 & * + % + # & + 2 $ & 3 $ # 45 6 # $ ) * + " , 7 + # % $ - & 8 + % $ ' & . + ' & 3 # $ $ & 1 2 , 45 9 + # / : * % & $ # % 1 0 ; $ 1 & " # $ , < . + # / & = ( $ , ' , " ; ; * - $ , ' / 1 , 3 $ , ' $ & > 4

?@ @ A BC D E EF G HI J D K K KK K KL M FN N OF I P QRS QS @S TU V W X Y Z V [ \ ] ^ \ _ ] X \ ` a ] b

c d e fg h i j k l k c m nn o o p q r s jt u v q t u w r s jt u v x f y yz u v {z | v } } ~ �z �� ] W � b � V [ � V � [ \

� � � � � � � � � � J � Q � � B � I G � � � � G � � D � � E A @ R R T � D � � A �

� � � � � � � � � � � � � � � �   � ¡¢ £ ¤ ¥ ¦ ¤ ¥ § ¤ ¨ © ª ¥ « ¬ ­ ® « ¤ ¦ ¤ § ¦ ¯ © ¥ ° ± ² ³ ´ µ µ ¶ · ¸ ¸ ¸ ¹º » ¼ ½ ¾ ¿ À Á  ¾ à  Á Ä ¼ ¾ à Š¾ Ã Æ ¾ Á ¿ Ç È È ¿ ¾ É À Ç Å À Á à ÊË Ì Ì ¬ ¦ ¦ ¬ § Í Î ¤ ¥ ¦ ° Ï Ð Ñ Ò Ð Ó Ð Ô ³ ´ ² Õ Ö Ö × ¹º Ø ¾ Ç Å Ù ¿ ¾ ¼ Á Ä Ú ¾ Ç Â Ã Á Ù Ã Û ½ ¿ ¾ ½ Á ¼ À Å À Á Ã Û ¾ Å Æ ÜË Ý ¬ ¥ Þ ª ¬ Þ ¤ Î © « ¤ ß à ° Ï á â µ Ò ã µ ä å Õ Ö Ö æ ¹º ç è é ê ë é ì í Û î Û é ì ï ð Ü Ø ¾ Ç Å Ù ¿ ¾ ¼ Ç ¿ ¾ é Á ¿  à ñ ò ¿ Ç óÄ ¾ Ç Å Ù ¿ ¾ ¼ Û Ç Ã Â Å ¿ À ò ò ¾ ¿ Ä ¾ Ç Å Ù ¿ ¾ ¼ é Ú À Æ Ú ó Á  ¾ ô¿ ¾ ½ ¾ Å À Å À Á à ¼ Á Ä Å Ú ¾ ¼ Ç ó ¾ é Á ¿  ÜË Ì ¬ ­ à ¯ ¥ Þ ° Ï Ð Ñ Ò Ð Ó Ð Ô ³ ´ ² Õ Ö Ö õ ö ÷ á ´ Ò â á Ò µ Ñ Ð ä ø Õ Ö Ö Ö ù µ Ñ ú ø ¹º û À Å Ú ¾ ¿ ü ý Á Æ Ç ô Æ ô Ç ¼ ¼ À Ä À Æ Ç Å À Á à ¼  ¾ Æ À  ¾ ½ Ç ¿ ¼ ¾ ¿Ç Æ Å À Á à ¼ Á ¿ Ä ¾ Ç Å Ù ¿ ¾ Æ Á Ù Ã Å ¼ Æ Ú Á Á ¼ ¾ Ç ½ Ç ¿ ¼ ¾ Ü

þ ÿ � � � � � ÿ � � � � � � ÿ � � � � � � � � ÿ ÿ �

� � ¾ Ú Ç É ¾ ¼ Á ó ¾ Â Ç Å Ç {( d, c)} Ç Ã Â é ¾ é Ç Ã Å Å Á ½ ô Ç Æ ¾½ ¿ Á È Ç È À ô À Å �  À ¼ Å ¿ À È Ù Å À Á à ¼ Á É ¾ ¿ À Å Ü� � � � � � � � � � � � � � � � � ! � " # " � � � $ � � � P(d,c) # % � $ ! � � �$ � � # & � � � ' � $ ( � � � � ) � � � ( � � � *

+ , $ $ - ! % � � - $ $ � " � $ ! � � � # � $ � . ( � � � � / � � � ( $ � 01 - � $ ! � � # $ � � � 2 ! � 3 - � % . � � � *4 5 6 � � 7 � � � � � 8 9 � � � � � � � � � � ! � " # " � � � $ � � � P(c|d) * , $$ # ) � � $ ( � � # $ # # � � �� � % # % � � � � � � � � % � : $ ( �. � % � � $ � � % # � ! � " # " � � � $ : � 2 $ ( � . � # � � *

+ ; � � � � ) $ � � # & � � � ' � . � % � � $ � � % # � � � ) � � � ( � � � *+ < # ! � � ! $ � � � = # � / � > � � � � � ? @+ A � ! � . � � � � � : ! � � # $ � � $ � . � # � � � 2 � . # $ � � % � ! ! � ! *

Page 3: ACL 2003 - Maxent Tutorial - cs224n...4 % #! . # 2 ! 0 + # 2 : 2! # $-! {f i} . {c}. + 5 % # / ($λ i . 2-! f * + ! # ! = c,d 2 $-! / $ ( 0 vote(c) = Σλ if(c,d ) # c ' Σλ if (c,d

� � � � � � � � � � � � � � � � � 4 � � � % � # ! � . � # � � � 2 � � ! � 0

+ � � # � � � 2 : 2 ! � � 2 � # $ - ! � � � � $ � { fi}$ � . � # � � � � { c}.+ 5 � � � � % # / � � � ( $ λi

$ � � # . ( 2 � # $ - ! � fi*

+ � � ! # # � ! = c,d@ � 2 � # $ - ! � � � � $ � / � $ ( $ ( � � ! / � � � ( $ � 0� vote(c) = Σλifi(c,d)

+ � ( � � � � $ ( � . � # � � c / ( � . ( � # & � � � ' � � Σλifi(c,d) = VB+ � ( � ! � # ! � � # % : / # : � $ � . ( � � � / � � � ( $ �� � � � � � � � � � � ! " � # $ � % � � � � � & ' ( " ) � & $ ) ) " ! " � # � * $ ( � & � + $ � #� % # , � - � " , . � ) " � � . � # " � � � � " � � � ! $ � � � � � � � � & $ ) ) " ! " � $ � " � �

/ 0 1 12 3 4 5 6 / 0 7 82 3 4 5 69 : ; < 9 : = > : ?

@ A B C D E A F G B H A I J K B H H L M L A E HN O P Q R S T S U V W X Y X R Z [ X V S T W \ ] ^ W P T S U ] X R Z V _ U V ` ] a V b b _ c ^ R d T X _ ef g _ T U h T X V S T W \ ` R ^ b V S W U V R S Σλifi(c,d) U R Q \ R d i ` T WQ \ R b W b V X V _ U V ` ^ R d T X e

j k l 1 1 m 2 3 n 4 5 6 n / 0 o p q r s t u v r s w x y u r s t u v r s w z u { s | } ~ � � � �� � y � � � � � � � � � � � � } ~ u { s | x y u r s t u v r s w z u { s | } ~ � � � �� � � � � � � � � � � � � � � � � � � � � � � � � � � �   � � � � � � ¡ � ¡ � ¢ � � £� � ¤ � ¢ ¥ ¦ � � ¡ � § � ¤ ¨ � � � © � �   � � � ª «   ¬ § ¦ � � � §� ­ � ¨ � § � � � � � � ¤ � ¢   � � � ¥ � � � � ¢ ¢ ¦ � � � � � � � � � � � � � � �{λi}

� � � � ® ¯ ° ± ® ± ² ³ ´ µ ³ ¶ · ¸ ¹ ± ´ ± · ¸ ¯ º º ± » ³ º ± µ · · ¹ �   � � �¤ � � � � ¦ ¦ � � ¤ � § � � � � � � � � � ¤ � ¢ ¼

½ ½'

),'(expc i

ii dcfλ=),|( λdcP ¾i

ii dcf ),(exp λ ¿ À Á Â Ã Ä Å Æ Â Ã Ç Å Ã È Æ È Ä Â ÉÊ Å Ë Ì À Í È Î Â Ã Ä Å Æ Â Ã É

Ï Ð Ñ Ò Ó Ô Ò Õ Ð Ö Ó Ò × Ø Õ Ù Ò Ú Û Ü Õ Ù Ù Ý Þ Ý Ò Ó Ùß à á â â ã ä å æ â æ ç è é ê ë å ì â ê é ä ä í å é î á è ï å æ â ð é ñ å òì â î è ì è æ ó á å ð ç å ð â è ó á ç ò â é ç ô í â ï õ ó èö â æ ì é ç é ÷ß ø ç î å æ ï ç í ô î ç ï æ å ç å æ ê ñ î ê é ï ï è ò è î é ç è å æ ï õ ù ô çä í å ù é ù è ê è ç ñ ì è ï ç í è ù ô ç è å æ ï å ö â í î ê é ï ï è ò è î é ç è å æ ï ÷ß à á â í â é í â å ç á â í ú ó å å ì û ü ð é ñ ï å ò ì è ï î í è ë è æ é ç è æ óî ê é ï ï â ï ý þ ÿ � ï õ ù å å ï ç è æ ó õ â ö â æ ä â í î â ä ç í å æ ï �ç á å ô ó á ç á â ï â ë â ç á å ì ï é í â æ å ç é ï ç í è ö è é ê ç åè æ ç â í ä í â ç é ï ì è ï ç í è ù ô ç è å æ ï å ö â í î ê é ï ï â ï ÷

� � � � � � � � � � � � � � � � � � �

� � � � � � � � � � � � � � � � � ! � " � � # $ � " % # � � � � $ � % � � � � &' ( � ! � � � � ) * � % ! � $ " � � + � , � � " � � ) # � �- + � � $ � � * " � � . / ! � % ! / � / � * # + # � 0 � � * � � � 1 " � + � % � � � ! � " � � " � � ) # � - ! � % # � � � . &' 2 ! � � � � � � � � � � � � # � 0 � # � ! � � + � � � " % # � � � � �� � &

c

φ1 φ 2 φ 3

=),|( λdcP ∏i

i cPcP )|()( φ3∏

'

)'|()'(c i

i cPcP φ

45678

9+ :

ii cPcP )|(log)(logexp φ

; ; <=>?@

A+

'

)'|(log)'(logexpc i

i cPcP φ

BCDEF

G Hi

icic cdf ),(exp λ

I I JKLMN

O'

'' )',(expc i

icic cdfλ

P Q R S T U V Q W T X Y X Z [ X \ Q ]T ^ _ ` ] T ] \ Y Q a b ` c T a d

e f g h i j k l f m n f o i p q r s t i u r l

v w x y z { | } ~ { � � | � � y { y � � y � � y � � y y � � ~ � � y �� ~ � y � ~ � � } ~ � y � � } � � y � � ~ { y �� � � � � � � � � � � � � � � � �

� �   ¡ ¢ £ � ¤   ¤ ¤ ¢ ¥ � ¦ ¡ §¤ ¢ ¨ ¨ © ª « ¬ ¦ � ¨ � ¬ ¦ � ¬ ¡� ­ « ¦ � ¬ ® � ¯� �   ¡ ¢ £ � ¤ ° � « ± ² ¡ ¤ ¡   ³ �´ �   ¡ ¢ £ � ¦ � ¨ � ¬ ¦ � ¬ ® � « ¬ ¡ §  ® ® § ¢ ¬ ¡ ¯� �   ¡ ¢ £ � ° � « ± ² ¡ ¤ ®   ¬ µ � ¤ � ¡« ¬ ¦ � ¨ � ¬ ¦ � ¬ ¡ © ª ¯ � �   ¡ ¢ £ � ° � « ± ² ¡ ¤ ¥ ¢ ¤ ¡ µ �¥ ¢ ¡ ¢   © © ª � ¤ ¡ « ¥   ¡ � ¦ ¯

� �   ¡ ¢ £ � ¤ ¥ ¢ ¤ ¡ µ � § ´ ¡ ² �® § ¬ ¶ ¢ ¬ ® ¡ « ­ � ·(d) ∧ c = ci´ § £ ¥ ¯

� �   ¡ ¢ £ � ¤ ¬ � � ¦ ¬ § ¡ µ � § ´ ¡ ² �® § ¬ ¶ ¢ ¬ ® ¡ « ­ � ´ § £ ¥ ¸ µ ¢ ¡¢ ¤ ¢   © © ª   £ � ¹ ¯

º £   « ¬ � ¦ ¡ § ¥   » « ¥ « ¼ � ¶ § « ¬ ¡© « ³ � © « ² § § ¦ § ´ ¦   ¡     ¬ ¦® ©   ¤ ¤ � ¤ ¯º £   « ¬ � ¦ ¡ § ¥   » « ¥ « ¼ � ¡ ² �® § ¬ ¦ « ¡ « § ¬   © © « ³ � © « ² § § ¦ § ´® ©   ¤ ¤ � ¤ ¯

½ ¾ ¿ À Á Â Ã Ä Å Ã Æ Ç È É Ç

Ê Ë Ì Í Î Ï Ð Ñ Ò ÓÔ Õ Ö × Ø Ù Ú Û ÜÔ Õ Ö Ý Þ × Ø Ù Ú Û ßÔ Õ Ö Ý Þ à Ø Ù á Û ß

â ã ä å ä å æ ç è å å é

ê ë ì í ì í î ï ð ñ ò ó ê ë ì í ì í ô ï ð õ ò ó

ö ÷ ø ù ú û ü

ê ë ý í ý í î ï ð õ ò ó ê ë ý í ý í ô ï ð ñ ò ó

â ã ä å ä å æ þ

ÿ � ÿ �

� � � � � ÷ ù Õ Ñ � � Î Ï Ð Ê Ò ÓÔ Õ Ö à Ý Ý Ø Ù Ö � Ø Ö � Ø Ö � ØÔ Õ Ö × Ý Ý Ø Ù Ö � Ø Ö Ø Ö ØÔ Õ Ö à Þ Ý Ý Ø Ù � Û Ú �Ô Õ Ö × Þ Ý Ý Ø Ù Ú Û Ú �

Page 4: ACL 2003 - Maxent Tutorial - cs224n...4 % #! . # 2 ! 0 + # 2 : 2! # $-! {f i} . {c}. + 5 % # / ($λ i . 2-! f * + ! # ! = c,d 2 $-! / $ ( 0 vote(c) = Σλ if(c,d ) # c ' Σλ if (c,d

½ ¾ ¿ À Á Â Ã Ä Å Ã Æ Ç È É Ç

Ô Õ à � � � � � Ó Ê Ë � � � � � � � � � × � � � � � � � � � �

Ô � � � � � � � � � � � � à Ó� � � � � � � � � � � � � � � (M1,…Mn,R) � � ! " � � # � � $ %

& fri: Mi=+, R=r ' ( ) * + , - λλλλ . /& fsi: Mi=+, R=s ' ( ) * + , - λλλλ 0 /� � 1 2 3 λλλλ . / 4 λλλλ 0 / 5 � $ ! � " � 6 � � � 7 � � � 8 � # $ � P(+|r)/P(+|s)� 9 : # � 7 $ � � � � " : � � 7 8 ; < � � � � � : � ; = > ?� 9 : � 6 � # $ � � " � � � � � ; < @ A fri] � � # � � : � " � � ! � 8 ! � �

! � 7 ! � � � 8 � � " ; B C D

)|(

)|(...

)|(

)|(

)(

)(

)...|(

)...|(

sP

rP

sP

rP

sP

rP

sP

rP

++

++=

++++

E F G H I J K L M N O I J P Q R N S

T U V W X Y Z [ \ ] U ^ V T U V W X Y _ \ [ ] ` ^

a b V c \ c d e f g h i a b \ c V c d e f g h i a b \ c \ c j e f k h i

Z [ \ ] U ^ V l

m n o Z

p q r s t u v

w u x v y z {

| } ~ � � � � � � �� � � � � � � � �� � � � �� � � � � �� � � � �� � � � � �

� � � � � � � � �� � � � � � � � �� � � � � � � � �

E F G H I J K L M N O I J P Q R N S

� � � � � � � � � � � � � � � � � � �   � � � ¡ � � � � � ¢ � � � � � � � � � � £¤ ¥ ¦ § ¨ © ¨ © ª « ¦ ¬ ­ ® ª ¦ ¬ ª ¦ ¬ ª « ¬ ­ ® « ¯ ­ ° ±¤ ¥ ¦ ² ¨ © ¨ © ª « ¦ ³ ­ ® ª ¦ ¬ ­ ° ª ¦ ¬ ­ ° ª « ³ ­ ° ± « ³ ­ ° ±¤ ¥ ¦ ² ´ © ¨ © ª « ³ ­ ¬ µ ¶

� � � · � � � ¸ � � � � � � � � � ¹ � � ¢ ¡ � ¢ º � � � � � ¢ � � � � � � � � � � » ¢ ¡ � ¼

� ½ � � � ¢ ¡ � ¢ ¾ � � � � � � � � � � � � � � � � ¢ � � � � ¹ � � � � � �¤ ¥ ¦ § ¨ © ¨ © ª « ¦ ¬ ­ ° ª ¦ ¬ ª ¦ ¬ ª « ¬ ­ ° « ¯ ­ ±¤ ¥ ¦ ¿ ¨ © ¨ © ª « ¦ ¬ ­ ° ª ¦ ¬ ­ ° ª ¦ ¬ ­ ° ª « ¬ ­ ± « ¬ ­ ±¤ ¥ ¦ ² ´ © ¨ © ª « ¬ ­ À ¶

� � � � ¡ � ¢ ¡ � � � � Á � � � � � � � � � ¹ � � ¸ � � � º � ¡ � ¢ � ¢ � ¡ � �� º º ¸ � � º   � � � � � �  Á � ¡ � � � ¾ � � � � � ¢ » � � ¢ � � � � ¼

E F I O Ã K Ã N P G J Ä O Å K J Æ P Ç K J P R O O Å

� È �  ¢ � ¸ � É ¢ » � � ¢ � � � � � � � ¡ � ¢ � ¢ � ¡ � � � È � � � � � �¤ Ê Ë Ì Í Î Ï Ð Ñ Ò Í Ó Ô Ñ © Ð ¨ Õ Ö Ñ Ñ × Í Ì Ï Ó Ø Í × Ñ ÔÙ Ï © Ï Ð Í Ú Í © × Ú Ñ Ð Ï Û Ë Ð Ë Ü Í Ú Ö Í ¦ Õ Ñ Î Ò Ë Ú Ë Ñ Î Ï Ó ª

Ó Ë Ý Í Ó Ë Ö Ñ Ñ Ò Ñ Ô Ú Ö Í Ò Ï Ú Ï Þ

� ß Â Á � ¡ � ¡ � ¢ � � � � � � � ¾ � � � ¹ ¾ � � � � � � � � � � � � ¹ à � �

áá∈∈

==),(),(),(),(

log),|(log),|(logDCdcDCdc

dcPDCP λλ â â'

),'(expc i

ii dcfλ

ãi

ii dcf ),(exp λ

ä å æ ç è æ é ê ë ì ë í î é ï ì ð è î ç

ñ ò ó ô õ ö ó ô ó ÷ ø ù ú ó û ü õ ö ý õ þ ÷ ø ÿ ú ô ù ö þ ø õ ÿ ö û � ÿ � ó ú ý ÷ ø ÷� ÿ õ ö ø û �� � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � �

� � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � �� � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � �

� � � �

ñ � ÿ ú ÷ ö � õ � ó ö ô ó ÷ ø ù ú ó ! ó õ " ø û # ! ó ! ÷ ö ø ø ÿ $ ó ÷ $ % ó ø ÿþ ÷ % þ ù % ÷ ø ó &� ' � � � ( � � � � � � � � � ) � � * � � � � � � �� ' � � � � � � � � � � � � � � � * � � � � � � � � � � � � � � � � � � � � � � � �

+ , - . . / 0 . 1 2 3 2 4 5 6 - 5 7 . 3 1 8 7 . 3 2 9 : . 3 1 1 5 : ; 4 6 < 2 5 2 8 . = 5 ; . >? @ A B C D E F G H D A I J I K F L D J M F N F A O E D P Q B F R D H L M D S T

U V W X Y Z W [ Y V \ \ ] ^ _ [ ` W

a b c d e f g h i j g k l m n m g k o f f m p d f m c g g l m q o r s k j n m g k g r n c d m m l l o n oeC,Di o k l n c d t o u o v d n d u q λ w

a x r n c d u d o u d k y n v o k z { o f s d q g r | } m n y q d o q z n g j o f j s f o n d w

a ~ d j o k q d t o u o n d n c m q m k n g n � g j g v t g k d k n q w

� � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � �

�∏

∈∈

==),(),(),(),(

),|(log),|(log),|(logDCdcDCdc

dcPdcPDCP λλλ

�∈

=),(),(

log),|(logDCdc

DCP λ � �'

),(expc i

ii dcfλ

�i

ii dcf ),(exp λ

� � �∈ ),(),( '

),'(explogDCdc c i

ii dcfλ� �∈ ),(),(

),(explogDCdc i

ii dcfλ −=),|(log λDCP

)(λN )(λM=),|(log λDCP −

Page 5: ACL 2003 - Maxent Tutorial - cs224n...4 % #! . # 2 ! 0 + # 2 : 2! # $-! {f i} . {c}. + 5 % # / ($λ i . 2-! f * + ! # ! = c,d 2 $-! / $ ( 0 vote(c) = Σλ if(c,d ) # c ' Σλ if (c,d

� � � � � � � � � � � � � � � � � � � �

i

DCdc iii dcf

λ

λ

∂=

� �∈ ),(),(

),(

� �∈ ∂

∂=

),(),(

),(

DCdc i

iii dcf

λ

λ

�∈

=),(),(

),(DCdc

i dcf

i

DCdc iici

i

dcfN

λ

λ

λλ

∂=

∂∂

� �∈ ),(),(

),(explog)(

� � � � � � � � � � � � � � � � � � � � � � � � ! " � � � � # � � � $ � % $ � � � � & ' ( ) * +

, - . / . 0 1 2 3 4 1 2 . 5 5 6 / . 7 8 9 1 7 3 4 8 0

i

DCdc c iii

i

dcfM

λ

λ

λλ

∂=

∂∂ : : :∈ ),(),( '

),'(explog)(

; ; ;; ;∈ ∂

∂=

),(),(

'

''

),'(exp

),''(exp

1

DCdc i

c iii

c iii

dcf

dcf λ

λ

λ

< < <<< <∈ ∂

∂=

),(),( '''

),'(

1

),'(exp

),''(exp

1

DCdc c i

iii

iii

c iii

dcfdcf

dcf λ

λλ

λ

i

iii

DCdc cc i

ii

iii dcf

dcf

dcf

λ

λ

λ

λ

∂=

== = = ==

),'(

),''(exp

),'(exp

),(),( '''> >

=),(),( '

),'(),|'(DCdc

ic

dcfdcP λ ? @ A B C D E F B C E G H I F J K L M λ N

O P Q R Q S T U V W T U Q X X X

Y Z [ \ ] ^ _ ` a b a ^ c d c a \ _ \ d e c d \ _ [ \ ] f \ e g ] d h [ ` i [\ c i [ g \ c _ b d \ j e ^ d \ k ` i _ \ k \ l ^ \ i _ c _ ` ] f \ m b c n e ` _ e\ a ^ ` d ` i c n \ l ^ \ i _ c _ ` ] f o Z [ \ ] ^ _ ` a b a k ` e _ d ` p b _ ` ] f ` e qr s t u v w x y z { | y } ~ � y � � v � v � } � } � x � v w z � � � } y z { | y } Nr s t u v w x } � { x � x ~ { � � } v � y � } � � y z � x v � } � � � � v � � y v t � v � v N �Y Z [ \ e \ a ] k \ n e c d \ c n e ] i c n n \ k a c l ` a b a \ f _ d ] ^ �a ] k \ n e p \ i c b e \ h \ g ` f k _ [ \ a ] k \ n [ c � ` f � a c l ` a b a\ f _ d ] ^ � c f k e c _ ` e g � ` f � _ [ \ i ] f e _ d c ` f _ e q

=∂

i

DCP

λλ),|(log

),(countactual Cfi ),(countpredicted λif−

jfEfE jpjp ∀= ),()( ~

� T W W T � � W P Q � � � Q �� � � � � � � � � � � �   � ¡ � � �   ¢£   � � � � ¤ � � � � ¥ � � � � � � � � � ¦ ¦ � § ¨ ¦ � © � ¦ � � � � � � � � � ��   � � � � � § � � � � � � � ¡ � ª � ¡ � « � � �

¬ � � � ¦ � § ¨ ¦ � © � ¦ � � � � � � ¢ ¥ � � ¥ � ­ � � � � � � ¢ �¢ � � § ¦ � ¡ � ª � ¡ ¤ ¡ ® ¤ ¢ � ¯ � ¤   � � ­ �   � � �� ¤ ¡ �   � ¥ � ¦ � � � � ¡ � « � � � � � � � ¥ © � § �¬ ° � � � ¦ �   § � ¢ ¥ � ¦ � � � ¥ � � � ± ¤ � ¢ ² ¥ � � ³ ¤ § � � �§   � � � � � � �   ¦ � ¡ � � � � ¡ � ¡ �   ¯ ± ¤ � ¢ � ¨ ´ � £ � � �

321 ,, λλλ

)|(log)(1

i

n

ii dcPDCLogLik µ

=

=

¶ · ¸ ¸ · ¹ º ¸ » ¼ ½ ¾ ¿ ¼ ÀÁ ¼ ¹ ¼ Â Ã À · Ä ¼ ¿ Å ¸ ¼ Â Ã ¸ · Æ ¼ Ç È Ã À · ¹ º

¬ É ¢ � ¡ � ¦ � � � � � ¡ � « � � � � � � ¦ § �   � � � ¡ £ � � ¥ �£ �   © ¢ £ � � � � � � � � � � ¤   � ¢ �   � � � � ¨ � � § � � � ­ �¬ Ê � � � � � � � � � � � � � � ¢ ¦ � ¥ © � � � � ¤   � � � ¡ � © �� � � � � � � ¤   � ¢ ¢ ¤ ¡ � � � ¥ � � ¢ � � � � � ­ �   � ¦ ¦¥ � � ¢ � � �   � � � � �   ¢ �   � ¡¬ Ë � � � � �¬ É � � � � £ � � � � ¤   �

CD×

),(max1

,cdfM i

m

jj

ci Ì=

=

),(),(1

1 cdfMcdfm

jjm Í

=+ −=

Á ¼ ¹ ¼  à À · Ä ¼ ¿ Å ¸ ¼  à ¸ · Æ ¼ Ç È Ã À · ¹ º¬ Î � ¡ � ¤ � � � ¡ � �   � ¥ � ¦ � ª � � ¥ � � � � � � � �   � ¦ ¦ � � � � ¤   � ¢¬ Ï � � � � � ¦ � « �¬ Ð � � � � �Ñ Ò Ó Ô Õ Ö × Ø Ù Ø Ú × Ö Û Ø Ø Ü Õ Ø Ý × Ú × Þ Ó ß à Ú Ý Ý Ó Û á Þ ß â × Ó Ý Ö Û Û Ø ß ×Ô Ó á Ø ã

ä å æ ç è é ê æ è ë è ì ê é ê ë íî ï ð ñ ò ó ô õ ð ö ÷ ø ù ÷ ú

1...1,0 +== mjjλ

),(1

)(1

~ ii

n

ijjp cdf

NfE û

=

=

),()|(1

)(1 1

kij

N

ii

K

kkj cdfdcP

NfE tp ü ü

= =

=

ýýþÿ

��

+=+

)(

)(log

1 ~)()1(

jp

jptj

tj fE

fE

M t

λλ

Page 6: ACL 2003 - Maxent Tutorial - cs224n...4 % #! . # 2 ! 0 + # 2 : 2! # $-! {f i} . {c}. + 5 % # / ($λ i . 2-! f * + ! # ! = c,d 2 $-! / $ ( 0 vote(c) = Σλ if(c,d ) # c ' Σλ if (c,d

� � � � � � � � � � � � � � � � �� � � � � � � � � � � � � � � � � � � ! "# $ % & ' % ( ) * ' & + * , - & * % . ' % - & & / 0 + 0 1 2 % ' & % ( & / 0 23 0 + 4 ' 5 * 6 0 ) 1 ' 5 0 7 * ( * 7 1 % 3 0 + ( * & 8# 9 0 : ; . & ; ) * ' & + * , - & * % . : / * 7 / * ' - . * ( % + 20 < 7 0 5 & * . ' 5 0 7 * ( * 7 : ; 4 ' : 0 + 0 = - * + 0 8# > . * ( % + 2 * & 4 2 0 ; . ' / * ? / 0 . & + % 5 4 @ : 0 7 ; .' 0 ; + 7 / ( % + ) * ' & + * , - & * % . ' : / * 7 / / ; 3 0 5 + % 5 0 + & * 0 ': 0 ) 0 ' * + 0 1 , - & ; A ' % / ; 3 0 / * ? / 0 . & + % 5 4 8

B � � � � � � � C � � � � � D � � � � � E " � ! � � � � � � � � � � E � F � G � H � � � I � � � � � J� K � � � � � F E � � L � � � � � � � � � E M N H � � � � � H � O P "# Q 3 0 . & x# R + % , ; , * A * & 4 px# S T - + 5 + * ' 0 U log(1/px)� D � � � � � E " � V � � � � G H � � � � � H � M � � � � pP "

W−=

xxx ppp log)(H

XYZ[\

]=

xp p

Ep1

log)(H ^ _ ` a b c d e a f a gh ` g i j b _ k l i m a bd ` l m d m a l _ ` a b npHEADS

H

� � � � � � � � � � � � � op q r s t u v w x w s y t z { v | s u } ~ t { } � � t } v y �� � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � �� � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � �p � v � � t } v y � | s � } | }   x x y t { v ¡ ¢ H £ ~ � � ¤ x ¥ t t vz x s t � { x ¦ � s ~ x u ¥ v y ~ t { s } y t ~ �

p § u u } y ¨ ¥ v y ~ t { s } y t ~ © z x s t � { x ~ ª �� « � ¬ � � � � � � � � � � � � � � � � �� � � � � � � � � � � � � � � � ­ � � � ® � � � � � � � � �� ¯ � � � ° � � ® � � � � � � � � � � � � � � � � � ® � � � � � � � � � � � � �� ¯ � � � ° � � ® � � � � � � � � � � � � � � � � � � � � � � � � �

[ ] [ ]ipip fEfE ˆ= ±∈

=ifx

ix Cp

² y ¥ v y ~ t { s } y x u £| s � s t ³ ´ µ

¶ v y ~ t { s } y t t r s tpHEADS = 0.3

· ¸ ¹ º » ¼ ½ ¹ ¸ ¾ ¿ À º Á Â ÂH(pH pT,) pH + pT = 1 pH = 0.3

- x log x

1/e

· ¸ ¹ º » ¼ ½ ¹ ¸ ¾ ¿ À º Á Â Â ÂÃ Ä Å Æ Ç Ç È É Ê Å Ë È Ì Å Æ Ë Å Í Î Ï Ï Î Ê Ð Ñ Ò Å Ì Å Ñ Æ Ç Ó È Ô Å ÕÃ Ö È Ñ × Æ Ë Å Í Î Ï Ï Î Ê Ð Ñ Ò Å Ø Ó Ð Ù Ð Ô È Ï × È Æ È ÕÃ Ú È Û Ð Ø Ð Ü Å Ý ÕÃ Ö Ê È Ñ Æ Ó Ù Î Þ È Þ Ð Ï Ð Æ Ð Å Ç Õ ß à á á â á á ã â á á ä â á á ä ã â å æ ç â å æ è é ê ë

å æ èå æ çá á ä ãá á äá á ãá á

ì í îì í îì í îì í îì í îì í îì í ïì í ïì í ïì í ïì í ïì í ï

ìðì ðì ìñð

ò ó ô õ ö ÷ ø ô ó ù ú û õ ü ý þÿ � � � � � � � � � � �ÿ � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � f� � � �

� � � � � � � � � � � � � � f� � � � � � !

ÿ " � � � # � � # � � � � � � � � � � � � � � � � � $ � � � � � � � � � � � � � � � � � � �� � � � � � � f % � � � � � � � � � � � � � � f % � � � & � !

ÿ " � � � � ' � ( � � # � � � � � � � ) � � � � � � � ' � � � * ) * + , � � � � � ) � � � � � � � �� � � � � � � � ) � � � � � � � ) � ' � � - � * # ' � � � ' � � � � � � � � - � � + � , # � � *

. / 0 1. / 0 12 / 0 12 / 0 12 / 0 12 / 0 1

. / 0 1. / 0 13 . / 01

3 . / 01

4 / 0 14 / 0 1

� 5 6� 5 7 � � � �

Page 7: ACL 2003 - Maxent Tutorial - cs224n...4 % #! . # 2 ! 0 + # 2 : 2! # $-! {f i} . {c}. + 5 % # / ($λ i . 2-! f * + ! # ! = c,d 2 $-! / $ ( 0 vote(c) = Σλ if(c,d ) # c ' Σλ if (c,d

� õ ó ÷ � � õ � � õ � û ó ú� � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � �� � � � � � � � � � � ! � � � � � � � � � � " � # � � � � � � � $

%&' %&( )*

% + ,% + ,' % + ,% + ,( )*- . / 0 1 0 2 ) 3 * 3 3 4 %

'( )*

% + 5% + 6' % + 5% + 6( )** 4 & + 6'( )*

% + 5% + 6' % + 5% + 6( )** 4 & + 6'( )*

'( )*λ 7' λ 7( )*

λ 8 9 : λ 8 8 9' λ 8 9 : λ 8 8 9( )*

; < = > ? @ A B C ; D E F A G @ = ?

H I J KH I L MN O P QR S T U V W X W T Y Z [ S V \ ] H I J KO H I L ^Q O P Q OP QR S T U O Z [ S O _ T Q W V \ ]

` a b cd e a f cg h i j k lm n o p qr n o q ns r t r u tv

o w x y x z r { r | } ~ w � �

n o � �n o p nu t� } ~ ~ z � x w � � � y x } ~ zr n o � qr n o � n

sx � z ~v ~ z � � � } w w x y x z n o � �r n o � n

� � � � vv ~ z � y � � | } ~ x y � w n o � �n o � �� � v� } ~ ~ z � x

v s �x y �

r n o n �n o � �� ��

z � � � � � � � � � � ~ y � n o n nn o n �� � � � �� } ~ ~ z � x � � ~ � n o � �r n o � �

� �v ~ z � � � } w � � ~ �� � ��   ¡ ¢£ ¤ j i ¥ ¦ ¤£ ¤ j i ¥ ¦ ¤ g § ¨ ¤

© ª© ªª« ¬ ­ ® ® ¯® ® ¯° ®± ² ­ ³ ´ ² µ¶ · ² ¸ ¹² º» ´ · µ ¼ ¼ ¼¼ ¼ ¼½ º ¾ ¹ ·« º ² º ¹ ® ¹ ª º¿ À ·¯ · ¹ ÁÂ Ã Ä Å Æ Ç Ã È É Ê Ë É

Ì Ê Å É Í Î Ê Ï Ê Ð Ñ Ò É ÓÔ Õ Ö × Ø Ù Ú × Û Õ Õ Ø Ü Ö Ý Ø Þß Ù Ý à á â ã ä å æ ç è é ÝÞ Û Ø Ú ê Û Ý Ö Þ Þ ë é × àØ ì Ù Þ Ø ê × Ø Û ê Ý Û í Û îÖ Ü Õ Ø Ö Þ ï ð ê Û ß Ù ê ñí Õ Ø î Ù ò î Ø Ö Ý é Õ Ø Ú ó

ô õ ö ÷ ø ù õ ú û ÷ õ ù ö ü ÷ ý þ ûÿ � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � �� � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � �

������ ��

� � � � �� � � � � ��

! " # $ % $ & � '� ' ' ( �

�� ��

� � )� � *�� � )� � *� ��

� ( + � *�� ��

� � ,+ � ,� + � , � ,� ��� ( + � *

�� ��

������ ��

λ -� λ -� ��

λ -� λ.λ/ 0 λ 1� ��

2 3 4 5 6 7 3 8 9 5 3 7 4 : 5 ; < 9

= > � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � ?

= @ � � A � � � � � � � � � � � � � � � � � � � � � � � � � � � � � B � � � � C ?

������ ��

! " # $ % $ & � '

� � )� � *�� � )� � *� ��

� ( + � *�� ��

� � ,+ � ,� + � , � ,� ��� ( + � *

�� ��

�� � *�� � *� � *� ��

� � ( � � *�� ��

�� ��

�� � *�� � *� � *� ��

2 3 4 5 6 7 3 8 9 5 3 7 4 : 5 ; < 9

D E F G H I J H K L M N O P H I J K Q R K S O M J O M Q Q K I L T I U M H Q K LQ R N R K Q R K S Q V K R K Q Q R N L U N O U R I U I N J O M M U WQ R M X Y K Q M Q M N O S Z I [ M O R Z M Q X N S M I \ N H HX I Q Q K ] H M K L R M O N S R K I L R M O T Q ^

_ ` Z K Q S I T ] K L N R I O K N H Q X N S M K Q M a X I L M L R K N H K LQ K b M V ] c R R Z N R d Q I e N W N Q T I Q R Q R N R K Q R K S QT I U M H Q I L H W Z N [ M f g h \ M N R c O M Q ^

_ i L j k l V I c O T I U M H Q S I T T I L H W c Q M Z c L U O M U QI \ R Z I c Q N L U Q I \ \ M N R c O M Q V Q I R Z N R d Q L I R I e N W ^

_ m I T T I L H W V K L R M O N S R K I L R M O T Q N O M N U U M U ] WZ N L U ] N Q M U I L H K L J c K Q R K S K L R c K R K I L Q ^

n o p q r s t u v n w x y z t { p | z } ~ y

� � � �� � � �� � � �� � � � � � � � � � � � � � � �� � � �� � � � �� � � � �� �� � � � � � � � � � � � � � � �

� � � �� � � � �� �   ¡ ¢ £¤� � � ¥� � � ¥ �� � � � � �� � � � � � � � ¦ � � � � � � �

� � § �� � � �� �¨ � � � � � � � � � � � � � � �� � � � ¥� � � � �� � © � �� � � � � ª � � � � � � �� � « §� � � « �¬ ­ ­ ­ �� � � � � � ® � � � � � � �� � § ¯� � § �­ ­ �¨ � � � � � � � � ° � � �

� � � � §� � § ¯± ²³ � � � � � � � � ´ � � � � µ� � � �� � � �² ¶ · ¸ ¹¨ � � � � � � º ª � ®� � � §� � � � �· »� � � � � ª � � º ª � ® ¼ ½ ¾

¿ À Á ÂÃ Ä ¡   Å Æ ÄÃ Ä ¡   Å Æ Ä � Ç È Ä

É ÊÉ ÊÊË Ì Í Î Î ÏÎ Î ÏÐÎ

Ñ Ò Í Ó ÔÒ ÕÖ × Ò Ø ÙÒ ÚÛ

Ô× Õ Ü Ü ÜÜ Ü Ü

Ý Ú Þ Ù ×Ë Ú Ò Ú Ù ÎÙ Ê Úß à ×

Ï× Ù á

â ã ä å æ ç ã è é ê ë é

ì ê å é í î ê ï ê ð ñ ò é óÏ

× Ù á ÌÔ

à ô õ ô Ú Ò Ú Ù Ò ö Õ Ø à × × Ù ö Ú õô Ì Í ö Ò Ú à × Ù Þ Ò á Ù Ì ö Ú Ù × Ò Ø Ú ÌÔ

ö ô ÷Ù ø Í øÏ ù Ï ú Ó

Ë õ ßù

É Ê Ì ö Õ Ì Ø Ò Ú Ù ôßù Ï ú Ó

Ë û à Ø Þ ûÔ

× Ù ô Ú ×Ô

ö Í ü ýÚ Þ Ò ö ßù

É Ê Ò ö ÕÏ ù Ï ú Ó

ËÌ ö Õ Ù þ Ù ö Õ Ù ö Ú ü ý øÑ Þ Ì ô ÿ Ù Ò Ú à × Ù Ú ý þ Ù Ò ü ü

Ô �ô Ú Þ Ùû

ÔÕ Ù ü Ú

ÔØ Ò þ Ú à × Ù Ú Þ Ì ôÌ ö Ú Ù × Ò Ø Ú Ì

Ôö ø

Page 8: ACL 2003 - Maxent Tutorial - cs224n...4 % #! . # 2 ! 0 + # 2 : 2! # $-! {f i} . {c}. + 5 % # / ($λ i . 2-! f * + ! # ! = c,d 2 $-! / $ ( 0 vote(c) = Σλ if(c,d ) # c ' Σλ if (c,d

� s p � � } � } | p z } ~ y

� � � � � � � � � � � � � � � � � � P(X) � � � � � � � � � � � � � � � � � � � � � P(C|D)�� � � � � � � � � � � � � � � C×D � � � � � � � � � X �� C � � � � � ! " # # $ � % " # # & � ' � ' ( ) * + , , - . / � 0 0 # " � � � � 12 D � � � � � ! " # # $ 3 4 � � & � ' � ' ( 4 % 5 � ! . 6 7 . 0 4 % � - � 1� � � � � � 8 � � � 9 � � � � � � � 8 : ; � � � � � � � � 9 P(C,D) �� � � � � � � � � � � � � � � � � � � ; � � � � � < � � � � � � � � � � � �� � � � ; 9 � � = � � 9 C×D > ?

� @ � � � 9 � � � A � � � 9 � � � � � � � ? � � � B � � � ; � � 9 � � � d� � � � � � � � � � A �

X

C×D

D

C

C∈

=),(),(

),(),()(DCdc ii dcfdcPfE

D E F G G H I H J F K H L M N N

O D � � A : � � ; < � 9 � � � � � � � � 8 : ; � � � A � � � � d � � ; 9 � � ; 9 � � � �� � � � � � � � � � � � � � � � ; 9 � � 9 � � � � d � � � � � � 9 � � � � � � � � � � � � � � � � � � � � � � ; 9� � � � 9 � � � � � � � �

� P � 8 � � � � � � 9 � � � � P(c,d) � � � � : � Q � 9 �� � � � � � � � � 9 � � 9 � ; � � � � � � ; � � � � � � � 9 � ; � :

)(ˆ)()( dPdPDd =∈∀

R∈

=),(),(

),(),()(DCdc ii dcfdcPfE S

>∧∈=

0)(ˆ),(),(),(),(

dPDCdc i dcfdcP

D

C

T U V W W X Y X Z V [ X \ ] ^ ^ ^

_ ` a b c d e f gh f i j k l b m n c k f o b p f D q n m r c k n s l

b p f k b p f j k s t b p c k r b p n b i n k h n m t c l b p f i j k o c b c j k n so c l b m c u a b c j k l v

_ w p c l c l b p f i j k k f i b c j k u f b e f f k x j c k b n k o i j k o c b c j k n sq n y f k b z f y { j k f k b c n s q j o f s l v| } ~ � � � � � ~ � � � � ~ � � � � � � � � � � � ~ � � � � ~ � � � � ~ � � � � ~ � � � �� � � � � � � � � � � � � ~ � � � � � � � � � �_ � n y c q c � c k r x j c k b s c � f s c p j j o n k o i j k o c b c j k n ss c � f s c p j j o j d b p f o n b n c k b p c l q j o f s n m f f � a c h n s f k b �

)(ˆ)|(

)()|(),(

dPdcP

dPdcPdcP

=

=

)(ˆ)()( dPdPDd =∈∀

� � \ \ [ � X ] � � ^ W W � � W \ Y � Z V U �

_ � j b l j d d f n b a m f l v| �   ¡ � � ¢ � � � � ~ � � � � � � � � � £ � ~ £ � � ¤ ¥ � � � � � � � � �| ¦ £ � � � � ~ � � � � � � � � � � � � � � � § ~ � ¨ � � � � � � � � £ � � � � � � � �� � £ � � � � � � � � � � � � � � � � ~ � § � ~ � � �

_ � j b l j d l { n m l c b t v| © £ � � � � � � � � � £ � � § � � � § ª � � � � � � ~ ~ � � � � � «| ¥ � � § � � � � � � � � � � � � � � � � � � � � � � � � � � � � £ � � ~ � � � � � � � � � � �� � � � � � � � �

_ ¬ { b c q c � n b c j k { m j u s f q l v| ­ � � � � � � � � � � � � � � � � � � � � � � � � � � ® � � � � � � � � � � £ � � ~ � £ � � �� � � � � ¯ � � � ~ � � � � � � � ~ � � � � ~ � � ~ � � � � � � � � � � � � �

� � \ \ [ � X ] � � ^ W W � � W

° ± ² ² ³ ´ µ ¶ · µ ¸ ¹ º º ¹ » ¼ ½ ¾ µ ´ ¿ ¼ À ¼ Á Â º Ã ¼ ² ¶ À ¼ Ä ³ ¶ ¼ ¹ ½ Å

° Æ µ Â ¶ ³ À µ ² Å Ç È µ Â Ã ² É Ê Ç Ë Â ¼ º ² É° Ì µ Í º º · Â Î µ ¶ · µ ¸ ¹ º º ¹ » ¼ ½ ¾ ´ ¹ Ã µ º Ã ¼ ² ¶ À ¼ Ä ³ ¶ ¼ ¹ ½ Å

° Ï µ  º ºÐ Ê ¹ ½ º Ð ¹ ½ µ à µ ¾ À µ µ ¹ ¸ ¸ À µ µ à ¹ ´ Ñλ Ò λÓ Ô λÕ Ö

th

× Ø Ù Ú ÛÜ Ý Ø Þ Û

TH

H

HEADS λλ

λ

ee

ep

+=

TH

T

TAILS λλ

λ

ee

ep

+=

0HEADS TTTH

TH

ee

e

eeee

eep

+=

+= −−

λ

λ

λλλλ

λλ

0

0

TAILS ee

ep

+= λ

λ

ß à á á â ã ä å æ ç è é é ê ë é

ì í î ï ð ñ ò ñ ó ô õ ï ó ô î ö ö ð ô ÷ ò î ô ø ù ö ð ï ó ô ø úTAILSHEADS loglog)|,(log ptphthP +=λ)1(log)()|,(log λλλ ehththP ++−=

22

× Ø Ù Ú ÛÜ Ý Ø Þ Û13

× Ø Ù Ú ÛÜ Ý Ø Þ Û04

× Ø Ù Ú ÛÜ Ý Ø Þ Ûλ λ λ

log P log P log P

Page 9: ACL 2003 - Maxent Tutorial - cs224n...4 % #! . # 2 ! 0 + # 2 : 2! # $-! {f i} . {c}. + 5 % # / ($λ i . 2-! f * + ! # ! = c,d 2 $-! / $ ( 0 vote(c) = Σλ if(c,d ) # c ' Σλ if (c,d

ß à á á â ã ä å æ ç � � � � � ß â á � � ä å æ

� � � � � � � � � � � � � � � � � � � � � � � � � � � � � �� � � � ! " # $ % & ' % & ( � ) λ * % + ∞ , * � # - � # + %& . / " 0 # ! ) 0 % . ! " # $ # 1 % " # . ! 0 - � 2 ( 0 � 3� � � � & � % 0 . � 2 2 # + " 0 # 4 ( " # . # + 5 ( + " % + + ! # 6 � 2% + " � � � $ ! # 0 # - % & . � 7 . + $ " � # . / 38 9 : ; < = > ? @ A @ B C ; D @ ? E F A A G ; A F A ? @ H G A ?A ? @ I ? E ; @ I ? F J F K = ? F @ : ; = L B > M = N ? ; L = N ; <F ? ; L = ? F @ : A O� � � � ' % & ( � ) λ * # & & 4 � ) # . # " � P 4 ( "! 0 � + ( $ % 4 & Q 4 # / R 3� � � � ! " # $ # 1 % " # . * . S " " % 6 � ) 0 � ' � 0P - & � % 0 & Q R 3� T $ $ . & Q ( + � 2 # . � % 0 & Q $ % U � . " * 0 6 3

04

V W X Y Z[ \ W ] Z

01

V W X Y Z[ \ W ] Z^ _ ` a b

c a b ` a b

λ

d e f f g h i j k l m n i f n o p q r m st u � % " # ) * � � % 2 % ! 0 # 0 � U ! � - " % " # . " � % " ! % 0 % $ � " � 0 ' % & ( � +* ( & 2 . S " 4 � ' � 0 Q & % 0 / � vt u � - ( & 2 " � � . 4 % & % . - � � ' # 2 � . - � + ( / / � + " # . / & % 0 / �! % 0 % $ � " � 0 + P 0 # . ) # . # " � R % / % # . + " ( 0 ! 0 # 0 3t � � � � ' # 2 � . - � * ( & 2 . � ' � 0 " " % & & Q 2 � ) � % " " � � ! 0 # 0 , % . 2! % 0 % $ � " � 0 + * ( & 2 4 � + $ " � � 2 P % . 2 6 � ! " ) # . # " � w R 3t u � - % . 2 " � # + � U ! & # - # " & Q 4 Q - � % . / # . / " � � ! " # $ # 1 % " # . 4 5 � - " # ' � " $ % U # $ ( $ ! + " � 0 # 0 & # 6 � & # � 2 x

),|(log)(log)|,(log λλλ DCPPDCP +=y z { | } ~ � z ~ y ~ � z ~ � � � � } � � }

d e f f g h i j k l m n i f n ot � % ( + + # % . , 0 � ( % 2 0 % " # - , ! 0 # 0 + x� � . " ( # " # . x ! % 0 % $ � " � 0 + + � ( & 2 . S " 4 � & % 0 / � 3� � 0 $ % & # 1 % " # . x ! 0 # 0 � U ! � - " % " # . " � % " � % - �! % 0 % $ � " � 0 * # & & 4 � 2 # + " 0 # 4 ( " � 2 % - - 0 2 # . / " % / % ( + + # % . * # " � $ � % . µ % . 2 ' % 0 # % . - � σ� �

� � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � �� � � � � � � � � � � � � � � � � � � � � � � � � � � � � �   µ¡ ¢ £ �� ¤ σ� ¡ ¥ ¦ � � § � � � � � � � � � � � �   ¦ � � � �

¨ © ª « ¬ ­ ® ¯° ª ± ª ®² ³ ´ µ ° ³ ¶ µ · ª ¸ «® ³ ¸ ª ³ ® « ¸ ­ ¹ ª º»»¼½¾¾¿À −−= 2

2

2

)(exp

2

1)(

i

ii

i

iPσ

µλπσ

λ

2σ2

=1

2σ2

= 10

2σ2 = ∞

Á Â Ã Ã Ä Å Æ Ç È É Ê Ë Æ Ã Ë ÌÍ Î Ï Ð Ñ Ò Ó Ñ Ô Õ Ò Ó Ó Ö Õ × Ø Ù Ö Ú Ù Ó Û� Ü � � � � � � � � � � � � Ý � � Þ � � � � � � ß � � � Þ � � � � � � � � � � � � � � � � � � � � � � � � �� à � � � � � � � � � � � � � � � � � � � Þ � � á � � � Þ � � � � � � � � � Ý � � � � � � � � � �� � � � � â � � � � � � � Þ � � � � � � � � � � � � � � � � �   � � Þ � � � � � � � � ¦ � � � � � �� ã Þ Þ � � � Þ   � � � � � � � �   � � � � � � äÍ å æ Õ × Ô Ñ ç æ Ñ Ú è é Ñ ê ç Ö ë Ñ Û

Í å æ Õ × Ô Ñ ç æ Ñ ì Ñ Ù Ö ë Õ ç Ö ë Ñ Û

)(log λP−),|(log)|,(log λλ DCPDCP = í∈

=),(),(

),|()|,(logDCdc

dcPDCP λλ ki i

ii +−

− î 2

2

2

)(

σµλ

),(predicted),(actual/)|,(log λλλ iii fCfDCP −=∂∂ 2/)( σµλ ii −−

2σ2

=1

2σ2

= 10

2σ2 = ∞

ï ð ñ ò ó ô õ ö ÷ ï ø ù ò ú ú û ü ý þ ÿ

� � � �� � � �� � � � � � � � � � � � � � � � �� � � �� � � � � � � �� � � � � � � � � � � � � �

� � � �� � � � �� ! " # $%� � � &� � � & �� � � � � � � � � � � ' � � � � � � �

� � ( �� � � �� ) � � � � � � � � � � � � � � �� � � � &� � � � �� � * � � � � � + � � � � � � �� � , (� � � , �- . . . � � � � / � � � � � � �� � ( 0� � ( �. . ) � � � � � � � 1 � � �

� � � � (� � ( 02 34 � � � � � � � � 5 � � � � 6� � � �� � � �3 7 8 9 :) � � � � � � ; + � /� � � (� � � � �8 < � � � + � � ; + � /= > ?@ A B CD E " ! F G ED E " ! F G E � H I E

J KJ KKL M NO O PO O PQ OR S NT U S VW X S Y ZS [\ U X V] ] ]] ] ]^ [ _ Z XL [ S [ ZO Z K [` a XP X Z b

c d e f g h d i j k l j

m k f j n o k p k q r s j tu Z Y S a v Z U w v x U U [ _ M y N z[ _ Z x U X Z Y U x x U y { X Z w M KS y V v M y N | Z } [ S N w Z S [ a X Z v_ S b Z | S X N Z X ~ Z M N _ [ v Z b Z y[ _ U a N _ Z y [ M X Z } ~ U X V S y V[ S N } { S M X w Z S [ a X Z v S X Zx U X Z v { Z Y M w M Y �

ï ð ñ ò ó ô õ ö � � ù � ñ ÿ ÿ ý þ ÿ� � � � � � � � � � � � � � � � � � � � � � � � � � �

� � � � � � � � � � � � � � � �� �   ¡ ¢ £ ¤ ¥ ¦ § ¥ ¢ ¨ § © ª ¢ §   ¤ ¥ «� ¬ ª ¥ ­ £ ¥ ® £ § ¯ ­ ¢   ¤ ¢   °   ¨ £ £ ± ² ³ ´ ¤ ´ ¢   ¨ µ ¡ £ ´ ¢ ª ¨ £ ¥ «� ¶ ³ ³   ® ¥ ° ´ ¤ µ ¡ £ ´ ¢ ª ¨ £ ¥ ¢   © £ ¦ ª ° ² £ ¦ ¥ ´ ¡ £ ³ µ § ¤ ¢   ¢ ­ £ ° § ± «� � ² £ £ ¦ ¥ ª ² ·   ¤ ¸ £ ¨ ¯ £ ¤ · £ ¹ § ¡ ©   ¢ ­ ´ ¨ £ ´ ³ ³   ® £ ¦ ¢   ·   ¤ ¸ £ ¨ ¯ £ º »

¼ ¼ ½ ¾ ¿À Á ½ Â ¿Ã Ä Å ÆÇ È É É Å Æ Ä Ê Ë

¼ Ì ½ ¾ ¿À Í ½ Ì ÎÃ Ä Å Æ É Ï ÅÇ È É É Å Æ Ä Ê Ë

Ð Ê Ñ Ê É Ò ÊÃ É Ó Ô Õ Ö Ö

× Ø Ù Ó Ú Û ÛÕ Ö Ö Ï Ó Ú Ö Ü

Page 10: ACL 2003 - Maxent Tutorial - cs224n...4 % #! . # 2 ! 0 + # 2 : 2! # $-! {f i} . {c}. + 5 % # / ($λ i . 2-! f * + ! # ! = c,d 2 $-! / $ ( 0 vote(c) = Σλ if(c,d ) # c ' Σλ if (c,d

� �

� � � � � � � � � � � � � � � � � �

� � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � ½� ! " � � � # � �

� ! $ % � & � # � � � � � � � � � � ' � ( � � " � � � � � � � � � � � � � ½� ) � � � # � � � � � � � * � � � � � � � � � � � ' + � � ' � � � � � � �& � � � � � # � ½

� , � � � � � - � � ( ( � � � � � � � + � . � � # � � � � � � . � � � � � /

04

0 Ú Ä Û 12 Ù Ú Ô 115

0 Ú Ä Û 12 Ù Ú Ô 1

� � � � � � � � 3 � � � 3 � � 4 4 5

� 6 � 7 8 9 + � � � % � � � ( � � � # � ( � � � � � � . � # . � % � � � ( � � �% � % � # #: � � � � � � � ½

; < = > ? @ = A B A C D E C D E > = F G H I J J G K E C L I = G K J D M; N O P E Q A R = C G G J R J F B E C L G K = E > @ = E L K G G J S = T = > J M; N O P E Q A R = C G G J A H H E L C E C L G K = I L A P H H E A C U > E J > H @ E G K

I = A C T = > J A C D Q A > E A C F = T = > J M; V > J U U E C L R J @ F J P C G H D J = H > = I J Q = G K = W = A G P > = H

@ K E F K @ = > = I J H G E C C = = D J W H I J J G K E C L X; X A C D H U = = D H P U G K = = H G E I A G E J C S ? > = D P F E C L I J D = R

H E T = X; X S P G F J P C G F P G J W W H L = C = > A R R ? K P > G A F F P > A F ? E C G K =

U > = H = C F = J W U > J U = > H I J J G K E C L MY Z [ \ [ ] ^ _ _ [ ` a b a ^ ` c d e f [ ] ^ e ` d ] e d ^ g g f e ` h [ f f

i j f ^ h e d [ h k ` [ ] [ f f i \ k l