23

The Stanford Natural Language Processing GroupV DM@B D CEd qH)> i m

  • Upload
    others

  • View
    0

  • Download
    0

Embed Size (px)

Citation preview

Page 1: The Stanford Natural Language Processing GroupV DM@B D CEd qH)> i m

����������� ������������� ������ ����������! �#"%$&�����('$��)��'*"+�,�*�.-/�1032/�4�40��657���)8$��

9;:=<?>A@B<?CEDGF�H)IJ@BD CJHLKMD7NPO�Q1R,SUTVRXW1Y�ZE[,S(\=SXTEYUWE]�^)Q�_�\a`�_ b1c�D CEde*f :g<?>A@AH h fEi :*jGk1l7D CECE<mCJnoNqprYMW�WsRXWJt�ZJ[�S(\gSUTJYMWE],^�Q,_3\a`�_)bVcu�vPwLx=y#zq{v�|Xz~}��*�V}={�wM��zPv�y4�M���mv�| �#v�Uzmx=|a�a}=y�����|U���=v�y#����zq��Uzmx=|a�a}=y��=���,���a�U�����=������� �g�3���L�j�D Co�(�?<?�g�,<mCJn i : N�_�YMWVZJ[�S ¡JR%\gSUTJYMWE],^�Q,_3\a`�_)bVc%D CEd¢ @ i h f D C�£ i h i C¤N¥^�`,ZE[,S)¡�R%\=SXTEYUWE]�^)Q�_�\a`�_ b1c�1v�|UzPv�yV�a}gy%z§¦Uv��Xzq�U�g�¨}���©�x=|�ª=�XxAª�v3xg| �3«#|A�a}=y#{�xgzq�?}=|U��Uzmx=|a�a}=y�����|U���=v�y#����zq�g�¬Uv�|Uzq��y¥x*­�x�®§® �J�Uzmx=|a�a}=y¥�g���,���a�X�������¯� °±°��g�3���L�

²´³�µa¶a·B¸M¹�¶�º»s¼U½¿¾sÀBÁ¥Â�½ÄÃ�ÅÄÆ�ÇXÆ�Â#Àg½¿Åľ1È�ÉLÁsÆ�ÊLË Æ�Á�½¿Ì�ÆaÍ�Â�¾EÈ�Í´Î)ÏXÐ�Ñ�ËMÀgÁ�¾¥Æ�ÇX½¿¾�ÀgÌ3ÒU½¿Ó=ÉMÀgÂ�½¿È=Í�Ô�ÒUÀ=¾¥ÆAÇ�È�Í*Â�¼XÆ

Õ�ÆaÇLÖsÈ�È�ÇL¾3Â¥Á�ÆaÆaÒUÀ=ÍX×)Ø�Ù�¾¥½¿ÍUÓ Æ�ÊL½¿¾�Â�½ÄÍXÓÚÀgÍMÇÛÍUÈBܱÆaÅr¾�Â�È�Ã�¼UÀ=¾�Â�½¿Ã�Ì�È�ÇXÆ�ÅľaÔJÖrÆ�ÆaÜ=À=Å¿ÉMÀBÂ�Æ´Â�¼XÆÉU¾¥Æ�ݧÉUÅ¿ÍUÆ�¾¥¾3È=Ý�ÇX½ßÞ)Æ�Á�Æ�Í�Â�½¿ÍXݧÈ=Á�ÌÀgÂ�½¿È=Í�¾¥È=ÉXÁ�ÃaÆ�¾3Ý�ÈgÁ�ÇX½¿¾�ÀgÌ3ÒU½¿Ó=ÉMÀgÂ�½¿È=ÍÛàáÅ¿Æ�ÊL½¿ÃAÀ=ÅqÔV¾�âLÍ�Â#À=Ã�Â�½¿Ã�ÔÀ=ÍUÇo¾¥Æ�ÌÀ=Í�Â�½¿Ã�ØäãÚÆ Ë Æ�Á¥Ý�ÈgÁ�ÌåÃAÀBÁ�Æ�Ý�ÉXÅ4Ã�È�Ì�ËMÀBÁ�½¿¾¥È�ÍU¾¨È=Ý�Ó�ÆaÍXÆ�Á#ÀgÂ�½¿Ü±ÆÛÀgÍMÇoÇX½¿¾¥Ã�Á�½¿Ì�½¿ÍMÀBÂ�½¿Ü±ÆÌ�È�ÇXÆaÅ¿¾�ÉU¾¥½¿ÍUÓÆAæ�ÉU½¿Ü=À=Å¿ÆaÍ�Â�ݧÆAÀgÂ�ÉLÁ�Æa¾%ÀgÍMÇ;¾¥¼UÈAÖ/Â�¼XÆ4Ã�È�ÍU¾¥½¿¾�Â�ÆaÍ�Â�À=ÇXÜ=À=Í�Â#À=Ó=Æ�ÈgÝsÇL½¿¾¥Ã�Á�½¿Ì�½ÄÍUÀgçÂ�½¿Ü±ÆaÅßâ�Â¥Á#À=½¿ÍUÆaǨÌ�È�ÇXÆaÅ¿¾aØUè�ÉXÁ~Ò Æ�¾�Â~¾�âX¾�Â�Æ�ÌéË Æ�Á¥Ý�ÈgÁ�Ì�¾~ÀgÂ&ÈBܱÆ�Á�ê=ë�ì�¾¥ÆaÍ�Â�ÆaÍUÃ�Æ(Æ�ÊXÀ=Ã�Â~ÌÀBÂ�Ã�¼À=ÃaÃ�ÉXÁ#À=Ã�â�Øí¨î�ï�ð4ñ ·gò�µ�ó ¾�Â#ÀgÂ�½¿¾�Â�½¿ÃAÀ=Å�ËUÀgÁ�¾¥½¿ÍUÓ3Ì�È�ÇXÆaÅ¿¾aÔUÎ�ÏLÐaÑ Ó=Á#À=Ì�ÌÀBÁ�¾

ôEõ÷ö�ørùLúUûäü�ý�þ ùXÿ�û1ø

F f <?>�DM:g@B<?��� i hE: i > i C�@B>*hE:BH��1D��V<?�?<?>B@B<?���ÛH�d i �?>3@ f DM@�@A:�� @AH�> i � i �±@�@ fJi �±H :g: i �±@D CED ���,>B<m>�PH :3D > i C�@ i CE� i �VD > i d�H)C >A@BDM@B<m>A@B<?��>�n)DM@ fJi : i d�P:BH�� @ fJi �´i d��3H�H�dE>������� @A: i�i �VD CJ�oN�£ i h i C i @3D �¥k������������V£ i h i C i @3D �¥k�������������<?CÛhE: i >g>=c=k � i D d"!dJ:=<qK i C$# f :gD > ié¢ @A:gIE�±@BIJ: i&% :gD��'��DM:�N ���(��� c)�´@ fEi n :gD��'��DM:*�PH :+��D �?<?>��IECVd i :g����<?CJn7@ fJi,�´i d���H,H�dE>��±H :BhVIV>-��<?>�D.�ÛH,d i :gC��±H)CE>A@A:=D <?C�@/!0�1D > i d.� i21 <3!��D �?<m>A@áN�H :54AIECE<�6V��DM@B<?H)C87�c3n :gD��9��DM: ��H :+��D �?<m>��:�JhVDM:B@B<m��IE�?DM:g��� CJH @ i d,�PH :�<q@B>�±H)CE� i :=C;��H :5�E:BH)D d d i >B�±:g<?hE@B<qK i D d i=< IVD �2���3hV: i ��<?> i �PH :)��D � >Bh i ��<�6V��DM@B<qH)C>�D CEd����qH)> i �m<?CJ��<?CJn?� i @@� i�i Cé>A��C�@BD 1 D CEd�> i ��D C�@B<?� <?C�@ i :BhE: i @BDM@B<?H)Cäk3BDC¨>ÛD>A@A:gH)CJná�±H��Ûh i @ i CE� i @ fJi H :�� N�9 DMhV�?D C D CEdE3: i >gCED C>��F=G�H��)c)�J@ fEi : i¨f D >I� i�i C�±H)CE>g<?d i :gD��V� i�i �Ûh f D >g<?>J� <q@ f <?C ���(��� H)CáhV:BHLK�<?dE<?CEn´D�>A�,C�@BD �±@B<?�K�ÛH�d i ��@ f DM@��D C�hV�?D IE>B<��V��� >BIJhVhrH :g@(D C D ���±H)IEC�@�H�� f I8��D C�> i C�@ i CE� i hE:BH�� i >B>B<?CJn��)D CVd�<?ChVDM:g@B<?��IE�?DM:=�V@ fJi : iÚf D >L� i�i C dE<?>B��IV>B>B<qH)C H��4@ fJi'M�NPO-Q�RTS�UWVXQ�Y[Z�M/Q�\2R�N2] H�� f H^�@ fJi ��D C�� >AH)IJ:g� i > H��G�?<?CJn)IV<?>A@B<?�7D CEd!�±H)C�@ i21 @BIED � i K,<?d i CE� i DM: i �E:BH)IJn f @@AH&� i DM: <?C.: i D � @B<_� i @AHéd i ��<md i D�> i C�@ i CE� i�` >o<mC�@ i :BhV: i @BDM@B<qH)CäkK�´H^� i K i :��acb ÈgÁVÀ=Í�½ÄÍ�Â¥Á�È�ÇLÉUÃ�Â�½¿È�Í4Â�È(Î)ÏLÐaÑVÔB¾¥ÆaÆd�e�È=ſůÀBÁ#Ç*À=ÍUÇgfLÀ=ÓLÔ^h/iPi)j�k=fLÀ=Ó(ÀgÍMÇ%ãÛÀg¾¥ÈBÖ%Ô�hAi)iPiPl�Ø

Ãmon)pPp)qLr ® �=srv�y��&��x±��v�{��?�uts�^va® ����¦Uv�y��xwytsy��§|UzPv¥��§|;z§¦Uvz�v�z§¦Uv�y�®¿xg| �=�xw

{P|)}={P~��x�^{)�-�����_�-{P|����-�^���P�2�P�2�2���D�����-���L}(���

Page 2: The Stanford Natural Language Processing GroupV DM@B D CEd qH)> i m

� ����������� ������������������������������������ ����!�"#��$%�

� f <?� i �J�(��� f D > i C'&aH^� i d n : i DM@¤>BIV��� i >B> <?C d i K i �qH hV<mCJn <_�ÛhV� i � i C�@BD��V� i>A��C�@BD �±@B<?�Û@ fJi H :g< i >;H��K�E:BH)D d i �Ûh1<q:g<?��D ��: i D � f � f <?� f n)<qK i hE: i ��<?> i > i ��D C"!@B<?��<?C�@ i :ghE: i @BDM@B<qH)CE>=�&@ fJi : i f D > � i�i C�: i �?DM@B<qK i ���¤�m<q@A@B� i hE:BH n : i >B>á<mC¤>AH)�qK�<?CJn@ fJi D����1<qn)IE<q@�� : i >AH)�?IJ@B<?H)C hE:BH��V� i �)(¤d i >AhV<q@ i @ fJi ��D �±@á@ f DM@GD C i�*ri �±@B<?K i>AH)�mIJ@B<qH)C�<?>ÚC i � i >B>BDM:+� ��H :�>BIE��� i >g>A��IV�?����DMhEh1���,<mCJn �J�(��� <?C�hE:gD �±@B<?��D �,+.- �>A��>A@ i ��>=���PH :GD C �,@ f <?CEn:�VIJ@ @ fJi �ÛH)>A@ : i >A@A:g<?�±@ i d6dJH���D <?CE>�k0/�C @ f <?>;hVDMh i :� i > f H�� f H^� @ f <?>7hE:BH��V� i � ��D C � i6i�*si �±@B<qK i ���÷DMhEhE:BH)D � fJi d ���÷IE>B<?CJnhE:gH��VD��V<?�?<m>A@B<?�I��H,d i �m>%H�� i K,<?d i CE� i <?C�@ i n :gDM@B<qH)C>��D CVd f H�� i K i C��H,d i �m>(@ f DM@�±H)CE>g<?d i :�H)CE���G> i C�@ i CE� i !#<?C�@ i :gCED �1�±H)C�@ i21 @*��D C'� i�< IE<q@ ii�*si �±@B<qK i <?CÛ>AH)�qK�<?CJn�ÛH)>B@ >A@A:gIV�±@BIJ:gD �~D CEd7<?C�@ i :BhE: i @B<qK i D����1<qn)IE<q@B< i >�k1£�IJ: i ��h f D >B<?> fJi : i <?>´H)C@ fJi i CJn)<?C i�i :g<?CJn/>B<?d i � � fJi : i @ fJi n H)D �<?>G>B<���hV���/@AH¤dE<?>BD�� �V<qn)IVDM@ i i�*si �P!@B<qK i ���G>AHáD >�@AHád i @ i :+��<?C i @ fEi �±H :B: i �±@3> i C�@ i CV� i <?C�@ i :BhE: i @BDM@B<?H)C>���VIJ@%@AHá@ fJii21 @ i C�@�@ f DM@�@ fJi > i ��H,d i �m>ÛDM: i >BIE��� i >B>���IE�0��@ fEi ��� i CVdé>BIJhEhsH :B@G@AH¤: i � i C�@�3H :B� <?C hV>A��� f H)�m<?CJn)IE<?>B@B<?��>I� f <?� f�f D >D �?>AH i21 hV�qH : i d hE:BH��VD��V<m�?<?>A@B<?� �ÛH�d i �?>H��(> i C�@ i CE� i <?C�@ i :BhE: i @BDM@B<qH)C¤N¥l�D ��j¨H)CED �md>� F=G�G ���sF&:=I i >A� i �?�X�>F=G�G�1)c=k

2 1 D���<?CE<?CJn @ fEi CEDM@BIJ: i H���@ fJi ���(��� hVDM:=> i dE<?>gD����V<?n)IEDM@B<qH)C hE:gH��V� i �:�@ fJi 61C i !�n :gD <?C i d : i hE: i > i C�@BDM@B<qH)CE> ��H)IECEd <?C @ fEi �i d��3H�H�dE>*@A: i�i �1D CJ� :gD <?> iCJHXK i �´<?>g>BI i >Ú: i �?DM@B<?K i @AH.�ÛH : i @A:gD dE<q@B<qH)CVD �*@A: i�i �VD CJ��>�>BIE� f D >�@ fJi # i CEC@A: i�i �1D CJ�÷N¥l7DM:g��IE> i @7D �¥k��cF=G�G�3)c)�L� f <m� f f D�K i � i�i C @ fEi �PH���IE> H��D�ÛH)>A@hVD >B@ �3H :B�áH)CÛhE:BH��VD��1<?�?<?>A@B<m�%hVDM:g>B<mCJn�� i kßnJkVN e H)�?�?<?CE>=��F=G�G�4�� e�f DM:gCE<?DM� �"F=G�G�4 c=kF fEi9�i d��3H�H�dE>;@A: i�i �VD CJ� ��DM� i > DLKUD <m�?D��V� i D KMDM:g< i @��/H��3:=<?� f : i hE: i > i C�@BD !@B<qH)CV>�k5/�C���H :+��DM@B<?H)C�<mC ���(��� <?>G: i hE: i > i C�@ i d ���6D OPV76�Y ��D/@@�,h i d � i DM@BIJ: i>A@A:=IE�±@BIJ: i � f <?� f : i hE: i > i C�@B> h f H)CJH)�qH n)<m��D �X�3>��,C�@BD �±@B<?����D CEd > i ��D C�@B<?�/<?C"!��H :+��DM@B<qH)C�D��rH)IE@ D:��H :=d H : h f :=D > i k~F f <?>;<mC��PH :)��DM@B<qH)C <?>c�1IE<?�q@�IJh ��H :áD> i C�@ i CE� i �±H��ÛhsH)>B<q@B<qH)CED �m������:BH�� @ fEi >B<qn)CV>%H��~> i C�@ i CE� i hVDM:g@B>�k98 i¨f D�K i CJH @IE> i d @ fJi ��IE�?� ���(�^� >B<qn)C <?C H)IE:´��IJ:B: i C�@L�ÛH�d i �?>=���VIJ@�:gDM@ fJi :¨D�C,I8��� i :H��>B<_�ÛhV� i :�hE:BH'& i �±@B<qH)CE> H��3@ fEi >B<qn)C D CEd f H�� <q@c�3D >á�±H��ÛhsH)> i däk�l�H)>A@G>B<���<3!�?DM: @AH,# i CEC¤@A: i�i �VD CJ�/hVDM:g> i @A: i�i >áDM: i h f :=D > i >A@A:gIE�±@BIE: i @A: i�i >áhE:BH'& i �±@ i d��:BH�� @ fEi >B<qn)C÷N��(<qn)IJ: i F)N��rcAc)� �1IJ@�<?C.@ f <?>9�3H :B� � i7f DLK i �±H)CV� i C�@A:gDM@ i dH)C�IE> i H�� d i :g<qKMDM@B<qH)C�@A: i�i >oN���<?n)IJ: i F)N�D�cAc)� � f <?� f : i �±H :gd�@ fJi �±H����1<?CE<?CJn:gIV� i >B� fJi ��D >*H���@ fJi ���(��� n :=D��9��DM: � f <m� f � i : i IV> i d�@AH��m<?� i CE> i @ fJi >B<qn)C�����±H�� �V<?CE<?CEn7<?CE<?@B<?D �4� i21 <?��D ��@@�,h i >�k;: F fJi <mC�@ i :gCVD �3CEH,d i >á: i hE: i > i C�@-�u��H :i21 D��ÛhV� i � fJi D d"!#�±H���hV� i � i C�@-� fJi D d"!#>Ah i ��<�6 i :=��D CEd fEi D d"!#D d'&BIECE�±@*>B� fJi ��D >-�� f <?� f � i : i IV> i do@AH �?<?� i CE> i �mDM:Bn i : >B<?n)CE>�H)IJ@ H��(�±H���hrH)C i C�@ hVDM:B@B>�kVF fJi > id i :=<qKUDM@B<?H)C�@A: i�i > fJi CE� i hE:BHXK,<md i >g<qn)CE<�6V��D C�@B���odE< *ri : i C�@;<?C���H :+��DM@B<qH)C,��:BH���±H)C�K i C�@B<?H)CED �´h f :gD > i >A@A:=IE�±@BIJ: i @A: i�i >-�I�VIE@ f D�K i hE:BHLK i C @AH.� i?< IE<q@ ioi � !� i �±@B<qK i ��H :�dE<m>BD����1<qn)IEDM@B<qH)Cäk F fEi > i : i hE: i > i C�@BDM@B<qH)CV>4DM: i ��H : i 6VC i !�n :=D <?C i d@ f D C @ f H)> i ��D���<m�?<?DM:>��:BH��+@ fJi # i CEC @A: i�i �1D CJ�=<^�PH : i21 D���hV� i �L:=DM@ fJi :&@ f D C��9>hVDM:g@/!�H��_!#>Ah i�i � f @BDMn)>(D CEd ��4�h f :gD >BD �)CJH�d i �mD�� i �m>-�=� i�f DLK i D��sH)IJ@ H�� ������� i21 !<?��D �1<q@ i �å<?d i C�@B<�6 i :g>=�)D CEd?4 �Gd i :g<?KUDM@B<qH)CVD �V>B� fJi ��D >�kJF fJi � i21 <?��D �E@���h i >*DM: i

@ »s¼X½Ä¾áÇXÆ�Á�½ÄÜ=ÀgÂ�½¿È=Í Â¥Á�ÆaÆÛ½¿¾GÀgÅ¿¾¥ÈoÂ�¼XÆGÝ�ÉXÍMÇXÀ=Ì�ÆaÍ�Â#À=Å�ÇUÀBÂ#À ¾�Â�È=Á�ÆaÇ/½ÄÍ7Â�¼UÆÚÕ&ÆAÇLÖrÈ�È�ÇX¾Â¥Á�ÆaÆaÒUÀ=ÍU× Ô�¾¥½ÄÍXÃaÆ Â�¼XÆÛÝ�ÉUÅ¿Å�¾¥½¿Ó�Í�ÃAÀgÍ�Ò Æ�Á�ÆaÃaÈ=ÍU¾�Â¥Á�ÉXÃ�Â�ÆAÇ/ݧÁ�È=Ì ½ßÂÚÒ�â7Á�Æ�Ý�Æ�Á�Æ�ÍUÃaÆ�Â�ÈoÂ�¼XÆÓ=Á#ÀgÌ�ÌÀgÁAØ

{P|)}={P~��x�^{)�-�����_�-{P|����-�^���P�2�P�2�2���D�����-���L}(�W�

Page 3: The Stanford Natural Language Processing GroupV DM@B D CEd qH)> i m

� � ��������� � ������� � �9���� ���=� ��������������� � ���� 3

�ÛH : i >B<���<m�?DM:ä@AH´@ f H)> i4i �ÛhV�?H�� i dG<?C�� i21 <?��D �?<�� i d F�: i�i !@C d &aH)<?CV<?CJn % :gD��'��DM:�3H :B�éN ¢ :g<?CE<?KUD >;D CEd�� H)> f <0�uF=G�G�G)c)� i CE�±H�dE<?CJno<mC��PH :)��DM@B<qH)C >BIE� f D > K i :+�VD �>BI8�s��DM@ i n H :=<���DM@B<qH)Cäk

C¨CJH @ fJi :á<��ÛhsH :B@BD C�@ dE< *si : i CE� i � i @@� i�i C¤@ fJi # i CEC�F&: i�i �1D CJ� D CVd @ fJi�´i d���H,H�dE> �±H :BhVIE>�<?> @ f DM@o@ fEi �PH :+� i : f D >oH)CV��� D C <��ÛhV�?<m��<q@�n :gD��'��DM:n)<qK i C ���/@ fJi H��1> i :BK i d¤@A: i�i >-��� f <m� i D �?�%hVDM:g> i > <?C @ fJi�i d��3H�H�dE> �±H :ghVIE>DM: i �m<?� i CE> i d ���7D C i21 hV�?<?��<?@-�rD CEd �GIE� f �ÛH : i �±H)CE>B@A:gD <?CE<?CEn�� �J�(��� n :gD��D!��DM:Lk /�C.@ f <?>Û> i CE> i �4D CEd � i ��D IE> i H���@ fJi >B<���<?�?DM:g<q@�� � i @@� i�i C ������� D CEd-�� � �VH)IJ: ��H :g�o<?> �GIE� f �ÛH : i >B<_��<?�?DM:@AH hVDM:g> i dE<?>gD����V<?n)IEDM@B<qH)C?�3H :B�:��H :-�� � n :gD��9��DM:g>GN � < i ��� i : i @ D ��k�� �������)c=k C dEdV<q@B<qH)CED �?�����,@ fEi N�<��ÛhV�m<?��<q@=c # i CEC@A: i�i �1D CJ�on :gD��9��DM: D CEd @ fJi �&<?C % £���� � N�2�CJn)�?<?> f,�´i >AH)IJ:g� i'% :gD��'��DM:�cdE< *ri :�<?C�@ f DM@�@ fJi # i CEC�@A: i�i �VD CJ�ÚH���@ i C�IE> i > < IE<q@ i�� DM@�n :=D��9��DM@B<?��D �1D CED �3!��> i > � f <?� i @ fJi ��� � <?> ��D 1 <���D �?���*�V<?CEDM:+���J�´<q@ f�i21 @ i CV>B<qK i IE> i H��´IECEDM:+�>B� fJi ��D >��PH : <_�ÛhV� i � i C�@B<?CJn:�ÛH :gh f H)�qH n��/D CEd @���h i !#� f D CJn)<?CJnoH h i :gDM@B<?H)CE>�kl7IE� f �±H��9�ÛH)C �´<?>BdEH��!@ f DM@ f D >J� i�i C D � < IE<q: i dc�PH : �VIE<m�?dE<?CJn�hE:BH��VD��1<?�?<?>A@B<m��ÛH�d i �?>�HLK i : # i CVC @A: i�i �VD CJ� hVDM:g> i @A: i�i ><?>*<���hV�?<?��<q@B���G�±H)CEdV<q@B<qH)C i d H)C @ fJi��D �±@�@ f DM@�@ fJi � DM@3: i hE: i > i C�@BDM@B<qH)CV>�H��&@ fJi # i CEC @A: i�i �VD CE��@A: i�i >K� i D C @ f DM@�ÛH)>B@�<��ÛhsH :B@BD C�@�d i h i CEd i CE��< i >ÛDM: i : i hE: i > i C�@ i d &aH)<mC�@B����<?C�D��qH,��D �@A: i�i kF f IE> � i >B>AH)CE> � i DM:gC i d�@ fJi : i ��D=��CEH @L� i DMhEhV�m<?��D��V� i @AH H)IJ:¨hE:BH��V� i � N�> i�ie H)�m�?<?CE>´N/F=G�G�G)c ��H :�Dá��DM: i ��IE�rdE<?>g��IE>B>B<qH)C�H��&@ f <?>�<?>B>BI i c=kJ£�IE:4: i >BIV�q@B>�> f H)IE�?d<?C8�PH :+� H @ fJi : <?C7hE:BH n : i >g> i�* H :B@B>;DM@;�±H)CE>A@A:=IE�±@B<?CJn ���(�^� �1D > i d @A: i�i �VD CJ��>-�>BIV� f D >*@ fJi #�H)�?<m> f @A: i�i �VD CJ� N¥l7DM:g��<?CV<?DM� i @�D �¥k��>F=G�G�G)c3D CEd @ fJi E*IE�?n)DM:g<?D C������� @A: i�i �VD CJ�¤N ¢ <��ÛHXK i @ D �¥k��(�������)c=k

�(<?CVD �?�����(@ fJi ���(�^� >B<?n)CE>ÚhE:BHXK,<?d i d i�i h.> i ��D C�@B<?� : i hV: i > i C�@BDM@B<qH)CE>y��H :> i C�@ i CE� i >�<1@AH n i @ fJi : �´<q@ f @ fEi >A��C�@BD �±@B<?�GD CED ����> i >�H����±H)CV>A@B<q@BI i C�@B>-�1D C7IEC"!d i :=>Ah i ��<�6 i dD��<?CE<_��D ��: i ��IJ:g>g<qH)CÛ> i ��D C�@B<?��>�N"!#� � c�: i hE: i > i C�@BDM@B<qH)C N e H h i >/!@BDM� i�i @*D �¥k�� F=G�G�G)c3<m> �VIE<m�q@4IJh~k�F f <?>�> i ��D C�@B<?� <mC��PH :)��DM@B<qH)C>��IVCED�KMD <?�?D��V� i <?C@ fJi # i CEC @A: i�i �VD CJ� �(��D=� hE:BHXK,<md i DÛIE> i ��IE�ä>AH)IJ:g� i H��(D dEdE<?@B<qH)CED ��� i DM@BIJ: i >-�DM@¨� i D >A@´h1DM:B@B<?D �?��� H :B@ f H n H)CVD �&@AH >A�,C�@BD �±@B<?�G<?C���H :+��DM@B<qH)C����PH :¨D <?dE<?CJnÛh1DM:g> idE<m>BD����1<qn)IEDM@B<qH)Cäk�C n)D <?C>��>AH ��DM:K� i¨f D�K i CJH @*IE> i d�@ fEi ��IE�?�$!#� � >A@A:gIV�±@BIJ: i >�VIE@�:gDM@ fJi :3Dá> i ��D C�@B<?� d i h i CEd i CE�2�G@A: i�i ��� f <?� f hE:gH'& i �±@B>3D hsH :B@B<qH)C�H��ä@ fJi> i ��D C�@B<?�;<mC��PH :)��DM@B<qH)Cäk

£;C�@ fJi H)C i�f D CEd>��@ fJi :g<?� fEi :3D CED ���,> i >*DLKUD <?�mD��V� i f D�K i @ fJi hrH @ i C�@B<?D �1@AHhE:gHLK�<?d i �ÛH : i <?C���H :+��DM@B<qH)C/@AH i D > i hVDM:g> i dV<?>BD�� �V<qn)IEDM@B<qH)C��äH)C¤@ fJi H @ fJi :f D CVd>��@ fJi 6VC i :�n :gD <?C : i=< IE<q: i >I6VC i :*� i K i �?>�H��&>A@A:gIV�±@BIJ: i D CEd� i D CE<?CJnGdE<?>/!D�� �V<qn)IEDM@B<?H)C7D CEd7:gD <?> i > <?CV�±: i D > i d dEDM@BD >BhVDM:g>B<q@��o<?>B>BI i >-� i >Ah i ��<?D �m��� >B<?CE� i@ fJi �±H :BhVIV> DLKUD <?�mD��V� i @AH IV>¨<m>L��DM:;>���D �?� i :¨@ f D C @ fJi # i CEC @A: i�i �VD CJ�rk /�@�<?>@ f IE> IECV��� i DM: D hE:g<?H :g< f H�� @ fEi IECE< < I i D >Ah i �±@B> H��3@ fJi ������� : i hE: i > i C�@BD !@B<qH)CV>K�´<?�?�rD *ri �±@´h i :+�PH :+��D CE� i H)C @ fJi hVDM:g> i dV<?>BD�� �V<qn)IEDM@B<qH)C @BD >A�rk /aC @ f <?>�3H :B� �8� iÚf DLK i i21 hV�qH : i d[�VIE<?�?dV<?CJnGhE:BH��VD��V<m�?<?>A@B<?� �ÛH�d i �?> ��H :¨hVDM:g> i dV<?>BD��D!�V<?n)IEDM@B<qH)C IE>B<?CJn @ f <?> :g<?� f �J�(��� @A: i�i �VD CJ� �rD >B> i >B>B<?CJn @ fJiÚi�*si �±@B<qK i C i >B>;H��dE< *ri : i C�@ä��<?CEdE>äH��J<?C8�PH :+��DM@B<qH)Cäk�8 i hE: i > i C�@~n i C i :gDM@B<?K i D CEdádE<?>B�±:=<���<?CEDM@B<?K i

{P|)}={P~��x�^{)�-�����_�-{P|����-�^���P�2�P�2�2���D�����-���L}(���

Page 4: The Stanford Natural Language Processing GroupV DM@B D CEd qH)> i m

� ����������� ������������������������������������ ����!�"#��$%�

�ÛH�d i �?>(IE>g<?CJn;D CED �qH n H)IE> � i DM@BIJ: i >4D CEdÛ�±H��Ûh1DM: i @ fJi <q:%h i :���H :+��D CV� i H)CÛ@ fJidE<m>BD����1<qn)IEDM@B<qH)C @BD >A�rk(C �ÛH)CJn�@ fJi : i >BIE�q@B>*@ f DM@L� i H��V@BD <?CoDM: i <

� � i21 <m��D ��<mC��PH :)��DM@B<qH)C�D �?H)C i D ���±H)IVC�@B>c��H :¨H)CE��� f D ���%H���@ fJi hVDM:g> i D��D!�1<qn)IE<q@��Ú<mC fJi : i C�@�<?CÛ@ fJi �±H :BhVIE>=�)hE:BHXK,<?dV<?CJn;D C IEhEh i :�rH)IVCEdÛH)C�h1DM:g> idV<?>BD�� �V<qn)IEDM@B<qH)CoK,<?D�@BDMn n)<?CJn��(� f <?� f � i DMhEhE:BH)D � f �´<q@ f <?C D9� i � h i :A!� i C�@�kVF f DM@3<?>=�,>BIEh i :g@BDMn n)<?CJnoN ¢ :g<?CV<qKUD >�D CEd � H)> f <X� F=G�G�G)c�D �qH)C i <?>*CJH @i�*si �±@B<qK i <?C @ f <?>dEH���D <?Cäk

� �¨>B<?CEn �GIE�q@B<qhV� i >BH)IJ:g� i >�H��E<?C���H :+��DM@B<qH)C>�X<?C hVDM:g@B<?��IE�?DM:=��D dVdE<?CJn´> i ��D C"!@B<m�á<?C8�PH :+��DM@B<qH)C>�E��D C/>A��C i :Bn)<?>A@B<m��D �?��� <��ÛhE:BHXK i hVDM:=> i dE<m>BD����1<qn)IEDM@B<qH)Ch i :���H :+��D CV� i k

� e H)CEdE<q@B<qH)CVD ���ÛH�d i �?>3D � f < i K i IJh @AH9��H�� i :B:BH :*: i dVIE�±@B<qH)C HLK i :n i C i :A!DM@B<?K i �ÛH�d i �?>�k

� £;IJ:��ÛH�d i �?> D � f < i K i < IE<?@ i�f <qn f HXK i :gD �?��h1DM:g> i dE<m>BD����1<qn)IEDM@B<qH)C/h i :A!��H :+��D CV� i �ED > �áIE� f D > 4 1,k 4�� i21 D �±@L��DM@B� f hVDM:g> i > i � i �±@B<qH)C D ����IJ:gD �2�H)C7D����1<qn)IJH)IE>�> i C�@ i CE� i >¨<?C @ fJi �±H :Bh1IE>�k

� £ ��@ fJi : i ��D <?CE<?CEn i :B:gH :g>-�~D��sH)IJ@ 1���� DM: i : i D � i :B:BH :=>-�ä<?C*� f <?� f @ fJi@A: i�i �VD CJ��<?> :g<qn f @�D CEd;�ÛH,d i �´<?>'�:BH)CJnJk3F fJi ��D &aH : hVDM:B@�H�� @ fJi > ii :g:BH :g>DM: i dEI i @AH'# #.D CEd H @ fEi :L�ÛH�dE<�6 i :DM@A@BD � f � i C�@ D�� �V<qn)IE<q@B< i >�k

/aC/@ fJi > i �±@B<?H)CE>;@ f DM@ ��H)�?�qH^� �>� i d i >B�±:g<�� i @ fJi KUDM:g<?H)IE>;>A@BDM@B<?>A@B<m��D � �ÛH�d i �?>� i @ i >A@-�)hE:gHLK�<?d i*i21 h i :g<_� i C�@BD ��: i >BIE�q@B>(H)CÛ@ fEi hVDM:g> i dE<m>BD����1<qn)IEDM@B<qH)CG@BD >A� �D CEd hV:BHLK�<?d i >AH�� i hE: i �?<_��<?CEDM:�� i :B:gH :´D CED ����>B<?>�k

�äõ����,ú��&ÿ �� û����÷ûäü�����

C KUDM:=< i @@� H��%DMhEhE:BH)D � fJi >´DM: i hsH)>B>B<��V� i ��H :L�VIV<?�?dE<?CEná>A@BDM@B<?>B@B<?��D ���ÛH�d i �?>K��H :hVDM:=> i dE<m>BD����1<qn)IEDM@B<qH)CäkXF fJi �´i d��3H�H�dE>�@A: i�i �VD CJ����DM� i >%D�KMD <?�?D��V� i�i21�f D IE>/!@B<qK i ���(�^� >B<qn)C7: i hE: i > i C�@BDM@B<qH)CV> ��H :�D �?��D CVD ���,> i > H���> i C�@ i CV� i >�käF fJi > i DM: i�?DM:gn i DM@A@A:g<��VIJ@ i !�KMD �?I i ��DM@A:g<?� i > � f <?� f : i �±H :gd D �m��D >Ah i �±@B>;H���D > i C�@ i CV� i�` >>A��C�@BD 1 D CEd > i ��D C�@B<?��>�k 8 i f D�K i �±H)CV� i C�@A:gDM@ i d�H)CoIE>B<mCJná>���D �?�s>BI��V> i @B>*H��@ fJi > i : i hE: i > i C�@BDM@B<qH)CE>�k0/aC/H)IJ: <?CV<q@B<?D � i21 h i :g<�� i C�@B> � i �VIE<?�q@¨D @BDMn n i :���H :@ fJi ������� � i21 <?��D �s<q@ i � <md i C�@B<�6 i :g>*<?C @ fJi @A: i�i �VD CE���JD CEd : i hsH :B@*: i >gIE�q@B>3H)CIE>g<?CJn¨@ fJi @BDMn n i :g�PH :�h1DM:g> i dE<m>BD����1<qn)IEDM@B<qH)Cäk ¢ I��1> i=< I i C�@ �ÛH�d i �?>%<mCE���?IEd i d�ÛH�d i �?<mCJn�H��r@A: i�i >A@A:gIE�±@BIE: i >�k�8 i¨f D�K i i21 hV�?H : i dÛ@A:gD <?CV<?CJn >A@AH�� f D >B@B<?�L�ÛH�d"!i �?>ÛIV>B<?CJn d i :g<?KUDM@B<qH)C�@A: i�i >=��h f :gD > i >B@A:gIE�±@BIJ: i @A: i�i >-�4D CEdé> i ��D C�@B<?� @A: i�i >N�� f <?� f DM: i DMhEhE:gH 1 <���DM@B<qH)CE>3@AHÛ@ fJi ! � � : i hE: i > i C�@BDM@B<?H)C1c=kE�(<qn)IJ: i F�> f H^�´>i21 D��ÛhV� i >3H���DGd i :g<qKMDM@B<qH)C @A: i�i �Jh f :gD > i >A@A:=IE�±@BIJ: i @A: i�i D CEd D C i � i � i C�@BDM:��d i h i CEd i CE�2�án :=DMh f k�F fJi � i DM:=C i d�hE:gH��VD��V<?�?<m>A@B<?�K�ÛH�d i �?> � i : i IE> i d @AHá:gD CE�

{P|)}={P~��x�^{)�-�����_�-{P|����-�^���P�2�P�2�2���D�����-���L}(� �

Page 5: The Stanford Natural Language Processing GroupV DM@B D CEd qH)> i m

� � ��������� � ������� � �9���� ���=� ��������������� � ���� >

â�Æa¾¥ÍXȼUÃaÈ=Ì�Ë

¼UÃaÈ=Ì�˾�À=½¿ÅßÁ

ò ñ�� �Eñ µ�±}

ï ñ���±}=�

¼XÃaÈ�Ì�ËÒU¾¥Æ Ü�Á�Òð ¸���¶ ���s1x=|Uz

¼UÃaÈ=Ì�˶ ñ ¹ � · ñ�

zm}¼MÀ=Ç� ½ ÉXÍU¾

ÒX¾¥Æ Ü�Æ�Á�Ò� î�î ¶ � �{v�v�z

¼UÃ�È�Ì�Ëñ � ò,¸ ï}=|

ËLÁ�È�Ë Æ�Á ÍUËÍXÈ�ËLÂ�ÃaÈ�Ì�˾¥½¿ÍUÓ ÍUÈ=ÉUͶ �,î µAò,¸ ï ��X�Mv����±xg�

ff

����±}

� e��}=�

f��s1x=|Xz

�ue� � ezm}

fff{�v�v�z

e(ee}=|

� eEçP»���

�X�Mv����±xg���� �

��� ����� ��� � ! "#%$&�(')� *,+-���.' �/��� 0�(')� *,+1���2' ��� � ! $436587:9��;�=<>�@?;� ��� � A;$B365�� ';�=C�D1<>? ��� � 07E� F1�HG ��� � !�IKJL9����=< ��?)� ��� � 0';�=C�D1< ? ��� � ! "#%$&� 7(M;� NO�(�H� P �/��� 0� 7(M;� NO�(�H� P ��� � ! $436587Q9��;��< �@?;� ��� � 0� 7(R;� ?)� �.� NS< ��� � ! $B365L� 7(M;� NO�(�T� P ��� �=A)$4365VUW9 '-7E� FE? G�* ��� � 09 '-7E� FE? G�* ��� � !�XV$4Y[Z]\^� �`_��H0U;� F1�HG �1< ��� � !/I�JL9 ')7E� FE?�G/* �/��� 0 a

b1�Ī=��y�v °2w4cWd1e`f�g;hid-j]klkKh�m`f�g;h kon�h k�p:qq�kKrsm`h�tKm`h rHh�j�e`d-eHf/q)j]rvuwq;mseHx]hyrTh j�eHh�j6z{hy|~}� }-���4�-�]�W�2}����`����}-�����]�{���)� �V����� d;�vk�h mHf/g1d1e`f�q;jLeHm`h�h��]rHf/jK���]jKf/���Kh�m`�K�/h~d)j]k�/h{��f�z�d-��f�eHh � � f/j��6q;�/k]��f�k�h�j�e`f@ ]h m`r¡q)u¢e`xKhlrTq;�Km`z�h��;m`d)����d)m � eHq;t6��£ � �6��tKxKm(d)rHhrTeHm`�]z�e`�Km`h�eHm`h�hs��d-��h��/��h>k¡p�f@e`x¤�]rTh mT¥2k�h� ]jKh k £Kt]d-m(d-��h�eHh�m`f/¦ d-�]��hsz�d-eHh �)q)m`§yd)�K�Km`h�gf/d-¥e`f�q;j]r � z{h j�eHh�m���£Kd)j]k � z �Oh ��h �~h j�e`d-m`§ik�h t6h j]k�h�j6z{§i�;m`d)tKxyh���e`m`d;z�e`h k�uwm`q)�¨eHxKh[©Wª «��h d)jKf/jK��mHh tKmHh>rTh j�e`d1e`f�q;j � �6q)eTeHq;�i��¬

{P|)}={P~��x�^{)�-�����_�-{P|����-�^���P�2�P�2�2���D�����-���L}(�.­

Page 6: The Stanford Natural Language Processing GroupV DM@B D CEd qH)> i m

1 ����������� ������������������������������������ ����!�"#��$%�

hsH)>B>B<��V� i hVDM:=> i >¨H���IECE> i�i C�@ i >A@ > i C�@ i CE� i > D ���±H :gdE<?CJn @AH @ fJi hE:BH��VD��1<?�?<q@B< i >@ fJi � D >B>B<?n)C @AH�@ fJi � k

l�H)>A@ÛhE:gH��VD��V<?�?<m>A@B<?�ÛhVDM:=>B<?CJn : i > i DM:g� f <?> �VD > i d�H)C �E:gD CE� f <?CJn7hE:BH�� i >B>�ÛH�d i �?>áNW� DM:B:=<?>-� F=G�1�3)c=käF fEi ���(�^� d i :g<qKMDM@B<qH)CE>�@ f DM@ @ fJi @A: i�i �VD CJ�?��DM� i >DLKUD <?�mD��V� i ��D C � i K�< i � i déD >Û>BIE� f D*�E:gD CE� f <?CJn hE:BH�� i >B>-�%D CEdéD >A@AH�� f D >/!@B<?� ��H,d i ��H��Ú@ fJi @A: i�i >���D C � i �VIV<?�q@ D >-����H :�<?CE>A@BD CV� i �´D�hE:BH��VD��1<?�?<?>A@B<m��±H)C�@ i21 @/!0��: i�i n :gD��9��DM:/NW# e � % c�ÛH�d i �¥kIC �VC i � N/F=G�G�4 c CJH @ i > hE:gH��V� i ��>�´<?@ f @ fJi >AH)IECVdEC i >B>�H��*@ fJi DMhVhE:BH)D � f �&> f H^�´<?CJn @ f DM@á@ fJi dE<m>A@A:g<��VIE@B<qH)C�H��d i :=<qKUDM@B<?H)CE> H��ÛD.IECE<�6V��DM@B<qH)C"!0�VD > i d n :gD��9��DM: ��D=� � i �?� CJH @,� i <mC!@ fJi���?D >g> H��L# e � % n :gD��9��DM:=>ád i 61C i d�IE>g<?CJno<q@B>G�±H)C�@ i21 @/!0��: i�i �VD > i ku� i �ÛH�!@B<qKMDM@ i >G@ fJi IE> i H�� �qH n�!#�?<?C i DM:D�ÛH�d i �?> NWC´n : i >B@B<X�gF=G�G���c ��H :ÚhVDM:g> i :gD CJ��<?CJn@ f DM@ � H f CV>AH)C7D CVd��±H)�?� i DMn)I i > ��IJ:B@ fEi : d i K i �qH h i d�N"� H f CV>AH)C i @�D �¥k��uF=G�G�G)c=kE*IE<?�mdE<?CJn;�±H)CEdE<?@B<qH)CED �E�qH n�!#�m<?C i DM: ��H,d i �m>4<?>�D �?>AH i21 h i �±@ i d @AHá<��ÛhV:BHLK i n i C"!i :gD �m<���DM@B<qH)C�h i :��PH :)��D CE� i � i ��D IV> i @ fJi �±:g<q@ i :g<?H)C � i <?CEn�H hE@B<���<�� i d�<?>ÚdE<?>/!�±:g<_��<?CEDM@B<qK i N���DMhVCE<q� � F=G�G�H���� n D CEd �)H :gdED C>�>���������~9 � i <mC�D CEd/l�D CVCE<?CJn���������)c=k

/aC @ f <?> ��H :B�'� i;f DLK i¨i21 h i :g<�� i C�@ i d �´<q@ f �rH @ f n i C i :=DM@B<qK i D CEd �±H)CEdE<3!@B<qH)CVD ���qH n�!#�m<?C i DM:u�ÛH,d i �?>~HXK i :�@ fJi >BD�� i � i DM@BIJ: i > i @B>�D CVd�� i : i hsH :B@&: i >gIE�q@B>D � f < i K i d IE>B<mCJn'�sH @ f �,<mCEdE> H��I�ÛH�d i �?>�k#8 iÛi21 D���<?C i @ fJi h i :+�PH :+��D CE� i H��6EK i �ÛH�d i �?>�<&D C ��l7l @BDMn n)<?CEn �ÛH�d i �X��D7>B<_�ÛhV� i # e � % ��D,# e � % �´<q@ fD CE� i >B@AH : D CECJH @BDM@B<?H)C?� fJi : i @ fJi C�I(��� i :�H��%D CE� i >A@AH :g>L�3D > > i � i �±@ i d7D IJ@AH�!��DM@B<m��D �?�����JD9�ÛH�d i �sH��(> i ��D C�@B<?� d i h i CEd i CV��< i >-��D CEdoD f ���V:g<?d �ÛH,d i �s@ f DM@�±H�� �V<?C i >4hE: i dE<m�±@B<qH)CE> ��:BH�� > i K i :gD �rH��~@ fJi D��rHXK i �ÛH,d i �?>�k��JH :*@ fJi > i �ÛH�d"!i �?> � i D �m>AH�@A:gD <mC i d��±H :B: i >AhsH)CEdE<mCJn��±H)CEdE<?@B<qH)CED �4�?H n�!#�?<?C i DM:D�ÛH�d i �?>GIE>B<?CJn@ fJi >gD�� i <?C���H :+��DM@B<?H)C >AH)IJ:g� i >D >´@ fJi n i C i :gDM@B<?K i �ÛH�d i �?>�k

F fJi > i �ÛH�d i �?>J�´<?�?��� i d i >B�±:g<�� i d <?C �ÛH : i d i @BD <?��<mC;@ fJi C i21 @(> i �±@B<qH)Cäk 8 i6E:=>A@3d i >B�±:g<�� i @ fJi n i C i :gDM@B<qK i �ÛH,d i �?>*D CEd D��P@ i :´@ f DM@�@ fJi <q:�±H :B: i >AhsH)CEdE<?CJn�±H)CEdV<q@B<qH)CED �s�qH n�!#�?<mC i DM:��ÛH�d i �?>�k

�äõ�� �ø��ú��JùXÿ �� �÷ûäü�����

� � � ���

F fEi @BDMn n i : � i <��Ûh1� i � i C�@ i d <m>3DÚ>A@BD CVdEDM:gd @A:g<qn :=D�� ��l l @BDMn n i :=�1d i 6VC"!<?CEnGD &AH)<?C�@*hE:gH��VD��V<?�?<?@@��dE<?>B@A:g<��VIJ@B<?H)CÛHLK i : @ fJi hE: i @ i :+��<mCED �1> i=< I i CV� i >D CEd��< i �?dE>H��%@ fJi d i :=<qKUDM@B<?H)Co@A: i�i >�krF fJi hE: i @ i :+��<mCED �?>�H��%@ fJi d i :g<qKMDM@B<qH)C @A: i�i >DM: i @ fJi � i21 <?��D ��<q@ i � <md i C�@B<�6 i :g>�kVF fJi � DM: i dE<m>AhV�?D�� i d�<?C[�rH)�mdo<?Co�(<qn)IJ: i F�� �� kF�:g<qn :=D�� hE:BH��VD��V<m�?<q@B< i >rDM: i >���H�H @ fJi d �����?<?C i DM:~<mC�@ i :BhsH)�?DM@B<?H)C � <q@ f �qH�� i :A!

H :gd i :?�ÛH,d i �?>-�*IE>B<?CJn 8 <q@A@ i C"!@E i �?� >���H�H @ f <mCJn&�´<q@ f D�KUDM:+�,<?CEn�h1DM:gD�� i !@ i :�� N 8 <q@A@ i C D CEd$E i �m�X� F=G�G"FLc=k¨F fJi n i C i :gD ���PH :+�GIE�?DM@B<?H)C �PH :�d i � i @ i d

{P|)}={P~��x�^{)�-�����_�-{P|����-�^���P�2�P�2�2���D�����-���L}(���

Page 7: The Stanford Natural Language Processing GroupV DM@B D CEd qH)> i m

� � ��������� � ������� � �9���� ���=� ��������������� � ���� 4

<?C�@ i :BhsH)�?DM@B<qH)C �VD > i d H)Co�?<?C i DM:�±H)C�@ i21 @¨>gI��V> i @B>�<?>%<���N���� � B������ ����c� ���� a�������� � �������N���� � B������ ����c��!N/F � ��� a�������� � ����c �� N���� � B������� ��� � B cD CEd @ fEi 8 <?@A@ i C"!@E i �?��� i @ f H�d5� i IE> i d d i 61C i >�@ fJi <?C�@ i :BhsH)�?DM@B<qH)C5� i <qn f @B>D >�<

��N�� B�����!� �"��c# $ N�� B�����!� �"��c$ N�� B!������ ���Ec�� �&%'� �?< $ N�� � � B������ ���Ec)( �"�

F fJi � i21 <?��D � <q@ i � <?d i C�@B<�6 i :g>�> f H��´C <?C ��<?n)IJ: i F7DM: i H :Bn)D CE<�� i d <?C�@AHD��sH)IJ@,>������ i21 <?��D �s@���h i >-��� f <?� f DM: i @ fJi ��> i �qK i >�hV�mD � i d <?C @ fJi ���(�^� @���h if < i :gDM:g� f � k1F fJi � i21 <?��D ��@@�,h i > DM: i CJH @¨> f H�� C7<?C�@ fJi 6En)IJ: i krF fJi �oDM: i @ fJidE<?: i �±@�>BIEh i :�!�@@�,h i >�H��&@ fEi � i21 <?��D �r<q@ i ��>�k,�JH : i21 D��ÛhV� i ��@ fJi � i21 <?��D �1@@�,h i H��* ��ù ��ô <?C�@ fJi 6En)IJ: i <?>,+ S"Y N-M�6 R�N ��D CEd�@ fEi � i21 <?��D �J@���h i H�� � �Vørù ��� <?>+ OPS8\.- N0/=S"V R�N k�£�IJ:�@BDMn n)<?CJn �ÛH�d i �,dJH i >(CJH @(@BDM� i D dJKMD C�@BDMn i H��E@ fJi � i21 <?��D �@���h i >�H :3@ fJi @@�,h i¨f < i :gDM:=� f ��<?Cy� f <m� f @ fEi ��DM: i H :Bn)D CV<�� i d D CVd9� i hV�mD CÛ@AHhVIE:g>BI i <?CE�±H :BhsH :gDM@B<mCJnÚ@ f <?>�<?C���H :+��DM@B<?H)C <?C5��IE@BIJ: i �ÛH�d i �?>�k

13254)687:9�; � - � 9=<����?> � �A@B< �C @D9.+ � ��� �

F fEi # e � % �ÛH,d i �?>�d i 61C i hE:gH��VD��V<?�?<?@@��dE<?>A@A:g<��VIJ@B<qH)CE>GHXK i : @ fJi @A: i�i > H��d i :=<qKUDM@B<?H)CED �ä@@�,h i >´�±H :B: i >AhsH)CEdE<?CJnÛ@AH @ fJi �J�(��� D CED ����> i >´H���> i C�@ i CV� i >�k C# e � % �ÛH�d i � f D > hVDM:gD�� i @ i :g>�E!F � G ��H : i D � f :gIE� iIH F)JLK G <?C/@ fJi �±H :g: i !>AhsH)CEdV<?CJn;�±H)C�@ i21 @/!0��: i�i n :gD��9��DM:;NDEF � G M��N.K G � H F�cAc=kON�/aC�H)IE:�DMhEhV�m<?��DM@B<qH)C>�@ fJi CEH)C�@ i :+��<?CED �?>;<?C/@ fEi # e � %PH F�DM: i >g� fJi ��D > H��*@ fJi ���(�^� n :gD��'��DM:IE> i do@AH �VIE<?�?d @ fEi hVDM:=> i >GN�>gIE� f D > � � ;�QSRA9 ! � -�H : � � ;�Q ;�T�c=k 8 i > i @@ fJi hVDM:gD�� i @ i :g>4@AH ��D 1 <���<�� i @ fJi �?<?� i �?< f H,H,dGH��s@ fJi > i @�H��~d i :g<?KUDM@B<qH)CÚ@A: i�i >��H :á@ fEi hV: i � i :g: i d�h1DM:g> i >áH��´@ fJi > i C�@ i CE� i >Û<?C�D7@A:=D <?CE<?CJn7> i @�k5/�C ��IE:B@ fJi :dE<m>B��IE>B>B<?H)C'� i �´<?�m�1: i � i :@AH�@ f <?>�>B<���hV� i # e � % �ÛH�d i �äD >3U�V�WX�Y�Z!Urk

# e � % �ÛH�d i �?>¨��D C � i ��D d i � i @A@ i : <��%@ fJi :gIE� i DMhEhV�m<?��DM@B<qH)CE>¨DM: i �±H)C"!dE<?@B<qH)C i d�@AH6��DMhE@BIE: i >BI�[ ��< i C�@��±H)C�@ i21 @�k��JH : i21 D���hV� i �%n :gD CEdEhVDM: i C�@�D C"!CJH @BDM@B<?H)C.��H : # e � % > f D > � i�i C6> f H��´C�@AH >B<?n)CE<�6V��D C�@B���/<��ÛhE:BHXK i hVDM:=>B<?CJnD ����IJ:=D �2��N e*f DM:gCE<mDM� D CEd e DM:B:BH)�m�X��F=G�G ��� �)H f CE>AH)C���F=G�G�H)c=k~£;C i � i DM@BIJ: i H��@ fJi �&<?C % £ ��� � <?>~@ f DM@�<q@&<?>J�V<?CEDM:=<�� i d;D CEd @ f IE>�<q@&<?> i K i C ��H : i <���hrH :g@BD C�@@AH ��DM� i hV:BH��VD��V<?�m<?>A@B<?�u�ÛH�d i �?>�D=�*DM: i H��ED �´<?d i :&�±H)C�@ i21 @�k 8 i <��ÛhV� i � i C�@ i d> i K i :=D � ��H,d i �m>4@ f DM@��±H)CEdV<q@B<qH)C D dEdE<q@B<?H)CED �?���GH)C @ fJi hVDM: i C�@-�,n :=D CEdJhVDM: i C�@-�i @B�Mk�H��ä@ fJi ��IJ:g: i C�@�CJH,d i k�loH�d i ��U�V�WX�YD\]U�IE> i >4@ fJi ��IJ:B: i C�@3CJH,d i�` >�hVDM: i C�@D CEd f D >�hVDM:gD�� i @ i :g>�E_^ F a�� F @0`�� G ��H : i D � f :gIE� iaH F a < H F @ JbK G <?CG@ fJi d i :g<?KUD !@B<qH)C�@A: i�i >�k"� i : icH F @ d i CEH @ i >�@ fJi �?D�� i �JH��äD CJH�d i ��D CEd H F a @ fJi �?D�� i �JH��~<q@B>hVDM: i C�@�k ¢ <���<?�?DM:g���5�ÛH�d i �)U�V�WX�Y.d_U7�±H)CVdE<q@B<qH)CE> H)C/@ fJi CJH�d i�` >¨hVDM: i C�@ D CEdn :gD CVdJhVDM: i C�@�kE�JH : i >A@B<_��DM@B<qH)C H���@ fJi �qH���D � i21 hVD CE>B<qH)C hV:BH��VD��V<?�m<q@B< i >-��@ fJi > ie b ÈgÁ1À=Í�½¿Í�Â¥Á�È�ÇXÉUÃ�Â�½ÄÈ=Í3Â�Èe � bOf Ó=Á#ÀgÌ�ÌÀgÁ�¾E¾¥ÆaÆ�Ô=Ý�È=Á1Æ�ÊXÀ=Ì�ËXÅ¿Æ�Ô=Â�¼XÆsÂ�Æ�Ê�ÂEÒ�â d ��ÀgÍUÍU½¿ÍXÓ

À=ÍUÇ fLÃ#¼�gÉXÂihaÆ�Ô hAi)iPiPl�Ø

{P|)}={P~��x�^{)�-�����_�-{P|����-�^���P�2�P�2�2���D�����-���L}(��j

Page 8: The Stanford Natural Language Processing GroupV DM@B D CEd qH)> i m

H ����������� ������������������������������������ ����!�"#��$%�

�ÛH�d i �?>´IE> i �?<mC i DM:<?C�@ i :BhsH)�?DM@B<qH)C H�� i >A@B<���DM@ i >L�VD > i doH)C �?<?C i DM:>BI8�V> i @B>H��@ fJi �±H)CEdE<?@B<qH)CE<?CJn �±H)C�@ i21 @�k&F fEi <?C�@ i :BhsH)�?DM@B<qH)C �±H i [���< i C�@B> � i : i H��V@BD <?C i dIE>g<?CJn 8 <q@A@ i C�!@E i �m�&>��ÛH,H @ f <?CEnÚD >L�PH :´@ fJi @BDMn n i :�k

C¨C�<?C�@ i : i >A@B<mCJn <?>B>BI i <m> f H�� ��D C �Ú� i K i �?>�H��rh1DM: i C�@B<mCJn;DM: i H hE@B<���D �ED CEdf H^�+@AH�� i DM:=C @ f DM@´D IJ@AH���DM@B<?��D �?��� k

8 i <��Ûh1� i � i C�@ i d.D C i21 @ i CEd i d;# e � % @ f DM@ �±H)CVdE<q@B<qH)CE> i D � f CJH�d i�` >i21 hVD CE>B<?H)C�H)C IJh @AH 6VK i H��á<q@B> D CV� i >A@AH :g> <?C @ fJi d i :g<qKMDM@B<qH)C @A: i�i k´£�IJ:� i @ f H,d H���D CV� i >A@AH : > i � i �±@B<?H)C <m>¨>g<���<?�?DM: @AHo� i DM:gCE<mCJn �±H)C�@ i21 @/!#>Bh i ��<�6V�Û<?C"!d i h i CEd i CE��< i >*<?C:E*D=� i >B<mD C7C i @���H :g�,>GN��J:g< i d8��D CoD CEd % H)�mdE> �=��<?dE@-��F=G�G�1)c=k/aCéhVDM:B@B<m��IE�?DM:=�u� i IE> i d i ��<?>B<qH)C�@A: i�i : i hE: i > i C�@BDM@B<qH)C.H���@ fJi dE<?>B@A:g<��VIJ@B<?H)C��N.K G � $���� ��� � � cu� fJi : i $���� ��� � � �±H)C�@BD <?CE> 6EK i D CV� i >A@AH :g>�k 8 i i21 h i :g<�� i C�@ i d�´<?@ f n :BH�� <?CJn @ fEi d i ��<m>B<qH)CÛ@A: i�i D ���±H :gdE<mCJn @AHÚD C l7j � �±:g<q@ i :g<?H)C�D CEd�n)D <?C:gDM@B<?H D CEd7@ fJi n :BH��´<mCJn D �qn H :=<q@ f � dV<?d�CJH @ ��DM� i D CEH @B<?� i D��V� i dE< *si : i CE� i kF fEi 6VCED �´hE:BH��VD��1<?�?<q@�� i >B@B<���DM@ i > � i : i �m<?C i DM: <mC�@ i :BhsH)�?DM@B<?H)CE>�H�� : i �?DM@B<qK i��: i=< I i CE�2� i >A@B<���DM@ i >G<?C6D�d i ��<?>g<qH)C @A: i�i � i D��D CEd6D �?�4CJH�d i > H)C¤@ fJi hVDM@ f@AH�@ fEi :BH,H @-�´D > <?C N¥l�DMn i :)��D C>�DF=G�G�>)c=k¨F fEi <?C�@ i :BhsH)�?DM@B<qH)C!�±H i [���< i C�@B>� i : i DMn)D <mC i >A@B<���DM@ i d IE>g<?CJn 8 <q@A@ i C"!@E i �?� >��ÛH,H @ f <?CJnJk 8 i �´<?�m�*: i � i : @AH@ fJi # e � % �ÛH,d i � �´<q@ f D CE� i >A@AH :�<?C���H :+��DM@B<?H)C D > U�V�WX�Y�%k

13254)687:9�; � - � 9=<����� ��! + C @�R'> � � � +�; � +�R � � ��� �

8 i D �?>AH´� i DM:=C i d # e � % !#>A@��,� i �ÛH�d i �?>äHXK i :�@A: i�i >~H��J> i ��D C�@B<?�4d i h i CVd i CE��< i >i21 @A:gD �±@ i d ��:BH�� @ fEi ���(�^� >B<qn)CV>�k%F fJi > i > i ��D C�@B<m�:�ÛH,d i �?>Û> i :BK i d D >�D Ci DM:g��� i21 h i :=<�� i C�@�<?CÛIV>B<?CJn�> i ��D C�@B<?��<?C���H :+��DM@B<?H)C ��H :�dE<?>gD����V<?n)IEDM@B<qH)Cäk'8 i<?C�@ i CEd7D >L�3H :B�ohE:gH n : i >B> i > @AH�1IE<?�?do>B@AH,� f D >A@B<?� �ÛH�d i �?>HXK i :;@ fJi i � i � i C"!@BDM:��/d i h i CEd i CV�2�on :gDMh f > i21 @A:gD �±@ i d �P:gH�� !#� � � i D CE<?CJn : i hE: i > i C�@BDM@B<?H)CE>> f H��´Cé<?Cé�(<qn)IE: i F:�VIJ@D��H :�@ fJi �ÛH�� i C�@�� i�i h�@AH�@A: i�i : i hE: i > i C�@BDM@B<?H)CE>�kF fEi > i ��D C�@B<?�;@A: i�i > ��<q:B:BH :�@ fEi d i :g<qKMDM@B<qH)C @A: i�i >�k1F fJi � � i : i H��E@BD <?C i do<?C@ fJi �PH)�?�?H��´<?CEnD��D CEC i :%< 2�D � f CEH,d i <?C @ fJi d i :=<qKUDM@B<?H)C @A: i�i �*D >´D CECEH @BDM@ i d�´<?@ f <q@B>�� i � > i ��D C�@B<?�Û: i �?DM@B<?H)C.N e H h i >A@BDM� i�i @áD �¥k�� F=G�G�G)c=k e H)CE> i=< I i C�@B���@ fJi D CECJH @BDM@ i d/@A: i�i �*D > � DM@A@ i C i d >BH @ f DM@;D �?��d i h i CEd i C�@B> H���D > i ��D C�@B<?�: i �mDM@B<qH)C H�����IJ:áDM@á@ fJi >BD�� i � i K i �4H��3@ fEi @A: i�i D > <q@B>ádE<q: i �±@ d i >B� i CEdED C�@B>�k�(<qn)IJ: i � > f H^�´> @ fEi > i ��D C�@B<m� d i h i CEd i CE�2� @A: i�i �PH :Ú@ fJi > i C�@ i CE� i <�� ]O-Q�M)M����

F fJi hV:BH��VD��V<?�m<q@@��H�� D�> i ��D C�@B<?�/d i h i CEd i CV�2�é@A: i�i �3D > i >A@B<_��DM@ i d!D >D hE:BH�dEIE�±@ H��4@ fJi hE:BH��VD��1<?�?<q@B< i >H����qH���D ��@A: i�i >-�ä>BIE� f D >¨@ fJi H)C i > f H��´C <?C�(<qn)IJ: i �,k)�JH :4@ fJi > i @A: i�i >%@ fJi�i21 hVD CE>g<qH)CGH��1D�CJH�d i <?>�K,< i � i dÛD >%�±H)CE>B<m>A@B<?CJnH�� > i hVDM:gDM@ i @A:g<?D �?>��H : i D � f d i h i CEd i C�@�k C¨C��.�±H)CEdE<q@B<?H)CED � d i h i CVd i CE��< i >D��ÛH)CEn7� f <?�?dJ: i C/H��D7CJH�d i ��D C � i ��DMhE@BIJ: i d.��� i21 hVD CEdE<?CEno@ fJi�f <m>A@AH :�� kF fEi hE:BH��VD��1<?�?<q@��áH��än i C i :=DM@B<?CJnáDGd i h i CEd i C�@4<?C�@ fJi > i ��D C�@B<m�´d i h i CEd i CV�2�@A: i�i >;<m> i >A@B<���DM@ i d/n)<qK i C�D �±H)C�@ i21 @ H�� 6VK i �±H)CVdE<q@B<qH)CE<mCJn'� i DM@BIJ: i >�k~F fJi > i� i : i �3@ fJi hVDM: i C�@ H��á@ fJi CEH,d i N�@ fJi hVDM: i C�@ <?>�@ fEi/fEi D d D CVd.@ fJi CJH�d i<?> @ fJi d i h i CEd i C�@=c)��@ fJi dE<?: i �±@B<qH)C.N�� i ��@ H���:=<qn f @=c)��@ fJi C,I8� � i : H��d i h i C"!

{P|)}={P~��x�^{)�-�����_�-{P|����-�^���P�2�P�2�2���D�����-���L}(���

Page 9: The Stanford Natural Language Processing GroupV DM@B D CEd qH)> i m

� � ��������� � ������� � �9���� ���=� ��������������� � ���� G

��� ����� ���

����� � ��� ��������� ����b1�Ī=��y�v���w f�ÆaÌÀ=Í�Â�½¿Ã%ÇLÆaË ÆaÍMÇLÆaÍUÃ�â�Â¥Á�ÆaÆ(Ý�ÈgÁ&Â�¼XÆ(¾¥ÆaÍ�Â�ÆaÍXÃaÆ�� «�x={���}=y#y��gØ

d i C�@B>�D �?: i D d��én i C i :gDM@ i d <?C�@ fJi >gIJ:���D � i >A@A:g<?CEn � i @@� i�i C @ fEi7fJi D d D CEd@ fJi d i h i CVd i C�@-� @ fEi n :gD CEdJh1DM: i C�@��?D�� i �X� D CEdÛ@ fJi �mD�� i ��H��s@ fJi <��9� i dE<mDM@ i ���hE: i � i dE<?CJnÛd i h i CEd i C�@�kEF f <m> �ÛH,d i �ä<?>D�>B�m<qn f @���H,dE<�6V��DM@B<qH)C H���@ fJi �ÛH�d i �HXK i :�> i ��D C�@B<?�d i h i CVd i CE�2�G@A: i�i >4d i >g�±:g<�� i dÚ<?CoN�F&H)IE@BD CJHLKMDáD CVd�l�D CVCE<?CJn���������)c=k

l�H : i >Ah i ��<�6V��D �m�����V@ fJi �ÛH�d i � �PH :�n i C i :=DM@B<qH)C/H��4> i ��D C�@B<?�Úd i h i CEd i C�@B>@AH @ fJi � i ��@�D CVd :g<qn f @�<m>&D > �PH)�?�?H��´>�<U�(<q:g>A@~@ fEi � i ��@�d i h i CEd i C�@B>�DM: i n i C i :=DM@ i d��:BH��+:=<qn f @�@AH¨� i �P@�n)<qK i C @ fEi�fJi D d>�U<q@B>�hVDM: i C�@-�L:g<qn f @�>g<?>A@ i :=�UD CEd @ fJi C�I(��� i :H��&d i h i CVd i C�@B>4@AHÚ@ fJi � i �P@3@ f DM@ f D�K i D �q: i D d8�9� i�i C�n i C i :=DM@ i däk�CL��@ i :*@ f DM@-�@ fJi :g<qn f @�d i h i CEd i C�@B>¨DM: i n i C i :gDM@ i d*�P:gH�� � i �P@¨@AH :g<qn f @-�sn)<qK i C @ fJiÛfJi D d>�<q@B>hVDM: i C�@-�V� i ��@>B<?>A@ i :´D CVdoC�I(��� i :H��(d i h i CEd i C�@B>�@AH�@ fJi :g<qn f @@ f DM@ f DLK iD �q: i D d��?� i�i C n i C i :gDM@ i däk08 i D �?>BH D dVd >B@AH h¤>A��� �sH)�?>�DM@�@ fJiÚi CEdE>¨@AH @ fJi� i ��@%D CEdÛ:g<?n f @�k F f <m>�ÛH,d i �,<m>(K i :��Û>B<���<?�mDM:�@AH @ fEi ��DM:B� HLK�<�� i d�:gIE� i �ÛH�d i �?><?C7N e H)�?�?<?CV>-��F=G�G�4 c=kE�JH : i21 D��ÛhV� i ��@ fJi &aH)<?C�@�hE:gH��VD��V<?�?<?@@� H��ä@ fEi d i h i CEd i C�@B>H�� \+N Z M�� M�N2R <?C @ fJi D��rHXK i i21 D��ÛhV� i �3H)IE�?d5� i <

� � Z�MAQ�Y M�N2R � \+N Z�M�� MAN-R��WR�N��PU������XU0Q)Z �WY�Q�Y N � %� � O2U0Q)Z � \+N Z�M�� MAN-R��WR�N �2U��!���XU0Q)Z �TZ�MAQ�Y MAN-R � %� � O-Q�M)M�� MAN-R � \)N Z�M�� M�N2R"��MPV76$#�U������WU0QPZ ��Y Q�Y N � %� � O2U0Q)Z � \+N Z�M�� MAN-R��WMPV76$#�U���%&�WU0Q)Z�� O-Q�M)M�� M�N2R �

F fJi D��ÛH)IEC�@3H��~�±H)CEdE<q@B<qH)CV<?CJn �±H)C�@ i21 @K��H :4@ f <?>4h f D > i �3D >3� f H)> i C D IJ@AH�!��DM@B<m��D �?���Û>B<���<m�?DM:g���á@AH&U�V�WX�Y����IE>B<?CEn Dád i ��<?>B<qH)C�@A: i�i n :gH��´<?CEnGD �qn H :=<q@ f � k�(<?CED ��hE:BH��1D��V<?�?<q@�� i >A@B<���DM@ i >� i : i H��E@BD <?C i dGDM@%@ fEi d i ��<?>B<qH)Cá@A: i�i � i D�K i >4IE>/!<?CEn�8 <q@A@ i C�!@E i �m��>��ÛH,H @ f <?CEnD >J��H :~@ fJi H @ fJi : �ÛH�d i �?>�k�/�C���IJ:g@ fJi :&dE<?>g��IE>B>B<qH)C� i �´<?�?�r: i � i :@AH�@ fEi �ÛH�d i �sH��%> i ��D C�@B<?�;d i h i CEd i CE��< i >�D >3U�V�WX�Y!'&(*)´k

7:9 ;�� - 239�!,+�@ + �C @�9 +

8 i7i21 hV�?H : i d��±H�� �V<?CE<?CEn @ fEi hE: i dE<m�±@B<qH)CE>D��:BH�� @ fJi U�V�WX�Y�� �ÛH,d i �X�%@ fJi@BDMn n i :=��D CEd U�V�WX�Y!'&(*) k3F fEi �±H�� �V<?C i d;�ÛH,d i � �±H��Ûh1IJ@ i >�@ fEi >B�±H : i > H��D CED ���,> i >�D >��m<?C i DM:��±H����1<?CEDM@B<qH)CE>3H���@ fJi �qH n�!�hE:BH��1D��V<?�?<q@B< i >4D >B>B<?n)C i d @AHÛ@ fJiD CED ���,> i >9����@ fJi <?CEdE<qK�<?dEIVD �I�ÛH�d i �?>�k ¢ <?CE� i >AH�� i H���@ fJi ��D �±@AH :g>�h1DM:B@B<?�P!<qh1DM@B<?CJn.<?C @ fJi @BDMn n i :¤D �?>AH.h1DM:B@B<?��<qhVDM@ i <?C+@ fEi U�V�WX�Y� �ÛH,d i �X� <?C @ fJi�±H�� �V<?C i d �ÛH�d i � � i IV> i d�H)CV���/@ fJi @A:g<?n :gD�� @BDMn > i=< I i CE� i hE:BH��VD��1<?�?<q@B< i >��:BH�� @ fEi @BDMn n i :�k*F fJi > i DM: i @ fJi @A:gD CE>B<?@B<qH)CéhE:BH��1D��V<?�?<q@B< i >ÚH��¨@ fEi ��l7l@BDMn n)<?CEn'�ÛH�d i �¥k

{P|)}={P~��x�^{)�-�����_�-{P|����-�^���P�2�P�2�2���D�����-���L}(���

Page 10: The Stanford Natural Language Processing GroupV DM@B D CEd qH)> i m

F-� ����������� ������������������������������������ ����!�"#��$%�

l�H : i >Bh i ��<�6V��D �?�����"��H :´DÛ@A: i�i � �

���)Q�M�N N � c# �qH nrND���������� 3N � cAc � � B �qH nrND�������3N U 6�O N � cAcAc � � : �qH nsND����������������N � cAc� fEi : i � ������ N U 6�O N � cAc�<?>%@ fJi hE:BH��VD��1<?�?<q@�� H��s@ fJi > i=< I i CV� i H��shE: i @ i :+��<?CED �?>� B������ � � <?C � D ���±H :gdE<?CJn�@AH�DÛ@A:g<qn :=D��å@BDMn�ÛH�d i � <

�������3N � B������ � �,c# ��F"! B � N � F0� � F�� B�� � F � : c

�´<?@ f DMhEhE:BH hE:=<?DM@ i @A: i DM@�� i C�@�H�� �sH)IECEdEDM:=< i >�k(F fJi @A:g<qn :=D�� hE:BH��VD��1<?�?<q@B< i >DM: i >��ÛH,H @ fJi d D >5��H : @ fEi ��l7l @BDMn n i :�k´F fEi �±H�� �V<?CEDM@B<qH)C � i <qn f @B> � BD CEd � : � i : i CJH @L6E@A@ i d i21 @ i CV>B<qK i ��� krF fJi h i :���H :+��D CE� i H��%@ fEi �ÛH�d i ���*D >>A@BD��1� i IECVd i : � f D CJn i >¨H��%@ fJi KUD �?I i H�� � B <?C�@ fJi :=D CJn i ��k ��@AH*F���� fEi : i D >@ fJi h i :��PH :)��D CE� i H��&@ fJi �±H�� �V<?CVDM@B<qH)C9� i C�@�dJH^�´C <���� : �3D >*> i @3@AHÛD KMD �?I iD��sHLK i ��k >,k 8 i : i hsH :B@�: i >BIE�q@B>�IE>g<?CJnÚKUD �mI i >c� B � >ÛD CEd � : � �Jk

#&õ%$áûrø&ü(ÿPùXÿ�û1ø ���'&�û�(�) ��ÿ�ø �Eú �÷ûäü�����

C��±H)CEdE<?@B<qH)CED �)�qH n�!#�m<?C i DM:J�ÛH�d i ����H : i >B@B<���DM@B<?CJn´@ fJi hE:gH��VD��V<?�?<?@@�´H��JD C ���(�^�D CED ���,>B<m>(n)<qK i C�Dá> i C�@ i CV� i f D >�D > i @4H�� � i DM@BIJ: i >+*�, B ����� ,�-/. d i 6VC i dÛHXK i :D CED ���,> i > D CEd�D�> i @´H����±H :B: i >AhsH)CEdE<?CJny� i <qn f @B>0* � B�����!� ��-/. �PH : @ fJi � k /aC@ f <m>L�3H :B�?� iÛf D�K i d i 6VC i d[� i DM@BIJ: i >�HXK i : d i :g<qKMDM@B<qH)C7@A: i�i >;D CEd/> i ��D C�@B<?�@A: i�i >´D >´d i >B�±:=<�� i d��H :´@ fEi �E:gD CE� f <?CJnÚhE:BH�� i >B>���H,d i �m>�k

�EH : D¤> i C�@ i CE� i21 �´<?@ f hsH)>B>B<��V� i D CED ���,> i > � B�����!� ��3 ��@ fJi �±H)CEdV<q@B<qH)CED �hE:gH��VD��V<?�?<?@@�y��H : D CED ����>B<?> � F(<?>*n)<qK i C?���#<

��N � FS� 1 c i21 h54 G ! B ������� � - , G N � F#c � G4 F�6�! B ������� � 3 i21 h 4 G ! B ������� � - , G N � F�6 c � GC¨> d i >B�±:g<�� i d;��� � H f CV>AH)C i @ D ��k�N/F=G�G�G)c)��� i @A:gD <?C i d @ fJi �ÛH�d i � ���

��D 1 <���<���<?CJn�@ fEi �±H)CVdE<q@B<qH)CED ���?<?� i �?< f H,H,d.H�� @ fJi hV: i � i :g: i d D CED ����> i > D CEdIE>g<?CJn D % D IE>B>B<?D C hE:=<qH : ��H : >��ÛH,H @ f <?CEn/N e*fEi C D CEd � H)> i C�� i �?d>�uF=G�G�G)c=k./aChVDM:g@B<?��IE�?DM:=�,@ fJi H�� & i �±@B<qK i � i <mCJny��D 1 <_��<�� i d5�*D >@ fJi ��H)�?�qH^�´<?CJn <

7¨N98 �;: c# <F=! B ������� � �?> ��@

NBA�N � B � 1 F cAc �F

��C : <G ! B ������� � -

� :G

� i : i 8 <m> @ fJi @A:gD <?CE<mCJn�dVDM@BD�> i @oD CEdED�:gD CJn i > HXK i :7D �?�;> i C�@ i CE� i >-� � Bd i CEH @ i >�@ fEi �±H :g: i �±@�D CED ����>B<?> �PH :�DÚ> i C�@ i CE� i ��C7<m>�@ fEi >A@BD CVdEDM:gd d i K�<?DM@B<qH)CH��%@ fJi9% D IE>g>B<?D C7hE:g<qH :�k 8 iái21 h i :g<�� i C�@ i d[� <q@ f > i K i :=D ��KMD �?I i > ��H :5C�D CEd>���D �?�VKMD �?I i >g� i : i � i @A@ i :�k /�C @ fJi ��H)�?�qH�� <?CJn i21 h i :g<�� i C�@B>-�FC F �*D >�IE> i d��H :´D �?�>�ÛH�d i �?>�k

8 i IE> i d.@ fJi �±H)C'&BIJn)DM@ i n :gD dE< i C�@5� i @ f H�d ��H : H hE@B<���<���DM@B<qH)Cäk /aC H)IJ:i21 h i :g<�� i C�@B>�<mCE���?IEdE<mCJn�H)CE���c� i DM@BIJ: i >u�´<?@ f H��V> i :BK i d �P: i=< I i CE�2� �ÛH : i @ f D C

{P|)}={P~��x�^{)�-�����_�-{P|����-�^���P�2�P�2�2���9�����-��� }8���A�

Page 11: The Stanford Natural Language Processing GroupV DM@B D CEd qH)> i m

� � ��������� � ������� � �9���� ���=� ��������������� � ���� F�F

D´@ f : i > f H)�mdc�3D >�CJH @�D dJKUD C�@BDMn i H)IE>(D CEd @ fJi : i ��H : i � i <?CV���?IEd i D �?�)H,����IJ:g:g<?CJn� i DM@BIJ: i >�k

/aC¤N � < i ��� i : i @D �¥k��8�������)c�>B<_��<?�?DM:*�qH n�!#�?<?C i DM:K��H,d i �m>3DM: i IE> i d>�"�VIJ@*H)CE���hVDM:g@B<?D ��D CVCJH @BDM@B<qH)C�H�� �±H :g: i �±@�D CED ����> i >Ú<?>ÚD�KMD <?�?D��V� i D CEd�@ fJi : i �PH : i @ fJi �H hE@B<_��<�� i @ fJi �±H)CEdE<?@B<qH)CED �4�m<q� i �?< f H,H�d/H��´�±H)CE>B<?>B@ i C�@áhVDM:g> i >�k(F fJi � i DM@BIE: i >N�hE:gH h i :g@B< i >=c&@ fJi �ÛIE> i <mCE���?IEd i �±H)IEC�@B>�H��ä�P!#>A@A:=IE�±@BIJ: i >gI��E@A: i�i >-�)CEH,d i >=��D CEd� !#>A@A:gIE�±@BIE: i DM@A@A:g<��VIE@ i >�k�l�H : i �±H��Ûh1� i21 � i DM@BIJ: i >�<?CEdV<?��DM@B<?CJn DM@A@BD � f � i C�@-��E:=D CE� f <mCJn��4D CEd N�CJH)C1c�hVDM:gD �?� i �?<?>�� H�� �±H,H :gdE<mCEDM@B<qH)CE> DM: i D �m>AH6<?CV���?IEd i däk� i21 <?��D � � i DM@BIJ: i > DM: i H��E@BD <mC i doIE>B<mCJnGD����?IE>A@ i :g<mCJny�ÛH,d i �¥k

£;IJ:��qH n�!#�m<?C i DM: ��H,d i �m> f DLK i � i DM@BIJ: i > i21 D �±@B��� �±H :B: i >AhsH)CEdE<?CJn�@AH¨@ fJi 6EK in i C i :=DM@B<qK i �ÛH�d i �?>%d i >g�±:g<�� i dÛ<?CÚ@ fJi hE: i K,<qH)IV>%> i �±@B<qH)Cäk�F fJi �PH)�m�qH��´<mCJn;>BI���!> i �±@B<?H)CE>%n)<qK i ��H : i d i @BD <?��H)CÛ@ fEi �±H :B: i >AhsH)CEd i CE� i � i @@� i�i CÛ@ fJi n i C i :=DM@B<qK iD CEd dV<?>B�±:g<���<?CEDM@B<qK i �ÛH�d i �?>�k

� � � ���

F fEi �±H)CEdE<?@B<qH)CED �1@BDMn n)<?CJny�ÛH�d i >�������� ��� )�<mCE���?IEd i >I� i DM@BIE: i >K�PH :�D �?�r� i21 <?��D �<q@ i � @A:g<qn :gD���>=���V<qn :gD���>�D CVd IECE<qn :gD���>�k

7:9 ;�� - � 9=< ���:> ���A@ < �C @�9 + � ��� �

F fEi �±H)CEdE<?@B<qH)CED �r�qH n�!#�?<?C i DM:K�ÛH�d i ��� U�V�WX�Y ZU����±H :B: i >BhrH)CVdE<?CJná@AH U�V�WX�Y�Z!Uf D >�H)C i � i DM@BIE: i ��H : i D � fÚi21 hVD CE>B<qH)C H�� i D � f CJH)C�@ i :+��<mCED ��<?Cá@ fJi d i :g<qKMDM@B<qH)C@A: i�i > H F J K G k&�JH :GDod i :g<qKMDM@B<qH)C @A: i�i � ��<q@ f D > D > KUD �?I i @ fJi C,I8��� i : H��@B<�� i >�@ f <?> i21 hVD CV>B<qH)C H�����IJ:g> <?C @ fJi @A: i�i kr�JH : i K i :�� i21 hVD CE>B<?H)C H F J K G �U�V�WX�Y�Z!U f D > D¤hVDM:=D�� i @ i :&EF G ��N.K G � H F#c)�3D CEd � U�V�WX�Y�Z!U f D >�D�hVD !:gD�� i @ i : ��F G k(F fJi C,I8� � i : H��hVDM:=D�� i @ i :g>Ú<?> @ f IE>G@ fJi >BD�� i <?C U�V�WX�Y�Z!UD CEd � U�V�WX�Y ZU1k&F fJi hE:BH��1D��V<?�?<q@B< i > @ f DM@��sH @ f �ÛH�d i �?> D >B>B<qn)C�@AH7Doh1DM:g> i@A: i�i � DM: i hE:BH hsH :B@B<qH)CVD �ä@AH @ fEi hE:gH,dEIV�±@H���hVDM:gD�� i @ i :g>��±H :B: i >AhsH)CEdE<mCJnÛ@AHH�����IJ:B:g<mCJn�hE:gH,dEIV�±@B<qH)CE>�ksF fJi dE< *si : i CE� i <?>�@ f DM@�@ fJi � i <qn f @B> ��F G DM: iÛi >A@B<3!��DM@ i d ��� ��D 1 <_�áI8� �±H)CVdE<q@B<qH)CED �(�?<?� i �?< f H,H,d7D CEd CJH @;: i �mDM@B<qK i �P: i=< I i CV�2�NW��D 1 <��GI8� &AH)<?C�@�m<q� i �?< f H,H�d1c=kF fJi �ÛH,d i ��� U�V�WX�Y���±H :B: i >AhsH)CEdE>¨@AH @ fJi n i C i :gDM@B<qK i �ÛH�d i �)U�V�WX�Y�%k

F fEi � i DM@BIJ: i >GH���� U�V�WX�Y�� � i : i d i 61C i d6IV>B<?CJno@ fEi >BD�� i d i ��<m>B<qH)C¤@A: i�i ><?CVdEIE� i dD��H : U�V�WX�Y�%k�C � i DM@BIJ: i �3D >�D dEd i d9��H : i K i :+��hVDM@ f <mCÛ@ fJi d i ��<m>B<qH)C@A: i�i N��sH @ f @AH D�� i D���D CVdo<?C�@ i :gCED �äCJH�d i c)�ED CEd i K i :�� i21 hVD CE>B<?H)C H,����IJ:g:g<?CJnDM@%@ f DM@%CJH�d i k F fJi � i DM@BIJ: i �´<m�?��� i D �±@B<qK i DM@�D�CJH�d i � <?CáD;d i :g<qKMDM@B<qH)CG@A: i�i �<��V@ fJi � i DM@BIJ: i KUD �?I i >�>Bh i ��<�6 i d ���á@ f <?>(d i ��<?>B<?H)Cá@A: i�i hVDM@ f DM: i @ fJi >BD�� i ��H :� ��D CEd <��ä@ fJi�i21 h1D CE>B<qH)C DM@ � <?>�@ fJi >BD�� i D >g�PH :*@ fJi � i DM@BIJ: i kJF fJi � i DM@BIJ: iKMD �?I i >��H :4D d i :g<qKMDM@B<qH)CÛ@A: i�i DM: i >BI8��>�H��r@ fEi � i DM@BIE: i KMD �?I i >�DM@4�?H,��D �J@A: i�i >�kF f IE>�� U�V�WX�Y��IE> i >�D n i C i :gDM@B<qK i �±H��ÛhsH)C i C�@I�PH : � i DM@BIJ: i > i � i �±@B<qH)C�D CVd�<?>CJH @%h1IJ: i ���GdE<?>B�±:g<_��<?CEDM@B<qK i <?CÛ�±H)CE>B@A:gIE�±@B<qH)Cäk)F fJi �±H :B: i >AhsH)CEd i CE� i � i @@� i�i C� U�V�WX�Y�!D CEd U�V�WX�Y�+<?>ÚCJH @ÛD >�dE<q: i �±@ÚD >Û@ f DM@D� i @@� i�i C�� U�V�WX�Y�Z!U�D CEd

{P|)}={P~��x�^{)�-�����_�-{P|����-�^���P�2�P�2�2���9�����-��� }8���2�

Page 12: The Stanford Natural Language Processing GroupV DM@B D CEd qH)> i m

F=� ����������� ������������������������������������ ����!�"#��$%�

U�V�WX�Y�Z!Urk�U�V�WX�Y���IE> i >¨: i �?DM@B<?K i ��: i=< I i CE�2� i >A@B<���DM@ i > H�� i21 hVD CV>B<qH)C7hE:BH���!D��V<m�?<q@B< i >DM@�@ fJi d i ��<?>g<qH)C�@A: i�i � i D�K i >;D CEd <?C�@ i :gCED ��CJH,d i >-�1H��V@BD <?CE<?CJn'6VCED �i >A@B<_��DM@ i >(K,<mD �?<mC i DM:�<mC�@ i :BhsH)�?DM@B<?H)Cäk � U�V�WX�Y�� D �?>AH f D >u� i DM@BIJ: i hVDM:gD�� i @ i :g>��H :´� i DLK i >´D CEdo<mC�@ i :gCVD �äCJH,d i >-���VIJ@<q@��GIE�q@B<?hV�?< i >�@ fJi hVDM:gD�� i @ i :g>�k

7:9 ;�� - � 9=< ��� $��! + C @DR'> � � � +�;�� + R � � ��� �

F fEi �ÛH�d i � � U�V�WX�Y�'$(*) �±H :B: i >BhrH)CVdE>@AH U�V�WX�Y!'&(*) D CVd7<q@B> � i DM@BIJ: i > � i : id i 61C i d/IE>B<?CJn d i ��<m>B<qH)C @A: i�i > <mCEdEIE� i d ���?U�V�WX�Y�'&( ) <?C/@ fJi >gD�� i �3D >áD >� U�V�WX�Y� �*D >´d i 6VC i d IE>B<?CJn U�V�WX�Y��%k

7:9 ;�� - 239�!,+�@ + �C @�9 +

F fEi �±H����1<?CEDM@B<qH)C �V � )�� ��� (���<?>�Dá�qH n�!#�?<?C i DM: �ÛH�d i �E<?CV���?IEdE<?CEn @ fJi � i DM@BIE: i >H�� � U�V�WX�Y����� U�V�WX�Y!'&(*)L��D CEd � � � ��( �¥k4F fJi : i �PH : i @ fJi � i @ f H,d.H�� �±H��D!�V<mCEDM@B<qH)C.<m> dE< *ri : i C�@ �PH : @ fJi �±H)CEdE<?@B<qH)CED �´D CVd n i C i :gDM@B<qK i �ÛH�d i �?>�k*F fJin i C i :=DM@B<qK i �ÛH�d i �?> � i : i �±H�� �V<?C i d:��� @BDM��<?CJn�Dy� i <qn f @ i d��qH n�!#>gI8� H��(@ fJihE:gH��VD��V<?�?<?@B< i >%@ fJi � D >B>B<qn)C @AHÚ@A: i�i >�kEF fEi �±H)CEdV<q@B<qH)CED � �ÛH�d i �?>g� i : i <mCE>A@ i D d�±H�� �V<?C i d�����±H)�?� i �±@B<?CEnáD �?��� i DM@BIE: i >�<?C�@AHáH)C i �ÛH�d i �¥k,F f <?> ��H)IV�?d9� i >B<��D!<?�mDM:�@AH�@ fJi �±H�� �V<?CVDM@B<qH)Co<?C @ fEi n i C i :gDM@B<qK i �ÛH�d i �?>��D > i <�� � i �±H)IE�?d K�< i �@ fJi > i ��D C�@B<m�;@A: i�i >-�Vd i :g<qKMDM@B<qH)C @A: i�i >-�VD CVd @BDMn > i=< I i CE� i > D ><?CEd i h i CVd i C�@hsH :B@B<qH)CV>�H��(@ fJi D CVD ���,> i >�k

�sõ��� �úMÿ * �ørù ����� �Lý �Pù �

8 i : i hsH :B@ hVDM:g> i dE<?>gD����V<?n)IEDM@B<qH)C�: i >BIE�q@B> H)C @ fJi dEDM@BD > i @ d i >B�±:g<�� i d <?CF�D��V� i /�k4F fJi @BD��V� i �m<?>A@B>Ú@ fJi � f DM:gD �±@ i :g<?>B@B<?��>�H��¨@ fJi 3 m(k % :BH^�@ f H���@ fJi�´i d���H,H�dE>3@A: i�i �VD CJ�/N�£ i h i C i @D �¥k��8��������c=k /�@<?>3@ fJi �ÛH)>A@�: i � i C�@�n :BH��´@ f �IE>g<?CJn @ fJi C i � £��±@AH�� i : �������oK i :g>B<qH)C�H��3@ fEi ��� � k&F fJi > i C�@ i CE� i >á�m<?>A@ i dfJi : iof D�K i i21 D �±@B����H)C i hE: i � i :B: i d.D CED ����>B<?>ÛD CEd DM: i CJH @'��DM:B� i d.D > IEC"!n :gD��'��DM@B<?��D �¥k,8 i�f DLK i �?<m>A@ i d+>A@BDM@B<?>B@B<?��>?��H : D �m� > i C�@ i CE� i >éN�D����V<?n)IJH)IE>D CEd6IECED�� �V<qn)IJH)IV>=c)�~D CEd�D�� �V<qn)IEH)IE> H)CE��� k./aC¤@ i >A@B<?CEn��J� i H)CE��� �±H)CE>g<?d i :D�� �V<qn)IJH)IV>�> i C�@ i CE� i >=��� f <?� i IECVD����V<?n)IJH)IE>�H)C i >��D�� � i IE> i dÛ<?CG@A:gD <mCE<?CJnJkC hE: i K,<qH)IV>K i :g>B<?H)CoH���@ fJi �±H :BhVIE>=�V@ fJi F r e % :BH^�@ f � �3D >�IE> i d�<?C�@ fJi i21 !h i :g<�� i C�@B>%: i hrH :g@ i d�<?CÛ@ fEi hVDMh i :g>´N�F�H)IJ@BD CJHXKUD i @3D �¥k������������V£ i h i C i @3D �¥k�����������(D CEd�F&H)IJ@BD CEHLKMD i @ÚD �¥k�� ������3 �sc=k(F fJi 3 m(k % :BH^�@ f H�� �i d��3H,H,dE>á<?>�GIE� f �ÛH : i D�� �V<qn)IEH)IE>¨@ f D C @ fJi hE: i K�<qH)IE> K i :g>B<qH)C � i ��D IE> i H��4n :gD��'��DM:� f D CJn i >4D CVd�<?CE���?IV>B<qH)CáH�� f <qn f ��� D�� �V<qn)IEH)IE>�> i C�@ i CE� i >�@ f DM@I� i : i <?CE<?@B<?D �?���i21 ���?IEd i d~k

F�H/<?�?�?IE>B@A:gDM@ i @ fJi dE<?>A@A:g<��VIJ@B<qH)C/H��´D�� �V<qn)IV<q@@�¤� i K i �m>á<?C�@ fJi �±H :BhVIE>-��D >� i �?��D >%@ fJi : i �mDM@ i dÛdE<?>A@A:g<��VIJ@B<qH)C H��rC,I8� � i :(H�� ��H :=dE>(h i :(> i C�@ i CE� i �,�(<qn)IJ: i3�> f H�� > f <?>B@AH n :gD���> H��%@ fJi C,I8� � i :´H���D CED ����> i >´h i :¨> i C�@ i CV� i <?C�N \ cD CEd@ fJi h i :g� i C�@BDMn i H��(> i C�@ i CE� i > ��� > i C�@ i CE� i � i CEn @ f <?C¤N c=k

{P|)}={P~��x�^{)�-�����_�-{P|����-�^���P�2�P�2�2���9�����-��� }8�����

Page 13: The Stanford Natural Language Processing GroupV DM@B D CEd qH)> i m

� � ��������� � ������� � �9���� ���=� ��������������� � ���� F%3

»�ÀgÒUÅ¿Æ���Ø���ÍUÍXÈ=Â#ÀBÂ�ÆAÇ�Ã�È=Á�Ë È=Á#À ÉU¾¥ÆAÇ�½¿Í Æ�ÊLË Æ�Á�½¿Ì�ÆaÍ�Â�¾��E»s¼XÆÃaÈ=ÅÄÉXÌ�ÍU¾rÀgÁ�Æ�Ô�ݯÁ�È�Ì�Å¿Æ�ݯÂsÂ�È4Á�½¿Ó=¼�ÂAÔ�Â�¼XÆ�Â�ÈgÂ#À=Å Í�ÉUÌ�Ò Æ�ÁrÈgÝ,¾¥Æ�ÍXçÂ�ÆaÍXÃaÆa¾aÔ=ÀAܱÆ�Á#À=Ó=ÆsÅ¿ÆaÍUÓgÂ�¼�Ô=À=ÍUÇ�ÀAܱÆ�Á#À=Ó�Ær¾�Â¥Á�ÉUÃ�Â�ÉLÁ#À=ÅLÀ=Ì�ÒU½¿Ó�ÉX½¿ÂPâ

� î ��¶ î ��¹ î µ � î ���M¶� ��¶�· � ¹�¶´² � ³��� � §¶ ïÀ=Å¿Å ë� �ê=ë LØ p jPjXØ �À=Ì�ÒU½¿Ó�ÉXÈ�ÉX¾ � n ë�ë iLØ h ��ê�Ø

Percent Sentences by Length

0%

2%

4%

6%

8%

10%

12%

14%

0 5 10 15 20 25 30 35 40

Sentence Length

Per

cen

t o

f S

ente

nce

s

Ambiguity Histogram

0%

5%

10%

15%

20%

25%

30%

2 3 to 5 6 to 10 11 to 25 26 to 40 41 to 99 100 to 8,000

Ambiguity P

erce

nt

of

Sen

ten

ces

� ��� �� �

b1�Ī=��y�v��=w�� h m`z�h�j�e`d)�)h~q-u�rTh j�eHh�j6z{h r��§L�/h�j]�-eHx � �;�¢d-j]k�t6h m`z�h�j�e`d)�)h�q-u�rHh�j�eHh j]z{h>r�§yd)�¢�Kf/�)�Kf�e §i�/h�g;h�� m(d-jK�;h r ��� �Ouwq)mQe`xKh�� Á#Ç�� m`q1pQeHx�q-u%eHxKh[n�h>k�p:q�q�kKr�z�q)m`tK�]r ¬

C¨�?�K�ÛH�d i �?> � i : i @A:gD <?C i d�D CEd�@ i >B@ i d�IE>B<?CEn F-� !0��H)�?d��±:BH)>B>A!�KUD �?<mdEDM@B<qH)Cäk2�D � f H�� @ fJi F-� �PH)�mdE>'�*D >5��H :+� i d d i @ i :+��<mCE<?>A@B<?��D �m�������� >A@BDM:B@B<?CJn ��:BH��> i C�@ i CE� i D��~D CVd/hV�?D ��<?CJn i K i :��&F-� !�@ f > i C�@ i CE� i <?C @ fJi @ i >B@ > i @�k~F f IE>�@ fJiIECV<qH)C H��@ fJi F-� @ i >A@Û> i @B>-� �PH : D F �� F-� <?> @ fEi �±H��Ûh1� i @ i �±H :BhVIE>GD CEd@ fJi �odEH CJH @ HLK i :g�mDMh~käF fJi IECVD����V<?n)IJH)IE>´> i C�@ i CE� i > � i : i dE<?>B��DM:=d i d:��:BH��@ fJi @ i >B@�> i @B>�k�F fJi n i C i :gDM@B<?K i �ÛH�d i �?>%IE> i @ fJi IECED�� �V<qn)IEH)IE>%> i C�@ i CE� i > ��H :@A:gD <mCE<?CJn��-�VIE@ä@ fJi �±H)CEdV<q@B<qH)CED �)�?H n�!#�?<?C i DM:J��H,d i �m>~dJH´CJH @*N�@ fJi IVCED����1<qn)IJH)IE>> i C�@ i CE� i > �±H)C�@A:g<��VIJ@ i D��±H)CE>B@BD C�@ @AH�@ fJi �qH n�!#�?<?� i �?< f H,H,drc=k

C¨����IJ:gD �2� : i >BIV�q@B>�d i CJH @ i @ fJi h i :g� i C�@BDMn i H��4@ i >A@ > i C�@ i CE� i >c��H :c� f <m� f@ fJiÚf <qn fEi >A@´:gD CE� i d D CVD ���,>g<?>L�*D >�@ fJi �±H :B: i �±@�H)C i k � H @ i @ f DM@¨@ f <?> �±H :g: i !>AhsH)CEdV>(@AH n i @A@B<?CJná@ fJi > i C�@ i CE� i D CVD ���,>g<?>%�±H��ÛhV� i @ i ���G:=<qn f @-��D CEd�<?>�D��áIE� f�ÛH : i >B@A:g<?CJn i C�@��±:g<q@ i :g<?H)Cá@ f D C i KUD �mIEDM@B<?CJn�@ fJi h i :g� i C�@BDMn i H��s�?D�� i �?� i dG�±H)C"!>A@B<?@BI i C�@B>�H :�d i h i CEd i CV��< i >~@ f DM@(DM: i �±H :B: i �±@-� D >%<?> �ÛH : i �±H��9�ÛH)CV��� dJH)C i <?C>A@BDM@B<m>A@B<?��D ��hVDM:g>B<?CEn���H :g�1k £ �P@ i Cá@ fJi �ÛH�d i �?>~n)<?K i @ fJi >BD�� i >B�±H : i @AH¨> i K i :gD �dE< *ri : i C�@hVDM:=> i >�k#/�C7@ fJi > i ��D > i >-� � fJi C D��H,d i �&:gD CJ��> D > i @�H���� hVDM:=> i >

{P|)}={P~��x�^{)�-�����_�-{P|����-�^���P�2�P�2�2���9�����-��� }8���A�

Page 14: The Stanford Natural Language Processing GroupV DM@B D CEd qH)> i m

F2� ����������� ������������������������������������ ����!�"#��$%�

»,À=ÒUÅ¿Æ � ��Ø>e�Æ�Á¥Ý�ÈgÁ�ÌÀ=ÍUÃ�Æ ÈgÝ�Ó�ÆaÍXÆ�Á#ÀgÂ�½¿Ü±ÆÌ�È�ÇLÆaÅ¿¾&ݧÈ=Á�Â�¼UÆ�ËMÀBÁ�¾¥Æ4¾¥Æ�ÅÄÆ�Ã�Â�½¿È�Í;Â#À=¾¥× dqÆ�Ê�çÀgÃ�Â4ÌÀgÂ�Ã#¼GÀgÃaÃaÉLÁ#À=Ã�âáÈ�ÍGÀ=Ì3ÒX½¿Ó�ÉUÈ=ÉU¾%¾¥ÆaÍLçÂ�Æ�ÍUÃaÆa¾@l�Ø

� î ¶� ñ ò ²´¹±¹ � ·g¸U¹ ïÕ�À=ÍUÇXÈ=Ì n)n Ø ê»,À=Ó�Ó=Æ�Á Â¥Á�½¿Ó=Á#À=Ì j n Ø h

Ë Æ�Á¥Ý�Æ�Ã� j� LØ e � bOf e � b f ç0hAe ë=h�Ø ë

e � b f ç � ê-h�Ø pe � b f ç�fLÆaÌ ë n Ø � È�Ì�ÒU½¿ÍUÆAÇ ê q Ø n

»�ÀgÒUÅ¿Æ � � ��Ø�e�Æ�Á¥Ý§È=Á�ÌÀgÍUÃaÆ È=Ý6ÃaÈ�ÍUÇX½ßÂ�½¿È�ÍUÀ=ÅÅ¿È�ÓgçmÅĽ¿ÍXÆAÀgÁÌ�È�ÇLÆaÅ¿¾3Ý�ÈgÁ*Â�¼UÆ´ËMÀBÁ�¾¥Æ¨¾¥ÆaÅ¿ÆaÃ�Â�½¿È=ÍÂ#Àg¾¥×KdqÆ�ÊXÀ=Ã�Â,ÌÀgÂ�Ã#¼�À=ÃaÃ�ÉXÁ#À=Ã�â%È�Í4À=Ì�ÒU½¿Ó�ÉXÈ�ÉX¾¾¥ÆaÍ�Â�ÆaÍXÃaÆa¾@l�Ø

� î ¶� ñ ò ² ¹±¹ � ·B¸M¹ ïÕ�À=ÍUÇXÈ�Ì n)n Ø ê� »�ÀgÓ�Ó=Æ�Á Â¥Á�½ÄÓgÁ#À=Ì j q Ø n

Ë Æ�Á¥Ý�ÆaÃ� j� LØ ��e � b f ��e � bOf ç0hAe ê n Ø j

��e � bOf ç � ê ��Ø i��e � bOf ç�fLÆaÌ ë���Ø j� � È�Ì�ÒU½¿ÍUÆaÇ êgëLØ ê

f <?n fJi >A@ �´<?@ f�i=< IED �1>g�±H : i >*D CEd�H)C i H��~@ f H)> i hVDM:g> i >�<?>�@ fJi hE: i � i :B: i d�h1DM:g> i<?C7@ fJi @A: i�i �VD CE��� � i �±H��ÛhVIJ@ i @ fJi D ����IJ:gD �2� H)C/@ f <?>�> i C�@ i CE� i D > B- ks�EH :�±H��Ûh1DM:g<?>AH)C>�rD'�1D > i �?<?C i > f H�� <?CJn�@ fEiái21 h i �±@ i d7h i :���H :+��D CV� i H��4� f H�H)>g<?CJnhVDM:=> i >�:gD CEdEH�������D ���±H :gdV<?CJn�@AH�D�IECE<���H :+�ådE<?>A@A:=<��VIJ@B<qH)C <?><?CV���?IEd i däk

F�D��V� i / /�> f H^�´>¨@ fJi D ����IJ:=D �2��H���hVDM:=> i > i � i �±@B<qH)C7IV>B<?CJn�@ fEi n i C i :=DM@B<qK i�ÛH�d i �?>�d i >B�±:g<�� i d <?C�> i �±@B<qH)C 3,k*F fJi : i >BIE�q@B> <?C.F�D��V� i / /Û<?CEdE<?��DM@ i @ f DM@f <?n f dE<?>BD�� �V<qn)IVDM@B<qH)CoD ����IJ:gD �2� ��D C[� i D � f < i K i d/IE>g<?CJn�>B<���hV� i >A@BDM@B<?>B@B<?��D ��ÛH�d i �?>�kMF fJi �¨l l @BDMn n i :3dJH i >�CJH @4h i :+�PH :+� � i �?��H)CÛ@ fEi @BD >A�D���Ú<q@B> i ���r<?C�±H��Ûh1DM:g<?>AH)C*�´<?@ f H @ fJi : �ÛH�d i �?>�@ f DM@ f D�K i �ÛH : i <?C8�PH :+��DM@B<qH)C D��sH)IJ@;@ fJihVDM:=> i k&�JH :Û�±H��ÛhVDM:=<?>AH)C>��� i hV: i > i C�@ @ fJi h i :+�PH :+��D CE� i H��D f �,hsH @ fJi @B<?��D ����?D <?:BK H��)D C�@�@BDMn n i :´@ f DM@���CJH^�´>4@ fEi @A:gI i @BDMnÚ> i=< I i CE� i D CVd >B�±H : i > f <qn fJi >A@@ fJi hVDM:g> i >&@ f DM@ f D�K i @ fJi �±H :B: i �±@�hE: i @ i :+��<?CED ��> i=< I i CE� i kXF fEi h i :���H :+��D CE� iH��3@ fJi h i :�� i �±@;@BDMn n i :G> f H��´>;@ f DM@-�&<?C���H :+��D �?���o>Ah i DM�,<?CEn��r:gH)IJn f ��� f D ���4H��

{P|)}={P~��x�^{)�-�����_�-{P|����-�^���P�2�P�2�2���9�����-��� }8��� �

Page 15: The Stanford Natural Language Processing GroupV DM@B D CEd qH)> i m

� � ��������� � ������� � �9���� ���=� ��������������� � ���� F%>

@ fJi <?C���H :+��DM@B<qH)C�C i � i >B>BDM:��é@AH�dE<?>BD�� �V<qn)IVDM@ i hVDM:g> i > <?>�DLKUD <?�mD��V� i <?C.@ fJi� i21 <?��D �s@BDMn)>�k

�¨>B<?CEn�D CE� i >B@AH :o<?C���H :+��DM@B<qH)C <?C @ fJi # e � % �ÛH,d i �?> <_�ÛhE:BHXK i d h1DM:g> i:gD CE�,<?CEn D ����IJ:=D �2�/>g<qn)CE<�6V��D C�@B��� HXK i :áD >B<���hV� i �ÛH,d i � U�V�WX�Y ZU�� U�V�WX�Y� D � f < i K i d � ��� i :B:BH :Ú: i dEIV�±@B<qH)C �P:BH�� U�V�WX�Y�Z!Urk(F fJi U�V�WX�Y!'&(*) �ÛH�d i �f D > : i >Ah i �±@BD��V� i D ����IJ:=D �2�,�VIE@ dJH i >�CJH @ ���7<?@B> i ����3H :B��D > � i �m��D > U�V�WX�Y�%kVF fJi h i :��PH :)��D CE� i H���ÛH�d i �ä�±H����1<?CEDM@B<qH)Co> f H��´>´@ f DM@@ fJi <?C���H :+��DM@B<qH)C@ fJi � i21 hV�qH : i <?>4>AH�� i � f DM@��±H���hV� i � i C�@BDM:�� k�F fJi @BDMn n i :�D dEdE>�� i �P@/!#�±H)C�@ i21 @<?C8�PH :+��DM@B<qH)C�@AH @ fJi U�V�WX�Y� �ÛH�d i �*N�<?C/D �±:=IEd i �3D��Jc¨D CVd7@ fEi U�V�WX�Y�'&( )�ÛH�d i �shE:gHLK�<?d i >�> i ��D C�@B<?� <mC��PH :)��DM@B<qH)Cäk

F�D��V� i /�/ /�> f H^�´> @ fJi D ����IE:gD �2�!H��áh1DM:g> i > i � i �±@B<?H)C+IE>B<?CEn6@ fJi �±H)CEdE<3!@B<qH)CVD �3�?H n�!#�?<?C i DM:9�ÛH�d i �?>�k 8 i > i�i @ f DM@ f <qn fEi :ÚD ����IE:gD �2�é<?>ÛD � f < i K i d ���@ fJi dE<m>B�±:g<���<mCEDM@B<qK i ��H,d i �m>�krF fJi dE< *si : i CE� i � i @@� i�i C @ fJi n i C i :gDM@B<?K i D CEd�±H)CEdV<q@B<qH)CED ���qH n�!#�?<?C i DM:c�ÛH�d i �?>¨<?>��?DM:Bn i >B@ ��H :;@ fJi U�V�WX�Y ZU[�ÛH�d i �(D CEd/<q@B>�±H :B: i >AhsH)CEdE<?CJn � U�V�WX�Y ZU �ÛH,d i � NX��H�� i :B:BH :G: i dEIE�±@B<?H)C1c=k&F fJi dE< *si : i CE� i� i @@� i�i C�@ fJi n i C i :gDM@B<qK i D CVd��±H)CVdE<q@B<qH)CED �3�qH n�!#�?<mC i DM: ��H,d i �m> ��H :Ú@ fJi @A:g<3!n :gD�� @BDMn n i :*<m>%>���D �?�JD CEd�@ f <?>%: i >gIE�q@�<?>%<?C�DMn : i�i � i C�@I�´<q@ f >g<���<?�?DM:(: i >gIE�q@B><?CÚ@ fEi �?<q@ i :gDM@BIE: i �±H��ÛhVDM:g<?CEn �¨l l D CEd��±H)CEdV<q@B<qH)CED �J�qH n�!#�m<?C i DM: �ÛH�d i �?>u��H :hVDM:g@ÛH���>Bh i�i � f @BDMn n)<?CJn N�9 � i <?CéD CVd�l�D CECV<?CJn��I�������)c=k£¨K i :gD �?��@ fEi n)D <?C��:BH�� IV>B<?CJn��±H)CVdE<q@B<qH)CED ���qH n�!#�?<?C i DM: �ÛH�d i �?>L�PH :¨@ fJi 6VCED �&�±H�� �V<?C i d[�ÛH�d i �<?>�D[F%3�� i :B:BH :´: i dEIE�±@B<qH)C5��:BH�� @ fEi n i C i :gDM@B<qK i �ÛH,d i �¥k

F fJi hVDM:g> i dE<?>BD�� �V<qn)IEDM@B<?H)C;D ����IJ:gD �2� D � f < i K i d�����@ fJi > i ��H,d i �m>~<?> < IE<q@ if <?n f k�� H�� i K i :=�s<?C i KUD �mIEDM@B<?CJnÛ@ f <m>�� i K i �sH���h i :���H :+��D CV� i � i C i�i do@AHÛ@BDM� i<?C�@AHoD ���±H)IEC�@ @ fJi �?H�� D�� �V<qn)IE<?@@��:=DM@ i H���H)IE: �±H :BhVIE>;D CVd @ fJi > f H :g@ > i C"!@ i CE� i � i CJn @ f k�F�H�D >B> i >g>�@ fJi <mC � I i CE� i H��;D�� �V<qn)IE<q@��6:=DM@ i H)Cé@ fJi h1DM:g> idE<m>BD����1<qn)IEDM@B<qH)C D ����IJ:gD �2� H��&H)IE:��ÛH,d i �X�"� i �±H��Ûh1IJ@ i d D�K i :gDMn i D ����IJ:gD �2�H��@ fEi � i >A@D�ÛH�d i � �V � )�� ��� (�� D >ÚD ��IVCE�±@B<qH)C6H��@ fJi C�I8� � i :áH��´hrH)>g>B<��V� iD CED ���,> i > h i :á> i C�@ i CV� i k��(<qn)IJ: i ��> f H^�´> @ fEi �E: i DM��dJH�� C¤H���D ����IJ:gD �2� ��H :> i K i :=D �~> i C�@ i CE� i ��DM@ i n H :g< i >�k

F fJi 6En)IJ: i dE<?>AhV�mD=��>;D�K i :gDMn i D ����IJ:gD �2� ��H :á> i C�@ i CE� i >G<?C/@ fJi >Ah i ��<�6 i dD�� �V<qn)IE<?@@��:=D CJn i >�k8C¨> i21 h i �±@ i d>��� i ��D Co> i�i @ f DM@�@ fJi D ����IJ:gD �2� d i n :=D d i >�´<?@ f <?CV�±: i D > i d/D����1<qn)IE<q@�� krF fEi D ����IJ:=D �2� <?>cG �Jk 1�� ��H : > i C�@ i CE� i > �´<q@ f �hsH)>B>B<��V� i D CVD ���,> i >´D CEd5��� � �PH :´> i C�@ i CE� i > �´<q@ f ��H : i @ f D C.F-����hVDM:g> i >�k

8 i ��D C n)D <?Cá<?CE>B<?n f @ä<?C�@AH@ fJi h i :���H :+��D CV� i H��,H)IE:J� i >A@~�qH n�!#�?<mC i DM:J�ÛH�d i ��´<?@ f @ fJi ��IJ:B: i C�@ C,I8� � i : H��� i DM@BIE: i > D CVd�@A:gD <mCE<?CJn�dEDM@BD >B<�� i ���o�?H�H ��<?CJnDM@;� i DM:gCV<?CJn ��IE:BK i > �PH :�@ fJi �ÛH�d i �¥ks�(<qn)IJ: i > > f H�� > @ fEi D ����IE:gD �2�7H���@ fJi�ÛH�d i � �V � ) � ��� (���� fJi CÛIE>B<?CEn ��:gD �±@B<qH)CV>%H��1n :gH��´<?CEn >B<�� i ��:BH�� @ fJi @A:=D <?CE<?CJndEDM@BD�k

F fJi D ����IJ:gD �2�;C,I8��� i :g>ä> f H��´C;DM: i @ fJi DLK i :gDMn i H��>F-� !0��H)�?d �±:BH)>B>A!�KUD �?<mdEDM@B<qH)CD > � i �PH : i k 8 i ��D C > i�i @ f DM@3@ fJi �qH n�!#�m<?C i DM: ��H,d i � f D > i CJH)IJn f � i DM@BIJ: i >I��H :@ fJi D�KMD <?�?D��V� i @A:=D <?CE<?CJnÛ> i @¨>B<�� i >D CVd�D � f < i K i >´K i :+� f <qn f D ����IJ:gD �2� H)C�@ fJi@A:gD <mCE<?CJn > i @�k%F fJi n)DMh � i @�� i�i C�@A:gD <?CE<?CEn7D CEd�@ i >A@�> i @ÛD ����IJ:=D �2��<?>GK i :���?DM:gn i � i >Ah i ��<?D �?���9��H :D�>���D �?�r@A:gD <?CE<?CEnG> i @ >B<�� i k 8 i ��D C��±H)CV���?IEd i @ f DM@ ��H :

{P|)}={P~��x�^{)�-�����_�-{P|����-�^���P�2�P�2�2���9�����-��� }8���{­

Page 16: The Stanford Natural Language Processing GroupV DM@B D CEd qH)> i m

F%1 ����������� ������������������������������������ ����!�"#��$%�

LCombined Accuracy by Ambiguity

20%

30%

40%

50%

60%

70%

80%

90%

100%

2 3 to 5 6 to 10 11 to 25 26 to 40 41 to 99 100 to 8,000

Ambiguity A

ccu

racy

LCombined Accuracy

b1�Ī=��y�v&��wJeJÀBÁ�¾¥Æ(Á#À=ÍX×L½¿ÍXÓ�À=ÃaÃ�ÉXÁ#À=Ã�â¨ÈgÝ �V � )�� ��� (�� Ò�â´Í�ÉUÌ3Ò Æ�ÁsÈ=ÝEË È=¾¥¾¥½¿ÒUÅ¿Æ�ËMÀgÁ�¾¥Æ�¾aØ

Learning Curve for LCombined

60%

65%

70%

75%

80%

85%

90%

95%

100%

0 0,2 0,4 0,6 0,8 1

Training Set Fraction

Acc

ura

cy

Test Training

b1�Ī=��y�v4�-w ��ÆAÀgÁ�ÍX½¿ÍUÓ*ÃaÉLÁ�ܱÆ�ݧÈ=Á&Â�¼UÆ(Ì�È�ÇLÆaÅ �V � )�� ��� (�� Ø

@ fJi DLKUD <?�mD��V� i @A:gD <?CE<?CEn7>B<�� i �(@ fJi �ÛH�d i �*<?>GHLK i :+6E@A@B<?CJn @ fJi @A:gD <mCE<?CJn dEDM@BDD CEd <q@��±H)IV�?d dEH�� i @A@ i :�<�� � i <?CE�±H :BhsH :gDM@ i d H @ fJi :*CJH)C"!#>Ah1DM:g> i � i DM@BIJ: i >=����H :i21 D��ÛhV� i ��� IE>B<?CJnD� i DM@BIJ: i > ��:BH�� @ fEi ���(�^� >B<?n)CE>�k

/�@*<?>*<?C�@ i : i >A@B<?CJná@AHÚ�±H���hVDM: i �ÛH�d i �?>�HLK i :´d i :=<qKUDM@B<?H)C�@A: i�i >�D CVd h f :gD > i>A@A:=IE�±@BIJ: i @A: i�i >�k,£;IJ: i21 h i :g<�� i C�@B>(>BIJn n i >B@%@ f DM@%@ fJi <?C���H :+��DM@B<?H)C hE:gHLK�<?d i d���6@ fEi �?D�� i �?>Ú<?C�@ fJi d i :g<?KUDM@B<qH)C�@A: i�i >�<?>y�ÛH : iofJi �qh8��IE� �PH :�dV<?>BD�� �V<qn)IED !@B<qH)C~k1F�D��V� i / � > f H��´>�D ����IJ:=D �2�7: i >gIE�q@B> �PH : i=< IE<qKMD � i C�@ �ÛH�d i �?>¨IE>B<?CJn @ fJi@���H�dE< *ri : i C�@3@A: i�i : i hE: i > i C�@BDM@B<qH)CE>�k 8 i CEH @ i @ f DM@�D CE� i >A@AH :´D CECEH @BDM@B<qH)C <?>i K i C �ÛH : i�fJi �qh8��IE����H :;h f :=D > i >B@A:gIE�±@BIJ: i @A: i�i >=�~D CEd/@ f DM@�h i :��PH :)��D CE� i <?>�qH^� i :c��H :c�ÛH�d i �?>¨@A:gD <?C i d H)C h f :=D > i >A@A:gIE�±@BIJ: i @A: i�i >�k0/�� � i �±H����1<?C i @ fJi�qH n�!�hV:BH��VD��V<?�m<q@B< i >;D >B>B<?n)C i d ���.�ÛH�d i �?> HLK i :Ûd i :g<qKMDM@B<qH)C�@A: i�i >ÚD CEd�h f :gD > i

{P|)}={P~��x�^{)�-�����_�-{P|����-�^���P�2�P�2�2���9�����-��� }8��� �

Page 17: The Stanford Natural Language Processing GroupV DM@B D CEd qH)> i m

� � ��������� � ������� � �9���� ���=� ��������������� � ���� F�4

>A@A:=IE�±@BIJ: i @A: i�i >-�)>B<_��<?�?DM:g���¨@AH;@ fEi �±H����V<mCEDM@B<qH)CGH�� ��H,d i �m>�<mC V � )�� ��� (���� � � iH��E@BD <mC�Dc�ÛH�d i ���´<q@ f >g�?<qn f @B��� f <?n fJi :�D ����IJ:gD �2�y��H :,U�V�WX�Y�Z!UÚD CEd U�V�WX�Y.d_Urk�JH : U�V�WX�Y.\_U �~@ fJi �±H�� �V<?CEDM@B<?H)C¤<?>;>B�?<?n f @B��� � i DM� i :á@ f D C¤@ fJi �ÛH�d i �%HXK i :d i :=<qKUDM@B<?H)C @A: i�i >�H)CE��� k

»�ÀgÒUÅ¿Æ � ��Ø���ÃaÃaÉLÁ#À=Ã�â7È=ÝÓ=ÆaÍUÆ�Á#ÀgÂ�½¿Ü±Æ�Ì�È�ÇXÆaÅ¿¾;Â¥Á#À=½¿ÍXÆAÇ/ÉU¾¥½¿ÍUÓÇXÆ�Á�½ÄÜ=ÀgÂ�½¿È=Í Â¥Á�ÆaÆa¾�À=ÍUÇ ËX¼XÁ#À=¾¥Æ%¾�Â¥Á�ÉXÃ�Â�ÉXÁ�Æ�Â¥Á�ÆaÆa¾aØ

� ñ ò î�� �´î · ��Vº��s· î�î µ � ���s· î�î µ � ñ � ³�/� î òU�V�WX�Y�Z!U ë=h�Ø ë j� LØ � ë n Ø hU�V�WX�Y.\_U ë LØ j ë p Ø � ë�ê�Ø U�V�WX�Y.d_U ê p Ø ê ë���Ø q ê-h�Ø h

E*D > i doH)C H)IJ: i21 h i :g<_� i C�@B>=��� i ��D C?��DM� i @ fEi �PH)�?�?H��´<?CEnáH��V> i :BKUDM@B<?H)CE>�<

� £�K i :gD �?�)<q@�<?>~>BIJ:ghE:g<?>B<mCJn4@ f DM@�@ fJi U�V�WX�Y�Z!U����D CVd V�U�V�WX�Y ZU �9�ÛH�d i �?>HXK i : d i :g<qKMDM@B<qH)C�@A: i�i >L�3H :B�o>AH � i �?�~n)<qK i C7@ fJi CEDM@BIJ: i H���CJH,d i �?D�� i �?>� f <?� f DM: i >B� fJi ��D;CED�� i >�D CVdÛdJH¨CEH @(<mCán i C i :gD �J�±H)C�@BD <mCÛ<?C���H :+��DM@B<qH)CD��sH)IJ@�@ fEi h f :gD >gD �s@@�,h i >H���@ fEi �±H)CE>A@B<q@BI i C�@B>�k

� F fJi ��IJ:g: i C�@(> i ��D C�@B<?� �ÛH,d i �?>�U�V�WX�Y�'&( )/D CVd � U�V�WX�Y!'&( )/dJH�CJH @�n)<qK iIV>á�?DM:gn i h i :���H :+��D CE� i n)D <?CE>�ku# i : f DMhV>á@ f <?>G<?>GdEI i @AH dEDM@BD/>Ah1DM:g>B<q@��DM@¨@ fJi ��IJ:B: i C�@´>B<�� i H��%@ fJi �±H :ghVIE>-�EH :¨@ fJi �?<���<q@BDM@B<?H)CE>*H��%@ fJi > i ��D C"!@B<m�Ú: i hE: i > i C�@BDM@B<qH)C D >;> i ��D C�@B<?�Ûd i h i CVd i CE�2�o@A: i�i > :gDM@ fJi :;@ f D C ! � �>B@A:gIE�±@BIJ: i >�k

� F fJi �±H)CEdE<q@B<qH)CVD � ��H,d i � � U�V�WX�Y!'&( ) dJH i >;CEH @�dEH?�áIE� f � i @A@ i :;@ f D C@ fEi &AH)<?C�@,U�V�WX�Y!'&(*) �ÛH�d i �¥k�F f <?> ��<?n f @ � i &AIE>B@B<�6 i dy���Û@ fJi ��D �±@3@ f DM@D �?@ f H)IJn f @ fJi � U�V�WX�Y!'&(*) ��H,d i � �´<m�?� f D�K i DÛ�qH^� i :D >A�"�ÛhE@AH @B<m� i :g:BH ::=DM@ i �V<q@K��D=� CJH @ � i DMhEhE:BH)D � fJi d dEI i @AHÛ@ fJi >AhVDM:=>B<q@@� H��&@ fJi @A:=D <?CE<?CJndVDM@BD�DM@´@ fJi � i K i �äH��%> i ��D C�@B<?��: i �?DM@B<qH)CV> N �´n D CEd � H :=dED C>�(�������)c=k

� F fJi HXK i :�6E@A@B<?CJn i�*si �±@¨H���D dVdE<?CJn�D �?DM:Bn i C�I8� � i :´H��4� i21 <?��D �J� i DM@BIE: i ><m> >A@A:BH)CJn i :?��H :o@ fJi �±H)CVdE<q@B<qH)CED � �ÛH�d i ��@ f IE>?��DM��<?CJné<q@ f DM:=d i : @AH<_�ÛhE:BHXK i n i C i :gD �?<���DM@B<qH)C!h i :���H :+��D CE� i D CEd$��DM�,<mCJn���DM: i ��IE�c� i DM@BIJ: i> i � i �±@B<qH)C�<mCE�±: i D >B<?CEn)����<��ÛhsH :B@BD C�@�k

� ãGÆ ÉX¾¥ÆAÇ �UÊLÆAÇÚ½¿Í�Â�Æ�Á�Ë È�ÅÄÀgÂ�½¿È=Í ÖsÆ�½ÄÓ=¼�Â�¾�� a���� ê À=ÍUÇ�� @���� q ݧÈ=ÁÇLÆ�Á�½¿Ü�ÀBÂ�½¿È�Í�À=ÍUÇËU¼LÁ#À=¾¥Æ(¾�Â¥Á�ÉXÃ�Â�ÉXÁ�Æ(Â¥Á�ÆaÆ�¾aØ

{P|)}={P~��x�^{)�-�����_�-{P|����-�^���P�2�P�2�2���9�����-��� }8��� j

Page 18: The Stanford Natural Language Processing GroupV DM@B D CEd qH)> i m

F=H ����������� ������������������������������������ ����!�"#��$%�

�äõ¨úUúUûVú�� ø ����� �Lÿ��

8 i h i :���H :+� i d Dy��H : i i21 @ i CE>B<qK i;i :B:gH :´D CED ����>B<?>K��H :@ fJi �ÛH�d i � � U�V�WX�Y.d_UH)C D �?� i :B:gH :g>�<?C H)C i hVDM:B@*H���@ fJi dEDM@BD�k��;l�H,d i � � U�V�WX�YDd]U <?>�DÛ�±H)CEdV<q@B<qH)CED ��qH n�!#�m<?C i DM:K�ÛH,d i �VHXK i :d i :g<qKMDM@B<qH)C @A: i�i >-�JIE>B<?CEnáD >*�qH���D ��� i DM@BIJ: i >3@ fJi CJH�d i �<q@B> h1DM: i C�@-� <q@B> n :gD CEdEhVDM: i C�@-�D CEd!@ fJi i21 hVD CE>B<?H)Cäk�/�@B>oHLK i :gD �?�áD ����IJ:gD �2��*D > 4^� G�� k ¢ <?CE� i @ fJi D CECJH @BDM@B<?H)C��±H)CE>B<?>B@ i CE�2�6H��¨@ fJi 3 m(k % :BH^�@ f �*D ><���hE:BHLK i d��^� i�f H h i d @ f DM@%@ fEi ��:gD �±@B<qH)CGH�� i :B:BH :g>(dEI i @AHc�:BH)CEn¨D CECEH @BDM@B<qH)C�3H)IE�?dodV<���<?CE<m> f �±H��ÛhVDM: i d7@AH�@ fJi F r e % :BH^�@ f N�F&H)IE@BD CJHLKMD i @�D �¥k�� �������)c)�D CEd @ f <?> �*D ><?CEd i�i d @ fEi ��D > i k

�EH : D.@AH @BD � H��:F%1�> > i C�@ i CV� i >-� @ fEi �ÛH�d i ����D d i D C i :B:gH :7<?C!h1DM:g> i> i � i �±@B<qH)CäkEF fJi;i :g:BH :´D CED ����>B<?>�>gIJn n i >A@B>@ fEi �PH)�?�?H��´<?CEn �V: i DM�,dEH��´C0<

� �EH :(D��sH)IJ@ ��1��!H�� i :B:BH :=>-�L@ fJi D CECJH @BDM@B<qH)CG<?C;@ fJi @A: i�i �VD CJ� �*D >J�´:BH)CJnJk

� �EH :�D��rH)IE@gF=��� H��E@ fEi�i :B:gH :g>-� �rH @ f @ fJi @A: i�i �VD CE� D CEdá@ fJi �ÛH,d i � � i : i�´:BH)CJnJk

� C �sH)IJ@ 1���� H��ä@ fJi i :B:BH :g> � i : i : i D � i :B:BH :=>�D CEd� i �±H)IE�?d f H h i @AHGn i @@ fEi � :g<qn f @�k

F fJi C,I8� � i :�H��VD CECEH @BDM@B<qH)C i :B:BH :g>�<?>�dJH��´CG@AHc��1�� �P:gH�� @ fJi hE: i K�<qH)IE>g���: i hsH :B@ i d >�� � 6En)IE: i <?C�N�F�H)IJ@BD CJHXKUD i @�D �¥k��"�������)c=k,F f <?>�> f H��´>%@ fEi < IED �?<q@��H���@ fJi @A: i�i �VD CJ��<?>�<mCEd i�i d�<���hE:BHLK i d~k e H :B: i >BhrH)CVdE<?CJn)������@ fJi h i :g� i C�@�H��: i D � i :B:BH :g>�<?>´IJh:�P:gH�� ��� �å@AH 1���� k

C �ÛH : i d i @BD <m� i d �E: i DM��!#dJH��´C/H��3@ fJi : i D � i :B:gH :g>�N/F-��3 H)IJ@;H�� F%1�>)c)�&<?C� f <?� f @ fJi @A: i�i �VD CJ�5�3D >:g<qn f @D CEd @ fJi ��H,d i � �*D >��´:BH)CJn�����H)�?�qH�� >�<

� ��4�DM: i #I# !#DM@A@BD � f � i C�@ i :B:BH :g>�k

� �"FáDM: i;i :B:BH :=><?C � f H�H)>B<mCJnÛ@ fJi �±H :B: i �±@ � i21 <?��D �ä<q@ i � k

� F%>�DM: i H @ fJi : �ÛH,dV<�6 i :�DM@A@BD � f � i C�@ i :B:BH :g>�k

� F%3�DM: i �±H,H :gdE<?CEDM@B<?H)C i :B:BH :g>�k

� G�DM: i i :B:BH :=><?C @ fJi �±H��Ûh1� i � i C�@��UD d'&AIVCE�±@´dE<?>B@B<?CE�±@B<qH)Cäk

� F=H�DM: i H @ fJi : i :B:BH :g>�k

F fJi @���h i >¨H��I�ÛH)>B@��±H��'�ÛH)C i :B:BH :g>¨DM: i >B<���<?�?DM:´@AH @ fJi H)C i >�H��V> i :BK i d<?C.# i CVC�F�: i�i �VD CJ�/hVDM:g>g<?CJnJk ¢ <?CV� i @ fJi�´i d��3H�H�dE>;@A: i�i �1D CJ� ��DM� i > 6VC i :n :gD <mC i d�dE<?>B@B<?CE�±@B<qH)CE>=�%@ fJi : i DM: i D dEdE<?@B<qH)CED � i :B:BH : @@�,h i >�k4F fEi @@�3H&�ÛH)>A@��: i=< I i C�@B��� H,����IE:B:g<?CJn @@�,h i >(H�� i :B:BH :=>%DM: i #I#¤DM@A@BD � f � i C�@4D CEdÚ� i21 <?��D ��<q@ i �> i � i �±@B<qH)Cäk »s¼XÆ%¾¥ÆaÃ�Â�½¿È�Í�Ã�È=Á¥Á�Æa¾¥Ë È=ÍMÇX½¿ÍXÓ*Â�È*È�ÍXÆ%È=Ý�Â�¼XÆ�Â¥Á�ÆaÆaÒUÀ=ÍU×�ÆAÇ �VÆ�Á�ÒUÌ�È=ÒU½¿Å �� ¾sà �� qPn Ø

{P|)}={P~��x�^{)�-�����_�-{P|����-�^���P�2�P�2�2���9�����-��� }8�����

Page 19: The Stanford Natural Language Processing GroupV DM@B D CEd qH)> i m

� � ��������� � ������� � �9���� ���=� ��������������� � ���� F=G

F fJi # # DM@A@BD � f � i C�@ i :B:BH :g>¨> i�i � @AH � i D dEdJ: i >g>BD��V� i ���:� i @A@ i :;IE> i H��> i ��D C�@B<?��H :%� i21 <?��D ��<?C8�PH :+��DM@B<qH)C D >�H @ fJi :(: i > i DM:=� fJi :g> f D�K i hE:BH hsH)> i d>� i kßnJk��NW�¨<?CEdE� i D CEd � H�H @ f ��F=G�G"F�� e H)�?�m<?CE>3D CEd?E3:BH,H �,>-��F=G�G�>)c=ksloH)>B@H���@ fEi @B<�� i�qH^�.DM@A@BD � f � i C�@�<?>4�±H :B: i �±@�D > f D > � i�i CÛH��1> i :BK i d�PH :�H @ fEi :�@A: i�i �1D CJ�,>�D CEd@ fJi �ÛH�d i �&dEH i >�> i�i � @AH hE: i � i :¨�?H�� DM@A@BD � f � i C�@c��D <q:g��� >A@A:gH)CJn)��� k E3IE@ � idJH�CJH @%DM@(hE: i > i C�@ f D�K i >Bh i ��<mD � � i DM@BIJ: i >(@AHc�ÛH�d i �,�qH��éH : f <qn f DM@A@BD � f � i C�@D CEd <mC5��IJ@BIE: i �ÛH�d i �?>K� i hV�?D C @AH�D dVd @ f <?>�<?C8�PH :+��DM@B<qH)Cäk

C¨C i21 D��Ûh1� i H��´D C i :B:gH :áH��@ f <?> >AH :g@ � fEi : i @ fJi �±H :B: i �±@ÛDM@A@BD � f � i C�@<?> f <qn f <?>���H : @ fEi > i C�@ i CE� i�� � ��Q5Y Q�UKRTV���NyU0Q 6 Q Y ��� #�N2M�N'Q�Y �8S"Y�� � O�� �� fEi : i @ fJi �ÛH�d i ��� f H)> i @AH;DM@A@BD � f @ fJi #I# Q�Y �8S"Y�� � O @AH Y ��� #"N2M�N :=DM@ fJi :@ f D C6@AH 6 Q k%�JH :Û@ f <?>á��D > i @ fEi �qH^� DM@A@BD � f � i C�@�@AH Y ��� #"N-MAN > f H)IE�?d � i>A@A:gH)CJn)��� dV<?>AhE: i � i :B: i d <���@ fJi : i � i : i >gI�[���< i C�@� i21 <?��D �ä<?C���H :+��DM@B<qH)C~k

C¨CJH @ fJi :%<?C�@ i : i >A@B<mCJn¨��D > i H��rD # # DM@A@BD � f � i C�@ i :g:BH :%<?>J��H :(@ fJi > i C�@ i CE� i� � �V�R R�Z�S�U ��Q�S V�Y:] � O � #"N ��S�R�N �-Q�M M � #yO)V���U@N)N2Y(U�# UQ�Y NcQ� �-R�Q ����� k,F fJi�±H :B: i �±@áDM@A@BD � f � i C�@ ��H : @ fJi # # U Q�Y N5Q� �=R3Q ��� <?> �qH^� �&D >áD[�ÛH�dE<�6 i :;H�� M�� # O)V���U@N)N2Y(U�# � �VIJ@ @ fJi �ÛH�d i ��� f H)> i @AH7DM@A@BD � f <q@ f <qn f @AH Z�S�U <?C�@ fJi� i D CV<?CJn @ f DM@ @ fJi h1IJ@A@B<?CJn <?C @ fJi >g� fJi dEIV� iÚi K i C�@ ��H)IE�md f DMhEh i C/DM@ H)C iH ` ���qH��B� D CEd CJH @�@ fEi � i�i @B<?CJnJk8C n)D <?C fJi : i > i ��D C�@B<m�;�±H)�?�qH���DM@B<qH)C <?C���H :+��D !@B<qH)CD�3H)IE�?dD� i IE> i ��IE�JD >��H : i21 D��ÛhV� i ��CJH^�´<?CJn�@ f DM@�h i H hV� i dEH CJH @�IE>BIED �m���@BD �q��D��sH)IJ@ i C�@ i :=<?CJnÚ<?C���H :+��DM@B<qH)C <?C�@ fJi <?:�>B� fJi dEIE� i >3DM@*D hVDM:g@B<?��IE�?DM:�@B<�� i k

F fJi > i �±H)CEd��mDM:Bn i >A@%@@�,h i H�� i :g:BH :g>�DM: i ��D > i > � fEi : i @ fJi � i21 <?��D �J<q@ i � ��H :D���H :gd �*D >�CEH @3� f H)> i C �±H :B: i �±@B��� k�C¨C i21 D��ÛhV� i H��~@ f <m>4<?> �PH :3@ fJi > i C�@ i CE� i����N # � U�# U9V_O \�Q�S�U R�R�� k�F fJi �ÛH�d i � > i � i �±@ i d @ fJi � i D CE<?CJn�H�� \+Q�S�UD >GD�hV: i hsH)>B<q@B<qH)C>�>� fJi : i D >á@ fJi hV: i � i :g: i d�D CED ���,>B<m> H�� \+Q�S�U <?C�@ f <?>á��D > i> f H)IE�?d � i D >áD d i n : i�i >Bh i ��<�6 i :�k /�C D dVdE<q@B<qH)C @AH?� i <?CJn K i :��/�±H��9�ÛH)C6D >D�d i n : i�i >Bh i ��<�6 i :<?CoH)IE:´�±H :BhVIE> dJH���D <?C�� \�Q�S"U <?>D �?>AH K i :��o�±H��9�ÛH)C7<?C@ fJi �±H)�?�qH���DM@B<qH)C \�Q�S�U R R k ¢ HáDMn)D <?C � i21 <?��D �1<?C���H :+��DM@B<qH)C > f H)IE�?d'� i IE> i ��IE�¥kC¨CJH @ fJi : >B<_��<?�?DM:���D > i <?>�@ fEi > i C�@ i CV� i����LS�U�� N M�N 6�N-UXUWV�Y 6[MAN R �=R3Q O=NU0QU�#"N #"Q�RTV�� � O�� k�F fJi �ÛH,d i �´dE<?d.CJH @ > i � i �±@ @ fJi �±H :B: i �±@5� i D CE<?CEn¤H�� M�N RfJi : i D > D CoD dJK i :��[�VIJ@�� f H)> i @ fJi � i D CE<mCJnÛH�� M�N R D >´D CoD d'& i �±@B<qK i � f <m� f�±H)IE�md � i D/hsH)>B>B<��1� i � i D CV<?CJn/<?C�@ f <?>Ú> i C�@ i CE� i <?C ��D <q:���!�@BD � i >D�VIJ@ < IE<q@ i<���hE:BH��VD��V� i <?C @ fEi dJH���D <?C H��%DMhEhsH)<?C�@�� i C�@>B� fJi dVIE�?<?CJnJk

C¨CJH @ fJi :GD��áIV>B<?CJn�� i21 <?��D � i :B:BH :��*D > �PH :á@ fJi > i C�@ i CE� i����(Q�S O V � ��Q�S� N-MAN 6�N=UXUWV Y 6 V Y���S(N2O � � Y8V 6&#�U�� k)F fJi �ÛH�d i ��> i � i �±@ i d�@ fEi :=DM: i � i D CE<?CEn¨H��V�Y D >;D C D��8�V: i K,<mDM@B<qH)C �PH : � Y���V Y k �ÛF f <?>�<?>�CJH @ > i ��D C�@B<m��D �?���ohV�mD IE>B<��V� i<?C @ f <?>�> i C�@ i CE� i D CEdodEH���D <?C D >h i H hV� i > f H)IE�?d CJH @CEH :+��D �?��� n i @ >A@BDM@ i >�k

/aC.>gI8�9��DM:��&� i @ f <mCJ��@ f DM@�ÛH : i � i21 <?��D � <?C���H :+��DM@B<qH)C � <?�?� fJi �qh : i !>AH)�?K i DM@A@BD � f � i C�@GD CVd � i21 <?��D �%D�� �V<qn)IV<q@B< i >�d i >AhV<?@ i hsH)>B>g<��V� i hE:BH��V� i ��> H��dEDM@BD�>AhVDM:g> i C i >B>�k 8 i ��D C i21 h i �±@´@ f DM@´<?CE�±: i D >B<?CJnÛ@ fJi �±H :BhVIE>>g<�� i �´<?�?� � ifJi �?h8��IV��@AH H��E@BD <?C&� i @A@ i :9�3H :gd"!#>Bh i ��<�6V� >B@BDM@B<?>A@B<?��>D��H :ÛH)IJ:���IJ:B: i C�@9�ÛH�d"!

! ��È=Â�Æ�Â�¼UÀgÂsÂ�¼XÆa¾¥Æ�¾¥ÆaÍ�Â�ÆaÍXÃaÆa¾~ÀBÁ�Æ%À4Â¥Á#ÀgÍU¾¥Ã�Á�½¿ËXÂ�½¿È=ͨÈ=Ý,¾¥Ë È�×±Æ�ͨÇL½¯ÀgÅ¿È�Ó�ÉXÆa¾~¾¥È*ÃAÀgËU½ßÂ#À=Å¿½ hAÀgçÂ�½¿È�ͨ½¿ÍLÝ�È=Á�ÌÀBÂ�½¿È�Í;½¿¾~ÍUÈ=ÂäÁ�Æ�ÅĽÄÀgÒUÅßâ;ÀAÜ=À=½¿ÅÄÀ=ÒUÅ¿Æ%½¿Í¨Â�¼XÆ%ÇUÀBÂ#ÀLØ

{P|)}={P~��x�^{)�-�����_�-{P|����-�^���P�2�P�2�2���9�����-��� }8���A�

Page 20: The Stanford Natural Language Processing GroupV DM@B D CEd qH)> i m

��� ����������� ������������������������������������ ����!�"#��$%�

i �?>�k�C¨IJ@AH���DM@B<?�¨���?IE>A@ i :=<?CJn;H : i21 h1�qH :g<?CJn i21 <?>A@B<mCJná� i21 <?��D � f < i :gDM:g� f < i >��±H)IE�?dD �?>BHo<��ÛhE:BHXK i H)IJ:���H,d i �m<?CJn H���> i ��D C�@B<?�ÛhE: i � i : i CE� i >�k ¢ <?CE� i H)IE: ��IJ:B: i C�@i21 h i :g<�� i C�@B>&>BIEn n i >A@(@ f DM@�@ fEi : i DM: i CEH @�K i :����V<qn´n)D <mCE>J��:BH��÷@ fJi > i ��D C�@B<?�d i h i CEd i CE��< i >>�ÛH�d i �X�-��IJ:B@ fJi :&: i > i DM:g� f <?>�C i � i >B>BDM:+�¨@AH : i >AH)�qK i @ f <?>~�±H)C � <?�±@H��(<?C�@BIE<q@B<qH)C D CEd : i >BIE�q@B>�k

� õ $áû1ø�þ ��ý��Lÿ�û1ø�� �Vø�ü���ý~ùUý&ú �� ûVú��

F f <?>�DM:B@B<?��� i f D > d i @BD <?� i d.H)IJ: <?CE<?@B<?D � i21 h i :=<�� i C�@B>�H)C ���(�^� hVDM:g> i dE<?>/!D�� �V<qn)IEDM@B<?H)CoIE>B<?CEn�>A@BDM@B<?>A@B<?��D �J�ÛH,d i �?>�k 8 i d i �ÛH)CE>A@A:=DM@ i do@ fJi IV> i ��IV�?C i >B>H���VIV<?�?dE<?CEnD��H,d i �m>HLK i : d i :g<qKMDM@B<qH)C�@A: i�i > H�� ���(�^� D CED ����> i >�D CEd7> f H�� i df H^�é@ fJi �á��D CD� i >BIJhVhV� i � i C�@ i d�� <q@ f > i ��D C�@B<?�*D CEdÛ� i21 <?��D ��<q@ i � > i=< I i CE� i<?C8�PH :+��DM@B<qH)C���H :�>B<qn)CV<�6V��D C�@�D ����IJ:=D �2�G<���hE:BHLK i � i C�@�k�C.hVDM:B@B<?��IE�mDM:g��� IE> i ��IE�� i DM@BIJ: i H��VH)IE: i21 h i :g<�� i C�@B>(<?>�@ f DM@%@ fJi �á> f H���hVD <q: i dG�±H���hVDM:g<?>AH)CV>�H��Vn i C"!i :gDM@B<?K i D CVd �±H)CEdE<q@B<qH)CVD � �ÛH�d i �?> �´<?@ f�i21 D �±@B��� @ fJi >BD�� i � i DM@BIJ: i >�k 8 f <?� i@ fJi : i <?>��±H)CE>g<?d i :gD��V� i i K,<?d i CE� i �P:gH�� KMDM:g<qH)IE>�dEH���D <?CE>ÛH)C.@ fJi KMD �?I i H��dE<m>B�±:g<���<mCEDM@B<qK i �ÛH,d i �?>-��D CEd @ fJi � f D�K i � i�i C >BIE��� i >g>A��IV�?��� IV> i d ��H :&hVDM:=>B<?CJn��@ fJi : i <?>GD �?D �B�6H�� i21 @BD C�@Ú: i >BIE�?@B>á> f H��´<?CEn7�±H��ÛhVDM:=<?>AH)CE> � i @@� i�i C6H @ fEi :A!�´<m> i <?d i C�@B<?��D ��h1DM:g>B<?CJn?��H,d i �m>-�~D CEd���DM: i ��IE�m��� > f H�� <?CJn @ fJi KUD �?I i H���@ fJi�±H)CEdV<q@B<qH)CED ���ÛH,d i �?>-��D >g� i;f D�K i dJH)C i k��¨> i H����±H)CEdE<q@B<qH)CVD ���ÛH�d i �?>�D ���*D=��>d i �m<qK i : i d.D6K i :��.IV> i ��IV�h i :���H :+��D CE� i �sH�H)>A@-� �VIJ@ D C <mC�@ i : i >B@B<?CJn�: i >BIE�q@�*D >3@ f DM@*@ fJi �±H)CVdE<q@B<qH)CED ���ÛH�d i �Vn)DLK i @ fJi n : i DM@ i >A@�KMD �?I i H)C @ fEi >B<_�ÛhV� i >A@�ÛH�d i �X� � fJi : i @ fJi <?CEd i h i CEd i CV� i D >B>BI8��hE@B<qH)CE> H��@ fJi n i C i :gDM@B<qK i �ÛH�d i �� i : i �ÛH)>A@�n : i DM@B���7K,<qH)�mDM@ i d>�rD CVd,� fJi : i �ÛH)>A@¨KUD �?I i �±H)IE�md,� i n)D <?C i d ���CJH @ &BIE>A@ � i <qn f @B<?CJny� i DM@BIJ: i > D ���±H :gdE<?CJnÛ@AH�@ fJi <q:: i �mDM@B<qK i �P: i=< I i CV�2� k

F fJi �3H :B�7hE: i > i C�@ i d fJi : i > f H)IE�md?� i K�< i � i d/D >�H)CE����D 6E:g>B@ :BH)IVCEd�H��i21 h i :g<�� i C�@B>�<(� iÛf D�K i �1DM: i ����dEIEn <?C�@AH @ fJi :g<?� f >A��C�@BD �±@B<?�ÛD CEd/> i ��D C�@B<?�<?C8�PH :+��DM@B<qH)C�DLKUD <?�mD��V� i <?C�@ fEi �´i d���H,H�dE>3@A: i�i �VD CJ�rk /aC ��IE@BIJ: i �3H :B�9� i <?C"!@ i CEd�@AH��VIV<?�?dy�ÛH : i �±H��ÛhV� i21 hE:BH��1D��V<?�?<?>B@B<?�K�ÛH,d i �?>���DMhVD��V� i H��~IE>B<?CEn �ÛH : i<?C8�PH :+��DM@B<qH)C ��:BH�� �´<q@ f <?C�D/> i C�@ i CE� i ��D CEd�<?CEd i�i d.��:BH�� hE:g<qH :ÚdE<?>g�±H)IJ:g> i<?C8�PH :+��DM@B<qH)C>� �PH : hV: i dE<?�±@B<qH)C~kä£�C i hVDM:B@B<?��IE�mDM:�DLK i C�I i H��*<?C�@ i : i >A@ <?> i�*si �P!@B<qK i ����IE>B<?CEn > i ��D C�@B<?� : i hE: i > i C�@BDM@B<qH)CE>D��H :�dE<?>BD�� �V<qn)IVDM@B<qH)C0< � i f DLK i >AH��DM:(H)CE��� n H @A@ i C < IE<q@ i �?<���<q@ i d KMD �?I i ��:BH��÷H)IJ:�> i ��D C�@B<?�*d i h i CEd i CE�2�;@A: i�i >-�D CEd f H h i @AH n i @ �ÛH : i KMD �?I i ��:BH�� @ fJi ��IE�?� !#� � > i ��D C�@B<?��: i hE: i > i C�@BDM@B<?H)CE>�kF f <?>ä: i=< IE<q: i >J�ÛH : i �±H��ÛhV� i21 �ÛH�d i �?<?CEn��=� i ��D IE> i H��J@ fEi CJH)C"!�@A: i�i >A@A:gIV�±@BIJ: iH��1@ fJi > i n :gDMh f >=� �1IJ@%��D CD� i >BIV<q@BD��V��� f D CVdE� i d �´<q@ f <?Cá@ fJi �±H)CEdE<?@B<qH)CED ���qH n�!�?<mC i DM:c�ÛH,d i ��P:=D�� i ��H :g�,� i�f DLK i D �q: i D d8�,� i�i C IE>B<mCJnJk 8 i D �?>AH h1�?D C/@AHi21 hV�qH : i 6VCEdV<?CJn´D CEdÚIE>g<?CJn´H @ fEi : � i DM@BIJ: i >u� <q@ f <?C @ fJi ��IE�m� ���(�^� >B<qn)C � f <m� fDM: i IE> i ��IE��� i DM@BIJ: i > ��H :�dE<m>BD����1<qn)IEDM@B<qH)Cäk ¢ IE� f >B<��Ûh1� i � i DM@BIE: i >(D >�>A��C�@BD �±@B<?���DM@ i n H :����)���mD IE> i 61CE<q@ i C i >B>�D CEdGDMn : i�i � i C�@�hV: i >BI8��D��1��� f D�K i �±H)CE>B<?d i :gD��V� iKMD �?I i �JD CEd @ f :BH)IJn f @ fJi � i DM@BIJ: i;i=< IED �?<q@�� hV:g<?CE��<qh1� i >�H�� ������� N�>BIE� f D >�@ fJi� i D dÚ� i DM@BIJ: i #4:g<?CE��<qh1� i D CEdá@ fJi �´H)CE�?H,��D �,� i DM@BIJ: i #4:g<?CE��<?hV� i c)��@ fJi �á�±H)IE�?d

{P|)}={P~��x�^{)�-�����_�-{P|����-�^���P�2�P�2�2���9�����-��� }8�W�P�

Page 21: The Stanford Natural Language Processing GroupV DM@B D CEd qH)> i m

� � ��������� � ������� � �9���� ���=� ��������������� � ���� �"F

� i D ��� i >B> i d <?C @ fEi >B<qn)C:� fJi : i @ fJi � DM: i : i � i KUD C�@-�V:=DM@ fJi :´@ f D C?� i <mCJn�<��D!h i :�� i �±@B���7��DMhV@BIJ: i d�D >á�qH)CJnodE<m>A@BD CE� i <?C���H :+��DM@B<?H)C*�´<q@ f <?C @ fJi d i :g<qKMDM@B<qH)C@A: i�i k ¢ H�� i i21 h i :g<_� i C�@B> i21 hV�qH :=<?CJn�@ fJi > i <?d i D > DMhVh i DM:7<?C N�F&H)IJ@BD CEHLKMDi @´D ��k��(������3MD�c=k

/�@�<?> <?C ��D C�� �*D=��> D < IE<?@ i >BIJ:BhV:g<?>B<?CEn7: i >gIE�q@Û@ f DM@ H)IJ: >A��>A@ i � ��D Cd i @ i :)��<?C i @ fJi �±H :B: i �±@ÛhVDM:=> i <?C�HXK i : 4 1�� H��¨��D > i >-��´<q@ f H)IJ@GIV>B<?CJn/D C �dE<m>B�±H)IJ:g> i �±H)C�@ i21 @ H :9��H :=�?d��,CEH��´� i dEn i � i � H)CVdé>A@BDM@B<?>A@B<?��>��?DM@ i C�@ <?C�@ fJi�±H :Bh1IE>�k 8 f <m� i <mC h1DM:B@�@ f <?>3: i �Ei �±@B>�@ fJi ��D �±@�@ f DM@�@ fJi dJH���D <mC H���>B� fEi dEIE�3!<?CEn6dE<?D �?H n)>� <q@ f <?C.@ fJi �´i d��3H�H�dE> �±H :BhVIE> <?>��D <q:g����>A@A:=D <qn f @A��H :��*DM:gd>�*<q@C i K i :g@ fJi � i >B>D �m>AH�> f H^�´>�@ fJi n : i DM@ � i K i :=DMn i H)Co@ fEi D����V<?n)IE<q@@� : i >AH)�mIJ@B<qH)ChE:gH��V� i � @ f DM@%��D CD� i d i :g<?K i d ��:BH��÷@ fJi �±H�� �V<?CEDM@B<qH)CGH��1:g<?� f hE: i ��<m> i n :gD��D!��DM:=>�@AH n i @ fJi : �´<q@ f hE:gH��VD��V<?�?<m>A@B<?����:gD�� i �3H :B��>���H : i K�<?d i CE� i �±H����V<mCEDM@B<qH)CD CEd�D d'&BIEdE<?��DM@B<?H)Cäk.8 i i DMn i :g���6D C�@B<?��<?hVDM@ i @ fJi C i21 @Gn i C i :gDM@B<qH)C�H�� �ÛH : i�±H��Ûh1� i21 �ÛH,d i �?>%@ f DM@3<?C�@ i n :=DM@ i ��D C��ÛH @ fJi :*>AH)IJ:g� i >4H��ä: i � i KMD C�@3<?C���H :+��D !@B<qH)C��MD CVdD� f <?� fGfEi CE� i hE:BHXK,<?d i D C i K i C'�ÛH : i >BDM@B<?>���D �±@AH :��Ú>AH)�?IE@B<qH)CÚ@AH;@ fJi: i >BH)�?IJ@B<qH)C hE:BH��1� i � k

� þ��~ø&û � ��,ü?(� * ,ørù��

8 i hVDM:B@B<m��IE�?DM:g���5�´<m> f @AH @ f D CE� ¢ @BIEDM:B@ ¢�f < i � i :L��H : f <?>L�3H :B� dEIJ:g<?CEn�@ fJii DM:g���6>A@BDMn i >ÛH��¨@ f <?>GhE:gH'& i �±@-�4<mC6h1DM:B@B<?��IE�?DM: ��H :�dJH)<?CJn @ fJi <?CV<q@B<?D �3<��ÛhV� i !� i C�@BDM@B<qH)C D CEd i KUD �?IVDM@B<qH)C�H��&D @A:g<qn :gD�� @BDMn n)<?CJnD�ÛH�d i �¥k C¨dEdE<?@B<qH)CED �?������� i�3H)IE�?dG�?<q� i @AH;@ f D CJ� 2 ��<?���cE i CEd i :=� /�KUD C ¢ DMn�� F f H :g>A@ i C E�:=D C�@B>-�)F´<��ÛH @ f �E*D �?d�� <?C>��D CEd @ fEi H @ fJi :&h1DM:B@B<?��<qhVD C�@B>&<mC;@ fJiI�´i d���H,H�dE>ähE:BH'& i �±@J��H :J��:gIE<?@A��IE�dE<m>B��IE>B>B<?H)C>�X@ fEi D IEdE< i CE� i DM@�@ fJi F�: i�i �VD CJ��>4D CEd �&<?CJn)IV<?>A@B<?�3F fJi H :g< i > ��������3H :B��> f H h <?C ¢ H ��H hsH)�u�PH :;KMD �?IED��1� i < I i >A@B<qH)CV>;D CEd/�±H��9� i C�@B>-�~D CEd¤l7<?� i >£�>��rH :=C i D CVd �)D >AH)C'E3D �mdJ:g<?dJn i ��H :I�ÛH : i : i � i C�@�dE<?>B��IE>g>B<qH)CE>�H��s@ fJi �ÛH�d i �?>D CEd.: i K�<?> i d �´i d��3H�H�dE> �±H :BhVIE>�k3F f <?>9��H :B� �*D > >BIJhEhsH :B@ i d ���.D e¢ �./<?C�@ i :gCED �4> i�i d¤n :gD C�@-��@ fJi 24dV<?C �1IJ:Bn f ! ¢ @BD C8�PH :gd ��<?CJ� hE:BH n :gD��9� i� £ ¢ /2hE:gH'& i �±@ � 3�1�4 1�3�� ��IVCEd i d ��� ¢ �±H @A@B<?> f 2�C�@ i :ghE:g<?> i �(D CEdéD C //E�l �ED ��IV�q@@�#(DM:B@BC i :=> f <qh:C �3DM:gdo@AH�@ fJi > i �±H)CVd�D IJ@ f H :Lk

� �� �ú ,ø�þ� �

��ÒXÍUÆ�â�Ô)f Ø2e�Ø �^h/iPi�ê�Ô�� f�Â�È�Ã#¼MÀg¾�Â�½¿Ã��䥥Á�½¿ÒXÉXÂ�Æ�ç �1À=Å¿ÉUÆ f Á#À=Ì�ÌÀgÁ�¾��¿Ø1�V}={�wM��zmx=zq�q}=| x�®�©E��|�ª=�L�§���zq�?��� ��� Ô �+i±ê,àäë=h �Ø

��ÓgÁ�Æa¾�Â�½qÔ ��Ø�� hAi)i p Ôs�Vx=zPv?ª±}=y#�?��x�®)u�x=zmx��&|Mx�® �=������Ø���È=¼UÍ ã ½ÄÅ¿Æ�â�.fLÈ=ÍU¾aØ� ¼MÀBÁ�ÍU½ÄÀ=× Ô�äØ � hAi)i±ê�Ô�� f�Â#ÀgÂ�½¿¾�Â�½¿ÃAÀ=Å�eJÀBÁ�¾¥½ÄÍXÓ;Ö~½¿Â�¼�À � È=Í�Â�Æ�ÊLÂ¥ç b Á�Æ�Æ f Á#ÀgÌ�ÌÀgÁ3À=ÍUÇáãÚÈgÁ#Ç

f�Â#ÀgÂ�½¿¾�Â�½¿Ãa¾��¿Ø ��Í ��täy�}A��v�v¥�=��|�ª=�}���z§¦XvWbs}g�Ly#zPv�v�|Uz§¦�z�xgzq�?}=| x=®~�V}g|A�Av�y¥v�| �#v´}g|á�(y#zq� 1���?x�®«#|UzPv�®�® �Ī�v�|M�#v�Ø�eJÁ�ÈBÜL½ÄÇLÆaÍUÃaÆ=ÔUÕ ��ÔLËUË�Ø �+i� �àrë pPq Ø

{P|)}={P~��x�^{)�-�����_�-{P|����-�^���P�2�P�2�2���9�����-��� }8�W�^�

Page 22: The Stanford Natural Language Processing GroupV DM@B D CEd qH)> i m

��� ����������� ������������������������������������ ����!�"#��$%�

� ¼MÀBÁ�ÍU½ÄÀ=× Ô ~Ø�À=ÍUÇ f Ø � ÀgÁ¥Á�È�Å¿Å ��h/iPi)jLÔ � � È�Í�Â�Æ�Ê�Â¥ç�fLÆ�ÍU¾¥½ßÂ�½¿Ü±Æ�f�Â#ÀBÂ�½¿¾�Â�½ÄÃ�¾EݧÈ=Á ��Ì�ËLÁ�ÈgÜ�ÆAÇ f Á#À=Ì*çÌÀgÂ�½¿ÃAÀ=Å ��À=ÍXÓ�ÉMÀgÓ�Æ[�¨È�ÇLÆaÅ¿¾��¿Ø �PÍ���tsy¥}A�#v�v¥�=��|�ª=�*}���z§¦Uv��"srv�® ��z§¦ z%x=zq�?}=|Mx�®ä�V}=|A�av�y�v�| �#v}=|��&y�zq� 1���?x�®M«#|UzPv�®�® �¿ª�v�| �#v�Ø�f�ÆAÀgÂ¥Â�Å¿Æ�ÔLã �4ÔXËUË�ØMê�j n àsê+j�ê�Ø

� ¼UÆaÍ�Ô)f)Ø=À=ÍUÇ4Õ�ØgÕ�È=¾¥ÆaÍXݧÆaÅÄÇ �=hAi)iPi�Ô � � f ÀgÉU¾¥¾¥½ÄÀ=Í3ËXÁ�½¿È=ÁJݧÈ=ÁV¾¥Ì�È�È=Â�¼X½ÄÍXÓ�ÌÀBÊX½¿Ì�ÉUÌoÆaÍ�Â¥Á�È�Ë�âÌ�È�ÇXÆaÅ¿¾��¿ØV»,ÆaÃ#¼UÍX½ÄÃaÀ=Å,Õ&ÆaË ÈgÁ¥Â � �¨Ù � f�ç i)igç0h p LÔ � ÀBÁ�ÍUÆaÓ=½ÄÆ��¨ÆaÅ¿Å¿È�Í�Ø

� È�Å¿Å¿½¿ÍU¾aÔV�áØ��8h/iPiPi�Ô�� ��ÆAÀ�Ç�ç Á�½ÄÜ�ÆaÍ f�Â#ÀgÂ�½¿¾�Â�½¿ÃAÀgÅ �¨È�ÇLÆaÅ¿¾(Ý�È=ÁW��ÀgÂ�ÉXÁ#ÀgÅ �,ÀgÍUÓ�ÉUÀ=Ó=Æ eJÀgÁ�¾¥½¿ÍUÓ �¿ØeV¼�Ø ØXÂ�¼XÆa¾¥½¿¾aÔUÙ�ÍU½¿Ü±Æ�Á�¾¥½ßÂ�â´ÈgÝ8e�ÆaÍUÍX¾�âLÅÄÜ=À=ÍX½ÄÀLØ

� È�Å¿Å¿½¿ÍU¾aÔ,�áØEÀgÍMÇ �LØ��1Á�È�È�×�¾�� h/iPi���Ô�� eEÁ�Æ�Ë È�¾¥½ßÂ�½¿È�ÍMÀgÅ��sÂ¥Â#À=Ã#¼UÌ�ÆaÍ�Â%Â�¼XÁ�È=ÉUÓ=¼ÛÀ��sÀ=Ã#×±ÆAÇ�çmÈ=Þ�¨È�ÇXÆaÅ �¿Ø ��Í�� Ø��rÀgÁ�ÈBÜ�¾¥×�â�ÀgÍMÇ��*Ø � ¼LÉLÁ�Ã�¼ dqÆAÇX¾aØ l�� tsy¥}A�#v�v¥�=��|�ª=�3}��%z§¦Uv~��¦���y��¨}=y��=��¥¦L}�w�}=|/¬Uv�y#�©,x=yqª�v¨�V}=yPwL}gy¥x=Ø"fLÈ=Ì�Æ�Á�¾¥Æ�ÂAÔ���Æ�Ö ��Æ�Á�¾¥Æ�â�Ô)ËUË�Ø n êAà q LÔ ��¾¥¾¥È�Ã�½¯ÀBÂ�½¿È�ÍáݧÈ=Á� È�Ì�ËUÉLÂ#ÀgÂ�½¿È�ÍUÀ=Å ��½¿ÍUÓ=ÉU½¿¾�Â�½¿Ãa¾aØ

� È�Å¿Å¿½¿ÍU¾aÔK�áØ �XØ ��h/iPi±ê�Ô � »s¼XÁ�Æ�Æ f Æ�ÍUÆ�Á#ÀBÂ�½ÄÜ�Æ�Ô ��Æ�ÊL½¿ÃAÀ=Å¿½¿¾¥ÆAÇi�¨È�ÇXÆ�Åľ~Ý�ÈgÁf�Â#ÀgÂ�½¿¾�Â�½¿ÃAÀ=Å�eJÀgÁ�¾¥½¿ÍUÓ �¿Ø��Í���tsy¥}A�#v�v¥�=��|�ª=� }��*z§¦Uv���=z§¦� Gv�v�zq��|�ª }��*z§¦Uv*������}A���qx=zq�?}=|¨�a}=y;�V}={�wM��zmx=zq�?}=|Mx�®J©J��|M�ª=�L�§�#zq�q���x=| �;z§¦Uv��Bz§¦ �V}g|A�Av�y¥v�| �#v }��*z§¦Uv��ä��y�}�wXv¥x=|7�,¦Lx�wMzPv�y }��*z§¦Uv*�4��©JØ ��À=ÇLÁ�½ÄÇ�ÔfLËMÀg½¿Í�ÔLËUË�Ø�haë�à n+q Ø

� È�Ë Æa¾�Â#Àg×±Æ�Ô ��Ø¿Ô Ø2eJØ b Å¿½ÄÃ#×�½¿ÍUÓ�Æ�ÁAÔ ��Ø �4Ø=fLÀ=ÓLÔ�À=ÍUÇ � Ø=e�È�Å¿ÅÄÀgÁ#Ç ��hAi)iPi�Ô����¨½¿ÍX½ÄÌÀgÅMÕ&ÆaÃaÉXÁ�¾¥½¿È=ÍfLÆaÌÀgÍ�Â�½¿Ãa¾aØ �&Í ��Í�Â¥Á�È�ÇLÉUÃ�Â�½¿È�Í �¿Ø8�¨¾aØÄÔ�f�Â#ÀgÍXÝ�ÈgÁ#ǨÙ�ÍX½¿Ü±Æ�Á�¾¥½ßÂ�â�Ø

b Á�½¿ÆAÇXÌÀgÍ�Ô6��Ø�À=ÍMÇ¡�áØ f È�ÅÄÇX¾.h�Ì�½¯Ç�Â�� h/iPi�ë�Ô�� ��ÆAÀBÁ�ÍU½¿ÍUÓ��sÀaâ�Æa¾¥½ÄÀgÍ&��Æ�Â�ÖrÈ=Á�×�¾%Ö~½ßÂ�¼ ��È�ÃAÀ=Åf�Â¥Á�ÉUÃ�Â�ÉXÁ�Æ �¿Ø ��Í �)täy�}A�#v#v¥�=�§|�ª=��}��rz§¦UvS�"ssv�® �#z§¦¨�V}g|A�Av�y¥v�| �#v�}=|Û��| �#v�y#zmx=��|Uzq����|3�&y#zq� 1���?x�®«#|UzPv�®�® �Ī�v�|M�#v�Ø

�(ÀBÁ¥Á�½Ä¾aÔ±»�Ø äØ�� hAi�ë q Ô ��¦UvW��¦Uv¥}=y��3}����~y¥x=|M�#¦���|�ªtäy�}A��v�����v���Ø��rÆ�Á�ÅĽ¿Í�Ô f Æ�Á�ÌÀ=Í�â �2fLËXÁ�½¿ÍXÓ�Æ�ÁAØ��½¿ÍMÇLÅ¿Æ�Ô Ø)ÀgÍMÇy�áØ)Õ&È�È=Â�¼���hAiPi=h�Ô � f�Â¥Á�ÉXÃ�Â�ÉXÁ#ÀgÅ���Ì�ÒU½¿Ó�ÉX½¿ÂPâ�ÀgÍMÇ ��Æ�ÊX½¿ÃAÀgÅJÕ�Æ�ůÀBÂ�½¿È�ÍU¾��¿Ø��PÍ��

täy�}A��v�v¥�=��|�ª=�~}��1z§¦Xv ���=z§¦� Gv�v�zq��|�ª%}��rz§¦UvV������}A���qx=zq�?}=|&�a}gy��V}={�wM��zmx=zq�?}=|Mx�®�©E��|�ª=�L�§�#zq�q���#ØËUË�Ø n)n iBà n)q ëLØ

��È�¼XÍU¾¥È=Í�Ô��áØ ��h/iPi� �Ô � e � bOf �¨È�ÇXÆaÅ¿¾�È=Ý ��½¿ÍUÓ=ÉU½¿¾�Â�½¿Ã»�Á�ÆaÆ*Õ&ÆaËLÁ�Æa¾¥ÆaÍ�Â#ÀgÂ�½¿È�ÍX¾��¿ØÚ�V}={�wU�Lzmx=�zq�?}=| x=®M©J��|�ª=������zq�?��� ��� ÔUë�h q àrë qPn Ø

��È�¼XÍU¾¥È=Í�Ô%�áØ¿Ô>f Ø f ÆaÌÀ=Í�Ô f Ø � À=ÍXÈ�Í�Ô���Ø � ¼X½qÔrÀgÍMÇ f)ØEÕ&½ÄÆ haÅ¿Æ�Á�� h/iPi)iLÔ � E¾�Â�½¿ÌÀgÂ�ÈgÁ�¾Ý§È=Áf�Â�È�Ã#¼MÀ=¾�Â�½¿Ã � Ù�ÍX½ �MÃAÀBÂ�½ÄÈ=ÍXçmÒMÀg¾¥ÆAÇ � f Á#À=Ì�ÌÀBÁ�¾��¿Ø �PÍ��2täy�}A��v�v¥�=��|�ª=��}��~z§¦Xv����Bz§¦� Gv�v�zq��|�ª4}��z§¦Uv�������}A���?x=zq�?}=|4��}=y3�V}={�wM��zmx=zq�?}=|Mx�®X©E��|�ª=������zq�?����Ø � È=Å¿ÅÄÆ�Ó�Æ eJÀgÁ�× Ô�� Ô�ËXË�Ø � q �,à���j^h�Ø

��À=ËXůÀgÍ�Ô�Õ4ØQ�áØ%ÀgÍMÇ �XØ��1Á�Æa¾¥ÍMÀgÍ��Kh/i� n Ô � ��Æ�ÊX½¿ÃAÀgÅßç b ÉXÍUÃ�Â�½¿È=ÍMÀ=Å f Á#À=Ì�ÌÀgÁ�� � b ÈgÁ�ÌÀ=Åf�âL¾�Â�ÆaÌ Ý�È=Á f Á#ÀgÌ�ÌÀgÂ�½¿ÃAÀ=Å%Õ&ÆaËLÁ�Æa¾¥ÆaÍ�Â#ÀgÂ�½¿È�Í �¿Ø �PÍ�� �XØ��1Á�Æ�¾¥ÍMÀ=Í dqÆAÇ�Ø l��[��¦Uv� Gv�|Xzmx�®�&vPwMy¥v���v�|Uzmx=zq�?}g|�}���sy¥x={�{�x=zq�q�#x=®��~v�®¿x=zq�?}g|U��Ø � À=Ì�ÒXÁ�½ÄÇXÓ=Æ�Ô:��� �:� ��» eJÁ�Æa¾¥¾aÔ�ËXË�ØhBê q à n �h�Ø

�%Å¿Æa½¿Í�Ô Ø(ÀgÍMÇ � Ø Ø:��À=ÍXÍU½¿ÍUÓ � n+pPp2n Ô � � È�ÍUÇX½ßÂ�½¿È�ÍMÀgÅ f�Â¥Á�ÉUÃ�Â�ÉLÁ�ÆÚܱÆ�Á�¾¥ÉX¾ � È=ÍMÇL½¿Â�½¿È=ÍMÀ=ÅV¾�Â�½¿ÌÀgÂ�½¿È=Í�½¿Í~� ��e �¨È�ÇLÆaÅ¿¾��ÄØ ��Í ��� z~©�t ���±� �±Ø

��À=à È�ÍMÀgÅÄÇ�Ô�áØ � Ø � hAiPi+jXÔ � eJÁ�È�ÒUÀ=ÒU½¿Å¿½¿¾�Â�½¿Ã4Ã�È�ÍU¾�Â¥Á#Àg½¿Í�Â�¾&ÀgÍMÇ ¾�âLÍ�Â#À=Ã�Â�½ÄÃ(À=Ì3ÒX½¿Ó�ÉU½ßÂPâ´Á�Æ�¾¥È�Å¿ÉXçÂ�½ÄÈ=Í �¿Ør©,x=|�ª=�Uxaª�v3x=| �;�V}�ª=|U�§zq���=v tsy¥}A�#v�����v��"!�Ô�h��êaà n)p h�Ø

��À=Ó=Æ�Á�ÌÀ=Í�Ô Ø��áØ � h/iPi���Ô � f�Â#ÀBÂ�½¿¾�Â�½ÄÃaÀ=Å ÆaÃa½¿¾¥½¿È�ÍXçP»�Á�Æ�Æ��¨È�ÇLÆaÅ¿¾�ݧÈ=Á eJÀgÁ�¾¥½¿ÍUÓ �¿Ø �PÍ��täy�}A��v�v¥�=��|�ª=�ä}��Vz§¦Uvs�±��y¥�� Gv�v�zq��|�ª%}��1z§¦UvV���#��}A���?xgzq�?}=|~�a}gy��V}={�wM��zmx=zq�?}=|Mx�®=©E��|�ª=�L�§�#zq�q���#Ø

��À=ÍXÍU½¿ÍUÓLÔ � Ø ØMÀgÍMÇ��4Ø�f�Ã�¼�gÉXÂihaÆ���hAi)iPi�Ô]b,}=��| ��x=zq�?}=|X�3}����Xzmx=zq����zq�?��x�® z%x=zq��y¥x�® ©,x=|�ª=�XxAª�vtäy�}A��v�������|�ª=Ø � ÀgÌ3ÒXÁ�½ÄÇLÓ�Æ�Ô��� �� ��»?eJÁ�Æa¾¥¾aØ

��ÀgÁ�Ãa½¿ÍX½¯Àg× Ô��áØ¿Ô �4Ø�� âL×±ÈAÖ~½ÄÆ�Ã�×=ÀLÔ �4Ø^eJÁihaÆaËU½$#ÈgÁ�×±ÈAÖ~¾¥×L½qÔUÀ=ÍUÇ �4Ø��%ÉXË%#¾&#Ã���hAi)iPi�Ô � � È�ÍX¾�Â¥Á�ÉUÃ�çÂ�½ÄÈ=Í ÈgÝJÀgÍ'� e f f »�Á�ÆaÆ�ÒMÀ=ÍX×*Ý�ÈgÁJe�È�Å¿½¿¾¥¼ �¿Ø���Í �)(�}=��y#|+*vAv(�:�L�~©����V°-,/.�°��10�����|U�r�V}=yPwU�L�x=|U|M}=z�*v��äwL}=��y�®¿x���g|Uzmx32�v�Ø�eJÀgÁ�½¿¾aÔMËXË�Ø^i±êaà�h p ��Ø

��ÀgÁ�ÃaÉX¾aÔB�áØ eJØ¿Ô���ØJfXÀgÍ�Â�È=Á�½¿ÍU½qÔäÀgÍMÇl�áØ��4Ø ��ÀgÁ�Ãa½¿ÍX×L½¿Æ�Ö~½¿Ã�h��hAiPi q Ô � �rÉX½ÄÅÄÇL½ÄÍXÓ�À �,ÀBÁ�Ó�Æ��ÍUÍXÈ=Â#ÀBÂ�ÆAÇ � È=Á�ËUÉX¾%È=Ý EÍUÓ=Å¿½Ä¾¥¼ ��»s¼UÆ eEÆaÍUÍ Â¥Á�ÆaÆaÒUÀ=ÍX× �¿Ø �V}={�wM��zmx=zq�?}=|Mx�®�©J��|�ª=������zq�?�����!�Ô q h q à q)qPp Ø

��ÓLÔ �4Ø�ÀgÍMÇ �áØ ��ÈgÁ#ÇUÀgÍ�� n)p)p2n Ô �¿è�Í ½¿¾¥Ã�Á�½¿Ì�½¿ÍMÀBÂ�½¿Ü±Æ Ü�¾aØ f Æ�ÍUÆ�Á#ÀBÂ�½ÄÜ�Æ � ÅÄÀ=¾¥¾¥½ �UÆ�Á�¾�� �ÃaÈ�Ì�ËUÀgÁ�½¿¾¥È�Í�ÈgÝJÅ¿È�Ó=½Ä¾�Â�½¿Ã�Á�ÆaÓ=Á�Æ�¾¥¾¥½ÄÈ=Í À=ÍUÇ~�(Àg½ÄÜ�Æ+�sÀaâ�Æa¾��¿Ø ��Í ��z&«Wtä�á°��XØ

{P|)}={P~��x�^{)�-�����_�-{P|����-�^���P�2�P�2�2���9�����-��� }8�W�2�

Page 23: The Stanford Natural Language Processing GroupV DM@B D CEd qH)> i m

� � ��������� � ������� � �9���� ���=� ��������������� � ���� ��3

è�ÆaË ÆaÍ�Ô8f)Ø¿Ô Ø b Å¿½ÄÃ#×�½¿ÍUÓ�Æ�ÁAÔ��*ØE»,È�ÉLÂ#À=ÍXÈgÜ=ÀLÔJÀ=ÍMÇ � Ø Ø ��À=ÍUÍX½¿ÍUÓ�� n)pPp jXÔ � ��½¿Í f è�Õ�ÆaÇLçÖsÈ�È�ÇX¾aØ ��Õ�½¿Ã#¼�À=ÍMÇ âLÍMÀgÌ�½¿Ã »�Á�ÆaÆaÒMÀgÍU×ÚݧÈ=Á � e f f �ÄØ (�}g�Ly#| x=®�}���©,x=|�ª=�Uxaª�v x=|M��V}={�wM��zmx=zq�q}=|UØ

è�ÆaË ÆaÍ�Ô�f)Ø¿Ô3�*ØA»,È�ÉLÂ#À=ÍUÈBÜ=ÀLÔ+f Ø�f�¼U½¿ÆaÒ Æ�ÁAÔ � Ø ��ÀgÍUÍX½ÄÍXÓXÔ Ø b Å¿½ÄÃ#×�½¿ÍUÓ�Æ�ÁAÔgÀ=ÍMÇ%»�Ø �VÁ#À=Í�Â�¾�� n)p)p2n Ô�ß»s¼XÆ ��½¿Í f È�Õ&ÆAÇLÖrÈ�È�ÇX¾�»�Á�ÆaÆaÒUÀ=ÍX× ���¨È=Â�½¿Ü=ÀgÂ�½¿È�Í ÀgÍMǨËLÁ�ÆaÅ¿½ÄÌ�½¿ÍUÀgÁ¥â¨À=ËUËXÅ¿½ÄÃaÀgÂ�½¿È�ÍX¾��ÄØ��PÍ��� � ©�«Xz � °��=Ø

e�È�Å¿ÅÄÀgÁ#Ç)Ô � Ø�À=ÍMÇ ��Ø��4ØPfXÀgÓ���hAi)i)jXÔL­4v¥x±����u%y#���=v�|Ktr¦�y¥x=��v&�Xzqy��X��zq��y�v �sy�x={3{*x=y�ØUÙ�ÍX½ÄÜ�Æ�Á�¾¥½ßÂ�âÈ=Ý � ¼X½ÄÃaÀ=Ó�ÈLeJÁ�Æa¾¥¾aØ

Õ�½¿Æ�h�ÅÄÆ�ÁAÔ+f)Ø¿ÔB»�Ø3�4Ø �%½¿ÍUÓLÔAÕ�Ø��áØ3��À=ËXÅÄÀ=Í�ÔaÕ4Ø � Á�È�ÉUÃ#¼�Ô �XØB»�Ø���ÀBÊLÖrÆaÅ¿ÅqÔ � � �#ÔAÀgÍMÇS�áØ ��È=¼UÍX¾¥È�Í��n)pPpPn Ô�� eJÀBÁ�¾¥½ÄÍXÓ4Â�¼XÆsãoÀ=Å¿Å�f�Â¥Á�ÆaÆ�Â���È�ÉLÁ�ÍMÀgÅUÉU¾¥½¿ÍXÓ�À ��Æ�ÊL½¿ÃAÀ=Åßç b ÉUÍXÃ�Â�½¿È�ÍMÀgÅ f Á#ÀgÌ�ÌÀgÁ1À=ÍUÇ ½¿¾¥Ã�Á�½¿Ì�½ÄÍUÀgÂ�½¿Ü±Æ E¾�Â�½¿ÌÀgÂ�½¿È�ÍÚ»,ÆaÃ#¼UÍU½Äæ�ÉUÆ�¾��ÄØ �PÍ���täy�}A�#v#v¥�=�§|�ª=�´}��*z§¦Uv4� �gz§¦� Gv�v�zq��|�ª }��z§¦Uv(������}A���qx=zq�?}=|3�a}=y��V}={�wM��zmx=zq�?}=|Mx�® ©J��|�ª=������zq�?����Ø

fXÀgÓXÔ �#Ø �4Ø�ÀgÍMÇ»�Ø�ãÛÀg¾¥ÈAÖ���hAiPi)iLÔ)�U�g|Uzmx���zq�?�¢��¦Xv�}gy����)�^b�}=y�{*x�®U«#|Uzqy�}A�=�X��zq�?}=|UØ�f�Â#ÀgÍXÝ�ÈgÁ#Ç�Ô� � � � f ��� eVÉXÒUÅ¿½¿ÃAÀgÂ�½¿È=ÍU¾aØ

fL½¿Ì�ÈBÜ Ô �*Ø¿Ô�e�Ø~è�¾¥Æ�ÍUÈBÜ�À�Ô4�áØJf�ůÀAܱÃ#¼UÆ�Ü�À�Ô�f)Ø �%È�ſױÈBÜ�¾¥×�À�Ô äØ �sÀ=ÅÄÀgÒMÀ=ÍXÈBÜ�À�Ô Ø È=½¿×±È=ÞJÔ�*Ø ��Ü=À=ÍXÈBÜ�À�Ô��4Ø�fL½¿Ì�ÈBÜ Ô�ÀgÍMÇL�áØ��%È=ÉXâLÅ¿Æa×±ÈBÜ$� n+pPp2n Ô�� �rÉU½¿ÅÄÇX½¿ÍUÓáÀ ��½¿ÍXÓ�ÉU½¿¾�Â�½¿ÃAÀgÅÄÅßâ �PÍXçÂ�Æ�Á�ËXÁ�Æ�Â�ÆaÇ � È=Á�ËUÉX¾*È=Ý �rÉXÅÄÓ�ÀgÁ�½ÄÀ=Í �JÂ�¼UÆ �rÉXÅÄ»�Á�ÆaÆ3�sÀgÍU× �¿Ø���Í �8tsy¥}A�#v�v¥�=��|�ª=��}��*© �1�%�JØ� À=ÍMÀBÁ¥â �P¾¥ÅÄÀ=ÍMÇL¾aÔ�f�ËMÀg½ÄÍ�ÔUËXË�Ø�hBê n i�� hAê q ë�Ø

f�Á�½¿ÍU½¿Ü=À=¾aÔ ��Ø�À=ÍUÇ �4Ø/�*Ø ��È=¾¥¼U½ ��hAi)iPi�Ô�� f�ÉUË Æ�Á¥Â#ÀgÓ�Ó=½ÄÍXÓ�� �&Í ��ËXËXÁ�ȱÀgÃ�¼�Â�È �&Å¿Ì�È�¾�Â�eJÀgÁ�¾¥½¿ÍUÓ �¿Ø�V}={�wM��zmx=zq�q}=| x�®M©E��|�ª=������zq�?��� ��� Ô n+q êAà n ë���Ø

»,È�ÉLÂ#À=ÍXÈgÜ=ÀLÔ �*Ø¿Ô � Ø ��À=ÍUÍX½¿ÍUÓXÔ�f)ØJè�ÆaË ÆaÍ�Ô,À=ÍUÇ Ø b Å¿½ÄÃ#×�½¿ÍUÓ�Æ�Á�� n)p)pPq À�Ô�� eJÀgÁ�¾¥Æ fLÆaÅ¿ÆaÃ�Â�½ÄÈ=ÍÈ�Í�Â�¼UÆ�Õ�ÆAÇ�ÖsÈ�È�ÇL¾ � È=Á�ËXÉU¾ � q Á#Ç f Á�ÈAÖäÂ�¼´Õ�Æa¾¥ÉXÅßÂ�¾��ÄØ � f�»sÆaÃ�¼XÍU½¿ÃAÀgÅ�Õ&ÆaË ÈgÁ¥ÂAÔ^f�Â#À=ÍLÝ�ÈgÁ#ÇÙ�ÍU½¿Ü±Æ�Á�¾¥½¿ÂPâ�Ø

»,È�ÉLÂ#À=ÍXÈgÜ=ÀLÔ-�*Ø�À=ÍMÇ � Ø ØE��À=ÍXÍU½¿ÍUÓ � n)p)p2n Ô�� b ÆAÀgÂ�ÉLÁ�Æ fLÆaÅ¿ÆaÃ�Â�½¿È=Í*Ý�È=ÁrÀ�Õ&½¿Ã�¼ � e f f f Á#À=Ì*çÌÀgÁ(Ù�¾¥½¿ÍUÓ ÆaÃa½¿¾¥½¿È�Íá»�Á�ÆaÆa¾��¿Ø ��Í���tsy¥}A�#v�v¥�=��|�ª=�}���z§¦Uv*�U� 2=z§¦��V}=|A�Av�y¥v�| �#v}=| z%x=zq��y¥x�®©,x=|�ª=�XxAª�v�©�v¥x=y�|X��|�ª���V}�z~©,©E� ���±� ��AØ

»,È�ÉLÂ#À=ÍXÈgÜ=ÀLÔ �*Ø¿Ô � Ø Ø ��À=ÍXÍU½¿ÍUÓLÔ Ø b Å¿½ÄÃ#×�½¿ÍUÓ�Æ�ÁAÔEÀ=ÍUÇyf)ØJè�ÆaË ÆaÍ�� n)p)p2n Ô�� eJÀBÁ�¾¥Æ¨ÇL½¿¾�À=Ì*çÒU½¿Ó�ÉUÀgÂ�½¿È�Í�Ý�ÈgÁ´À Á�½¿Ã#¼ � e f f Ó=Á#ÀgÌ�ÌÀgÁ �¿Ø ��Í ���Uy¥v#v/v�x=|&�g� x=|M�;©E��|�ª=������zq�?�¤��¦Uv¥}=y��?v��#ØfLÈ h�È�Ë È�ÅqÔ �rÉUÅ¿Ó±ÀBÁ�½ÄÀLØ

»,È�ÉLÂ#À=ÍXÈgÜ=ÀLÔ��*Ø¿Ô]�áØ]�¨½ßÂ�Ã�¼XÆaÅ¿ÅqÔ)À=ÍUÇ � Ø]��À=ÍXÍU½¿ÍUÓ � n)p)pPq Ò�Ô �ßè�ËXÂ�½¿Ì�½ ha½¿ÍUÓ�Å¿È�ÃAÀ=ÅJËLÁ�È�ÒUÀ=ÒU½¿Å¿½ßÂ�âÌ�È�ÇXÆaÅ¿¾äÝ�ÈgÁ�¾�Â#ÀBÂ�½Ä¾�Â�½¿ÃAÀgÅ�ËMÀBÁ�¾¥½¿ÍUÓ��¿Ø ��Í ��tsy¥}A�#v�v¥�=��|�ª=��}��(z§¦Uv3°��Xz§¦'�s��y¥}�wXv¥x=| �V}=|A�av�y�v�| �#v}=|� áx±�#¦���| v�©1v¥x=y�|X��|�ª�� �(� ¨©�BØ ÉXÒXÁ�ÈBÜ�ÍU½¿× Ô � Á�È�ÀgÂ�½ÄÀLØ

»�Á�ÉUÆ�¾�ÖsÆaÅ¿ÅqÔ �LØ � Ø � hAi)i�ëLÔ � »s¼UÆ Á�È=ÅÄÆ ÈgÝÛÅ¿Æ�ÊL½¿ÃAÀ=ŠݧÁ�ÆAæ�ÉXÆaÍUÃ�â�½¿Í.¾�âLÍ�Â#ÀgÃ�Â�½¿Ã À=Ì�ÒU½¿Ó�ÉX½ßÂ�âÁ�Æa¾¥È�Å¿ÉXÂ�½¿È=Í �¿Ø (�}g�Ly#| x=®�}��� Gv�{*}=y��´xg| ��©,x=|�ª=�XxAª�v ��� Ô �=ë=ëBà � ��Ø

�rÀgËUÍX½Ä× Ô-�4Ø��4Ø�� hAi)i� �Ô,�Uzmxgzq����zq�?��x�®)©�v¥x=y#|U��|�ª���¦Uv¥}=y#�=Ø���È=¼Uͨ㠽ÄÅ¿Æ�â¨À=ÍUÇ f�È�ÍU¾aØã ½ßÂ¥Â�ÆaÍ�Ô ��Ø��4ØJÀgÍMÇ�»�Ø � Ø��rÆ�ÅÄÅ �>h/iPi�h=Ô �ß»s¼XÆch�Æ�Á�È=ç?ݧÁ�Æaæ�ÉXÆaÍUÃ�âÚËXÁ�È=ÒUÅ¿ÆaÌ � V¾�Â�½¿ÌÀgÂ�½¿ÍXÓ Â�¼XÆ

ËXÁ�È�ÒUÀ=ÒX½ÄÅ¿½ßÂ�½¿Æa¾rÈgÝ�ÍUÈBܱÆaÅXÆaܱÆaÍ�Â�¾E½¿ÍÀ�ÇUÀgËXÂ�½¿Ü±ÆsÂ�Æ�Ê�Â1ÃaÈ�Ì�ËLÁ�Æa¾¥¾¥½¿È�Í �ÄØ,« �%�%� �Uy¥x=|X�xw «#|A�a}gy�{ w��¦Uv¥}=y�� �� �� � Ô h p ���,h p i)jLØ

{P|)}={P~��x�^{)�-�����_�-{P|����-�^���P�2�P�2�2���9�����-��� }8�W�P�