64

Chen & Goodman - Peopleklein/cs294-5/chen_goodman.pdf · Úkâ!ü òåj× Ö ß ßQâ:á=Ø Ü·Ù ÖeÞDá/Ùkß âtâjÚkæ=Ý·Þ=åUç Ö Þ=á/ÙkäD× .ØHà/Úkæ=Ø(ßQâjÙkÚ

  • Upload
    trananh

  • View
    215

  • Download
    3

Embed Size (px)

Citation preview

Page 1: Chen & Goodman - Peopleklein/cs294-5/chen_goodman.pdf · Úkâ!ü òåj× Ö ß ßQâ:á=Ø Ü·Ù ÖeÞDá/Ùkß âtâjÚkæ=Ý·Þ=åUç Ö Þ=á/ÙkäD× .ØHà/Úkæ=Ø(ßQâjÙkÚ

����������� ���������� ������� �!��������� "����#%$'&(� "���)��&(*+�,�-�.'�/�0#1��� #1&324���&(�����#

5�687 9�:<;>=@?'A�B�C�;>97D9-E

FHG�I C(J-7LK G�G E MN7D9

OQPSRUT>V>RXWZY

[\J�]ZJ I 6 T>WZWHY

B�;>9(6^;>_'` G _ P ; I ; 7 _8a8Ccbd93B G M�e�J�6^bd9�] O ; afC/9 G : G ]H=g 7D_,hH7 _8Eji\9�b<h�;k_ I bd6X=

Bl7DMnm�_^boE ]H;qp rs7 I^I 7Ha8C J I ;>6^6 I

Page 2: Chen & Goodman - Peopleklein/cs294-5/chen_goodman.pdf · Úkâ!ü òåj× Ö ß ßQâ:á=Ø Ü·Ù ÖeÞDá/Ùkß âtâjÚkæ=Ý·Þ=åUç Ö Þ=á/ÙkäD× .ØHà/Úkæ=Ø(ßQâjÙkÚ

Page 3: Chen & Goodman - Peopleklein/cs294-5/chen_goodman.pdf · Úkâ!ü òåj× Ö ß ßQâ:á=Ø Ü·Ù ÖeÞDá/Ùkß âtâjÚkæ=Ý·Þ=åUç Ö Þ=á/ÙkäD× .ØHà/Úkæ=Ø(ßQâjÙkÚ

����������� ��������������������� ��� �!��"��#%$'&(�)"*��+ �&(,-�.�/�102���#/�3��#/&4 � �&(����#

5�6U7D9�:d;>=N?'A-B�C�;>95(afC G�G : G `lB G MLe�J/6^;>_�5(a b<;>9-a ;Bl7 _^9�;>]Zb<; r3;>:<: G 9Ni\9/b<h�;>_ I b<6X=

5 VZVHV ? G _^m-; I [\h�;�A6 b<6^6 I m�J/_^]HC p 6 [ T 587 T:9;=<?> @)>);�AB>DCFE AHGJI E

FHGqI C(J-7LK G�G E(MN7D9K 9/]Hb<9/;>;>_^bd9�] 5 a b<;>9 a ; IML 7 m G _87 6 G _^=

g 7D_,hH7 _8ENi\9�bdh�;>_ I b<6X=N V'OQP ` G _8E35�6kA

Bl7 M m/_^b E(]H;�p/rs[ V 7 T:9HYR?STSJIUC(V8W)@)G�G >);�AYXZV=[�\?V=[)I�AHG I E

F J�:<= 7 Y p TkWHWZY

]�^U_a`�bac.de`f�g/hjikgalmgkn.oqp osrtomuHimvwp�xZvyn.osikuezert{aosvwuHn2omuQ|j}�~Hikp����!uez.gYxwlq��u�iqxwp�n:~�r:p�~Bg �!uez.gYxyvynt~pHntz�lsrjik��ga�

os�tg!�!u�lmoq�)vwz.gYxw�B}�r:lmg�z�lm�!ueu�os�jvynt~�p�xw~Bu�imvwos�:�!l���uHi�lsr:{m���!uez.gYxwla��f�g/os�tgYnh.ikgalmgYn.o�pHn*ga�eomgYntlsvw�Bgg��qhjvyimvw{�pHx?{au��qhtpHimvwlmuHn�uH�?lmga��gYikpHxFuH�Fos�tgalmg!lm�!ueu�os�jvynt~ omga{m�jn.vw�Br:g�la��vynt{Yxyrtz�vynt~os�tuBlmg!z.galm{Yimvy��gaz�.��Bgkxyvyn:gY��p�n:z�� gYik{agki �m�a���B�e�Y�F ¡pBom¢ �m�a���e£��Y�)¤)gYxyx��¦¥TxwgapHik�B�FpHntz�f3vwomomgYn§�m�a�B���e�Y�F¨(ga�B��©�lmlmgYn8�Tp�n:z (ntgalmgYi��m���B�Bª«�Y�:p�n:z� (n:galmgki(p�n:z ¨¬ga� �m�a���e­B�Y��fQg(vyn.�Bgalmosvw~�pBomgq�tu�����pB{�omuHikl?lsr:{m�QpBl?osikp�vynjvynt~®z.pBomplsvw¢�gB�eosikpHvyn.vynt~!{auHimh.rtl(�k¯�°y±e°²�B¤�ikuH�)n/��gYiklsrtlTfQpHxyxJ³eosikgagaoF�BuHr.imn:p�x´�Y�j{�uHr.n.oT{YrtomuHµ�la�jp�n:z�|j}�~Hikp��¶u�ikzjgki�·�.vw~Hikp��¸�Bgkiklsr:l¬osimvw~HikpB���ZpHµ�ga{ao(os�tg¡ikgYxwpBosvw��gqh=gYim��u�ik�!pHnt{ag!u���os�:g�lmgq�!g�os�:uez.la�=�)�jvw{m��vwl¬�!gap�lsrjikgazos�.ikuHrt~H�Qos�tg¡{Yiku�lmls}sgkn.osikuHh.� uH�Jomgalmo?zjp�ompj�¦¹Zrji?ikgalsr.xwoml(ls�tu��'os�:p�o)hjikga�Bvwu�r:l¡{�uB�qhtpHimvwlmu�n:l(�tp��Bg¡n:u�o��gagYnQ{au��qhjxwg�omg!gYntuHrt~H�*omu��´rjxyxw� {m�:p�ikpB{aomgkimvw¢ag/lm�!ueuBos�.vyn:~�pHxw~�uHimvwos�t�ºh�gYim��uHik��pHnt{agB�¬f�g¡vyn.osikuez�rt{ag��gaos�:uez.uHxwu�~Hvwgal)��u�i�pHntpHxw�e¢Yvynt~/lm�!ueuBos�.vynt~qp�xw~BuHimvwos�t�»gk¼/{apB{���vyn�z.gaompHvyx��.pHntzqrtlsvyn:~�os�tgalmg?omga{½�.n.vw�Br:gal�Fg)�!uBosvw��p�omgZp?n:u���gYx=��pHimvwp�osvwuHn�uH�= (ntgalmgYim}�¨¬ga�qlm��ueuBos�.vyn:~�os�:p�o {auHntlsvwlmomgYn.osxw�/uHrtosh=gYim�¾uHik�!l�pHxyx=u�os�:gkip�xw~Bu�imvwos�:�!l?ga��p�xyr:p�omgazD�F¿Uvyn:p�xyxw�B�:ikgalsr.xwoml)ls�tuH�)vynt~!os�tpBo vw�qhjiku���gazÀxwp�n:~�r:p�~Bg¡�!uez.gYx8lm�!ueuBos�.vynt~qxwgapBz.lomu�vw�qhjiku���gaz lsh=gaga{m� ikga{au�~Hn.vwosvwuHnh�gYim��uHik��pHnt{agqp�ikg(hjikg�lmgYn.omgaz=�

Á ÂTÃ/ÄTÅ?ÆQÇ3ÈQÉ(ÄFÊ�ÆMÃ

ËTÌ.Í.ÎjÏ:Ì�ÎjÐ�Ñ®Ò�ÓjÐ�Ô²Õ�Ö�×kØ�Ö�ÙkÚaÖeÛ=Ü·Ø�Ý´Þ'ßÖeÞ:à�á=âjß*ÖeÝ·Þ=ÙÀÝ´ÞDã�Ü·ä=á=Ý·Þ=å�ÙYÛ8Ø�ØHã�æ»×kØHã�â.åjÞ=Ý·ÚkÝ·â.Þ�çZâ.Û=ÚYÝ·ã�ÖeÜ¡ãaæ8Ö�×�ÖeãHÚkØ�××kØHã�â.åjÞ=Ý·ÚkÝ·â.Þ�çDæ8ÖeÞDá=è¡×kÝ·ÚkÝ·Þ=å ×YØ�ã�âjå.Þ=Ý·ÚkÝ·âjÞ�ç=ßÖeãaæ=Ý·Þ=Ø�ÚY×�Ö�Þ=ÙkÜ�ÖeÚYÝ·â.Þ�çUÖeÞ=áÙkÛUØ�Ü·Ü·Ý·Þ=å ã�â.×Y×kØ�ãHÚkÝ·â.Þ'é�ê(æ:ä=×Yã�æTç�ë�ìjí.íDîï(×kâeè¡Þ2ØHÚðÖ�Üòñ·ç?ëBì.ìjó=î)ô�äDÜ´Ümç(ë�ìjì �=î)õ!Ø�×YÞ=Ý·å.æ8Ö�Þ�ç?ê(æ:ä=×kãaæ�ç(ÖeÞ=á2öÀÖeÜ·Ø.ç(ë�ì.ìjó=î?÷:×YÝ·æ8Öe×YÝøÖ�Þ=áùïøÖ�Ü·Úkä=ÙBç¡ë�ì.ì �.úHñû¡æ=Ø á=âjßQÝ·Þ8Ö�ÞtÚqÚkØ�ãaæ=ÞDâ.Ü·â.åjà�Ý·Þ�Ü�ÖeÞDå.ä8Ö�å.Ø®ßQâ:á=Ø�Ü·Ý·Þ=åQÝ·Ù/üTý�ÎjþkÌ.ÑÿßQâ:á=Ø�Ü·Ù�ç�è¡æ=Ý·ã�æ2Ö�×kØ ÙYÚk×�Ö�Ý·å.æ:Ú���âj×kè¡Öe×Yá�ÚYâã�âjÞ=ÙkÚY×kä=ã�Ú¡Ø��tãHØ�Û=Ú���âj×?Úkæ=ØqÝ·ÙkÙkäDØ�â��?Õ�Ñ®Ò�Ò�����Í.ÎjçtÖ�ÚkØ�ãaæ=Þ=Ý �:ä=Ø!ä=ÙYØ�áQÚYâ��8ØHÚkÚkØHסØ�ÙkÚYÝ´ßÖeÚYØ¡Û=×kâ��8Ö��=Ý·Ü·Ý·ÚkÝ·Ø�Ù)è¡æ=Ø�ÞÚkæDØ�×kخݷ١ݴÞDÙkä��Qã�Ý·Ø�Þ:Úqá8ÖeÚaÖ®Úkâ Ø�ÙYÚkÝ·ß*Ö�ÚkØ!Û=×kâ��8Ö��DÝ´Ü·Ý·ÚkÝ·Ø�Ù�Ö�ã�ã�ä=×aÖeÚYØ�Ü·àtñ���ÞØ�ÞDâ.×kß�â.ä=Ù¡Þ:ä=ß��UØ�סâ��¦ÚYØ�ãaæ=Þ=Ý �:ä=Ø�Ùæ8Ö��jØ��8Ø�ØHÞ§ÛD×kâ.ÛUâ.ÙYØ�á��sâ.×/ÙYßQâ:â.ÚYæ=Ý·Þ=å*ü��må.×aÖeß ßQâ:á=Ø�Ü·ÙBç ß*Ö�Þtà3ßQâ.×YØ�ÚYæ8ÖeÞùè(ØQãHâ.ä=Ü·áùÛUâ.ÙkÙYÝ �=Ü·à�á=ØHÙkã�×YÝ�UØæ=Ø�×YØ.î)æ=âeè(Ø��.ØH×�çTÚkæ=Ø�×YØQæ8Ö�Ù��8Ø�ØHÞ§Ö�ã�â.ÞDÙkÛ=Ý·ã�ä=âjä=Ù�Ö��=ÙkØ�ÞDã�ØQâ��¬ÙkÚYä=á=Ý·Ø�Ù®Úkæ8Ö�Ú�ÙYà:ÙkÚkØHß*ÖeÚYÝ·ã�ÖeÜ·Ü·àã�â.ß�Û8Öe×YØ/Úkæ=Ø×kØHܾÖ�ÚkÝ �.Ø¡ÛUØ�×���â.×Yß*ÖeÞDã�جâ��Jß�â.×YجÚYæ8ÖeÞ��aäDÙkÚ?Ö���Ø�è'â��JÚYæ=Ø�ÙkØ!ÖeÜ·å.âj×kÝ·ÚkæDßQÙ â.Þ ß äDÜ´ÚYÝ·Û=Ü·ØFáUÖeÚ�ÖqÙYØ�ÚkÙBñ���Ù(Ö!×kØ�ÙYä=Ü·Ú�ç��×Yâ.ß�Úkæ=Ø/Ü·Ý·ÚkØH×�ÖeÚYä=×kØÀÝ´Ú¡Ý·Ù¡Ý·ßQÛUâ.ÙYÙkÝ �=Ü·Ø�ÚYâ åtÖ�ä=å.Ø!ÚkæDØ/×kØ�Ü�Ö�ÚkÝ �.Ø/ÛUØ�×���â.×Yß*ÖeÞDã�Ø!â��?Ø��:Ý·ÙkÚkÝ·Þ=åQÖ�Ü·å.â.×YÝ·Úkæ=ß�Ù?Ý·Þ�Ö�Ü·Ü�=ä=Ú�Ö®æUÖeÞ=á��sä=Ü â��)ÙkÝ·Úkä8Ö�ÚkÝ·â.ÞDÙ�ñ

mÞQÚYæ=Ý·Ù¬è(â.×"!Jçjè(Ø�ÖeÚYÚkØ�ß�Û=Ú?ÚYâ/á=Ý·ÙkÛUØ�Ü ÙkâjßQØ¡â���Úkæ=Øqß àtÙYÚkØ�×Yà�ÙYä=×k×Yâ.ä=ÞDá=Ý·Þ=å�ÙYßQâ:â.ÚYæ=Ý·Þ=å��:à�á=ØHÚkØ�×YßQÝ·Þ=Ý·Þ=åè¡æ=Ý·ãaæ/ÖeÜ·å.âj×kÝ·Úkæ=ß�Ù8è(â.×"!�è(Ø�Ü·Ü.Ý·Þ!è¡æ=Ý·ãaæ�ÙYÝ·Úkä8Ö�ÚkÝ·â.Þ=ÙBç�Ö�Þ=á/è¡æ:àtñ$#ùØ%�UØ�åjÝ´Þ��:à�åjÝ �tÝ·Þ=å¡Ö¡ÚYä=Úkâj×kÝ�ÖeÜeÝ·Þ:Úk×Yâ:á=ä=ã�ÚYÝ´âjÞ

&

Page 4: Chen & Goodman - Peopleklein/cs294-5/chen_goodman.pdf · Úkâ!ü òåj× Ö ß ßQâ:á=Ø Ü·Ù ÖeÞDá/Ùkß âtâjÚkæ=Ý·Þ=åUç Ö Þ=á/ÙkäD× .ØHà/Úkæ=Ø(ßQâjÙkÚ

Úkâ!ü��òåj×�Ö�ß ßQâ:á=Ø�Ü·Ù�ÖeÞDá/Ùkß�âtâjÚkæ=Ý·Þ=åUç�Ö�Þ=á/ÙkäD× �.ØHà/Úkæ=Ø(ßQâjÙkÚ è¡Ý·á=Ø�Ü·à��mä=ÙkØ�á®Ùkß�â:â.ÚkæDÝ´ÞDå¬ÚYØ�ãaæ=Þ=Ý �:ä=Ø�Ù�ñ #ùØZÚkæ=Ø�ÞÛ=×YØ�ÙkØ�Þ:Ú¬Ö�Þ/Ø��:ÚkØHÞ=ÙkÝ �.Ø¡ØHßQÛ=Ý·×kÝ·ã�Ö�Ü.ã�âjßQÛ8Ö�×kÝ·ÙkâjÞ!â��8ÙYØ��.Ø�×aÖeÜ=â��8ÚkæDØ�ÙkØ¡ÙYßQâ:â.ÚYæ=Ý·Þ=å¡ÚkØ�ãaæ=ÞDÝ�:ä=ØHÙ�çjÝ´ÞDã�Ü·ä=á=Ý·Þ=å¡ÚkæDâ.ÙkØá=Ø�ÙYã�×kÝ �UØ�á �:à��jØ�Ü·Ý´ÞDØ�!ðÖ�Þ=á��Ø�×Yã�Ø�×/éYë�ì.íjó.úHçeõ/ÖeÚ��®ékëBì.í��jú�çeï(Ø�Ü·Ümçtê(Ü·Ø�Ö�×kà:çtÖ�Þ=á�# Ý·ÚkÚYØ�Þ�ékëBì.ìjó.ú�ç��Ø�à:ç�¦ÙkÙkØHÞ�çÖeÞDá õ�ÞDØ�ÙkØ�×/éYë�ìjì �túHç.ÖeÞDá�õ!Þ=Ø�ÙYØ�×�ÖeÞDá���Ø�àékëBì.ì��jú�ñ #ùجáDØ�Ùkã�×YÝ �8Ø!Ø��:ÛUØ�×kÝ·ßQØHÞtÚYÙ?ÚkæUÖeÚ?ÙYàtÙYÚkØ�ßÖeÚYÝ´ãBÖeÜ·Ü·à �.Ö�×kàÖqè¡Ý·á=ج×aÖeÞ=åjجâ�� �.Öe×YÝ�Ö��=Ü·Ø�ÙBç�Ý·Þ=ãHÜ´äDá=Ý·Þ=å�ÚY×�ÖeÝ·Þ=Ý·Þ=åqá8ÖeÚaÖqÙkÝ���Ø.çjã�â.×YÛ=ä=ÙBçeã�â.äDÞtÚZã�ä=Úkâ�JÙBçtÖ�Þ=á�ü��må.×aÖeß â.×Yá=Ø�×BçtÖ�Þ=áÙkæDâeè Úkæ8Ö�Ú�ß�â.ÙYÚ¡â��¬ÚYæ=Ø�ÙkØ��.Ö�×kÝ�Ö��DÜ´ØHÙ�ÙkÝ·åjÞ=Ý��8ã�ÖeÞ:ÚYÜ´àÖ�� Ø�ã�Ú!ÚkæDØ�×YØ�Ü�ÖeÚkÝ �jØ�ÛUØ�×��sâ.×kßÖeÞ=ãHØ/â��øÖ�Ü·å.â.×YÝ·Úkæ=ß�Ù�ñ�#ùØÝ·Þ:Úk×kâ:á=äDã�Ø�ß�Ø�Úkæ=â:á=âjÜ·â.å.Ý·Ø�Ù$��â.×?Ö�Þ8ÖeÜ·à���Ý·Þ=å!Ùkß�âtâjÚkæ=Ý·Þ=å!ÖeÜ·å.âj×kÝ·ÚkæDß ÛUØ�×���âj×kßÖeÞ=ã�Ø(Ý·Þ á=Ø�ÚaÖeÝ·Ümç.ÖeÞ=á äDÙkÝ·Þ=å/ÚYæ=Ø�ÙkØÚkØHã�æDÞ=Ý �täDØ�Ù)è¬Ø?ß�â.ÚYÝ�.Ö�ÚkØ)Ö(Þ=â��.Ø�Ü��.Öe×YݾÖ�ÚkÝ·â.Þ!â���õ!Þ=ØHÙkØ�×����qØ�à�ÙYßQâ:â.ÚYæ=Ý·Þ=å(Úkæ8Ö�Ú�ã�âjÞ=ÙkÝ·ÙkÚYØ�Þ:ÚkÜ·à!â.ä=ÚYÛ8ØH×���âj×kßQÙ�Ö�Ü·Üâ.ÚYæ=Ø�×!ÖeÜ·å.âj×kÝ·Úkæ=ß�Ù)Ø��.ÖeÜ·ä8Ö�ÚkØ�á�ñ��TÝ´ÞUÖeÜ·Ü·àtçeè(Ø!Û=×kØHÙkØ�Þ:Ú!×kØ�ÙYä=Ü·ÚkÙqÙkæ=âeè¡Ý·Þ=å®Úkæ8Ö�Ú �8ØHÚkÚkØH×�ÙYßQâ:â.ÚYæ=Ý·Þ=å�Ö�Ü´åjâ.×YÝ´ÚYæ=ßQÙÜ·Ø�ÖeáÀÚkâ��8ØHÚkÚkØH×?ÙkÛUØ�Ø�ãaæ ×kØHã�â.åjÞ=Ý·ÚkÝ·â.Þ/ÛUØ�×���â.×Yß*ÖeÞDã�Ø.çeà:Ý·Ø�Ü·á=Ý·Þ=å¡ä=Û®Úkâ!Ö/ë�� Ö��=ÙkâjÜ·ä=ÚkØ(á=Ý��JØH×kØ�Þ=ãHØ¡Ý´ÞÀè¬âj×ká��mØ�×k×Yâ.××�Ö�ÚkØ.ñMû¡æ=Ý·Ù�è(â.×"!�Ý·Ù/ÖeÞ�Ø��:ÚkØ�Þ=ÙYÝ·â.Þùâ��(â.ä=×/ÛD×kØ��:Ý·â.ä=ÙYÜ·à�×kØ�ÛUâ.×YÚkØ�áù×YØ�ÙkØBÖe×kãaæ»é�ê(æ=Ø�Þ2Ö�Þ=áùö!â:âtáDß*ÖeÞTç�ë�ìjì��Dîê(æ=Ø�ÞTç�ë�ìjì��jú�ñû¡æ=Ý·Ù?Û8Ö�Û8Ø�×ZÝ´Ù)ÙYÚk×käDã�Úkä=×YØ�á�ÖeÙ ��âjÜ´Ü·âeè¡Ù�� mÞ ÚYæ=Ø¡×kØHß*ÖeÝ·Þ=áDØ�×)â�� Úkæ=Ý·Ù)ÙkØ�ãHÚkÝ·â.Þ�çjè(Ø¡Û=×kØ�ÙYØ�Þ:ÚøÖ�Þ�Ý·Þ:Úk×Yâ:á=ä=ã�ÚYÝ´âjÞ

Úkâ�Ü�ÖeÞ=åjä8ÖeåjØ�ß�â:á=Ø�Ü·Ý·Þ=å8ç:ü��òåj×�Ö�ß ß�âtáDØ�Ü·Ù�ç=ÖeÞDá�Ùkß�âtâjÚkæ=Ý·Þ=åUñ� mÞ�÷�Ø�ã�ÚkÝ·âjÞ �=çDè¬Ø/ÙYä=× �jØ�à�Û=×YØ��:Ý·â.ä=Ùqè¬âj× !QâjÞÙkß�â:â.ÚkæDÝ´ÞDå�ü��må.×�Ö�ß ß�âtáDØ�Ü·Ù�ñ mÞQ÷:ØHã�ÚkÝ·â.Þ &Dç.è(Ø¡á=Ø�ÙYã�×kÝ �UØ!â.ä=×?ÞDâ��.Ø�Ü �.Ö�×kÝ�ÖeÚYÝ·â.Þ/â��Jõ!Þ=Ø�ÙYØ�×�����ØHàQÙkß�â:â.ÚkæDÝ´ÞDå8ñ mÞ�÷:Ø�ã�ÚYÝ·â.Þ��8ç:è(Ø!á=Ý·Ùkã�ä=ÙYÙ��.Ö�×kÝ·â.ä=Ù¡ÖeÙYÛ8ØHã�ÚkÙ!â��)â.ä=סØ��tÛUØ�×YÝ´ß�Ø�Þ:Ú�Ö�Ü ßQØ�ÚYæ=â:á=â.Ü·â.åjàtç�Ý´ÞDã�Ü·ä=á=Ý·Þ=å®Úkæ=Ø!á=Ø�ÚaÖeÝ·Ü·Ù¡â��â.äD×�Ý·ßQÛ=Ü·Ø�ß�Ø�Þ:Ú�Ö�ÚkÝwâjÞ=Ù?â�� �.Öe×YÝ´âjä=Ù¡Ùkß�â:â.ÚkæDÝ´ÞDåðÖ�Ü´åjâ.×YÝ´ÚYæ=ßQÙBç.ÛUÖe×�Ö�ßQØ�ÚYØ�סâ.ÛDÚkÝ·ßQÝ���Ö�ÚkÝ·â.Þ�ç:ÖeÞDá�á8ÖeÚaÖ®ÙkØ�ÚYÙ�ñ� mÞ÷:Ø�ãHÚkÝ·â.Þ��=çjè(Ø�ÛD×kØ�ÙYØ�Þ:Ú�ÚkæDØ�×YØ�ÙkäDÜ´ÚYÙ¡â��?ÖeÜ·Ü8â��Fâjä=׬Ø��tÛUØ�×YÝ´ß�Ø�Þ:ÚkÙBñ ��Ý·Þ8Ö�Ü·Ü´à:çeÝ·Þ*÷�Ø�ã�ÚkÝ·âjÞ!�Àè¬Ø!ÙkäDßQß*Ö�×kÝ���Ø(Úkæ=ØßQâjÙkÚ(Ý·ßQÛUâ.×kÚaÖeÞ:Ú?ã�âjÞ=ã�Ü·ä=ÙYÝ´âjÞ=Ù¡â��)Úkæ=Ý·Ù¡è(â.×"!Jñ

" #$" .'����#1��(#�&j24���&(�����# �����&%('�)N� ��� 24����& ��*� Ô´ÌjÍ.Î.Ï:ÌBÎ.Ð�Ñ�ÒBÓ.ÐHÔ�Ý·ÙQäDÙkä8Ö�Ü´Ü·à ��âj×kß ä=Ü�ÖeÚYØ�á ÖeÙ�ÖùÛD×kâ �UÖ��=Ý·Ü·Ý·Úmà2á=Ý·ÙkÚY×kÝ �=ä=ÚYÝ·â.Þ+*�é-,Bú�â��.Ø�×ÙYÚk×kÝ·Þ=åjÙ�,�Úkæ8Ö�ÚÖeÚYÚkØ�ß�Û=ÚkÙÚYâ ×kØ/.UØ�ã�Ú�æ=âeè ��×YØ��:ä=Ø�Þ:ÚkÜ·à Ö�ÙkÚk×YÝ·Þ=å0,ùâ:ã�ãHä=×kÙùÖeÙ�Ö�ÙkØ�Þ:ÚYØ�Þ=ã�Ø.ñ1�=âj×Ø��=ÖeßQÛDÜ´Øjç���â.×�Ö2Ü�Ö�Þ��å.äUÖeå.Ø�ßQâ:á=ØHÜ�á=Ø�ÙYã�×kÝ �=Ý·Þ=å'ÙYÛ8â�!.Ø�Þ Ü�ÖeÞDå.ä8Ö�å.Ø.ç¡è(Ø�ßQÝ·å.æ:Ú æ8Ö��jØ�*�é325476�6�8?ú:9 ó7;yó=ëÙYÝ·Þ=ã�ØùÛUØ�×kæ8Ö�Û=Ù�âjÞ=Øâ.äDÚ�â���Ø��jØ�×kà�ætäDÞ=á=×kØHá2ÙkØHÞtÚYØ�Þ=ã�ØHÙ�Ö3ÛUØ�×kÙYâ.Þ'ÙkÛUØ�Ö�!:Ù Ý·Ù<25476�6�8?ñ>=qÞ2ÚYæ=Øâ.ÚkæDØ�× æ8ÖeÞDá�ç)è¬Øè(â.ä=Ü·áùæ8Ö��jØ*�é@?A25B-?ACD4FEHG�I5E5C5J08AK547L56�8AM5N0CO47PD?A25I5QJúR9 óÖeÞ=á�*�é3MDSUTA4VSWPD8DS�XOM56�6�85QVSYXOM56�6�M5E5P56ZJZú[9¸ó�ÙkÝ·Þ=ã�ØÝ·Ú�Ý·Ù Ø��:Úk×YØ�ßQØHÜ´à!ä=ÞDÜ´Ý !jØ�Ü·à�ÖeÞ:àjâ.Þ=Ø?è(â.äDÜ´á!ä=ÚYÚkØ�×)Ø�Ý·ÚYæ=Ø�×)ÙkÚY×kÝ·Þ=å8ñ\��â.ÚYÝ·ã�جÚYæ8ÖeÚTä=Þ=Ü·Ý !.Ø)Ý·Þ/Ü·Ý·Þ=å.ä=Ý·ÙYÚkÝ·ã�Ù�çHå.×aÖeßQßÖeÚ��Ý·ã�ÖeÜ·Ý·Úmà®Ý´Ù(Ý·×k×YØ�Ü·Ø��.ÖeÞ:Ú(Ý´Þ�Ü�ÖeÞ=åjä8ÖeåjØ�ßQâ:á=ØHÜ´Ý·Þ=åUîBØ��.Ø�ÞÚYæ=â.ä=åjæÚkæ=ØqÙkÚk×YÝ·Þ=å�MDSUTA4VSWPD8DS�XOM56�6�85QVS�XOM56]6�M5E5P56/JÝ·Ù¡å.×aÖeßQßÖBÚkÝ·ã�Ö�ÜòçBè(Ø!ÙkÚkÝ·Ü·Ü�ÖeÙYÙkÝ·å.ÞÝ·Ú¡Ö®Þ=Ø�Öe×����HØ�×kâ�Û=×kâ��8Ö��=Ý·Ü·Ý·Úmàtñû¡æ=ØQß�â.ÙYÚ/è¡Ý·á=Ø�Ü·à��òä=ÙYØ�áùÜ�ÖeÞ=åjä8ÖeåjØ ßQâ:á=Ø�Ü·ÙBç �:à �òÖe×Bç?Öe×kØü��òåj×�Ö�ß Ü�Ö�Þ=å.ä8Ö�å.Ø®ßQâ:á=Ø�Ü·ÙBñ #ùØ Ý´Þ:ÚY×kâ:á=ä=ã�Ø

ÚkæDØ�ÙkØßQâ:á=ØHÜ´Ù �tà�ã�âjÞ=ÙkÝ·á=Ø�×YÝ·Þ=å�ÚYæ=ØQãBÖeÙkØ�ü>^ �Dî?ÚYæ=Ø�ÙkØß�âtáDØ�Ü·Ù�Ö�×kØ�ã�ÖeÜ·Ü·Ø�á0_�wÎjþkÌjÑ ß�âtáDØ�Ü·Ù�ñ��TÝ·×kÙkÚBç?è(ØÞ=âjÚkÝ·ã�ØQÚYæ8ÖeÚ ��â.× ÖÙkØHÞtÚYØ�Þ=ã�Ø`, ã�âjßQÛUâ.ÙkØHá2â��¡ÚkæDØ*è(â.×Yá=Ù�aRbdc�c�c�a�eòç)è¡Ý·ÚYæ=â.ä=ÚÀÜ´âjÙkÙ®â���åjØ�Þ=Ø�×aÖeÜ·Ý·Úmà�è(ØQã�Ö�ÞØ��:Û=×YØ�ÙkÙf*�é@,�ú¡Ö�Ù

*�é@,�ú ^g*�é@a b úh*Té-afi�j a b ú3*�é@a�klj a b afi�ú\c�c�ch*�é@a e j a b c�c�c�a e�mOb ú(^enohp b

*Té-a o j a b c�c�c�a o mOb ú

mÞ �DÝ´åj×�Ö�ß ß�â:á=Ø�Ü·Ù�çeè(Ø�ßÖ�!jجÚYæ=Ø/ÖeÛ=Û=×Yâ��:Ý´ßÖeÚYÝ´âjÞ!Úkæ8Ö�Ú¬ÚYæ=Ø!Û=×kâ��8Ö��=Ý·Ü·Ý·Úmà/â��FÖÀè(â.×ká áDØ�Û8ØHÞ=á=Ù�âjÞ=Ü·à�âjÞ Úkæ=ØÝ·á=Ø�Þ:ÚkÝ·Úmà â��¦ÚYæ=Ø!Ý·ßQßQØHá=Ý�ÖeÚkØHÜ´àÀÛ=×kØ�ãHØ�á=Ý·Þ=å è(â.×káTç=å.Ý �:Ý·Þ=å/ä=Ù

*Té-,Bú ^enohp b

*�é@a o j a b c�c�c�a o mOb ú 9enohp b

*Té-a o j a o mDb ú ékëBú

û)â2ßÖ�!.Ø�*Té-a o j a o mDb úMßQØ�Ö�Þ=Ý·Þ=å��sä=Ü���â.×�q�^�ëjç�è(Ø�ã�Ö�Þ�Û8Ö�á ÚkæDØ �UØ�å.Ý·Þ=ÞDÝ´ÞDå2â��®Úkæ=Ø�ÙkØ�Þ:ÚYØ�Þ=ã�Øùè¡Ý·Úkæ»Öá=Ý·ÙkÚYÝ·Þ=å.ä=Ý·ÙYæ=Ø�á2ÚYâ !jØ�ÞsrRTt8OS�u®î(ÚkæUÖeڮݴÙBç?è(ØQÛ=×YØ�ÚkØHÞ=á0afv�Ý·ÙwrRT58DS�u®ñ� mÞ Öeá=áDÝ´ÚYÝ·â.Þ�çTÚkâ�ß*Ö�!.Ø ÚkæDØ*ÙYä=ßâ���ÚYæ=Ø Û=×Yâ �8Ö��=Ý·Ü´Ý·ÚYÝ´ØHÙ/â���ÖeÜ·Ü?ÙYÚk×kÝ·Þ=åjÙyx{z]*�é-,BúÀØ��:ä8ÖeÜ!ë.çTÝ·Ú/Ý·Ù/Þ=Ø�ã�ØHÙkÙ�Ö�×kà�Úkâ�Û=Ü�Ö�ã�Ø*ÖáDÝ´ÙYÚkÝ·Þ=åjä=Ý·Ùkæ=Ø�áùÚYâ !jØ�Þ

Page 5: Chen & Goodman - Peopleklein/cs294-5/chen_goodman.pdf · Úkâ!ü òåj× Ö ß ßQâ:á=Ø Ü·Ù ÖeÞDá/Ùkß âtâjÚkæ=Ý·Þ=åUç Ö Þ=á/ÙkäD× .ØHà/Úkæ=Ø(ßQâjÙkÚ

rR4V8OS�u¸Ö�Ú¡Úkæ=Ø!Ø�Þ=á3â��FÙYØ�Þ:ÚkØ�ÞDã�Ø�Ù�Ö�Þ=áÚkâ®Ý´ÞDã�Ü·ä=á=Ø/ÚYæ=Ý·Ù¡Ý´Þ�Úkæ=ØÀÛ=×kâ:á=ä=ãHÚ�Ý·ÞQØ��:ä8Ö�ÚkÝ·â.ÞùéYë�ú�ñ b �Dâ.סØ��=Öeß�Û=Ü·Ø.çÚkâ ãBÖeÜ·ã�ä=Ü�ÖeÚYØf*�é��A8525EgL547M5N+M+Tt8O85C?ú(è¬Ø!è(â.ä=Ü·á�Ú�Ö�!jØ*Té��A8525EHL54FM5N>MHT58D8\C¦ú(^ *�é��V8\25E j�rRTt8OS�u!ú3*�é3L547M5N j �A8525E�ú3*�é3M j L547M5NFú3*�é3Tt8O85C j M úh*�é/rR4V8DS�u�j T58D8\C¦úû)â�Ø�ÙYÚkÝ·ß*Ö�ÚkØ *Té-a o j a o mOb�ú�çjÚkæ=Ø���×YØ��:ä=Ø�Þ=ãHà*è¡Ý·ÚYæQè¡æ=Ý·ãaæQÚYæ=Ø!è¬âj×ká!a o â:ã�ã�äD×kÙ¡å.Ý �jØ�ÞQÚYæ8ÖeÚ(Úkæ=Ø!Ü�ÖeÙYÚ¬è(â.×YáÝ·Ù a o mDb çjè(Ø¡ã�ÖeÞ�ÙkÝ·ßQÛ=Ü·à!ã�âjä=Þ:Ú?æ=âeè'â���ÚYØ�Þ ÚkæDØ��=Ý·å.×aÖeß a o mOb a o â:ã�ã�ä=×YÙ¡Ý·Þ Ùkâ.ß�جÚYØ��:ÚøÖ�Þ=á Þ=âj×kß*Ö�Ü·Ý �HØ.ñ�� Ø�Ú

� é@a o mOb a o ú(á=Ø�Þ=âjÚkØ/ÚYæ=Ø!ÞtäDß��8Ø�סâ��FÚYÝ´ß�Ø�Ù(Úkæ=Ø��DÝ´åj×�Ö�ß a o mDb a o â:ã�ãHä=×kÙqÝ´ÞÚYæ=Ø!å.Ý �.Ø�ÞÚYØ��:Ú�ñ?û¡æDØ�Þ�ç=è(Ø/ã�Ö�ÞÚ�Ö�!.Ø*�é@a o j a o mDb ú ^ � é@a o mOb a o ú

x��� � é@a o mOb a o úé �jú

û¡æ=Ø ÚYØ��:Ú�Ö��.ÖeÝ·Ü�Ö��=Ü·Ø���âj× �Dä=Ý·Ü´áDÝ´ÞDå*Ö�ßQâ:á=Ø�ÜTÝ·Ù/ã�ÖeÜ·Ü·Ø�á ��þYÌ �Í��Í.ÎÓ.Ì���Ìjñ��Dâ.×/ü��òåj×�Ö�ß ßQâ:á=ØHÜ´ÙBçUÚkæ=ØQÖ�ßQâ.äDÞtÚâ��¡Úk×aÖeÝ·Þ=Ý·Þ=åá8Ö�Ú�Ö�ä=ÙkØHá2Ý·Ù/Úmà:Û=Ý·ã�ÖeÜ·Ü·àß*Ö�Þtàß�Ý´Ü·Ü·Ý·âeÞ=Ù¡â���è(â.×Yá=Ù�ñMû¡æ=ØQØ�ÙYÚkÝ·ß*Ö�ÚkØ ��â.×f*Té-a o j a o mOb½ú�å.Ý �.Ø�Þ�Ý·ÞØ��:ä8Ö�ÚkÝ·â.ÞQé �.úUÝ·Ù�ãBÖeÜ·Ü·Ø�á/ÚkæDØ�Ñ�Ì� Ñ�Ï:Ñ Ô �jÐ�Ô �=ÒBÒ�Ó®é-����ú ØHÙkÚkÝ·ßÖeÚkØZâ���*�é@a o j a o mDbkú�ç��8Ø�ãBÖeä=ÙYجÚYæ=Ý·ÙFÖeÙYÙkÝ·å.ÞDßQØ�Þ:Úâ��?Û=×Yâ �8Ö��=Ý·Ü·Ý´ÚYÝ·Ø�Ù�à:Ý·Ø�Ü·á=Ù¡ÚkæDØ �=Ý·åj×�Öeß�ßQâ:á=ØHÜ�ÚkæUÖeÚ�Ö�ÙkÙYÝ´åjÞ=Ù�ÚYæ=Ø®æ=Ý·å.æ=Ø�ÙYÚ�Û=×Yâ �8Ö��=Ý·Ü·Ý´Úmà�Úkâ ÚYæ=Ø�ÚY×�Ö�Ý´ÞDÝ´ÞDå á8ÖeÚaÖâ��?ÖeÜ·Ü ÛUâ.ÙkÙYÝ �=Ü·Ø �DÝ´åj×�Ö�ß ßQâ:á=Ø�Ü·ÙBñ

�=âj×Qü��òåj×�Ö�ß%ßQâ:á=Ø�Ü·Ù®è¡æ=Ø�×YØ�ü�� �=ç(Ý·Þ=ÙkÚYØ�Öeá'â��/ã�âjÞ=á=Ý·ÚkÝ·âjÞ=Ý·Þ=å�ÚkæDØ�Û=×kâ��8Ö��DÝ´Ü·Ý·Úmàùâ��/Ö�è¬âj×ká'â.Þ�Úkæ=ØÝ·á=Ø�Þ:ÚkÝ·Úmà â���� ä=ÙkÚ¡ÚYæ=Ø/Û=×YØ�ã�Ø�á=Ý·Þ=å�è¬âj×ká�ç:è(Ø!ã�â.ÞDá=Ý·ÚkÝ·â.ÞÚkæDÝ´Ù¡ÛD×kâ �UÖ��=Ý·Ü·Ý·Úmà�âjÞ*ÚYæ=Ø!Ý·á=Ø�Þ:ÚkÝ·ÚmàQâ��FÚYæ=Ø/Ü�ÖeÙYÚøü��'ëè(â.×káDÙ�ñ?ö!Ø�ÞDØ�×�Ö�Ü´Ý���Ý·Þ=å Ø��täUÖeÚkÝ·âjÞ�ékëBú(ÚkâQü�� �Dç:è¬Ø!å.ØHÚ

*�é-,Bú ^e �Obnohp b

*Té-a o j a o mObo m����Ob ú é &jú

è¡æ=Ø�×YØ a�� o áDØ�Þ=â.ÚYØ�Ù?ÚYæ=Ø¡è¬âj×ká=Ù a o c�c�c$a � ÖeÞ=á®è¡æ=Ø�×YØ¡è¬Ø(Ú�Ö�!.Øfa m���� i?ÚYæ=×kâjä=å.æ�afv?ÚYâ��8Ø rRTt8OS�u»Ö�Þ=áya e �ObÚkâ �UØyrR4V8OS�uMñ�û)â/Ø�ÙYÚkÝ·ß*Ö�ÚkØ¡ÚYæ=Ø!Û=×kâ��8Ö��=Ý·Ü·Ý·ÚkÝ·Ø�Ù5*�é@a o j a o mObo m����Ob ú�ç:ÚkæDØ�ÖeÞUÖeÜ·â.åjâ.ä=Ù?Ø��täUÖeÚkÝ·âjÞ Úkâ®Ø��:ä8ÖeÚYÝ´âjÞ�é �júÝ·Ù

*Té-a o j a o mDbo m����Ob ú ^ � é-a oo m����Ob úx�� � � é-a oo m����Ob úéh�:ú

mÞ�Û=×aÖeã�ÚYÝ·ã�Ø.çUÚkæ=Ø®Ü�Öe×Yå.Ø�ÙYÚ�ü3Ý´Þ3è¡Ý´áDØ�äDÙkخݴÙ!ü�^ &=îDÚkæ=Ý·ÙqßQâ:á=Ø�ÜTÝ´Ù¡×YØ ��Ø�×Y×kØ�áùÚYâQÖeÙ!Ö �sþ�wÎjþkÌ.Ѹß�â:á=Ø�Ümñ(û¡æ=Øè(â.×káDÙ�a o mDbo m����Ob ÛD×kØ�ã�ØHá=Ý·Þ=å�ÚYæ=ØQãHä=×k×YØ�Þ:Ú è¬âj×káHa o Öe×YØQÙYâ.ßQØHÚkÝ·ßQØ�Ùqã�ÖeÜ·Ü·Ø�áùÚYæ=Ø ��·Õ���Òjþ��eñ��qâ.ÚYÝ´ãHØ Úkæ8Ö�Ú/Úkæ=ØÙkäDß x ��� � é-a oo m����Ob ú!Ý·Ù/Ø��:ä8Ö�Ü?Úkâ�ÚYæ=ØQãHâ.ä=Þ:Ú/â��øÚYæ=ØQæ=Ý·ÙYÚkâ.×Yà � é-a o

mObo m����Ob ú�î �Uâ.ÚYæ ��â.×YßQÙ�Ö�×kØ�ä=ÙkØ�áùÝ·ÞùÚYæ=Ý·Ù

ÚkØ��tÚBñ#ùØ�ÙYâ.ß�Ø�ÚkÝ·ßQØHÙ¬×YØ ��Ø�×/ÚYâÚkæ=Ø �.ÖeÜ·ä=Ø�ü�â��øÖeÞùü��må.×�Ö�ß ß�â:á=Ø�Ü?ÖeÙqÝ´ÚYÙ Ò.þkÓjÐ�þHñ!û¡æ=Ý·Ù�ÚkØH×kßQÝ·Þ=âjÜ·â.å.à ãHâ.ßQØHÙ

��×Yâ.ß Úkæ=Ø�Ö�×kØ�Ö�â�� ��Öe×"!.â��ùßQâ:á=ØHÜ´Ù�é-��Ö�× !.â�� ç¡ëBì=ë &jú�ç)â���è¡æ=Ý·ã�æ'ü��òåj×�Ö�ß%ßQâ:á=Ø�Ü·Ù�Ö�×kØÖeÞ2Ý·Þ=ÙYÚ�Ö�Þ=ã�Ø.ñ mÞÛ8Ö�×kÚkÝ·ã�äDܾÖ�×�ç=Ö�Þ�ü��må.×aÖeß ß�â:á=Ø�ÜUã�ÖeÞ �UØ/Ý·ÞtÚYØ�×kÛD×kØ�ÚYØ�á�ÖeÙ�Ö��3Öe× !jâ�� ßQâ:á=Ø�ÜUâ��?âj×ká=Ø�×�ü � ë.ñ� Ø�Úqä=Ù¡ã�âjÞ=ÙkÝ·á=Ø�×!Ö/ÙYß*Ö�Ü´ÜUØ��=Öeß�Û=Ü·Ø.ñ!� Ø�Ú¡âjä=סÚk×aÖeÝ·Þ=Ý·Þ=å®á8ÖeÚaÖ#" �UØ/ã�â.ß�Û8âjÙkØ�á�â��)Úkæ=Ø/ÚYæ=×kØHØ/ÙkØ�Þ:ÚYØ�Þ=ã�Ø�Ù

é%$&�A8525EHL54FM5N(' 85TFJ*) B-?AC!+�,$�':M5L]J+L547M5N>MHNOBhG�G�47L547E5PHT58D8\C-+�,$�.7254`L547M5N+M T58D8\C+T7J*/ 2547L0+ ú

ÖeÞDá*Ü·Ø�Ú¡äDÙ¡ã�ÖeÜ·ã�ä=Ü�Ö�ÚkØf*�é��V8\25EHL547M5N>MgTt8O85C?ú ��âjסÚkæ=Ø!ß*Ö��:Ý´ß®ä=ß-Ü´Ý !jØ�Ü·Ý´æDâtâ:á��=Ý·åj×�Öeß1ßQâ:á=Ø�Ümñ #ùØ!æ8Ö��jØ

*�é��A8525E j�rRT58DS�u/ú ^ � é rRT58DS�u1�A8525E)úx�� � é rRT58DS�u[a�ú ^

ë&

2436587�9;:�<;7�7�9;58=4>?7�9;@-=�<;AB:DCE7�9;@!F;G�:IH;J�H;58K8587�58@L=M:NC�J�K8KO=�7�G�58P;QI=�:NC�JRQ�58SI@TPUK8@TP;QI7�9U58=WV�>;J�P;XU7�9;@!=�<;AB:NC�7�9;@!F;G�:�H;J�H;58K8587�5 @4=:NC0J�K8KO=�7�G�58P;QI=�58=�7�9;@4PU58P�YZP;587�@I[

Page 6: Chen & Goodman - Peopleklein/cs294-5/chen_goodman.pdf · Úkâ!ü òåj× Ö ß ßQâ:á=Ø Ü·Ù ÖeÞDá/Ùkß âtâjÚkæ=Ý·Þ=åUç Ö Þ=á/ÙkäD× .ØHà/Úkæ=Ø(ßQâjÙkÚ

*�éhL54FM5N j �V8\25EFú ^ � é��V8\25EHL547M5N?úx � � é��A8525E a�ú ^

ëë

*�éhMfj L547M5NFú ^ � é3L547M5N+M�úx � � éhL54FM5NHa�ú ^

&

*�é3Tt8O85C j M�ú ^ � éhMHT58D8\C?úx � � éhM a�ú ^

ë�

*�é/rR4V8DS�u�j T58D85C?ú ^ � éhT58D8\C rR4V8DS�u/úx � � é3Tt8O85C+a�ú ^ ë

å.Ý �:Ý·Þ=å/ä=Ù*�é��V8\25E L54FM5N MgTt8O85C¬ú^ *Té��A8525E j�rRT58DS�u!úh*TéhL547M5Nfj �A8525E)úh*TéhM j L547M5NFú3*�é3Tt8O85C j M�úh*Té rR4V8OS�uYj Tt8O85CFú^ ë

& � ë � �

& �ë

��ë

9 óF; ó]�

" #�� ��������� "����#��âeè/ç:ãHâ.Þ=ÙYÝ´áDØ�×�ÚYæ=Ø!ÙkØ�Þ:ÚkØHÞ=ã�Ø�/ 2547LHL54FM5N>MHT58D8\C¬ñ�#ùØqæ8Ö��.Ø

*�é3L547M5N j / 254FL�ú ^ � éL/ 254FLHL547M5N?úx�� � é / 2547L a�ú ^

óë

å.Ý �:Ý·Þ=å®ä=Ùf*�éL/R2547LHL547M5N+MgTt8O85C?úf^ óDñ =�� �:Ý·â.äDÙkÜ·àtç:ÚYæ=Ý·Ù�Ý·Ù�Ö�Þ�ä=Þ=áDØ�×kØ�ÙYÚkÝ·ß*Ö�ÚkØ��sâ.×�ÚYæ=Ø/Û=×Yâ �8Ö��=Ý·Ü·Ý´Úmà�â��/ 2547L{L547M5N M Tt8O85C ÖeÙ/ÚYæ=Ø�×kØÝ·Ù Õ�Ò.Ñ®Ð�Û=×kâ��8Ö��=Ý·Ü·Ý·Úmà�ÚkæUÖeÚ/ÚYæ=ØQÙYØ�Þ:ÚkØ�Þ=ãHØ*â:ã�ãHä=×kÙBñ�û)âÙkæDâeè è¡æ:à�Ý·Ú/Ý·ÙÝ·ßQÛUâ.×YÚ�ÖeÞ:Ú ÚYæ8ÖeÚ)ÚkæDÝ´ÙTÛ=×kâ��8Ö��DÝ´Ü·Ý·Úmà�ÙYæ=â.äDÜ´á �UجåjÝ�jØ�Þ�Ö�Þ=â.Þ7�HØ�×kâ��.Ö�Ü·ä=Ø.çBè¬Ø(ÚkäD×kÞ®Úkâ�ÚYæ=Ø(Û=×kÝ·ß*Ö�×kà!ÖeÛ=Û=Ü·Ý·ã�Ö�ÚkÝ·â.Þ��âj×?Ü�ÖeÞ=åjä8ÖeåjØ¡ßQâ:á=Ø�Ü·Ù�ç�Õ��=ÐaÐ�� �þYÐ��aÒaÎ.Í� � Ò.Í=ñ mÞ ÙkÛUØ�Ø�ãaæ×kØ�ãHâ.å.ÞDÝ´ÚYÝ·â.Þ�çjâ.Þ=Ø!ÖeÚYÚkØ�ß�Û=ÚkÙ?ÚYâ[�8Þ=á�Úkæ=ØqÙkØ�Þ:ÚYØ�Þ=ã�Ø�,ÚkæUÖeÚ?ßÖ��:Ý·ßQÝ �HØ�ÙV*Té-,�j �!ú ^��� ��

z����z��

��� � ��âj׬Ö!åjÝ�jØ�Þ Öeã�âjä=ÙkÚYÝ´ãqÙkÝ·å.ÞUÖeÜ��®ñ �V*Té-,Bú?Ý·Ù ��ØH×kâ8ç:ÚYæ=Ø�Þ *Té-,�j �!ú?è¡Ý·Ü·Ü��8Ø

��Ø�×Yâ�ÖeÞDá/Úkæ=Ø(ÙkÚY×kÝ·Þ=å ,(è¡Ý·Ü·Ü.Þ=Ø��jØ�×��UجãHâ.Þ=ÙYÝ´áDØ�×kØ�áQÖ�Ù?Ö¡Úk×aÖeÞ=ÙYã�×kÝ·Û=ÚYÝ·â.Þ�çj×kØ�å:Öe×Yá=Ü·Ø�ÙkÙ)â�� æ=âeèùä=ÞUÖeß��=Ý·å.äDâ.ä=ÙUÚkæ=ØÖeãHâ.ä=ÙYÚkÝ·ã�ÙYÝ´åjÞ8ÖeÜDÝ´ÙBñ�û¡æ:ä=ÙBç:è¡æ=Ø�Þ=Ø��.Ø�סÖ!ÙkÚY×kÝ·Þ=å�,¡ÙYä=ãaæQÚkæUÖeÚd*�é-,Bú ^»ó!â:ã�ã�ä=×YÙ¬áDä=×kÝ·Þ=å�Ö�ÙkÛUØ�Ø�ãaæ×kØ�ã�âjå.Þ=Ý·ÚYÝ´âjÞÚ�Ö�Ù ! ç?ÖeÞùØH×k×kâj×�è¡Ý·Ü·Ü��UØQßÖeá=Ø.ñ ��ÙYÙkÝ·å.ÞDÝ´ÞDå�Ö�ܷܬÙYÚk×kÝ·Þ=åjÙ�ÖÞ=âjÞ7��Ø�×Yâ�ÛD×kâ �UÖ��=Ý·Ü·Ý·Úmà�æ=Ø�Ü·Û=Ù®Û=×kØ��.Ø�Þ:Ú®Ø�×k×Yâ.×kٮݷÞÙkÛUØ�Ø�ãaæ�×kØ�ãHâ.å.ÞDÝ´ÚYÝ·â.Þ�ñ

� Ñ®Ò�Ò�����Í.ζݴÙä=ÙYØ�á»Úkâ Öeá=áD×kØ�ÙYÙ�Úkæ=Ý·ÙÛ=×Yâ �=Ü·Ø�ß�ñ û¡æ=Ø�ÚkØH×kß Õ�Ñ®Ò�Ò�����Í.ζá=Ø�ÙYã�×kÝ �UØ�Ù�ÚkØHã�æDÞ=Ý �täDØ�Ù ��âj×Öeá��aä=ÙkÚYÝ·Þ=å�ÚYæ=جßÖ��:Ý·ß ä=ß'Ü·Ý!jØ�Ü·Ý·æ=â:âtá!Ø�ÙYÚkÝ·ß*Ö�ÚkØ?â��8Û=×Yâ �8Ö��=Ý·Ü´Ý·ÚYÝ´ØHÙ¬é�Ö�Ù)Ý´ÞÀØ��:ä8ÖeÚYÝ´âjÞ=Ù¡é �júFÖ�Þ=áQé3�túkúTÚYâ�ÛD×kâ:á=ä=ã�ØßQâj×kØ�ÖeãHã�ä=×�Ö�ÚkØùÛ=×Yâ �8Ö��=Ý·Ü·Ý´ÚYÝ·Ø�Ù�ñ-û¡æ=Ø�Þ8Öeß�Ø�Õ�Ñ®Ò�Ò�����Í.Î'ãHâ.ßQØHÙ���×Yâ.ß ÚkæDØ �òÖ�ã�ÚQÚYæ8ÖeÚÚYæ=Ø�ÙkØùÚYØ�ãaæ=Þ=Ý �:ä=Ø�ÙÚkØHÞ=áÚkâ®ß*Ö�!jØ¡á=Ý·ÙkÚY×kÝ �=ä=ÚYÝ´âjÞ=Ù¡ßQâj×kØ¡ä=ÞDÝ �sâ.×kß�ç��:àQÖeá � ä=ÙkÚYÝ´ÞDå�Ü·âeè Û=×Yâ �8Ö��=Ý·Ü·Ý´ÚYÝ·Ø�Ù?ÙkäDã�æ�Ö�Ùf��Ø�×kâ ÛD×kâ �UÖ��=Ý·Ü·Ý·ÚkÝ·Ø�Ùä=Û:è¡Öe×káTçtÖ�Þ=áQæ=Ý·åjæ Û=×kâ��8Ö��=Ý·Ü·Ý·ÚkÝ·Ø�Ù?áDâeè¡Þtè¡Öe×Yá�ñO��â.ÚZâ.Þ=Ü·à®á=â�ÙYßQâ:â.ÚYæ=Ý·Þ=å!ßQØ�ÚYæ=â:á=Ù?åjØ�Þ=Ø�×aÖeÜ·Ü·à�Û=×YØ��.ØHÞtÚf�HØ�×kâÛ=×Yâ �8Ö��=Ý·Ü´Ý·ÚYÝ´ØHÙ�ç��=ä=ÚqÚkæ=ØHà�ÖeÜ·ÙkâQÖ�ÚkÚYØ�ßQÛ=Ú¡ÚYâ Ý·ßQÛ=×Yâ��.Ø�ÚYæ=Ø�Ö�ã�ã�ä=×aÖeã�à�â��?Úkæ=Ø/ß�â:á=Ø�ÜFÖ�Ù�Ö è¡æ=âjÜ·Ø.ñ�# æ=Ø�Þ=Ø��.Ø�×Ö�Û=×kâ��8Ö��DÝ´Ü·Ý·ÚmàQÝ·Ù!Ø�ÙYÚkÝ·ß*Ö�ÚkØ�á �s×kâ.ß ��Ø�è-ã�â.ä=Þ:ÚYÙ�çTÙkßQâ:âjÚkæ=Ý·Þ=å æ8Ö�Ù!Úkæ=Ø®Û8âjÚkØ�Þ:ÚYݾÖ�Ü?ÚkâÙYÝ´åjÞ=Ý��8ã�Ö�ÞtÚYÜ·à*Ý·ß�Û=×kâ��jØØ�ÙYÚkÝ·ß*Ö�ÚkÝ·â.Þ�ñû)â�å.Ý �.Ø ÖeÞùØ���Ö�ßQÛ=Ü·Ø.çTâ.ÞDØ ÙkÝ·ßQÛ=Ü·Ø®Ùkß�âtâjÚkæ=Ý·Þ=å�ÚkØ�ãaæ=ÞDÝ�:ä=Ø�Ý·Ù/Úkâ�ÛD×kØ�ÚYØ�Þ=á'Ø�Öeãaæ �=Ý·å.×�Ö�ß â:ã�ã�äD×kÙ®â.Þ=ã�Ø

ßQâj×kØqÚkæ8Ö�Þ*Ý·Ú¡Öeã�ÚYä8ÖeÜ·Ü·à á=â:Ø�Ù®é�� Ý·á=ÙYÚkâjÞ=Ø.ç�ëBì �jó=î]�.â.æDÞ=ÙkâjÞ�ç�ëBì & �Dî��jØ/� ×kØ�à:Ù�çZë�ì �:í.úHç.à:Ý·Ø�Ü·á=Ý·Þ=å

*�é@a o j a o mDb ú ^ ë�� � é-a o mDbUa o úx ���� ë�� � é-a o mDb a o ú��^ ë�� � é-a o mOb a o új��yj�� x �� � é@a o mOb a o ú

é-�jú

Page 7: Chen & Goodman - Peopleklein/cs294-5/chen_goodman.pdf · Úkâ!ü òåj× Ö ß ßQâ:á=Ø Ü·Ù ÖeÞDá/Ùkß âtâjÚkæ=Ý·Þ=åUç Ö Þ=á/ÙkäD× .ØHà/Úkæ=Ø(ßQâjÙkÚ

�.ØHÜ´Ý·Þ=Ø�! ���Ø�×Yã�Ø�× � �Öeá8Ö�Ù õ/ÖeÚ$��=Ý·å.×�Ö�ß ë.ë�í ëjë�ì ëjë��Úk×kÝ·åj×�Öeß í.ì ì=ë í.í

û?Ö��=Ü·Øùë����TØ�×YÛ=Ü·Ø��:Ý·ÚkÝ·Ø�Ù×kØ�ÛUâ.×YÚkØ�á �:à2õ/ÖeÚ$��ÖeÞDá � �Öeá8Ö�Ù â.Þ ëBó.ó �òÙYØ�Þ:ÚkØ�Þ=ãHØ�ÚkØ�ÙYÚÙkØ�Ú ��â.× ÚYæ=×kØ�Ø�á=Ý�� Ø�×kØ�Þ:ÚÙkß�â:â.ÚkæDÝ´ÞDå�ÖeÜ·å.âj×kÝ·ÚkæDßQÙ

è¡æ=Ø�×YØ �-Ý´Ù¡ÚYæ=Ø��jâtãBÖ��=ä=Ü�Ö�×kà:ç:Úkæ=Ø/ÙYØ�Ú!â��¬ÖeÜ·Ü è(â.×Yá=Ù��UØ�Ý·Þ=å ã�âjÞ=ÙkÝ·á=Ø�×YØ�á�ñ i � ØHÚ�ä=Ùq×kØ�ã�âjÞ=ÙkÝ·á=ØH×�ÚYæ=Ø®Û=×kØ��:Ý·â.äDÙØ��=Öeß�Û=Ü·Ø!ä=ÙkÝ·Þ=å�Úkæ=Ý·Ù�ÞDØ�è á=Ý·ÙYÚk×kÝ �=äDÚkÝ·â.Þ�çUÖeÞ=á3Ü´ØHÚ�ä=Ù!Ú�Ö�!.Ø/âjä=×��jâ:ã�Ö��=äDܾÖ�×kà �¸Úkâ �UØ/ÚYæ=Ø�ÙYØ�Ú!â��øÖ�Ü·Ü�è(â.×káDÙâ:ã�ã�ä=×Y×kÝ·Þ=å�Ý´Þ�Úkæ=Ø!ÚY×�ÖeÝ·Þ=Ý·Þ=å®á8Ö�Ú�Ö "(ç=ÙYâ Úkæ8Ö�Ú¡è¬Ø!æ8Ö��jØ j��yj^ ëjë.ñ

�=âjסÚkæ=Ø!ÙYØ�Þ:ÚkØ�Þ=ãHØ �A8525E+L547M5N+MHT58D8\C¬çUè(Ø�ÞDâeè æ8Ö��.Ø*�é��V8\25E L54FM5N MgTt8O85C¬ú^ *Té��A8525E j�rRT58DS�u!úh*TéhL547M5Nfj �A8525E)úh*TéhM j L547M5NFú3*�é3Tt8O85C j M�úh*Té rR4V8OS�uYj Tt8O85CFú^ �

ëW� ��

ë ��

&ëU� �

ë & ��

ë & 9 óF; ójó.óDë mÞ�âjÚkæ=Ø�×Àè¬âj×ká=ÙBç8è(Ø®Ø�ÙkÚYÝ´ßÖeÚYØ/Úkæ8Ö�Ú�ÚYæ=Ø�ÙYØ�Þ:ÚkØ�ÞDã�Ø �A8525E>L54FM5N0M>T58D8\C â:ã�ã�ä=×YÙ�Ö��Uâ.äDÚ�â.ÞDã�Ø�Ø��.Ø�×Yà�ÚkØ�ÞÚkæDâ.ä=ÙaÖeÞ=á�ÙkØ�Þ:ÚkØHÞ=ã�Ø�ÙBñ¬û¡æDÝ´Ù(Ý·Ù¬ß äDã�æ ß�â.×YØ¡×kØ�Ö�Ùkâ.ÞUÖ��=Ü·Ø�ÚYæ8ÖeÞ�Úkæ=Øqß*Ö��tÝ·ß®ä=ß Ü·Ý !.Ø�Ü·Ý·æ=â:â:á�Ø�ÙYÚkÝ·ß*Ö�ÚkØ¡â��¦ó=ñyó]�=çâ.×�Ö��8âjä=Ú¡â.ÞDã�Ø!Ø��.Ø�×YàÙkØ��jØ�Þ:ÚkØ�Ø�Þ�ÙkØHÞtÚYØ�Þ=ã�ØHÙ�ñf�=âjסÚkæ=Ø!ÙYØ�Þ:ÚkØ�Þ=ãHØ6/ 254FLHL547M5N>MgTt8O85C(ç=è(Ø�æUÖ��.Ø

*�é / 2547LHL54FM5N MgTt8O85C¬ú^ *�é / 2547L j�rRT58DS�u!úh*TéhL547M5Nfj8/R2547L�úh*TéhM j L547M5N)úh*TéhT58D85C j M�úh*Té rR4V8OS�uYj Tt8O85C?ú^ ë

ëU� �ëë �

�&ëU� �

ë & ��

ë�& 9�óF; ójó.ójó &��å:ÖeÝ·Þ�ç(ÚkæDÝ´Ù�Ý·Ù ßQâ.×YØ×kØ�Ö�Ùkâ.ÞUÖ��=Ü·Ø�ÚYæ8ÖeÞ ÚYæ=Ø���ØH×kâ2ÛD×kâ �UÖ��=Ý·Ü·Ý·Úmà2ÖeÙkÙYÝ·å.Þ=Ø�á �tà'ÚYæ=Ø�ß*Ö��:Ý´ß®ä=ß Ü·Ý !.Ø�Ü·Ý·æ=â:â:áßQâ:á=ØHÜòñ

# æ=Ý·Ü·Ø�ÙYßQâ:â.ÚYæ=Ý·Þ=å�Ý·Ù�ÖÀã�Ø�Þ:Úk×aÖeÜ)Ý·ÙkÙYä=Ø!Ý´ÞÜ�ÖeÞDå.ä8Ö�å.Ø�ß�â:á=Ø�Ü·Ý·Þ=å8çjÚkæ=Ø!Ü·Ý·ÚkØ�×aÖeÚYä=×kØ/Ü�Ö�ã !:Ù�ÖÀá=Ø/�8ÞDÝ´ÚYÝ �.Ø!ã�â.ß �Û8Ö�×kÝ·ÙkâjÞ��8Ø�Úmè(Ø�Ø�ÞÚYæ=Ø¡ß*Ö�ÞtàÀØ��:Ý´ÙYÚkÝ·Þ=å!ÚkØHã�æDÞ=Ý �täDØ�Ù�ñ��)×kØ��:Ý·â.äDÙ¬ÙYÚkä=á=Ý·Ø�Ù!éh�!Öeá8Ö�Ù�çUë�ìjí �8îjõ/ÖeÚ$�.ç8ëBì.í]�=î.ê(æ:ä=×Yã�æÖeÞDá�öÀÖeÜ·Ø.çUë�ì.ìDë.î7��Ö�ã�õ/ÖBà*Ö�Þ=á��TØ�ÚYâ8ç�ëBì.ì]�=îjõ�ÞDØ�ÙkØ�×/Ö�Þ=á���Ø�à:ç ë�ìjì��.úZâ.ÞDÜ´à ãHâ.ßQÛUÖe×kØ!Ö®ÙkßÖeÜ·Ü=Þ:ä=ß��UØ�סâ��ßQØHÚkæ=â:á=Ù!é�Úmà:Û=Ý·ã�Ö�Ü´Ü·à Úmè(âtú(âjÞ*âjÞ=Ø!â.סÚmè(â�ãHâ.×kÛUâ.×aÖ ÖeÞ=áä=ÙYÝ·Þ=åQÖ®ÙkÝ·Þ=åjÜ´ØqÚk×aÖeÝ·Þ=Ý·Þ=å®ÙkØ�ÚqÙkÝ���Ø.ñ ��Ù�Ö®×kØHÙkä=Ü·Ú�çDÝ·ÚÝ·Ù¡ã�ä=×Y×kØ�Þ:ÚkÜ·àá=Ý �Qã�ä=Ü·Ú ��â.ס֮×kØHÙkØ�Ö�×kãaæ=Ø�×!Úkâ Ý·Þ:ÚkØHÜ´Ü·Ý·å.ØHÞtÚYÜ·à�ãaæ=â:â.ÙYØ�Öeß�â.Þ=åÀÙkßQâ:âjÚkæ=Ý·Þ=å/ÙYãaæ=Ø�ßQØHÙ�ñ

mÞ�ÚYæ=Ý·Ù�è(â.×"!JçBè(Ø?ã�Ö�×k×kàÀâ.ä=Ú)ÖeÞ/Ø��:ÚYØ�Þ=ÙkÝ �jØ¡Ø�ßQÛ=Ý·×YÝ´ãBÖeÜeã�âjßQÛ8Ö�×kÝ·ÙkâjÞ�â��=Úkæ=Ø(ßQâjÙkÚ è¡Ý·á=Ø�Ü·à��òäDÙkØ�á®Ùkß�âtâjÚkæ=Ý·Þ=åÚkØHã�æDÞ=Ý �täDØ�Ù�ç(Ý·Þ=ã�Ü·ä=á=Ý·Þ=å�ÚkæDâ.ÙkØá=ØHÙkã�×YÝ�UØ�á �:à �jØ�Ü·Ý´ÞDØ�!§Ö�Þ=á �ØH×kã�Ø�×�ékëBì.í.ójú�çZõ�Ö�Ú��ùékëBì.í]�.ú�ç)ï(Ø�Ü·Ümç¬ê(Ü·Ø�Ö�×kà:çÖeÞDá�# Ý·ÚkÚkØHÞ ékë�ìjì.ójú�ç5�qØ�àtç ¦ÙkÙkØHÞ�ç?ÖeÞ=áùõ!Þ=ØHÙkØ�×�éYë�ì.ì�túHç�ÖeÞ=áùõ!Þ=ØHÙkØ�×QÖ�Þ=á ��Ø�à'ékëBì.ì]�.ú�ñ #ùØ®ã�Öe×Y×kàùâ.äDÚØ��:ÛUØ�×kÝ·ßQØHÞtÚYÙ�â��jØ�×�ßÖeÞ:à¬ÚY×�Ö�Ý´ÞDÝ´ÞDå¡ÙkØ�Ú)ÙkÝ���ØHÙ�â.Þ �.Öe×kÝ·Ø�á!ã�âj×kÛUâ.×aÖ¡ä=ÙYÝ´ÞDå�ü��må.×�Ö�ßQÙUâ�� �.Öe×YÝ·â.ä=Ù âj×ká=Ø�×BçeÖeÞ=á/ÙYæ=âeèæ=âeè»Úkæ=ØHÙkØ �òÖeã�ÚYâ.×YÙ�Ö�� Ø�ã�Ú!ÚYæ=Ø/×kØHܾÖ�ÚkÝ �.Ø!ÛUØ�×��sâ.×kßÖeÞ=ãHØ/â��?Ùkß�â:â.ÚkæDÝ´ÞDå/ÚkØ�ãaæ=ÞDÝ�:ä=ØHÙ�ñ[�=âjסÚkæ=Ø/ß�Ø�ÚkæDâtáDÙ¡è¡Ý´ÚYæÛ8Ö�×�Öeß�Ø�ÚkØH×kÙ�ÚYæ8ÖeÚTã�ÖeÞ �8Ø(Úkä=ÞDØ�á/ÚkâqÝ·ßQÛ=×Yâ��.Ø�ÛUØ�×���â.×Yß*ÖeÞDã�Ø.çBè¬Ø(ÛUØ�×���âj×kß Ö�Þ�Ö�ä=Úkâjß*Ö�ÚkØ�á!ÙkØBÖe×kãaæ ��â.×Tâ.Û=ÚYÝ·ß*ÖeÜ�.ÖeÜ·ä=ØHÙ�ÖeÞ=áÙkæDâeè�ÚYæ8ÖeÚqÙkä ���mâ.ÛDÚkÝ·ß*Ö�Ü8Û8Ö�×�Ö�ßQØ�ÚYØ�סÙkØ�Ü·Ø�ãHÚkÝ·â.Þã�Ö�Þ�ÙkÝ·å.ÞDÝ �Uã�ÖeÞ:ÚkÜ·à á=ØHã�×kØ�Ö�ÙkØ ÛUØ�×��sâ.×kßÖeÞ=ãHØ.ñ?û)ââ.äD×�!:Þ=âeè¡Ü·Ø�á=å.ØjçeÚkæ=Ý·Ù?Ý·Ù?ÚYæ=Ø��8×YÙkÚ(ÙkßQâ:âjÚkæ=Ý·Þ=åqè¬âj× !/ÚYæ8ÖeÚ?ÙYà:ÙkÚkØHß*ÖeÚYÝ·ã�ÖeÜ·Ü·à/Ý·Þ��.Ø�ÙYÚkÝ·åtÖ�ÚkØ�Ù?ÖeÞ:à®â�� Úkæ=ØHÙkØ�Ý·ÙYÙkä=Ø�ÙBñ

=qä=ס×kØ�ÙYä=Ü·ÚkÙ¡ßÖ�!.Ø¡Ý·Ú¬Ö�Û=Û8Ö�×kØ�Þ:Ú¡ÚkæUÖeÚ(Û=×kØ��:Ý·â.äDÙ¬Ø��.Ö�Ü·ä8ÖeÚYÝ´âjÞ=Ù?â��FÙkß�â:â.ÚkæDÝ´ÞDå�ÚYØ�ãaæ=Þ=Ý �:ä=Ø�Ù¡æ8Ö��jØ�Þ=âjÚ �UØ�Ø�ÞÚkæDâ.×kâjä=å.æ3Ø�Þ=â.äDå.æ�ÚYâ Û=×kâ��:Ý·á=Ø�Ö�Þ�Öeá=Ø��täUÖeÚkØÀã�æUÖe×�Ö�ã�ÚkØH×kÝ���ÖeÚYÝ·â.Þ�â��?Úkæ=ØÀ×kØ�Ü�ÖeÚYÝ �.Ø/ÛUØ�×��sâ.×kßÖeÞ=ãHØ/â��?á=Ý�� Ø�×kØ�Þ:ÚÖeÜ·åjâ.×kÝ·ÚYæ=ßQÙBñ �Dâ.×�Ý·Þ=ÙkÚaÖeÞ=ã�Øjç!õ�Ö�Ú��'ékëBì.í��jú®ã�â.ß�Û8Öe×YØ�Ùæ=Ý·Ù*Ö�Ü´åjâ.×YÝ´ÚYæ=ß è¡Ý´ÚYæ�ÖeÞ¶ä=Þ=ÙkÛUØ�ã�Ý��8ØHá �.Ø�×YÙkÝ·â.Þ»â���.ØHÜ´Ý·Þ=Ø�! ���Ø�×Yã�Ø�סá=ØHÜ´ØHÚkØ�á Ø�ÙYÚkÝ·ß*Ö�ÚkÝ·â.Þ®ÖeÞ=á®è¡Ý·Úkæ�� �Ö�á8ÖeÙ)ÙYßQâ:â.ÚYæ=Ý·Þ=å�é3��ÖeáUÖeÙ�çUë�ìjí �:ú ä=ÙYÝ´ÞDå�Ö�ÙkÝ·Þ=å.Ü·Ø(Úk×aÖeÝ·Þ=Ý·Þ=å��� :�7�5�T@U7�9;J�7!5 C��58=R7�J ��@4P 7�: HZ@U58P�YZP;587�@�>�7�9;@UX;@4P;:�AU58P;J�7�:NG58= 58P�YZP;587�@ J�P;X J�K8K�F;G�:�H;J�H;58K8587�58@T=�J�G�@U=�@47R7�:��T@TG�:;[�� P

F;G�J �T7�5�T@I>�S�:��4J�H;<;K8J�G�5 @4=0J�G�@!7��?F;5�4J�K8K�WY��?@4X 7�:RHO@�7�@4P;=�:NC07�9;:I<;=�J�P;X;=�:NC���:�G�X;=�:�GK8@4=�=4[���K8K���:�G�X;=�P;:�7�58P 7�9;@-SI:��4J�H;<;K8J�G��J�G�@!AUJ�F;FZ@4XR7�:RJU=�58P;Q�K8@�X;58=�7�58P;Q�<;58=�9;@TX���:�G�X�>?<;=�<;J�K8K���4J�K8K8@TXU7�9;@��! �"# %$'&� (&)$'*,+N[

Page 8: Chen & Goodman - Peopleklein/cs294-5/chen_goodman.pdf · Úkâ!ü òåj× Ö ß ßQâ:á=Ø Ü·Ù ÖeÞDá/Ùkß âtâjÚkæ=Ý·Þ=åUç Ö Þ=á/ÙkäD× .ØHà/Úkæ=Ø(ßQâjÙkÚ

ã�âj×kÛ=ä=Ù/Ö�Þ=á�Ö ÙYÝ·Þ=å.Ü·Ø!ÚkØ�ÙYÚ!ÙkØ�Ú!â��!ë�ó.ó®ÙYØ�Þ:ÚkØ�ÞDã�Ø�Ù�ñÀû¡æ=Ø®Û8Ø�×YÛ=Ü·Ø��:Ý·ÚkÝ·Ø�Ù�×YØ�ÛUâ.×kÚYØ�á2Öe×YØ/á=Ý·ÙkÛDܾÖBàjØ�á�Ý·Þû?Ö��=Ü·ØQëjñõ/ÖeÚ$�¬ã�âjÞ=ã�Ü·ä=á=ØHÙ?Úkæ8Ö�Ú)æ=Ý·Ù¦Ö�Ü·å.â.×YÝ·Úkæ=ß»Û8ØH×���âj×kßQÙ)ÖeÚTÜ´ØBÖeÙkÚ?Ö�ÙFè(Ø�Ü·Ü=ÖeÙd�.ØHÜ´Ý·Þ=Ø�! ���Ø�×Yã�Ø�×(Ùkß�âtâjÚkæ=Ý·Þ=å¡ÖeÞDá�� �Öeá8Ö�ÙÙkß�â:â.ÚkæDÝ´ÞDå8ñ� mÞ'÷:Ø�ã�ÚYÝ´âjÞ>�=ñ·ë.ñ·ë.ç)è(Øè¡Ý·Ü´Ü(ÙkæDâeè ÚYæ8ÖeÚBç¬Ý·Þ �òÖeã�ÚBç?ÚYæ=Ø�×kØHܾÖ�ÚkÝ �.Ø�Û8ØH×���âj×kß*Ö�Þ=ã�Øâ��!õ/ÖeÚ���Ö�Þ=á�.ØHÜ´Ý·Þ=Ø�! ���Ø�×Yã�Ø�סÙYßQâ:â.ÚYæ=Ý·Þ=å�á=ØHÛ8Ø�ÞDá=Ù¡â.Þ ÚY×�ÖeÝ·Þ=Ý·Þ=å!ÙYØ�Ú¬ÙYÝ���Ø.ç:è¡Ý·Úkæ��jØ�Ü·Ý´ÞDØ�!�� �ØH×kã�Ø�סÙYßQâ:â.ÚYæ=Ý·Þ=å�ÛUØ�×���â.×YßQÝ·Þ=å�UØ�ÚkÚYØ�×�âjÞ*ÙYß*Ö�Ü´Ü·Ø�×ZÚk×�Ö�Ý·Þ=Ý·Þ=å�ÙYØ�ÚkÙBç ÖeÞ=áõ/ÖeÚ$��ÙYßQâ:â.ÚYæ=Ý·Þ=å/ÛUØ�×��sâ.×kß�Ý·Þ=å �UØ�ÚYÚkØ�×qâ.ÞÜ�Öe×kåjØ�סÙkØHÚkÙ�ñ

mÞ�Öeá=á=Ý·ÚYÝ´âjÞQÚYâ�Ø��.Ö�Ü·ä8ÖeÚYÝ´ÞDå�ÚYæ=Ø!â��.Ø�×aÖeÜ·Ü Û8ØH×���âj×kß*Ö�Þ=ã�Øqâ����.Öe×YÝ´âjä=Ù(ÙkßQâ:âjÚkæ=Ý·Þ=å!ÚkØHã�æDÞ=Ý �täDØ�Ù�çUè(Ø�ÛD×kâ��:Ý·á=ØßQâj×kØ®á=Ø�ÚaÖeÝ·Ü·Ø�á2ÖeÞ8Ö�Ü·àtÙYØ�Ù/â��øÛUØ�×��sâ.×kßÖeÞ=ãHØ.ñ #ùØ®Ø��=Öeß�Ý·Þ=Ø/ÚkæDØQÛUØ�×���âj×kßÖeÞ=ã�Ø â��øáDÝ � Ø�×YØ�Þ:ÚðÖ�Ü´åjâ.×YÝ´ÚYæ=ßQÙ¡âjÞü��må.×�Ö�ßQÙ/è¡Ý·ÚYæ§ÛUÖe×kÚYÝ·ã�ä=Ü�Öe×®Þ:ä=ß��8ØH×kÙ â��!ã�â.äDÞtÚYÙ Ý·Þ2ÚkæDØ�Úk×aÖeÝ·Þ=Ý·Þ=å�á8Ö�Ú�ÖDî¡è¬ØY�8ÞDá§ÚYæ8ÖeÚ®õ/ÖeÚ$��Ùkß�âtâjÚkæ=Ý·Þ=åÛUØ�×���âj×kß�Ù¬è(Ø�Ü·Ü8âjÞ*ü��må.×aÖeßQÙZè¡Ý´ÚYæ Ü�Öe×kåjØ�ã�âjä=Þ:ÚkÙBç=è¡æ=Ý·Ü·Ø¡õ!Þ=Ø�ÙkØH×�����Ø�à�ÙYßQâ:â.ÚYæ=Ý·Þ=å!Ý·Ù �UØ�ÙkÚ��sâ.×(Ùkß*Ö�Ü·Ü=ã�â.äDÞtÚYÙ�ñ#ùØQãBÖeÜ·ã�ä=Ü�ÖeÚYØQÚYæ=Ø×kØ�Ü�ÖeÚYÝ �.ØQÝ·ß�Û8Öeã�Ú!âjÞ2ÛUØ�×���âj×kßÖeÞ=ã�Ø�â��!Ùkß*Ö�Ü·Ü?ã�â.äDÞtÚYÙQÖeÞ=á�Ü�Öe×kåjØ ã�â.äDÞtÚYÙ ��â.×®á=Ý�� Ø�×kØ�Þ:ÚÚk×aÖeÝ·Þ=Ý·Þ=åÙkØHÚ�ÙYÝ �HØ�ÙQÖeÞ=á2ü��må.×aÖeß â.×káDØ�×kÙBç¬ÖeÞDáùä=ÙkØ�Úkæ=Ý·Ù/á8Ö�Ú�ÖÚYâ�Ø��:Û=Ü�ÖeÝ·Þ�Úkæ=Ø �.Öe×YݾÖ�ÚkÝ·â.Þ3Ý´ÞùÛUØ�×���â.×Yß*ÖeÞDã�Øâ��?á=Ý�� Ø�×kØHÞtÚ/Ö�Ü´åjâ.×YÝ´ÚYæ=ßQÙ(Ý·Þá=Ý��JØ�×YØ�Þ:Ú!ÙkÝ·Úkä8Ö�ÚkÝ·â.ÞDÙ�ñ �TÝ·Þ8ÖeÜ·Ü·à:ç.è(Ø/ä=ÙYØ�ÚYæ=Ý·Ù�á=Ø�ÚaÖeÝ·Ü·Ø�á�Ö�Þ8ÖeÜ·à:ÙkÝ·Ù¡Úkâ ß�â.ÚYÝ�.Ö�ÚkØ!ÖßQâ:á=Ý��8ãBÖeÚkÝ·âjÞ Úkâ®õ�ÞDØ�ÙkØ�×����qØ�à�ÙYßQâ:â.ÚYæ=Ý·Þ=å8îjÚkæ=Ø!×YØ�Ùkä=Ü·ÚYÝ´ÞDåQÖeÜ·å.âj×kÝ·Úkæ=߸ã�âjÞ=ÙkÝ·ÙYÚkØ�Þ:ÚkÜ·à�â.ä=ÚYÛ8Ø�×���â.×YßQÙ�Ö�Ü´ÜUâ.ÚYæ=Ø�×ÖeÜ·åjâ.×kÝ·ÚYæ=ßQÙ?Ø��.ÖeÜ·ä8ÖeÚYØ�á�ñ

# æ=Ý·Ü·Ø!ÙkßQâ:âjÚkæ=Ý·Þ=å/Ý·Ùqâ.Þ=Ø!ÚkØHã�æDÞ=Ý �täDØ���âj×�Öeá=áD×kØ�ÙYÙkÝ·Þ=åQÙYÛ8Öe×YÙkØ®á8ÖeÚa֮ݷÙkÙkäDØ�Ù�çUÚkæDØ�×kØ Öe×YØ�Þ:ä=ß�Ø�×kâjä=Ù¡â.ÚYæ=Ø�×ÚkØHã�æDÞ=Ý �täDØ�Ù¬ÚYæ8ÖeÚZã�ÖeÞ��UØ�ÖeÛ=ÛDÜ´Ý·Ø�áTçeÙkä=ãaæÖeÙ)è¬âj×ká ã�Ü�Ö�ÙkÙkÝ·Þ=å�é�ï(×kâeè¡Þ Ø�Ú¬Ö�Ümñ´ç:ëBì.ì ���8úTâ.×?áDØ�ã�Ý·ÙkÝ·â.Þ �òÚY×kØ�ØqßQâ:á=Ø�Ü·Ùé�ï¡ÖeæDÜ�Ø�Ú!ÖeÜmñ·ç8ëBì.í.ìjú�ñ)ôqâeè¬Ø��jØ�×�çUÚYæ=Ø�ÙkØÀâ.ÚkæDØ�×�ÚYØ�ãaæ=Þ=Ý �:ä=Ø�Ù!Ý·Þ �jâ.Ü �.Ø¡ÚYæ=Ø/ä=ÙYØ/â��?ß�âtáDØ�Ü·Ù¬âjÚkæ=Ø�×qÚkæ8Ö�Þ�ü��òåj×�ÖeßßQâ:á=ØHÜ´ÙBñ�#ùØ/ã�âjÞ=ÙkÚY×�ÖeÝ·Þ�â.ä=×!á=Ý·ÙYã�ä=ÙkÙYÝ·â.Þ�â��¬ÙYßQâ:â.ÚYæ=Ý·Þ=å ÚkâÚkØHã�æDÞ=Ý �täDØ�Ù/è¡æ=Ø�×YØ Úkæ=Ø®ÙkÚY×kä=ãHÚkä=×YØQâ��¡Ö ßQâ:á=ØHÜÝ·Ù!ä=Þ=ãaæ8ÖeÞDå.Ø�á �=ä=Ú!è¡æ=Ø�×YØQÚYæ=Ø�ß�Ø�ÚkæDâtá3ä=ÙkØ�áùÚYâØ�ÙkÚYÝ´ßÖeÚYØ/Úkæ=Ø ÛD×kâ �UÖ��=Ý·Ü·Ý·ÚkÝ·Ø�Ù�â��¬ÚkæDØ ßQâ:á=Ø�ÜTÝ´Ù!ß�âtáDÝ �UØ�á�ñ÷:ß�âtâjÚkæ=Ý·Þ=åÀã�ÖeÞ �UØ ÖeÛ=Û=Ü·Ý·Ø�áÚkâ ÚYæ=Ø�ÙYØðÖ�Ü´ÚYØ�×kÞUÖeÚkÝ �jØ/ßQâ:á=Ø�Ü·Ù¡ÖeÙqè¬Ø�Ü·Ümç8Ö�Þ=áÝ·Ú¡×kØ�ßÖeÝ·Þ=Ù¡Úkâ��UØ®ÙkØ�Ø�Þ�è¡æ=Ø�ÚYæ=Ø�×Ý·ßQÛ=×Yâ��.Ø�á®Ùkß�â:â.ÚkæDÝ´ÞDå��sâ.סü��òåj×�Öe߸ß�âtáDØ�Ü·ÙFè¡Ý·Ü·ÜUÜ´ØBÖeáQÚYâ/Ý·ßQÛ=×Yâ��.Ø�á®ÛUØ�×���âj×kßÖeÞ=ã�Ø ��â.×(ÚkæDØ�ÙkØ!â.ÚYæ=Ø�סß�âtáDØ�Ü·Ù�ñ

" #�� � &(� �,�-� � �/���&N���-�/����� � ��-�û¡æ=Ø¡ß�â.ÙkÚ ãHâ.ßQß�â.Þ!ßQØHÚk×kÝ·ã �sâ.×)Ø��.ÖeÜ·ä8Ö�ÚkÝ·Þ=å!Ö¡Ü�ÖeÞ=åjä8Öeåjجß�â:á=Ø�Ü.Ý·Ù)ÚkæDØ¡Û=×kâ��8Ö��=Ý·Ü·Ý·Úmà�ÚYæ8ÖeÚ)ÚkæDØ¡ßQâ:á=Ø�Ü=ÖeÙYÙkÝ·å.ÞDÙÚkâ�ÚkØ�ÙYÚ/á8Ö�Ú�Ö=çUâj×�ÚkæDØ á=Ø�×kÝ �.Ö�ÚkÝ �.Ø/ß�Ø�ÖeÙYä=×kØHÙ�â�� ��þYÒeÕaÕaýkÐ�Í �sþkÒ � �ÖeÞ=á ��ÐBþ��8Ô·Ð&� ���eñ �=âj×�ÖMÙkßQâ:âjÚkæ=Ø�á�ü��òåj×�ÖeßßQâ:á=ØHÜ.ÚkæUÖeÚ)æ8ÖeÙ)Û=×Yâ �8Ö��=Ý·Ü·Ý´ÚYÝ·Ø�ÙV*Té-a o j a o mObo m����Ob ú�çeè(Ø(ã�ÖeÞ®ã�ÖeÜ·ã�äDܾÖ�ÚkØ(Úkæ=Ø(Û=×Yâ �8Ö��=Ý·Ü´Ý·Úmàqâ��JÖqÙkØHÞtÚYØ�Þ=ã�Ø�*�é@,�úTä=ÙYÝ´ÞDåØ��:ä8Ö�ÚkÝ·â.Þ2é &.úHñ!û¡æ=Ø�Þ�ç �sâ.×�ÖMÚkØ�ÙYÚ/ÙkØHÚ�� ãHâ.ßQÛUâ.ÙYØ�á�â��¬Úkæ=Ø®ÙkØHÞtÚYØ�Þ=ã�ØHÙ*é�� b ,�;�;�;N,� e� ú�è¬Ø®ã�Ö�Þ�ã�Ö�Ü·ã�ä=Ü�ÖeÚYØ/Úkæ=ØÛ=×Yâ �8Ö��=Ý·Ü´Ý·Úmà®â��?ÚkæDØ�ÚYØ�ÙkÚqÙkØ�Ú�*�é���ú¡ÖeÙ¡ÚkæDØ�ÛD×kâ:á=ä=ã�Úqâ��)Úkæ=Ø/ÛD×kâ �UÖ��=Ý·Ü·Ý·ÚkÝ·Ø�Ù(â��¦Ö�Ü·Ü ÙkØ�Þ:ÚkØHÞ=ã�Ø�Ù!Ý·ÞÚkæ=Ø!ÙkØHÚ��

*�é ��ú(^e nohp b

*�é�� o ú

û¡æ=Ø/ß�Ø�ÖeÙYä=×kØqâ��?ã�×kâjÙkÙ��òØ�Þ:ÚY×kâ.Û:àã�Ö�Þ �UØ!ßQâjÚkÝ �.ÖeÚYØ�á ä=ÙkÝ·Þ=å ÚYæ=Ø!è¬ØHÜ´Ü ��!:Þ=âeè¡ÞQ×YØ�Ü�ÖeÚkÝ·âjÞ �UØ�Úmè¬ØHØ�Þ�Û=×YØ�á=Ý·ã �ÚkÝ·âjÞ�ÖeÞ=á�ã�âjßQÛ=×YØ�ÙkÙYÝ´âjÞ§é ï¬ØHÜ´Ümç�ê(Ü·Ø�Ö�×kà:ç ÖeÞ=á # Ý·ÚkÚYØ�Þ�ç?ëBì.ì.óDî ê(â��.Ø�×/ÖeÞDá�û¡æ=âjß*Ö�Ù�ç�ëBì.ìDë�ú�ñ mÞ�ÛUÖe×kÚYÝ·ã�ä=Ü�Öe×Bçå.Ý �jØ�Þ2Ö�ܾÖ�Þ=å.äUÖeå.Ø®ßQâ:á=ØHÜ?Úkæ8Ö�Ú�ÖeÙYÙkÝ·å.ÞDÙ/Û=×kâ��8Ö��DÝ´Ü·Ý·Úmà�*Té ��ú!ÚYâ�ÖÚkØ��tÚ��/ç)è¬Ø ã�Ö�Þùá=Ø�×YÝ�jØ*Ö�ã�âjßQÛ=×YØ�ÙkÙYÝ´âjÞÖeÜ·åjâ.×kÝ·ÚYæ=ß ÚYæ8ÖeÚ/ØHÞ=ã�â:á=Ø�Ù ÚYæ=ØQÚYØ��:Ú��¸ä=ÙYÝ´ÞDå �*Ü·âjå i *�é���ú��DÝ´ÚYÙ�ñû¡æ=Ø�ã�×kâjÙkÙ��òØ�Þ:ÚY×kâ.Û:à�� é ��úÀâ���ÖßQâ:á=ØHÜ*�é@a o j a o mObo m����Ob ú(â.Þá8ÖeÚaÖ��»Ý·Ù¡á=Ø/�8ÞDØ�á�ÖeÙ

� é���ú ^*�ë��� Ü·â.å i *�é ��ú é-�jú

è¡æ=Ø�×YØ�� � Ý·Ù ÚYæ=Ø�Ü·Ø�Þ=åjÚkæ â���ÚYæ=Ø�ÚYØ��:Ú���ßQØBÖeÙkäD×kØ�á Ý·Þ'è(â.×káDÙ�ñ k û¡æDÝ´Ù �.ÖeÜ·ä=Ø�ã�ÖeÞ �UØ�Ý´Þ:ÚYØ�×kÛ=×YØ�ÚkØHá Ö�ÙÚkæDØ*Ö��.ØH×�ÖeåjØQÞ:ä=ß��UØ�×/â�� �=Ý·ÚkÙ®Þ=Ø�ØHá=Ø�á'Úkâ�Ø�Þ=ã�â:á=ØØ�Ö�ãaæ2â��!Úkæ=Ø�� � è(â.×káDÙ�Ý·Þ2ÚYæ=ØQÚYØ�ÙkÚ áUÖeÚ�Ö3ä=ÙYÝ´ÞDå�Úkæ=Øã�âjßQÛ=×YØ�ÙkÙYÝ´âjÞ�ÖeÜ·å.âj×kÝ·Úkæ=ß Ö�ÙkÙkâ:ã�Ý�Ö�ÚkØ�á�è¡Ý·ÚYæ*ß�â:á=Ø�Ü�*�é-a o j a o mDbo m����Ob ú�ñ #ùØ!ÙkâjßQØ�ÚYÝ´ß�Ø�Ù?×YØ ��Ø�×!Úkâ ãH×kâ.ÙYÙ��mØ�Þ:Úk×Yâ.Û:àÖeÙ � ä=ÙkÚ/ÐBÍ �sþkÒ����eñ� � P 7�9;58= ��:�G��O>���@ 58P �4K8<;X;@U7�9;@ @TP;X�� :NC�� =�@TP�7 @4P �L@R7�: ��@4P�� �"!$#&% ��9;@TP �T:IAUF;<;7�58P;Q('�)�>�H;<;7 P;:�7�7�9;@ HO@TQ�58P;P;58P;Q&� :4C*�

=�@TP�7�@4P �T@�7�: ��@TP;=4[

í

Page 9: Chen & Goodman - Peopleklein/cs294-5/chen_goodman.pdf · Úkâ!ü òåj× Ö ß ßQâ:á=Ø Ü·Ù ÖeÞDá/Ùkß âtâjÚkæ=Ý·Þ=åUç Ö Þ=á/ÙkäD× .ØHà/Úkæ=Ø(ßQâjÙkÚ

û¡æ=ØQÛUØ�×YÛ=Ü·Ø��:Ý´Úmà ��� é���ú!â���Öß�âtáDØ�Ü5*ùÝ·Ù/Úkæ=Ø�×kØ�ãHÝ´ÛD×kâ:ã�ÖeÜ(â��¡ÚkæDØ�é�åjØ�â.ß�Ø�Úk×YÝ·ã�ú/Ö��.ØH×�ÖeåjØ Û=×kâ��8Ö��DÝ´Ü·Ý·ÚmàÖeÙYÙkÝ·å.ÞDØ�á �:à!ÚkæDجß�âtáDØ�Ü.ÚYâ�Ø�Ö�ã�æ®è(â.×ká®Ý·Þ/ÚkæDجÚYØ�ÙkÚ)ÙkØHÚ �/çeÖeÞ=á®Ý·Ù�×kØHܾÖ�ÚkØ�á®Úkâqã�×kâjÙkÙ��òØ�Þ:ÚY×kâ.Û:à �:à�ÚYæ=Ø(Ø��:ä8ÖeÚYÝ´âjÞ��� é ��ú(^ � ��� � � �

ê(Ü·Ø�Öe×YÜ·àtçDÜ´âeè(Ø�×qã�×kâjÙkÙ��mØ�Þ:Úk×Yâ.Û=Ý·Ø�Ù®ÖeÞ=á�ÛUØ�×YÛ=Ü·Ø��:Ý´ÚYÝ·Ø�Ù/Öe×kØ �8Ø�ÚYÚkØ�×Bñ/û(à:Û=Ý·ã�ÖeÜTÛ8Ø�×YÛ=Ü·Ø��:Ý·ÚkÝ·Ø�Ù!à:Ý´ØHÜ´áDØ�á �:à�ü��òåj×�ÖeßßQâ:á=ØHÜ´Ù)âjÞ�)Þ=å.Ü·Ý·Ùkæ®ÚkØ��tÚ(×�Ö�Þ=å.Ø��s×kâ.߸Ö��Uâ.ä=Ú��.ó!ÚYâ�ÖeÜ·ßQâjÙkÚ(ë�ó.ójó®é�ã�âj×k×kØHÙkÛUâ.Þ=á=Ý·Þ=å®ÚkâÀã�×kâjÙkÙ��mØ�Þ:Úk×Yâ.Û=Ý·Ø�Ù��s×kâ.ßÖ��Uâ.äDÚ �/ÚYâ�ë�ó �=Ý·ÚkÙ���è¬âj×ká8úHç=á=ØHÛ8Ø�ÞDá=Ý·Þ=å â.ÞÚkæDØ�Úmà:ÛUØ/â��)ÚkØ��:ÚBñ

mÞÚkæ=Ý·Ù(è¬âj× ! ç:è¬ØqÚ�Ö�!.Ø!Úkæ=Ø!ÛUØ�×��sâ.×kßÖeÞ=ãHØ�â��?ÖeÞÖeÜ·å.âj×kÝ·Úkæ=߸ÚYâ �UØ!Ý´ÚYÙ¡ã�×kâjÙkÙ��òØ�Þ:ÚY×kâ.Û:à�â.ÞQÚYØ�ÙkÚqá8ÖeÚaÖ=ñ ��ÙÚkæDØ�ã�×Yâ.ÙYÙ��mØ�Þ:Úk×kâjÛ:à�â��øÖMßQâ:á=Ø�Ü âjÞ�ÚkØHÙkÚ!á8ÖeÚaÖ åjÝ�jØ�Ù�ÚYæ=Ø®ÞtäDß��8Ø�סâ�� �=Ý·ÚkÙq×kØ��:ä=Ý·×YØ�á�ÚYâQØ�ÞDã�â:á=Ø Úkæ8Ö�Ú�á8Ö�Ú�ÖDçã�×Yâ.ÙkÙ��òØHÞtÚY×kâjÛtàÝ·Ù¡Ö/á=Ý·×YØ�ã�Ú¡ßQØBÖeÙkäD×kØ!â��FÖ�Û=Û=Ü·Ý·ã�ÖeÚYÝ´âjÞ Û8ØH×���âj×kß*Ö�Þ=ã�Ø���âj׬ÚYæ=Ø!Ú�ÖeÙ"! â��)ÚkØ��:Ú¡ã�âjßQÛ=×YØ�ÙkÙYÝ´âjÞ�ñd�=âj×â.ÚYæ=Ø�×!ÖeÛ=Û=Ü·Ý·ã�Ö�ÚkÝ·â.Þ=ÙBç.Ý·Ú¡Ý·Ù¡å.ØHÞ=Ø�×�Ö�Ü·Ü´àÖeÙYÙkä=ß�Ø�áQÚYæ8ÖeÚqÜ´âeè(Ø�×(Ø�Þ:Úk×Yâ.Û:àã�â.×Y×kØ�Ü�ÖeÚYØ�Ù�è¡Ý·ÚYæ �UØ�ÚYÚkØ�×!ÛUØ�×���âj×kßÖeÞ=ã�Øjñ�Dâ.×?ÙYÛ8Ø�ØHã�æ×YØ�ã�â.åjÞ=Ý·ÚkÝ·â.ÞTç.Ý·Ú?æ8Ö�Ù �UØ�Ø�Þ�Ùkæ=âeè¡Þ�Úkæ8Ö�Ú?ÚkæDÝ´Ù(ã�âj×k×kØHܾÖ�ÚkÝ·â.Þ Ý·Ù(×kØ�Ö�ÙkâjÞ8Ö��=Ü·à®ÙkÚY×kâ.ÞDå*ésê(æ=Ø�Þ�çjï¬ØHØ ��Ø�×��ß*Ö�Þ�ç:ÖeÞ=á��¡â.ÙYØ�Þ���ØHÜ´áTç�ë�ìjì.íjú�ñ mÞ�÷�Ø�ã�ÚkÝ·âjÞw�Dñ &=ñ &=çeè(Ø!Û=×kØHÙkØ�Þ:Ú!×kØ�ÙYä=Ü·ÚkÙqÚkæ8Ö�Ú¡Ý´ÞDá=Ý·ã�ÖeÚYØ�ÚkæUÖeÚ¡ÚkæDÝ´Ù¡ãHâ.×k×YØ�Ü�ÖeÚYÝ´âjÞÝ·Ù�Ø�ÙYÛ8ØHã�Ý�ÖeÜ·Ü·à�ÙkÚY×kâ.ÞDå*è¡æDØ�Þ�ãHâ.Þ=ÙYÝ´áDØ�×kÝ·Þ=å�â.Þ=Ü·à�ü��òåj×�Ö�ß�ßQâ:á=Ø�Ü·Ù¡ÚkæUÖeÚ�áDÝ � Ø�×!Ý·Þ�ÚkæDØ�ÙYßQâ:â.ÚYæ=Ý·Þ=å ÚkØ�ãaæ=ÞDÝ�:ä=Øä=ÙYØ�á�ñ

� � Å��QÊ�ÆMÈ� �� Æ/Å��

mÞQÚYæ=Ý·Ù¬ÙYØ�ã�ÚYÝ´âjÞ�ç:è(Ø�ÙkäD× �.ØHà*Ö!Þ:ä=ß��UØ�×?â���ÙkßQâ:âjÚkæ=Ý·Þ=å/ÖeÜ·åjâ.×kÝ·ÚYæ=ßQÙ ��âj׬ü��òåj×�Ö�ß ß�â:á=Ø�Ü·Ù�ñTû¡æ=ݷ٬ܷݷÙkÚZÝ´Ù��:à�ÞDâßQØBÖeÞ=ÙqØ��:æ8Öeä=ÙYÚkÝ �.Øjç �=äDÚ/Ý·Þ=ã�Ü·ä=á=Ø�ÙÀÚkæ=ØQÖ�Ü´åjâ.×YÝ´ÚYæ=ßQÙ¡äDÙkØ�áùÝ·Þ�Úkæ=Ø®ß*Ö�� â.×kÝ·Úmàâ��(ܾÖ�Þ=å.äUÖeå.Ø®ßQâ:á=ØHÜ´Ý·Þ=å è(â.×"! ñû¡æ=Ø�Ö�Ü·å.â.×YÝ·Úkæ=ß�Ùøé Ø��:ã�Ø�Û=Ú���âjסÚkæ=âjÙkØ/áDØ�Ùkã�×YÝ �8Ø�á�Ý·Þ�÷:Ø�ã�ÚYÝ´âjÞ �=ñyì.ú(Öe×YØ/Û=×kØHÙkØ�Þ:ÚkØHá�Ý·Þãaæ=×kâjÞ=â.Ü·â.åjÝ·ã�ÖeÜ âj×ká=Ø�×qâ��Ý·Þ:Úk×kâ:á=äDã�ÚkÝ·â.ÞTñ

#ùØY�8×kÙYÚQá=Ø�ÙYã�×kÝ �UØ�ÖeáDá=Ý·ÚkÝ �.ØÙkß�â:â.ÚkæDÝ´ÞDå8ç?Ö �.Ø�×Yà§ÙYÝ·ßQÛ=Ü·Ø ÚkØHã�æDÞ=Ý �täDØ�Úkæ8Ö�Ú Û8ØH×���âj×kßQÙ®×�Ö�Úkæ=ØH×QÛUâtâj×kÜ·à:ñ��Ø��tÚBç=è(Ø!á=Ø�ÙkãH×kÝ �8Ø®ÚkæDØ�ö�âtâ:á��mû)ä=×kÝ·Þ=åÀØ�ÙkÚYÝ´ßÖeÚYØ.î:Úkæ=Ý·Ù¡ÚYØ�ãaæ=Þ=Ý �:ä=Ø!Ý´Ù¡ÞDâ.Ú¡ä=ÙYØ�á�ÖeÜ·âjÞ=Ø.ç��=ä=Ú¡Ý·Ù¡Úkæ=Ø��8Ö�ÙkÝ·Ù���âj×Ü�ÖeÚYØ�×/ÚkØHã�æDÞ=Ý �täDØ�Ù�ÙYä=ãaæ2ÖeÙ/õ/Ö�Ú�� Ùkß�â:â.ÚkæDÝ´ÞDå8ñ #ùØ�ÚYæ=Ø�Þùá=Ý·ÙYã�ä=ÙkÙ<�.ØHÜ´Ý·Þ=Ø�! ���Ø�×Yã�Ø�×QÖ�Þ=á�õ/Ö�Ú�� Ùkß�â:â.ÚkæDÝ´ÞDå8çÚmè(â�ÚkØ�ãaæ=ÞDÝ�:ä=ØHÙ Úkæ8Ö�Ú/å.Ø�ÞDØ�×�Ö�Ü´Ü·àùè(â.×"!�è(Ø�Ü·Ümñ � ��ÚYØ�×�ÚYæ8ÖeÚBç)è¬Ø�á=Ø�ÙYã�×kÝ �UØ #¶Ý´ÚYÚkØ�Þ �òï(Ø�ܷܬÙYßQâ:â.ÚYæ=Ý·Þ=å8îTè¡æ=Ý·Ü·Ø# Ý·ÚkÚYØ�Þ��mï¬ØHÜ´Ü(Ùkß�â:â.ÚkæDÝ´ÞDå*Ý·Ù®è¬ØHÜ´Ü ��!:Þ=âeè¡Þ�Ý·ÞùÚYæ=Øã�â.ß�Û=×kØ�ÙYÙkÝ·â.ÞùãHâ.ßQß äDÞ=Ý·Úmà.çUè¬Ø�è¡Ý´Ü·Ü?Ü�Ö�ÚkØ�×®Ùkæ=âeè1Úkæ8Ö�Ú/Ý·Úæ8Ö�Ù/ßQØ�áDÝ´â:ã�×YØ�ÛUØ�×���â.×Yß*ÖeÞDã�Ø ã�â.ß�Û8Öe×YØ�á�ÚkâÙkâjßQØ®â��¡Úkæ=Ø�â.ÚkæDØ�×/ÚkØHã�æDÞ=Ý �täDØ�Ù�è(Ø á=Ø�ÙYã�×kÝ �UØ.ñ #ùØ®å.â�âjÞ�ÚYâá=Ý·ÙkãHä=ÙkÙ¡Ö��=ÙYâ.Ü·ä=ÚYØ�á=Ý·ÙkãHâ.ä=Þ:ÚkÝ·Þ=åUçtÖ�ÙkÝ·ßQÛ=Ü·Ø?ÚYØ�ãaæ=Þ=Ý �:ä=Ø!è¡Ý·Úkæ ßQâ:á=ØHÙkÚ?ÛUØ�×��sâ.×kßÖeÞ=ãHØ¡Úkæ8Ö�Ú ��â.×YßQÙ)ÚkæDØ��8Ö�ÙkÝ·Ù ��âj×ÚkæDØQÜ�ÖeÙYÚ�ÚYØ�ãaæ=Þ=Ý �:ä=ØQè(Ø á=Ø�ÙYã�×kÝ �UØ.ç?õ!Þ=ØHÙkØ�×����qØ�à2ÙYßQâ:â.ÚYæ=Ý·Þ=å8ñ õ!Þ=ØHÙkØ�×����qØ�à2ÙYßQâ:â.ÚYæ=Ý·Þ=åQè(â.×"!tÙ �.Ø�×Yà�è(Ø�Ü·ÜmçÖeÞDá �.Ö�×kÝ�ÖeÚYÝ·â.Þ=Ù?è(Ø/á=ØHÙkã�×YÝ�UØ/Ý·Þ�÷:Ø�ã�ÚYÝ·â.Þ &®â.ä=ÚYÛ8ØH×���âj×kß�ÖeÜ·Ü8âjÚkæ=ØH×�ÚkØHÙkÚkØHá�ÚYØ�ãaæ=Þ=Ý �:ä=Ø�Ù�ñ mÞ�÷:Ø�ã�ÚYÝ´âjÞ �=ñyí=ç:è(Øá=Ø�ÙYã�×kÝ �UØQÖ�ÙkÝ·ßQÛ=Ü·Ø���×aÖeßQØHè¬âj× !QÚYæ8ÖeÚ!ã�Ö�Þ �UØ®ä=ÙkØ�á�ÚkâØ��:Û=×YØ�ÙkÙÀßQâ.ÙYÚ�ÛUâ.Û=äDܾÖ�×�ÙYßQâ:â.ÚYæ=Ý·Þ=å ßQØ�ÚYæ=â:á=Ù�ç Ö�Þ=á×kØHã�ÖeÛ�ÚYæ=Ø!Ùkä=×"�.Ø�àjØ�á�Ö�Ü´åjâ.×YÝ´ÚYæ=ßQÙZÝ´Þ�ÚkØ�×YßQÙ¡â��FÚkæDÝ´Ù��s×�Öeß�Ø�è(â.× ! ñû¡æ=Ý·Ù¡ÙkØ�ãHÚkÝ·â.ÞÙkäDßQß*Ö�×kÝ���Ø�ÙZÚkæ=Ø/âj×kÝ·å.Ý·Þ8Ö�Ü=á=Ø�ÙYã�×kÝ·Û=ÚYÝ·â.Þ=Ùqâ��FÛD×kØ��:Ý·â.ä=Ù�Ö�Ü·å.â.×YÝ·Úkæ=ß�Ù�ç��=äDÚ¡á=â:Ø�Ù¡Þ=â.Ú¡Ý·Þ=ãHÜ´äDá=Ø

ÚkæDØQá=Ø�ÚaÖeÝ·Ü·Ù�â���â.ä=×ÀÝ´ß�Û=Ü·Ø�ßQØHÞtÚaÖeÚYÝ´âjÞ=Ù�â���Úkæ=ØHÙkØ�ÖeÜ·å.âj×kÝ·ÚkæDßQÙ�îTÚkæDÝ´ÙÀÝ´Þ ��â.×Yß*ÖeÚYÝ·â.Þ�Ý·Ù®Û=×kØ�ÙYØ�Þ:ÚkØ�á'Ý·Þ=ÙYÚkØ�Ö�á2Ý·Þ÷:Ø�ãHÚkÝ·â.ÞY�8ñ·ë.ñ ��Ù(ß*Ö�ÞtàÀâ���ÚkæDØ�â.×YÝ·å.Ý·Þ8ÖeÜDÚkØ��:ÚkÙ¡âjßQÝ·Ú�Ý·ß�Û8âj×kÚ�Ö�Þ:ÚFáDØ�Ú�Ö�Ý´Ü·ÙBç.âjä=׬ݷß�Û=Ü·Ø�ßQØ�Þ:ÚaÖeÚkÝ·âjÞ=Ù�ÙYâ.ßQØHÚkÝ·ßQØ�Ùá=Ý�� Ø�סÙkÝ·å.ÞDÝ �Uã�ÖeÞ:ÚkÜ·à ��×Yâ.ß ÚYæ=Ø/âj×kÝ·å.Ý·Þ8Ö�ÜJÖ�Ü´åjâ.×YÝ´ÚYæ=߸á=Ø�ÙYã�×kÝ·Û=ÚYÝ´âjÞ�ñ

� #$" �L��� � ��&3� ����� � "��0#=qÞ=ØQâ���Úkæ=Ø�ÙkÝ·ßQÛDÜ´ØHÙkÚ!Úmà:Û8Ø�Ù®â���ÙYßQâ:â.ÚYæ=Ý·Þ=åä=ÙkØHá2Ý·ÞùÛ=×�Ö�ã�ÚkÝ·ã�Ø�Ý·ÙQÌ.ÓjÓ � ��BÐÙkßQâ:âjÚkæ=Ý·Þ=å�é�� Ý·á=ÙYÚkâjÞ=Ø.ç¡ë�ì �.óDî�.âjæ=Þ=ÙYâ.Þ�çTë�ì & �=î]�.Ø/� ×kØHàtÙBç)ë�ì �:í.úHç:è¡æ=Ý·ã�æ�Ý·Ù �aä=ÙkÚ�ÖÀå.ØHÞ=Ø�×�Ö�Ü·Ý �BÖeÚkÝ·âjÞQâ��)Úkæ=ØÀßQØ�ÚYæ=â:áQå.Ý �jØ�ÞQÝ·ÞQØ��täUÖeÚkÝ·âjÞ�é-�jú�ñ mÞ=ÙYÚkØ�Ö�áùâ���Û=×YØ�ÚkØ�ÞDá=Ý·Þ=å�Ø�Ö�ã�æ2ü��må.×aÖeß âtãHã�ä=×kÙ®â.ÞDã�Ø ßQâj×kØ®Úkæ8Ö�ÞùÝ´Ú!á=â:Ø�ÙBç)è¬Ø ÛD×kØ�ÚYØ�Þ=á2Ý·Ú!â:ã�ã�ä=×YÙ��ÚYÝ´ß�Ø�ÙßQâj×kØqÚkæ8Ö�Þ*Ý·Ú(á=â:Ø�Ù�çDè¡æ=Ø�×YØ/Úmà:Û=Ý·ã�ÖeÜ·Ü·àQó�������ëjç ���Ð���ç

*��! " =é@a o j a o mObo m����Ob ú ^� � � é@a oo m����Ob ú

�Vj��yj�� x �� � é@a oo m����Ob úé-�jú

ì

Page 10: Chen & Goodman - Peopleklein/cs294-5/chen_goodman.pdf · Úkâ!ü òåj× Ö ß ßQâ:á=Ø Ü·Ù ÖeÞDá/Ùkß âtâjÚkæ=Ý·Þ=åUç Ö Þ=á/ÙkäD× .ØHà/Úkæ=Ø(ßQâjÙkÚ

� Ý·á=ÙYÚkâjÞ=Ø�Ö�Þ=á��.Ø/� ×kØ�à:Ù!Öeá �jâtãBÖeÚkØqÚ�Ö�!tÝ·Þ=å�� ^-ë.ñ)ö/Ö�Ü´Ø!ÖeÞ=áê(æ:ä=×kãaæùékëBì.ì.óDî8ëBì.ì�tú)æ8Ö��jØ�Ö�×kå.äDØ�áÚkæ8Ö�Ú¬ÚYæ=Ý·ÙßQØHÚkæ=â:áQåjØ�Þ=Ø�×aÖeÜ·Ü·àQÛUØ�×��sâ.×kß�Ù¬ÛUâ:â.×YÜ´à:ñ

� #�� )N�����f'8$l�� ��0#%��* � ���� � &û¡æ=Øö!â:âtá �òû)ä=×YÝ´ÞDå*ØHÙkÚkÝ·ßÖeÚkØ�ésö!â:â:á�ç¡ë�ì]� &.ú�Ý´ÙÀã�Ø�Þ:Úk×aÖeÜ¡Úkâ�ß*Ö�Þ:à*ÙYßQâ:â.ÚYæ=Ý·Þ=åÚkØ�ãaæ=ÞDÝ�:ä=ØHÙ�ñùû¡æ=Øö!â:â:á��û)ä=×kÝ·Þ=å ØHÙkÚkÝ·ßÖeÚkØqÙkÚaÖeÚkØHÙ�ÚYæ8ÖeÚ��sâ.×�ÖeÞ:àü��òåj×�Öeß�ÚkæUÖeÚ¡â:ã�ã�ä=×YÙ � ÚYÝ´ß�Ø�Ù�ç:è(Ø/ÙYæ=â.ä=Ü·áÛ=×YØ�ÚkØ�ÞDá�ÚYæ8ÖeÚ¡Ý·Ú¡â:ã�ã�ä=×YÙ��� ÚYÝ´ß�Ø�Ù(è¡æ=Ø�×kØ � � ^ é � �¶ë�ú ü�� �Obü � é�íjúÖeÞDá è¡æ=Ø�×kØ!ü��¡Ý·Ù?Úkæ=ØqÞ:ä=ß��8ØH×Fâ��Fü��òåj×�Ö�ßQÙ�ÚYæ8ÖeÚZâtãHã�ä=×(Ø��=Öeã�ÚYÜ´à � ÚkÝ·ßQØHÙ?Ý·Þ�ÚYæ=Ø�ÚY×�ÖeÝ·Þ=Ý·Þ=å!á8Ö�Ú�ÖDñ�û)â!ã�â.Þ��jØ�×kÚÚkæDÝ´Ù¡ãHâ.ä=Þ:Ú¡ÚkâQÖÀÛ=×Yâ �8Ö��=Ý·Ü´Ý·Úmà:ç.è(Ø��aä=ÙYÚ¡Þ=â.×Yß*ÖeÜ·Ý���Ø�� ��â.×�Ö�Þ�ü��må.×aÖeß���è¡Ý·ÚYæ � ã�â.ä=Þ:ÚYÙ�ç=è(Ø!Ú�Ö�!.Ø

*��¬é��)úd^ ���� é�ìjú

è¡æ=Ø�×YØ � ^0x��� p v ü�� ��� ñd��âjÚkÝ·ã�Ø!Úkæ8Ö�Ú� ^ ��� p v ü�� � � ^ ��� p v é � � ëBúkü�� �Ob ^ �� � p b � ü��

���Ð���ç��ÿÝ´Ù¡Ø��täUÖeÜ�ÚYâ�ÚYæ=Ø/âj×kÝ·å.Ý·Þ8Ö�Ü8Þ:ä=ß��UØ�×(â��FãHâ.ä=Þ:ÚkÙqÝ·ÞQÚkæDØ/á=Ý·ÙkÚY×kÝ �=ä=ÚYÝ´âjÞ�ñû)â�á=Ø�×YÝ�jØQÚYæ=Ý·Ù/Ø�ÙkÚYÝ·ß*ÖeÚYØ.ç?ÖeÙYÙkä=ß�Ø Úkæ8Ö�Ú/ÚkæDØ�×kØ�Öe×YØ*ÖÚYâ.ÚaÖeÜ(â�� ,�á=Ý��JØH×kØ�Þ:Ú ü��òåj×�Öeß�Ù�� b�,�;�;�;N,�� z Ö�Þ=á

ÚkæUÖeÚ/ÚYæ=Ø�Ý·×/Úk×Yä=ØQÛD×kâ �UÖ��=Ý·Ü·Ý·ÚkÝ·Ø�Ù�âj×���×YØ��:ä=Ø�Þ=ã�Ý·Ø�Ù Öe×YØ�*\b?,�;�;�;&,@* z çT×kØ�ÙYÛ8ØHã�ÚkÝ �.ØHÜ´à:ñ���âeè/ç�Ü´ØHÚ/ä=Ù/Ø�ÙYÚkÝ·ß*Ö�ÚkØ®Úkæ=ØÚk×Yä=Ø/Û=×Yâ �8Ö��=Ý·Ü·Ý´Úmà â��¬ÖeÞ�ü��òåj×�Ö�ß�� o ÚYæ8ÖeÚ¡â:ã�ã�äD×kÙ � ÚYÝ·ßQØ�Ù¡Ý·ÞÙkâjßQØ�áUÖeÚ�ÖDç=åjÝ�jØ�ÞÚkæ8Ö�Ú�è(Ø!á=â.Þ�� Ú !:Þ=âeè»Úkæ=ØÝ·á=Ø�Þ:ÚkÝ·Úmàùâ���Úkæ=Ø�ü��må.×�Ö�ß�� o �=äDÚ�ÚYæ8ÖeÚ®è¬Øá=â !:Þ=âeè¸Úkæ=Øã�Ö�Þ=á=Ý·á8Ö�ÚkØÛ=×kâ��8Ö��DÝ´Ü·Ý·ÚkÝ·Ø�ÙR*5b?,�;�;�;N,-* z ñ�#ùØQã�Ö�ÞÝ·Þ:ÚkØ�×YÛ=×kØ�Ú¡ÚYæ=Ý·Ù�ÖeÙ(ã�ÖeÜ·ã�äDܾÖ�ÚkÝ·Þ=å/ÚYæ=Ø��.ÖeÜ·ä=Ø�� é�* o j � é�� o ú ^ � ú�ç:è¡æ=Ø�×YØ � áDØ�Þ=â.ÚYØ�Ù¡Ø��:ÛUØ�ã�ÚkØHá �.ÖeÜ·ä=Ø!ÖeÞ=á�è¡æ=Ø�×kØ� é�� o ú(á=Ø�Þ=âjÚkØ�ÙqÚkæ=Ø/Þ:ä=ß��UØ�×(â��)ÚkÝ·ßQØ�ÙZÚkæ=Ø�ü��må.×aÖeß�� o â:ã�ã�ä=×YÙ�Ý·ÞQÚYæ=Ø!å.Ý �.ØHÞ*áUÖeÚ�ÖDñ�û¡æDÝ´Ù¡ãBÖeÞ �8Ø!Ø��:Û8Ö�Þ=á=Ø�áÖeÙ �Mé * o j � é�� o ú(^ � úd^ z�

� p b*Té-qO^��Fj � é�� o ú ^ � úh* � éYë�ójú

û¡æ=Ø!Û=×Yâ �8Ö��=Ý·Ü´Ý·Úmà *Té-qD^��Vj � é�� o ú ^ � ú(Ý·Ù¡Úkæ=Ø/ÛD×kâ �UÖ��=Ý·Ü·Ý·Úmà�ÚYæ8ÖeÚ�Ö�Þ*äDÞ !:Þ=âeè¡Þ�ü��òåj×�Öeß�� o è¡Ý·Úkæ � ãHâ.ä=Þ:ÚkÙqÝ·ÙÖeãHÚkä8Ö�Ü´Ü·à ÚYæ=Ø��«ÚYæ�ü��òåj×�Ö�ß�� � é�è¡Ý·ÚYæ*ãHâ.×k×YØ�ÙkÛUâ.ÞDá=Ý·Þ=å ��×kØ��täDØ�Þ=ã�à�* � ú�ñ #ùØ�ãBÖeÞ×kØ�è¡×YÝ·ÚkØ/ÚYæ=Ý·Ù�ÖeÙ*�é@q5^ �Vj � é�� o ú ^ � ú ^ *�é � é�� � ú ^ � úx z

� p b *�é � é�� � ú ^ � ú ^ !�" �$# * �� ékë ��* � ú " m �x z� p b !�" �%# * �� ékë ��* � ú " m � ^

* �� ékë �!* � ú " m �x z� p b *

�� éYë �!* � ú " m �

è¡æ=Ø�×YØ � ^ x z� p b � é�� � ú�ç:ÚYæ=Ø/ÚkâjÚ�Ö�Ü ÞtäDß��8Ø�×(â��)ã�â.äDÞtÚYÙ�ñ(÷:ä �=ÙYÚkÝ·Úkä=ÚYÝ·Þ=å Úkæ=Ý·Ù¡Ý·Þ:Úkâ®Ø��:ä8ÖeÚYÝ·â.Þ�éYë�ójú�ç=è(Ø!å.Ø�Ú

� é�* o j � é�� o úd^ � ú(^ x z� p b *

� �Ob� ékë ��* � ú " m �x z

� p b *�� éYë �w* � ú " m � éYë.ëBú

��âeè/çjã�â.ÞDÙkÝ·á=Ø�×&� " é�ü��Bú�çjÚkæ=ØqØ��:Û8Ø�ãHÚkØ�á�Þ:ä=ß��UØ�×?â���ü��må.×aÖeß�ÙFè¡Ý·ÚYæ Ø��=Öeã�ÚYÜ´à � ã�âjä=Þ:ÚkÙ(å.Ý �.ØHÞ Úkæ8Ö�Ú¬ÚYæ=Ø�×kØÖe×YØ/Ö®Úkâ.ÚaÖeÜ â��'� ã�âjä=Þ:ÚkÙBñ?û¡æ=Ý·Ù¡Ý·Ù¬Ø��täUÖeÜ�ÚYâ Úkæ=ØÀÙkä=ß�â��)Úkæ=Ø/ÛD×kâ �UÖ��=Ý·Ü·Ý·Úmà�ÚYæ8ÖeÚ¡Ø�Ö�ãaæ�ü��òåj×�Ö�ß æ8ÖeÙ¡Ø���Ö�ã�ÚkÜ·à� ã�â.ä=Þ:ÚYÙ�� � " ésü � ú ^z�� p b

*�é � é�� � úd^ � ú ^ z�� p b( � �') * �� ékë �!* � ú " m �

ë�ó

Page 11: Chen & Goodman - Peopleklein/cs294-5/chen_goodman.pdf · Úkâ!ü òåj× Ö ß ßQâ:á=Ø Ü·Ù ÖeÞDá/Ùkß âtâjÚkæ=Ý·Þ=åUç Ö Þ=á/ÙkäD× .ØHà/Úkæ=Ø(ßQâjÙkÚ

#ùØ�ãBÖeÞ�ÙYä �=ÙkÚYÝ·Úkä=ÚYØ/Úkæ=Ý·Ù¡Ø��:Û=×YØ�ÙkÙYÝ·â.Þ�Ý·Þ:Úkâ®Ø��:ä8ÖeÚYÝ·â.Þ�éYë.ëBú(Úkâ à:Ý·Ø�Ü·á

� é�* o j � é�� o ú ^ � ú ^ � � ë� �¶ë� " �Ob é�ü�� �Ob ú� " é�ü � úû¡æ=Ý·Ù¡Ý·Ù�ÖeÞØ�ÙYÚkÝ·ß*Ö�ÚkØ �sâ.סÚkæDØ/Ø��:Û8ØHã�ÚkØ�á�Û=×Yâ �8Ö��=Ý·Ü´Ý·Úmà®â��¬ÖeÞ�ü��må.×aÖeß�� o è¡Ý·Úkæ � ãHâ.ä=Þ:ÚkÙBî=ÚYâ Ø��:Û=×kØ�ÙYÙ!Úkæ=Ý·Ù¡Ý·ÞÚkØH×kßQÙ¡â��¦Ö®ã�âj×k×YØ�ã�ÚkØHá�ã�âjä=Þ:Ú ��� è(Ø�äDÙkØ!Ø��:ä8ÖeÚYÝ·â.Þùé�ìjú(Úkâ å.ØHÚ

� � ^���*�é�� o ú ^�� � � ë� � ë� " �Ob é�ü�� �Ob ú� " é�ü��eú 9 é � �»ë�ú ü�� �Obü��

��âjÚkÝ·ã�ØÚkæUÖeÚ ÚkæDØ�ÖeÛ=ÛD×kâ��:Ý·ß*ÖeÚYÝ·â.Þ=Ù�� " é�ü � ú�9 ü � Ö�Þ=á � " �Ob.ésü � �Ob�ú�9%ü � �Ob*Öe×YØ*äDÙkØ�á Ý·Þ'ÚkæDØ�Ö��8â��jØØ��:ä8Ö�ÚkÝ·â.Þ�ñ mÞQâjÚkæ=ØH׬è(â.×Yá=Ù�çjè¬Øqä=ÙkØqÚkæ=ØqØ�ßQÛDÝ´×YÝ·ã�ÖeÜ �.Ö�Ü·ä=Ø�Ù?â��Fü � Úkâ®Ø�ÙkÚYÝ´ßÖeÚYØ¡è¡æ8ÖeÚ?ÚYæ=Ø�Ý·×(Ø��:Û8Ø�ãHÚkØ�á �.ÖeÜ·ä=ØHÙÖe×YØ.ñû¡æ=Ø/ö!â:â:á��òû)ä=×YÝ·Þ=å�ØHÙkÚkÝ·ßÖeÚkØqã�ÖeÞDÞ=â.Ú �UØ!ä=ÙkØ�á3è¡æ=Ø�Þ�ü � ^�óDî:ݷڬݷ١å.ØHÞ=Ø�×�Ö�Ü·Ü´à ÞDØ�ã�Ø�ÙYÙ�Öe×Yà�Úkâ � Ùkß�âtâjÚkæ��

ÚkæDØ�ü��.ç�Ð��wÎ ��ç:ÚkâQÖ�á �aä=ÙYÚ¡Úkæ=Ø®ü���ÙYâ Úkæ8Ö�Ú�ÚYæ=Ø�à*Ö�×kØ�Ö�Ü·Ü�Ö��Uâ��.Ø �HØ�×kâUñ ��Ø�ã�Ø�Þ:ÚYÜ´à:ç8öÀÖeÜ·Ø�Ö�Þ=á�÷=Öeß�Û=ÙkâjÞ�ékëBì.ì]�.úæ8Ö��jØ�ÛD×kâ.ÛUâ.ÙYØ�á�Ö®ÙkÝ·ßQÛDÜ´Ø�Ö�Þ=áØ/� Ø�ã�ÚkÝ �jØ�ÖeÜ·å.âj×kÝ·ÚkæDß ��â.×(Ùkß�â:â.ÚkæDÝ´ÞDå/Úkæ=ØHÙkØ �.ÖeÜ·ä=Ø�ÙBñ

mÞ�ÛD×�ÖeãHÚkÝ·ã�Ø.çTÚkæ=ØQö�âtâ:á��mû)ä=×kÝ·Þ=å ØHÙkÚkÝ·ßÖeÚkØÀÝ´Ù!Þ=âjÚ!ä=ÙkØ�á��:àÝ·ÚkÙYØ�Ü � ��âj×/ü��òåj×�Öeß�ÙYßQâ:â.ÚYæ=Ý·Þ=å8ç��8ØHã�Öeä=ÙYØ Ý·Úá=â:Ø�Ù®Þ=â.ڮݷÞ=ã�Ü·ä=á=Ø ÚYæ=Øã�â.ß��DÝ´ÞUÖeÚkÝ·âjÞ�â���æ=Ý·åjæ=Ø�×��mâ.×Yá=Ø�×®ßQâ:á=Ø�Ü·Ù!è¡Ý·ÚkæùÜ·âeè(Ø�×��mâ.×Yá=Ø�×®ßQâ:á=Ø�Ü·Ù/Þ=ØHã�Ø�ÙkÙaÖe×Yà���âj×å.â:â:á�ÛUØ�×��sâ.×kßÖeÞ=ãHØ.ç ÖeÙ�áDÝ´ÙYã�ä=ÙYÙkØ�áùÝ·ÞÚkæ=Ø ��âjÜ´Ü·âeè¡Ý·Þ=å®ÙkØ�ãHÚkÝ·â.Þ=ÙBñ!ô�âeè(Ø��.ØH×�çUÝ·Ú�Ý·Ù�ä=ÙYØ�áùÖeÙ�ÖMÚkâ:â.Ü)Ý·ÞÙkØ��jØ�×�Ö�ÜÙkß�â:â.ÚkæDÝ´ÞDå/ÚkØ�ãaæ=ÞDÝ�:ä=ØHÙ�ñ �

� #�� � &(�����&���'U2 &(� ��&�� � ����� � "��0#ê(â.ÞDÙkÝ·á=Ø�סÚYæ=Ø/ã�Ö�ÙkØ/â��Fã�âjÞ=ÙkÚY×kä=ã�ÚYÝ·Þ=å*Ö �=Ý·å.×aÖeß ß�âtáDØ�Ü â.Þ�Úk×�Ö�Ý·Þ=Ý·Þ=å�áUÖeÚ�Ö®è¡æDØ�×kØ/è(Ø!æ8Ö��.Ø!ÚYæ8ÖeÚ

� é3TVI5L5E5B@SU2+P52548ú ^ ó� é3TVI5L5E5B-SW2HP52D8\IFú ^ ó

û¡æ=Ø�ÞTç8ÖeãHã�â.×Yá=Ý·Þ=å Úkâ��Uâ.ÚYæ�Ö�á=á=Ý·ÚkÝ �jØ�Ùkß�â:â.ÚkæDÝ´ÞDå�ÖeÞ=á�Úkæ=Ø®ö!â:âtá �òû)ä=×YÝ´ÞDå/Ø�ÙkÚYÝ·ß*ÖeÚYØ.ç:è(Ø�è¡Ý·Ü·Ü æ8Ö��jØ*TéhP5254 j TAI5L5E5B-SU2)ú ^ *TéhP52D85Ifj TVI5L5E5B-SW2Fú

ô�âeè(Ø��jØ�×�çDÝ´Þ:ÚYä=Ý·ÚkÝ �.Ø�Ü·à®è¬Ø!ÙYæ=â.ä=Ü·áæ8Ö��jØ*TéhP5254 j TAI5L5E5B-SU2)ú �:*TéhP52D85Ifj TVI5L5E5B-SW2Fú

�UØ�ã�ÖeäDÙkØ®Úkæ=Ø/è(â.×Yá�P5254�Ý·Ù¡ß ä=ãaæQßQâj×kØ!ã�âjßQßQâjÞ�ÚYæ8ÖeÞ3Úkæ=Ø/è(â.×Yá�P52D85I?ñ(û)â ã�ÖeÛ=ÚYä=×kØÀÚkæ=Ý·Ù��UØ�æ8Ö��:Ý·â.×Bç=è(Øã�Ö�Þ �Í �sÐ�þ��=ÒeÔ·Ì �sÐQÚYæ=Ø��=Ý·å.×aÖeß ßQâ:á=Ø�Ü?è¡Ý·ÚYæ ÖùÏ:Í ²Î.þYÌ.Ñ ßQâ:á=Ø�Ümñ�� Ï:Í ²Î.þYÌ.Ñ ßQâ:á=Ø�Ü¡é�âj×Që �må.×aÖeß ßQâ:á=Ø�Ü�úã�âjÞ=á=Ý·ÚkÝ·â.ÞDÙ¬ÚYæ=Ø�Û=×Yâ �8Ö��=Ý·Ü·Ý´Úmà®â��FÖÀè(â.×ká âjÞQÞ=â®â.ÚYæ=Ø�×(è¬âj×ká=ÙBç=ÖeÞ=á��aä=ÙYÚ¬×YØ/.8Ø�ã�ÚYÙ�ÚYæ=Ø���×kØ��:ä=ØHÞ=ã�àQâ���è¬âj×ká=Ù(Ý·ÞÚkØ��tÚBñ �Dâ.×(Ø��=Öeß�Û=Ü·Ø.ç.ÚYæ=Ø/ßÖ��:Ý·ß�ä=ß Ü·Ý !.ØHÜ´Ý·æ=â:â:áQäDÞ=Ý·å.×�Ö�߸ßQâ:á=Ø�Ü Ý·Ù

*�� é-a o ú ^ � é@a o úx � � � é@a o ú� � P;@W58=�=�<;@!58P J�F;F;K��58P;Q�7�9;@�� :?:�X�����<;G�58P;Q�@4=�7�58AUJ�7�@58=X;@ �T58X;58P;Q ��9;5�L9 X;58=�7�G�58H;<;7�58:�P 7�:RJ�F;F;K�U587�7�: [���9;J�7�58=T> ��@��TJ�P

J�F;F;K� 587�7�: J���:�58P�7�X;58=�7�G�58H;<;7�58:�P�:�P� � Q�G�JIAU=T>���� ��� >;7�9;@���:I58P?7�X;58=�7�G�58H;<;7�58:�PW:�PUH;58Q�G�J�AU=���� �"!$# 2 �"!�% [03 @��4J�PU7�9;@4P �T:�P�S�@4G�77�9;@��T:�G�G�@ �T7�@TX �T:�<;P�7�='&)( 58P?7�: �T:IP;X;587�58:�P;JIK;F;G�:�H;JIH;58K8587�58@L=����*�"!,+ �"!*# 2 % [ ��P;:�7�9;@4G �L9;:�5�4@�>�9;:'��@TSI@TG4> 58=!7�: J�F;F;K�U587!7�:U@TJ �L9�T:IP;X;587�58:�P;JIK;X;58=�7�G�58H;<;7�58:�P =�@4F;J�G�JI7�@4K��>-��� �.� >�7�: 7�9;@�X;58=�7�G�58H;<;7�58:�P/���*�"!,+ �"!*# 2 %�C :�G!@TJ �L90�"!*# 2 [U3�587�9 7�9;@WC :�G�AU@TG�=�7�G�J�7�@TQ �I>7�9;@TG�@-58=�F;K8@TP�7�� :NC0X;J�7�J 7�:U@T=�7�58AUJ�7�@�7�9;@1& ( J � �4<;G�J�7�@TK��2N9;:'��@TSI@TG4>3& ( ��58K8K�:�P;K�UG�@TF;G�@T=�@TP�7�JUQ�:?:�X54�6�� *748�9�USNJ�K8<;@!:NS�@TG�J�K8K�T:IP;X;587�58:�P;JIK�X;58=�7�G�58H;<;7�58:NP;=4[:��9;@!58X;@4J�K?JIX���<;=�7�AU@4P?7�:NC0J��4:�<;P?7 �L9;J�P;Q�@T=MHZ@T7 ��@4@TP �T:IP;X;587�58:�P;JNK�X;58=�7�G�58H;<;7�58:�P;=4[ 3�9;58K8@7�J ��58P;Q7�9;@UK8J�7�7�@TG�=�7�G�J�7�@4Q ���TJ�P @ ��9;58H;587-7�9;58=!HZ@49;J&S�58:�G4>ZX;J�7�J =�F;J�G�=�587�� 58=RJ F;G�:�H;K8@TA�58P @T=�7�58AUJI7�58P;Q 7�9;@& (�[�� P 7�9;@U=�AU:?:�7�9;58P;QJ�K8Q�:IG�587�9;AU=�7�: HZ@!X;@T=��TG�58HZ@4X�><;!J�7��!=�AU:�:�7�9;58P;Q<;=�@T=�7�9;@�C :�G�AU@4G�=�7�G�J�7�@TQ���>#��9;58K8@7�9;@-K8JI7�7�@TG�FZ@4G�=�FZ@ �T7�58S�@��4J�PUHZ@!S�58@ ��@TXUJ�=AU:�7�58SNJ�7�58P;Q�36587�7�@4P���=�@TK8K;=�AU:?:�7�9;58P;Q!J�P;XUJ�H;=�:�K8<;7�@X;58=��T:�<;P�7�58P;Q�[

ë.ë

Page 12: Chen & Goodman - Peopleklein/cs294-5/chen_goodman.pdf · Úkâ!ü òåj× Ö ß ßQâ:á=Ø Ü·Ù ÖeÞDá/Ùkß âtâjÚkæ=Ý·Þ=åUç Ö Þ=á/ÙkäD× .ØHà/Úkæ=Ø(ßQâjÙkÚ

#ùØ!ã�ÖeÞÜ·Ý·Þ=Ø�Öe×YÜ·à Ý´Þ:ÚYØ�×kÛUâ.Ü�ÖeÚYØ/Ö��=Ý·åj×�Öeß1ßQâ:á=Ø�Ü ÖeÞ=áä=ÞDÝ´åj×�Ö�ß ßQâ:á=Ø�Ü ÖeÙ��sâ.Ü·Ü·âeè¡Ù��* � ��������� é-a o j a o mOb ú(^ * � é-a o j a o mOb ú � éYë ��8ú5* � é-a o ú

è¡æ=Ø�×YØ�ó �� �%ëjñ2ï(Ø�ã�Ö�ä=ÙkØ�* � éhP5254 j TVI5L5E5B@SU2�úY^ * � éhP52D85Ifj TVI5L5E5B-SW2Fú�^ ó�è¡æ=Ý·Ü·ØQÛD×kØ�ÙYä=ß*Ö��=Ü·à* � é3P5254Jú� &* � éhP52D8\IFú�ç:è(Ø!è¡Ý·Ü´Ü æUÖ��.Ø�ÚYæ8ÖeÚ

* � ��������� éhP5254 j TAI5L5E5B-SU2)ú �:* � ��������� éhP52D8\I j TVI5L5E5B@SU2)úÖeÙ¡áDØ�ÙkÝ·×kØHá�ñ

mÞ å.ØHÞ=Ø�×�Ö�Ümç�Ý·Ú Ý·ÙQä=ÙYØ ��ä=Ü!ÚYâ2Ý·Þ:ÚkØ�×YÛ8âjܾÖ�ÚkØ�æDÝ´åjæ=Ø�×��òâj×ká=Ø�×�ü��må.×aÖeß ßQâ:á=Ø�Ü·Ù è¡Ý·Úkæ Ü·âeè(Ø�×��mâ.×Yá=Ø�×ü��òåj×�ÖeßßQâ:á=ØHÜ´ÙBç��8Ø�ãBÖeä=ÙYØ�è¡æ=Ø�Þ ÚYæ=Ø�×YØ�Ý·Ù)Ý´ÞDÙkä��Qã�Ý·Ø�Þ:Ú)á8Ö�Ú�ÖqÚkâ/ØHÙkÚkÝ·ßÖeÚkØ(Ö�ÛD×kâ �UÖ��=Ý·Ü·Ý·Úmà�Ý·Þ®Úkæ=Ø¡æDÝ´åjæ=Ø�×��òâj×ká=Ø�×ZßQâ:á=Ø�ÜmçÚkæDØ�Ü·âeè¬ØH×��mâ.×káDØ�×?ßQâ:á=ØHÜ=ã�ÖeÞ â���ÚkØHÞ Û=×kâ��:Ý·á=Ø¡ä=ÙYØ ��ä=ÜUÝ·Þ���â.×Yß*Ö�ÚkÝ·â.Þ�ñ���åjØ�Þ=Ø�×aÖeÜUã�Ü�ÖeÙYÙ?â���Ý·Þ:ÚkØ�×YÛ8âjÜ�ÖeÚkØHá ßQâ:á=Ø�Ü·ÙÝ·Ù)á=Ø�ÙkãH×kÝ �8ØHá �:à �.ØHÜ´Ý·Þ=Ø�!ðÖ�Þ=áy��Ø�×kã�ØH×�éYë�ì.íjó.úHñ �qÞ�Ø�Ü·Ø�å:ÖeÞ:Ú)èøÖBàÀâ�� Û8Ø�×���â.×YßQÝ·Þ=åqÚkæ=Ý·Ù)Ý·ÞtÚYØ�×kÛUâ.Ü�Ö�ÚkÝ·â.Þ/Ý·Ù)å.Ý �jØ�Þ�:àQï(×kâeè¡ÞØ�Ú�Ö�Üòñ(ékëBì.ì �.Ö.ú(ÖeÙ��sâ.Ü·Ü·âeè¡Ù

* � ��������� é@a o j a o mObo m����Ob ú(^ � � ���� �������*�� é-a o j a o mDbo m����Ob ú �»éYë �� � � ���� �������

ú5* � ��������� é@a o j a o mObo m���� i ú éYë �jú

û¡æ8Ö�Ú�Ý·Ù�çZÚkæ=Ø�üUÚYæ��òâj×ká=ØH× ÙkßQâ:âjÚkæ=Ø�áùß�â:á=Ø�Ü(Ý´Ù®á=Ø/�UÞ=Ø�á'×kØ�ãHä=×kÙYÝ�jØ�Ü·à§Ö�ÙQÖ�Ü·Ý·Þ=Ø�Ö�×/Ý·ÞtÚYØ�×kÛUâ.Ü�Ö�ÚkÝ·â.Þ �8Ø�Úmè(Ø�Ø�ÞÚkæDØQüUÚkæ��mâ.×Yá=Ø�×/ßÖ��:Ý·ß�ä=ß1Ü´Ý !jØ�Ü·Ý´æDâtâ:á�ß�â:á=Ø�Ü?ÖeÞ=á�ÚkæDØ�é�ü �»ë�úmÚYæ��mâ.×káDØ�×/Ùkß�â:â.ÚkæDØ�á�ß�â:á=Ø�Ümñ/û)âQØHÞ=áùÚkæ=Ø×kØHã�ä=×kÙYÝ·â.Þ�çUè(Ø/ã�ÖeÞ3Ú�Ö�!jØ/ÚkæDØ/Ùkß�âtâjÚkæ=ØHá ëHÙkÚ��òâj×ká=Ø�×qßQâ:á=Ø�Ü ÚYâ��8Ø®ÚkæDØ/ß*Ö��tÝ·ß®ä=ß Ü·Ý !.ØHÜ´Ý·æ=â:â:áQáDÝ´ÙYÚk×YÝ�Dä=ÚkÝ·â.ÞTçâ.סè(Ø!ã�ÖeÞÚaÖ�!.Ø!ÚYæ=Ø/Ùkß�â:â.ÚkæDØ�á*ó�Úkæ��mâ.×Yá=Ø�סßQâ:á=ØHÜ8ÚYâ��8Ø/ÚYæ=Ø!ä=Þ=Ý ��âj×kß á=Ý·ÙYÚk×kÝ �=äDÚkÝ·â.Þ

*�� ��� � é@a o úd^ ëj��yj

ö!Ý �.Ø�Þ � �:Ø�á *���çBÝ·ÚFÝ·ÙTÛ8âjÙkÙkÝ �=Ü·Ø(ÚkâqÙkØ�Ö�×kãaæ Ø �Qã�Ý·Ø�Þ:ÚkÜ·à��sâ.×�ÚYæ=Ø� � � ���� �������Úkæ8Ö�ÚFßÖ��:Ý·ß Ý���Ø�ÚYæ=Ø¡Û=×kâ��8Ö��DÝ´Ü·Ý·Úmà

â��UÙkâ.ß�Ø?á8Ö�Ú�Öqä=ÙkÝ·Þ=åqÚkæ=Ø¡ï¡ÖeäDß���#ùØ�Ü·ã�æ/Ö�Ü´åjâ.×YÝ´ÚYæ=߸é�ï¡Öeä=ß�çtëBì�� �.ú�ñ�ûFâqà:Ý´ØHÜ´áÀßQØ�Ö�Þ=Ý·Þ=å���äDÜ.×kØHÙkä=Ü·ÚkÙBç.ÚYæ=Ø(á8ÖeÚaÖä=ÙYØ�áùÚkâ�ØHÙkÚkÝ·ßÖeÚkØ®ÚkæDØ� � � ���� �������

Þ=Ø�ØHá2Úkâ �UØ á=Ý��JØH×kØ�Þ:Ú ��×kâjß ÚkæDØ á8ÖeÚaÖQäDÙkØ�á�Úkâã�ÖeÜ·ã�äDܾÖ�ÚkØ ÚYæ=Ø * � ñ � mÞ�=ÐHÔ´Ó�ýkÒ.Ï����Í���ÐBþ��=ÒeÔ´Ì�� Ò.Í=çjâ.Þ=Øq×kØ�ÙYØ�× �jØ�Ù�Ö�ÙkØ�ã�ÚYÝ·â.ÞQâ���Úkæ=ØqÚk×aÖeÝ·Þ=Ý·Þ=å/á8Ö�Ú�Ö��sâ.×?ÚYæ=Ý·Ù¬Û=äD×kÛUâ.ÙkØjç=è¡æ=Ø�×YØ�ÚYæ=Ý·Ù �DÐ�Ô·ÓeýÒ.Ï��)á8Ö�Ú�ÖqÝ·Ù?Þ=âjÚFäDÙkØ�á�Ý´Þ®ã�Ö�Ü´ãHä=Ü�ÖeÚkÝ·Þ=å!ÚYæ=Ø * � ñ ��Ü·ÚYØ�×kÞ8Ö�ÚkÝ �.ØHÜ´à:ç��.Ø�Ü·Ý·Þ=Ø�! ÖeÞDá��Ø�×kãHØ�׬áDØ�Ùkã�×YÝ �8Ø/ÖqÚkØ�ãaæ=ÞDÝ�:ä=Ø!:Þ=âeè¡Þ§Ö�Ù�Ó.ÐHÔ´Ð���ÐaÓ �Í �sÐ�þ��=ÒeÔ·Ì � �Ò.Í�â.×�ÓjÐ�Ô·Ð �sÐaÓ2ÐHÕ�� �Ñ®Ì � �ÒjÍ2è¡æ=ØH×kØ�á=Ý�� Ø�×kØHÞtÚ�Û8Öe×YÚkÙ�â���ÚYæ=ØÚk×aÖeÝ·Þ=Ý·Þ=å�á8ÖeÚaÖ×kâjÚ�Ö�ÚkØ!Ý·Þ*ÚY×�Ö�Ý´ÞDÝ´ÞDå�Ø�Ý·ÚYæ=Ø�סÚkæDØ * � â.סÚkæDØ! � � ���� �������

îDÚkæ=Ø!×YØ�Ùkä=Ü·ÚYÙ�Öe×YØ!Úkæ=Ø�Þ�Ö��.Ø�×aÖeå.ØHá�ñ��âjÚkÝ·ã�Ø®Úkæ8Ö�Ú�ÚYæ=Ø®â.Û=ÚYÝ´ßÖeÜ" � � ���� �������

è¡Ý·Ü´Ü �8Ø®á=Ý�� Ø�×kØ�Þ:Ú��sâ.×�áDÝ � Ø�×YØ�Þ:Ú�æDÝ´ÙYÚkâj×kÝ·Ø�Ù a o mDbo m����Ob ñ �=âj×�Ø��=Öeß�Û=Ü·Ø.ç��âj×�Öã�âjÞtÚYØ��:Ú�è(ØQæUÖ��.Ø ÙkØHØ�Þ'Úkæ=âjä=Ù�Ö�Þ=á=Ù®â���ÚkÝ·ß�Ø�Ù�ç)Öæ=Ý·å.æ��è¡Ý·Ü·Ü��UØQÙkäDÝ´ÚaÖ��=Ü·Ø ÙYÝ´ÞDã�ØQÚYæ=ØQæ=Ý·åjæ=Ø�×��mâ.×Yá=Ø�×á=Ý·ÙkÚY×kÝ �=ä=ÚYÝ·â.Þ2è¡Ý·Ü·Ü �UØ �jØ�×kà'×YØ�ܷݾÖ��=Ü·Ø.î ��â.×QÖ3æ=Ý·ÙkÚYâ.×Yà2ÚkæUÖeÚ æ8Ö�Ù âtãHã�ä=×k×YØ�á»â.Þ=Ü·àùâ.ÞDã�Ø.ç�Ö3Ü·âeè¬Ø�×� è¡Ý´Ü·Ü��8ØÖeÛDÛ=×kâjÛ=×kÝ�ÖeÚYØ.ñ?û)×aÖeÝ·Þ=Ý·Þ=å/Ø�Ö�ãaæ�Û8Öe×aÖeß�Ø�ÚkØ�×� � � ���� �������

Ý´ÞDá=Ø�ÛUØ�Þ=á=Ø�Þ:ÚYÜ´àÝ·Ù¡Þ=âjÚ¡å.Ø�Þ=ØH×�ÖeÜ·Ü·à ��Ø�Ü·Ý·ã�Ý·Úkâjä=Ù�î:è(Ø/è(â.ä=Ü·áÞ=Ø�ØHá Ö�Þ*ØHÞ=â.×YßQâ.äDÙ�ÖeßQâjä=Þ:Ú¬â��?á8ÖeÚaÖ®ÚkâQÚY×�Ö�Ý´ÞÙYâQß*Ö�Þ:à Ý´ÞDá=Ø�ÛUØ�Þ=á=Ø�Þ:Ú!Û8Ö�×�Öeß�Ø�ÚkØH×kÙ�Ö�ã�ã�ä=×aÖeÚYØ�Ü·àtñ mÞDÙkÚkØBÖeá�ç�.ØHÜ´Ý·Þ=Ø�!*ÖeÞDá!�Ø�×Yã�Ø�×!ÙkäDå.å.ØHÙkÚ¡á=Ý �:Ý·á=Ý·Þ=å/ÚkæDØ# � � ���� �������

Ý·Þ:Úkâ Ö/ß�âtáDØ�×�Ö�ÚkØ�Þ:ä=ß��UØ�×(â��)Û8Öe×YÚkÝ·ÚkÝ·â.ÞDÙ¬âj× _�Ï �N�.Ð���Õ�çÖeÞDá2ã�âjÞ=ÙkÚY×�ÖeÝ·Þ=Ý·Þ=åùÖeÜ·Ü$ � � ���� �������

Ý·Þ�Úkæ=ØÙ�Ö�ßQØ��=äDã !jØ�Ú ÚkâùæUÖ��.ØQÚYæ=ØÙ�Ö�ßQØ��.ÖeÜ·ä=Øjç?ÚkæDØ�×kØ��:à�×kØ�á=äDã�Ý·Þ=åùÚkæ=ØÞ:ä=ß��UØ�׬â��FÝ·Þ=á=ØHÛ8Ø�ÞDá=Ø�Þ:Ú!Û8Öe×aÖeßQØHÚkØ�×YÙ¬ÚYâ��8Ø/ØHÙkÚkÝ·ßÖeÚkØHá�ñ máDØ�ÖeÜ·Ü·àtçjè(Ø�ÙYæ=â.äDÜ´áÚYÝ´Ø!ÚYâ.å.ØHÚkæ=Ø�×qÚkæ=âjÙkØ% � � ���� �������ÚkæUÖeÚ�è(Ø/æ8Ö��jØ�ÖeÞ�Ì � þ��Òjþ�?×YØ�ÖeÙYâ.Þ�ÚYâ �UØ�Ü·Ý´Ø��.Ø/ÙYæ=â.ä=Ü·á�æUÖ��.Ø/ÙYÝ´ß�ݷܾÖ�×��.ÖeÜ·ä=ØHÙ�ñ¡ï¡Öeæ=ÜmçF�.Ø�Ü·Ý·Þ=Ø�! ç ÖeÞ=á`�Ø�×kãHØ�×ékëBì.í�&.ú!ÙYä=å.åjØ�ÙkÚ®ãaæ=â:â.ÙkÝ·Þ=å3Úkæ=Ø�ÙYØÙkØ�ÚYÙ â��& � � ���� �������

Öeã�ãHâ.×káDÝ´ÞDå�Úkâ x � � � é-a oo m����Ob úHç)Úkæ=Ø�Úkâ.ÚaÖeÜ(Þ:ä=ß��8ØH×/â��ã�âjä=Þ:ÚkÙ¡Ý·Þ Úkæ=Ø!æ=Ý·åjæ=Ø�×��mâ.×Yá=Ø�סá=Ý·ÙYÚk×kÝ �=äDÚkÝ·â.Þ �8Ø�Ý·Þ=å®Ý·Þ:ÚkØ�×YÛ8âjܾÖ�ÚkØ�á�é�è¡æ=Ý·ãaæQÝ·Ù(Ø��:ä8ÖeÜ ÚYâ�ÚYæ=Ø�Þ:ä=ß��UØ�×(â���ã�âjä=Þ:ÚkÙâ��¡ÚkæDØ ã�â.×Y×kØ�ÙYÛ8âjÞ=á=Ý·Þ=å�æ=Ý·ÙkÚkâj×kà=ú�ñ ��Ù/ÚYâ.ä=ãaæ=Ø�á�â.ÞùÖ��Uâ��.Ø.çTÚkæDÝ´Ù!ÚYâ.Ú�Ö�Ü?ã�âjä=Þ:Ú/Ùkæ=âjä=Ü·á�ãHâ.×k×YØ�Ü�ÖeÚYØQè¡Ý·Úkæ�æ=âeèÙkÚY×kâjÞ=å.Ü·à!Úkæ=Ø¡æDÝ´åjæ=Ø�×��òâj×ká=Ø�×)á=Ý·ÙYÚk×kÝ �=äDÚkÝ·â.Þ/ÙYæ=â.äDÜ´á �Uجè(Ø�Ý·å.æ:ÚkØHá�îeÚkæDØ¡æ=Ý·å.æ=Ø�×TÚkæ=Ý·Ù)ã�âjä=Þ:Ú�çeÚYæ=Ø¡æ=Ý·å.æ=ØH×' � � ���� �������

( 369;@TPU7�9;@!=�JIAU@-X;JI7�J�58=�<;=�@TX 7�: @T=�7�58AUJ�7�@�HO:�7�9�>?=�@T7�7�58P;Q!J�K8K�)+* � ���� �������7�:U:�P;@ ��58@TK8X;=�7�9;@!:�F;7�58AUJ�K;G�@T=�<;K87T[

ë �

Page 13: Chen & Goodman - Peopleklein/cs294-5/chen_goodman.pdf · Úkâ!ü òåj× Ö ß ßQâ:á=Ø Ü·Ù ÖeÞDá/Ùkß âtâjÚkæ=Ý·Þ=åUç Ö Þ=á/ÙkäD× .ØHà/Úkæ=Ø(ßQâjÙkÚ

ÙkæDâ.ä=Ü·á �UØ.ñ>�âj×kØ�ÙkÛUØ�ã�Ý��8ã�Ö�Ü´Ü·à:ç?ï¡Öeæ=ܮР�!Ì�Ô �?ÙYä=å.åjØ�ÙkÚ�Û8Öe×YÚkÝ·ÚkÝ·âjÞ=Ý·Þ=å�ÚkæDØ*×aÖeÞ=åjØQâ���ÛUâ.ÙkÙYÝ �=Ü·Ø*ÚYâ.ÚaÖeÜ¡ã�âjä=Þ:Ú�.ÖeÜ·ä=ØHÙ�ÖeÞ=á�Ú�Ö�!tÝ·Þ=å�ÖeÜ·Ü � � ���� �������

ÖeÙYÙkâ:ã�Ý�ÖeÚYØ�á'è¡Ý´ÚYæùÚkæ=Ø�Ù�Ö�ßQØ Û8Ö�×kÚkÝ·ÚYÝ´âjÞùÚkâ �UØÝ·ÞùÚkæ=Ø�Ù�Öeß�Ø��=ä=ã !.ØHÚ�ñ mÞÛ=×YØ��:Ý´âjä=Ù!è¬âj× !2ésê(æ=Ø�Þ�çZë�ì.ì]�.úHç8è(Ø®Ùkæ=âeè-Úkæ8Ö�Ú �Dä=ã !.Ø�ÚYÝ´ÞDå*ÖeãHã�â.×Yá=Ý·Þ=åÚkâÚkæ=Ø Ö��.ØH×�ÖeåjØ�Þ:ä=ß��UØ�×qâ��¬ã�âjä=Þ:ÚkÙÛUØ�× Þ=â.ÞF��Ø�×kâùØHÜ´ØHßQØ�Þ:ڮݴÞ'Öá=Ý·ÙkÚY×kÝ �=ä=ÚYÝ·â.Þ x � ��� � � �� �������

���� � � � � �� �������

� � v � à:Ý´ØHÜ´áDÙ �UØ�ÚkÚYØ�×QÛUØ�×���â.×Yß*ÖeÞDã�ØQÚYæ8ÖeÞ�ä=ÙkÝ·Þ=å�Úkæ=Ø�.ÖeÜ·ä=Ø x ��� � é-a oo m����Ob úHñ

� #�� � � �� � ������� "���#õ/ÖeÚ$�QÙkß�â:â.ÚkæDÝ´ÞDå�ékëBì.í]�.úqØ��:ÚkØ�ÞDá=Ù Úkæ=Ø�Ý·ÞtÚYä=Ý·ÚkÝ·â.ÞDÙ�â��øÚYæ=Ø*ö�âtâ:á��mû)ä=×kÝ·Þ=åØ�ÙYÚkÝ·ß*Ö�ÚkØ �:à Ö�á=á=Ý·Þ=å�ÚYæ=Ø ã�â.ß ��=Ý·Þ8Ö�ÚkÝ·â.Þ�â��¡æ=Ý·å.æ=ØH×��mâ.×káDØ�×�ß�â:á=Ø�Ü·Ù!è¡Ý´ÚYæùÜ·âeè¬Ø�×��òâj×ká=ØH×/ßQâ:á=Ø�Ü·ÙBñ #ùØ<�8×YÙkÚ®á=Ø�ÙYã�×kÝ �UØQõ/ÖeÚ$�QÙkß�â:â.ÚkæDÝ´ÞDå���âj×�=Ý·å.×aÖeß ß�â:á=Ø�Ü·Ù�ñD�Dâ.×�Ö �=Ý·å.×aÖeß a oo mOb è¡Ý·Úkæã�âjä=Þ:Ú � ^ � é-a oo mDb ú�ç:è(Ø�ãBÖeÜ·ã�ä=Ü�ÖeÚYØ!Ý´ÚYÙ¬ãHâ.×k×YØ�ã�ÚYØ�á�ãHâ.ä=Þ:Ú¡ä=ÙYÝ´ÞDåÚkæDØ�Ø��täUÖeÚkÝ·âjÞ

�� � � � é-a oo mDb ú(^���� � � Ý � � � ó�¬é@a o mDb ú5* � é-a o ú�Ý � � ^»ó éYë &jú

û¡æ8Ö�ÚQÝ·Ù�ç�Ö�Ü·Ü��=Ý·å.×aÖeß�Ù è¡Ý´ÚYæ�ÖùÞDâ.Þ7��ØH×kâ'ã�â.äDÞtÚ � Öe×YØ�á=Ý·ÙYã�â.ä=Þ:ÚYØ�á Ö�ã�ã�âj×ká=Ý·Þ=å�Úkâ§Ö¶Ó ·Õ �aÒ.Ï:Í � þYÌ � �Ò � �.ñû¡æ=Ø®á=Ý·Ùkã�âjä=Þ:Ú!×�ÖeÚYÝ·â � �/Ý·Ù/ÖeÛ=Û=×Yâ��:Ý´ßÖeÚYØ�Ü·à ���� ç ÚkæDØ�á=Ý·ÙYã�â.ä=Þ:Ú!Û=×YØ�á=Ý·ã�ÚkØHá��tàÚYæ=Øðö�âtâ:á��mû)ä=×kÝ·Þ=å ØHÙkÚkÝ·ßÖeÚkØjçÖeÞDá è¡Ý·Ü´Ü��8Ø�ÙkÛUØ�ã�Ý��8ØHá Ø��=Öeã�ÚYÜ´à¶Ü¾Ö�ÚkØ�×Bñ û¡æDØ�ã�âjä=Þ:ÚkÙÙkä��=Úk×aÖeã�ÚYØ�á ��×Yâ.ß Úkæ=Ø�Þ=âjÞ7��Ø�×Yâ§ãHâ.ä=Þ:ÚkÙ�Ö�×kØ�Úkæ=Ø�Þá=Ý·ÙkÚY×kÝ �=ä=ÚYØ�á�Öeß�â.Þ=å!ÚkæDØ ��Ø�×Yâ��mã�â.ä=Þ:Ú �=Ý·åj×�Öeß�Ù¬ÖeãHã�â.×Yá=Ý·Þ=å�ÚYâ Úkæ=Ø!Þ=Ø��tÚ¡Ü·âeè(Ø�×��mâ.×Yá=Ø�×(á=Ý·ÙkÚY×kÝ �=ä=ÚYÝ´âjÞ�ç ���Ð���çjÚkæ=Øä=Þ=Ý·åj×�Öeß-ßQâ:á=Ø�Ümñ û¡æDØ �.ÖeÜ·ä=Ø&�¬é@a o mDb ú)Ý·Ù)ãaæ=â.ÙYØ�ÞQÙYâ/ÚkæUÖeÚ?ÚYæ=Ø¡ÚkâjÚ�ÖeÜDÞtäDß��8Ø�×)â��Jã�âjä=Þ:ÚkÙ(Ý·Þ�ÚYæ=Ø¡á=Ý·ÙkÚY×kÝ �=ä=ÚYÝ´âjÞx � � � � � � é-a oo mOb ú/Ý·Ù®ä=Þ=ãaæ8Ö�Þ=å.Ø�áTç ��Ð � ç x � � � � � � é-a oo mDb ú�^ x � � � é-a oo mOb ú�ñùû¡æDØ�Ö�Û=Û=×Yâ.Û=×YݾÖ�ÚkØ �.ÖeÜ·ä=Ø ��âj×�(é-a o mDb ú(Ý´Ù

�(é-a o mOb ú ^ ë � x � � � � � � �� ���� � v * � � � é-a o j a o mOb½ú

x �� � � � � �� ���� p v * � é-a o ú ^

ë � x � � � � � � �� ���� � v * � � � é-a o j a o mDb�ú

ë �Hx �� � � � � �� ���� � v * � é@a o ú

û)â�ãBÖeÜ·ã�ä=Ü�ÖeÚYØf* � � � é-a o j a o mOb ú ��×kâjß Úkæ=ØÀã�â.×Y×kØ�ã�ÚYØ�á�ã�â.ä=Þ:ÚBç=è(Ø � ä=ÙkÚ¡Þ=âj×kßÖeÜ·Ý���Ø��* � � � é@a o j a o mDbkú ^ �� � � � é-a oo mDb úx ��� � � � � é-a oo mDb ú

û¡æ=Ø � � Ö�×kØ?ã�Ö�Ü·ã�ä=Ü�ÖeÚYØ�á/ÖeÙ �sâ.Ü·Ü·âeè¡Ù��=Ü�Ö�×kå.ØZã�â.ä=Þ:ÚYÙFÖe×YØ?Ú�Ö�!.Ø�Þ!ÚYâ��UØ?×kØ�Ü·Ý�Ö��DÜ´Øjç�ÙYâ¡Úkæ=ØHà�Ö�×kØ?ÞDâ.Ú�áDÝ´ÙYã�â.äDÞtÚYØ�á�ñ mÞ Û8Ö�×kÚkÝ·ã�äDܾÖ�×�ç:õ/ÖeÚ$��ÚaÖ�!.ØHÙ � � ^ ë��sâ.׬Ö�Ü´Ü � ��� ��âj×?ÙkâjßQØ�� çjè¡æ=Ø�×YØ�õ/ÖeÚ$��ÙYä=å.åjØ�ÙkÚYÙ���^{�=ñTû¡æ=Øqá=Ý·Ùkã�âjä=Þ:Ú×�Ö�ÚkÝ·â.Ù ��âj׬ÚYæ=Ø!Ü´âeè(Ø�×(ã�â.äDÞtÚYÙ � ����Öe×kØ!á=ØH×kÝ �.Ø�á ��×Yâ.ß ÚYæ=Ø/ö!â:â:á��òû)ä=×YÝ·Þ=å/Ø�ÙYÚkÝ·ß*Ö�ÚkØ�ÖeÛDÛ=Ü·Ý´ØHáQÚkâ ÚYæ=Ø!å.Ü·â �UÖeÜ�=Ý·å.×aÖeß%áDÝ´ÙYÚk×YÝ�Dä=ÚkÝ·â.ÞTî¡Úkæ8Ö�Ú Ý·Ù�ç(Úkæ=Ø�ü � Ý·Þ�Ø��:ä8ÖeÚYÝ´âjÞ é�í.ú®áDØ�Þ=â.ÚYØ�ÚkæDØ�ÚkâjÚ�ÖeÜ¡Þ:ä=ß��UØ�×YÙ â����=Ý·å.×aÖeßQÙÀÚkæ8Ö�Úâ:ã�ã�ä=×!Ø��=Ö�ã�ÚkÜ·à � ÚYÝ·ßQØ�Ù(Ý·Þ�Úkæ=ØÀÚk×�Ö�Ý·Þ=Ý·Þ=å á8ÖeÚaÖ=ñZû¡æ=Ø�ÙkØ � ��Öe×YØ/ãaæ=â.ÙYØ�Þ�ÙYä=ãaæ�ÚYæ8ÖeÚ¡ÚYæ=Ø�×YØ�ÙkäDÜ´ÚYÝ·Þ=å á=Ý·Ùkã�âjä=Þ:ÚkÙÖe×YØ!Û=×kâjÛ8âj×kÚkÝ·âjÞ8ÖeÜ ÚYâ Úkæ=Ø!á=Ý·ÙkãHâ.ä=Þ:ÚkÙqÛ=×kØHá=Ý·ã�ÚkØ�á �tà�Úkæ=Ø/ö!â:â:á��mû)ä=×kÝ·Þ=å/ØHÙkÚkÝ·ßÖeÚkØjç=ÖeÞ=áÙkäDã�æÚYæ8ÖeÚ¡ÚYæ=Ø/ÚkâjÚ�Ö�ÜÞ:ä=ß��UØ�× â��8ãHâ.ä=Þ:ÚkÙTá=Ý·Ùkã�âjä=Þ:ÚkØ�á®Ý·Þ!Úkæ=Ø(å.Ü·â �UÖeÜ��=Ý·å.×aÖeß»á=Ý·ÙkÚY×kÝ �=ä=ÚYÝ´âjÞ/Ý·Ù Ø��:ä8ÖeÜ:ÚYâ�ÚkæDØ?ÚkâjÚ�ÖeÜ:Þ:ä=ß��UØ�× â��=ã�âjä=Þ:ÚkÙÚkæUÖeÚ?ÙYæ=â.ä=Ü·á��UØ�Ö�ÙkÙkÝ·åjÞ=Ø�á Úkâ �=Ý·å.×�Ö�ßQÙ)è¡Ý·Úkæ���ØH×kâ®ã�â.ä=Þ:ÚYÙ¬Öeã�ãHâ.×káDÝ´ÞDå�ÚYâ/Úkæ=Ø�ö�âtâ:á��mû)ä=×kÝ·Þ=å!Ø�ÙYÚkÝ·ß*Ö�ÚkØ.ñ��Mû¡æ=Ø��âj×kßQØH׬ã�âjÞ=ÙkÚY×�Ö�Ý´Þ:Ú¡ã�âj×k×YØ�ÙkÛUâ.Þ=áDÙ�ÚYâ Úkæ=Ø!Ø��:ä8Ö�ÚkÝ·â.ÞDÙ

ë � � � ^��?ékë � ���� ú� � PU7�9;@�P;:�G�AUJ�K:� :?:�X�����<;G�58P;Q@4=�7�58AUJ�7�@�>T7�9;@7�:�7�J�K;P�<;ARHO@TG�:NC��T:�<;P�7�=0X;58=,�4:�<;P�7�@4X!C G�:�A � � Q�G�J�AU=���587�9UP;:�P �4@TG�: �4:�<;P�7�=9;J�F;FO@TP;=�7�: HZ@�@��?<;JIK;7�:U7�9;@!7�:�7�J�KOP?<;A HZ@4G�:NC��4:�<;P?7�=�J�=�=�58QIP;@TXU7�: � � QIG�J�AU= ��587�9��T@4G�:��4:�<;P�7�=4[���9?<;=4>;7�9;@!P;:�G�AUJ�K85�4J�7�58:NP�T:IP;=�7�J�P�7�C :�G�J =�AU:?:�7�9;@TX X;58=�7�G�58H;<;7�58:NP 58=�58X;@TP�7�5�4J�K�7�:�7�9;J�7�:NC07�9;@:�G�58Q�58P;J�K�X;58=�7�G�58H;<;7�58:IP�[ � P ;!J�7��-=�AU:�:�7�9;58P;Q >8;!J�7,�!7�G�58@4=7�:RJ �L9;58@4S�@J =�58AU58K8J�G�@ ��@ �T7�@ �!�T@TF;7�7�9;G�:�<;QI9RX;58=��T:�<;P�7�58P;Q-:IP;K���4:�<;P?7�=�&"!$# [

ë &

Page 14: Chen & Goodman - Peopleklein/cs294-5/chen_goodman.pdf · Úkâ!ü òåj× Ö ß ßQâ:á=Ø Ü·Ù ÖeÞDá/Ùkß âtâjÚkæ=Ý·Þ=åUç Ö Þ=á/ÙkäD× .ØHà/Úkæ=Ø(ßQâjÙkÚ

��âj× � ��� ëZ,�;�;�;4, ������âjסÙkâ.ß�Ø�ã�âjÞ=ÙkÚaÖeÞ:Ú �?ñ)û¡æ=Ø�ö�âtâ:á��mû)ä=×kÝ·Þ=åÀØ�ÙkÚYÝ´ßÖeÚYØ�Û=×YØ�á=Ý·ã�ÚkÙqÚkæ8Ö�Ú¡Úkæ=ØÀÚkâ.ÚaÖeÜ Þ:ä=ß��UØ�×â��)ã�â.äDÞtÚYÙ¡Úkæ8Ö�Ú¬ÙYæ=â.äDÜ´á �8Ø/Ö�ÙkÙkÝ·åjÞ=Ø�áÚkâ �=Ý·å.×aÖeßQÙ)è¡Ý·ÚkæY��Ø�×YâQã�âjä=Þ:ÚkÙ¡Ý·Ùøü5vHó � ^»ü5v � ���� ^»ü b ç:Ùkâ®Úkæ=Ø!ÙkØHã�â.Þ=áã�âjÞ=ÙkÚY×�ÖeÝ·Þ:Ú¡ã�âj×k×kØHÙkÛUâ.Þ=á=Ù!ÚYâ Úkæ=Ø!Ø��:ä8Ö�ÚkÝ·â.Þ

��� p b ü��jékë � � ��ú � ^�ü bû¡æ=Ø!ä=Þ=Ý �:ä=Ø!ÙkâjÜ·ä=ÚkÝ·â.Þ�Úkâ ÚYæ=Ø�ÙkØÀØ��:ä8ÖeÚYÝ´âjÞ=Ù¡Ý·Ù¡å.Ý �.ØHÞ �:à

� � ^ � �� � � � �Ob � �� �����ë � � � �Ob � � � ����

�õ/ÖeÚ���Ùkß�â:â.ÚkæDÝ´ÞDå ��â.×�æ=Ý·å.æ=Ø�×��òâj×ká=ØH×�ü��må.×aÖeß ßQâ:á=Ø�Ü·Ù�Ý´Ù�á=Ø/�8ÞDØ�á Ö�Þ8ÖeÜ·âjå.â.äDÙkÜ·àtñ ��Ùè¬Ø3ã�ÖeÞ»ÙkØ�Ø�Ý·Þ

Ø��:ä8Ö�ÚkÝ·â.Þ'ékë�&.ú�ç�Úkæ=Ø �=Ý·å.×aÖeß�ßQâ:á=ØHÜFÝ·Ù!á=Ø/�UÞ=Ø�áùÝ·Þ�ÚYØ�×kß�Ù�â��øÚYæ=Ø�äDÞ=Ý·å.×�Ö�ß ß�âtáDØ�Ümî8Ý·Þ�åjØ�Þ=Ø�×aÖeÜmçTÚkæ=Ø®õ/ÖeÚ��ü��må.×�Ö�ß ßQâ:á=Ø�Ü¡Ý·Ùá=Ø/�UÞ=Ø�á»Ý´Þ¶ÚkØ�×YßQÙâ��/ÚkæDØ�õ/ÖeÚ$� é�ü �¸ë�ú �òåj×�Öeß ß�â:á=Ø�Ümç(ÙkÝ·ßQÝ·Ü�Öe×®Úkâg�.Ø�Ü·Ý·Þ=Ø�!����Ø�×kãHØ�×Ùkß�â:â.ÚkæDÝ´ÞDå8ñ û)â/Ø�ÞDá*ÚYæ=Ø�×YØ�ã�ä=×YÙkÝ·â.ÞTç=ÚkæDØ�õ/Ö�Ú��!ä=Þ=Ý·å.×aÖe߸ßQâ:á=ØHÜ=Ý·Ù¬ÚaÖ�!.ØHÞ*ÚYâ��UØ�ÚYæ=Ø!ß*Ö��tÝ·ß®ä=ß Ü·Ý !.Ø�Ü·Ý·æ=â:â:áä=Þ=Ý·åj×�Öeß1ßQâ:á=Ø�Ümñ

�¡Ø�ãBÖeÜ·Ü�ÚYæ8ÖeÚqè¬Ø/ß�Ø�Þ:ÚkÝ·â.ÞDØ�áQÝ·Þ�÷:Ø�ã�ÚYÝ·â.Þ �=ñ �/ÚYæ8ÖeÚqÝ·Ú¡Ý´Ùqä=ÙkäUÖeÜ·Ü·àQÞ=Ø�ãHØ�ÙkÙaÖe×kà3ÚkâQÙYßQâ:â.ÚYæ*ü � è¡æDØ�Þ�ä=ÙYÝ´ÞDåÚkæDØ�ö!â:â:á��òû)ä=×YÝ·Þ=å�ØHÙkÚkÝ·ßÖeÚkØjç�Ð��wÎ � ç���âj×�ÚkæDâ.ÙkØ®ü � Úkæ8Ö�Ú�Ö�×kØ��jØ�×kàÜ·âeè/ñ(ô�âeè(Ø��.Ø�×Bç=Ý·Þ�õ/ÖeÚ$�/Ùkß�â:â.ÚkæDÝ´ÞDå�ÚYæ=Ý·ÙÝ·Ù�Þ=âjÚ!Ø�ÙkÙYØ�Þ:ÚkÝ�ÖeÜ �UØ�ã�ÖeäDÙkØQÚYæ=Ø ö!â:âtá �òû)ä=×YÝ´ÞDå�Ø�ÙYÚkÝ·ß*Ö�ÚkØ/Ý·Ù!â.ÞDÜ´à�ä=ÙkØHá ��âj×�ÙYß*ÖeÜ·ÜTã�â.ä=Þ:ÚYÙ � � ��çJÖ�Þ=á�ü��®Ý·Ùå.ØHÞ=Ø�×�Ö�Ü·Ü´à �òÖeÝ·×YÜ´à®æ=Ý·å.æ ��â.סÚYæ=Ø�ÙYØ��.ÖeÜ·ä=Ø�Ù¡â�� � ñ� #� � �>� & �f'� &(��� � � ����� "���0## Ý·ÚkÚYØ�Þ��mï¬ØHÜ´ÜDÙkßQâ:âjÚkæ=Ý·Þ=å®é�ï(Ø�Ü·Üòç:ê(Ü·Ø�Öe×YàtçjÖeÞ=á # Ý·ÚkÚYØ�Þ�çUë�ì.ìjó=î�#¶Ý´ÚYÚkØ�Þ ÖeÞDá ï¬Ø�Ü·Ümç=ëBì.ì=ëBú��ZèøÖ�Ù?á=Ø��jØ�Ü·â.ÛUØ�á ��âj×ÚkæDØ/Ú�Ö�Ù !â��?ÚkØ��tÚ!ã�âjßQÛ=×YØ�ÙkÙYÝ·â.Þ�çUÖeÞ=á�ãBÖeÞ �UØ/ã�âjÞ=ÙkÝ·á=Ø�×YØ�á�Úkâ �UØ�Ö�Þ�Ý·Þ=ÙkÚaÖeÞ=ã�ØÀâ�� �jØ�Ü·Ý´ÞDØ�!�� �ØH×kã�Ø�×!ÙYßQâ:â.ÚYæ��Ý·Þ=å8ñ mÞ�ÛUÖe×kÚYÝ·ã�ä=Ü�Öe×Bç Úkæ=ØQüUÚYæ��mâ.×káDØ�×/Ùkß�â:â.ÚkæDØ�á�ßQâ:á=ØHÜFÝ·Ù!á=Ø/�UÞ=Ø�áù×kØHã�ä=×kÙYÝ �.Ø�Ü·àùÖeÙ/Ö�Ü´Ý·Þ=ØBÖe×!Ý·ÞtÚYØ�×kÛUâ.Ü�Ö�ÚkÝ·â.Þ�UØ�Úmè¬ØHØ�Þ�ÚYæ=Ø�üUÚYæ��òâj×ká=ØH×�ß*Ö��:Ý´ß®ä=ß-Ü´Ý !jØ�Ü·Ý´æDâtâ:á ß�âtáDØ�Ü�ÖeÞ=áÚYæ=ØQé�ü�� ëBúmÚkæ �òâj×ká=Ø�×qÙkß�âtâjÚkæ=ØHáQßQâ:á=ØHÜ�ÖeÙ¡Ý·ÞØ��:ä8Ö�ÚkÝ·â.Þùékë �.úW�

*����(é-a o j a o mObo m����Ob ú ^ � � ���� �������*��Jé@a o j a o mObo m����Ob ú � éYë �� � � ���� �������

ú5*����¬é@a o j a o mDbo m���� i ú éYëU�:úû)â/ã�âjßQÛ=ä=ÚYØ¡Úkæ=ØqÛ8Öe×aÖeß�Ø�ÚkØ�×YÙ � � ���� �������

��âj× #¶Ý´ÚYÚkØ�Þ �òï(Ø�Ü·Ü8ÙYßQâ:â.ÚYæ=Ý·Þ=å8ç�è¬Ø¡è¡Ý·Ü·Ü8ÞDØ�Ø�áQÚYâ�äDÙkØ�ÚYæ=Ø!Þ:ä=ß��8ØH×?â��ä=Þ=Ý �:ä=Ø!è(â.×káDÙ¡Úkæ8Ö�Ú���â.Ü·Ü·âeè'Úkæ=Ø!æ=Ý·ÙkÚYâ.×Yà!a o mObo m����Ob ñ #ùØ!è¡Ý´Ü·ÜUè¡×kÝ·ÚkØ!ÚYæ=Ý·Ù �.ÖeÜ·ä=Ø�Ö�Ù�� bT� é-a o mDbo m����Ob�� ú�ç���âj×kß*Ö�Ü·Ü´àá=Ø/�UÞ=Ø�á�Ö�Ù � bT� é@a o mDbo m����Ob � ú ^ j � a o � � é-a o mDbo m����Ob a o úW� ó��lj éYë��júû¡æ=ØqÞ=â.ÚaÖeÚkÝ·âjÞ � bT� Ý´ÙZßQØ�Ö�ÞtÚZÚkâ/Ø��jâ !jØ�ÚkæDØ�Þ:ä=ß��UØ�×?â���è(â.×Yá=Ù(Úkæ8Ö�Ú?æ8Ö��.Øqâ.Þ=Ø¡âj׬ß�â.×YØ¡ã�â.ä=Þ:ÚYÙ�ç=ÖeÞDá Úkæ=Ø �Ý·Ù?ßQØBÖeÞ:Ú?ÚkâÀØ��.â�!.Ø�Ö ��×kØ�Ø��.Öe×YݾÖ��=ܷجÚYæ8ÖeÚ(Ý·Ù?ÙkäDßQßQØHá�â��jØ�×�ñ #ùØ�ã�Ö�Þ Úkæ=ØHÞ*ÖeÙYÙkÝ·å.Þ�Úkæ=ØqÛ8Öe×aÖeß�Ø�ÚkØ�×YÙ � � ���� ���������âj× # Ý·ÚkÚkØHÞ��òï(Ø�Ü·Ü Ùkß�â:â.ÚkæDÝ´ÞDå/Ùkä=ãaæ�ÚYæ8ÖeÚ��

ë �� � � ���� �������^ � bT� é-a o mObo m����Ob � ú�<bT�¡é@a o mDbo m����Ob�� ú � x ��� � é-a oo m����Ob ú

éYë��jú

� 36587�7�@4P��$=�@4K8K?=�AU:�:�7�9;58P;Q!G�@LC @TG�=�7�:�����! $ +#" 58P 7�9;@4=�@!G�@LC @TG�@TP �T@4=T[$&% 5 ��@TG�@TP�70P;:�7�J�7�58:�P�58=�<;=�@TXU58P 7�9;@:IG�58Q�58P;JIK?7�@ ��7"�*=�@TK8K >('�K8@4J�G���>?JIP;XU36587�7�@4P�>;V�)*)*+)% [���9;@!:�G�X;@TG-,!58P 7�9;@:IG�58Q�58P;JIK?7�@ ��7

�T:IG�G�@T=�FZ:�P;X;=�7�:R:I<;G��/.#VI>?7�9;@@T=��TJIFZ@F;G�:�H;J�H;58K8587 �10�2��4:�G�G�@4=�FO:�P;X;=�7�: V3.#) * � ���� �������>54�2��4:�G�G�@4=�FO:�P;X?=M7�:76 298 �*� !*# 2!*#�: 8�2<; %L>

J�P;X>=-2��4:�G�G�@T=�FZ:IP;X;=�7�: x * �@? � � !!$#�: 8�2 % [

ëU�

Page 15: Chen & Goodman - Peopleklein/cs294-5/chen_goodman.pdf · Úkâ!ü òåj× Ö ß ßQâ:á=Ø Ü·Ù ÖeÞDá/Ùkß âtâjÚkæ=Ý·Þ=åUç Ö Þ=á/ÙkäD× .ØHà/Úkæ=Ø(ßQâjÙkÚ

÷:ä �DÙkÚkÝ·ÚYä=ÚkÝ·Þ=åUç:è¬Ø!ã�Ö�Þ�×kØ�è¡×YÝ·ÚkØ!Ø��:ä8ÖeÚYÝ·â.ÞùékëW�tú¡ÖeÙ

* ��� é-a o j a o mObo m����Ob ú ^ �é@a oo m����Ob ú � �yb ��é-a o mObo m����Ob�� ú3*����(é-a o j a o mObo m���� i ú

x � � � é@a oo m����Ob ú � � b � é@a o mDbo m����Ob � ú éYë��jú

û)â/ßQâjÚkÝ �.ÖeÚYØ�# Ý·ÚkÚYØ�Þ��mï¬Ø�Ü·ÜUÙkß�âtâjÚkæ=Ý·Þ=åUçBè¬Ø¡ã�Ö�ÞQÝ·Þ:ÚkØ�×YÛ=×kØHÚ¬Ø��:ä8Ö�ÚkÝ·â.Þ�éYë �jú?ÖeÙ?ÙaÖBà:Ý´ÞDåV�Tè¡Ý´ÚYæ Û=×kâ��8Ö��DÝ´Ü·Ý·Úmà � � ���� �������

è¬Ø ÙYæ=â.äDÜ´áùäDÙkØQÚYæ=ØQæDÝ´åjæ=Ø�×��òâj×ká=Ø�×ÀßQâ:á=Ø�Ümç�Ö�Þ=áùè¡Ý·ÚkæùÛ=×Yâ �8Ö��=Ý·Ü´Ý·Úmàùë � � � ���� �������è(Ø Ùkæ=âjä=Ü·áùä=ÙkØ

ÚkæDØ�Ü·âeè¬Ø�×��òâj×ká=ØH×QßQâ:á=ØHÜòñ mÚ�ÙkØ�Ø�ß�ÙQ×YØ�ÖeÙYâ.Þ8Ö��=Ü·Ø�Úkæ8Ö�ÚQè(Ø�ÙkæDâ.ä=Ü·á'ä=ÙkØ�ÚkæDØ�æ=Ý·åjæ=Ø�×��mâ.×Yá=Ø�×�ßQâ:á=Ø�Ü¡Ý �/Úkæ=Øã�âj×k×kØHÙkÛUâ.Þ=á=Ý·Þ=å®ü��òåj×�Öeß-â:ã�ã�ä=×Y٬ݷÞ/ÚYæ=Ø¡Úk×aÖeÝ·Þ=Ý·Þ=å!á8ÖeÚaÖ=ç.Ö�Þ=á �8Öeã !/â�*Úkâ!ÚYæ=Ø¡Ü·âeè¬Ø�×��òâj×ká=ØH×?ßQâ:á=Ø�Üjâ.ÚYæ=Ø�×kè¡Ý·ÙYØ.ñû¡æ=Ø�ÞTç.è(Ø¡Ùkæ=âjä=Ü·á�ÚaÖ�!jØ¡Úkæ=Ø¡ÚYØ�×kß�ë��� � � ���� �������

Úkâ��8ØqÚkæ=Ø¡ÛD×kâ �UÖ��=Ý·Ü·Ý·Úmà�ÚYæ8ÖeÚ?Ö!è(â.×Yá�ÞDâ.Ú?â��=ÙkØ�×"�.Ø�áQÖ ��ÚkØH×?Úkæ=Øæ=Ý·ÙkÚYâ.×Yàwa o mDbo m����Ob Ý·ÞÚkæ=Ø®Úk×aÖeÝ·Þ=Ý·Þ=å á8Ö�Ú�Ö®â:ã�ã�äD×kÙ�Ö ��ÚkØ�×qÚkæ8Ö�Ú�æ=Ý·ÙYÚkâ.×Yàtñ(û)â Ø�ÙYÚkÝ·ß*Ö�ÚkØ/ÚYæ=Ø���×YØ��:ä=Ø�Þ=ã�à3â��¬ÚYæ=Ø�ÙkØÞ=â��jØ�Ü8è(â.×Yá=Ù�ç:Ý·ßÖeå.Ý·Þ=ØZÚk×�Ö��jØ�×kÙYÝ·Þ=å�ÚYæ=Ø!Úk×aÖeÝ·Þ=Ý·Þ=å!á8ÖeÚaÖ/Ý·Þ âj×ká=Ø�×�Ö�Þ=á ã�âjä=Þ:ÚkÝ·Þ=å®æ=âeè'ß*ÖeÞ:à/ÚYÝ·ßQØ�Ù?ÚYæ=Ø�è(â.×Yá��âjÜ´Ü·âeè¡Ý·Þ=å ÚYæ=Ø æ=Ý·ÙkÚYâ.×kà a o mObo m����Ob á=Ý��JØ�×YÙ���×Yâ.ß ÚYæ=ØQè(â.×Yá=Ù/Ý·ÞùÖeÜ·Ü)Ùkä=ãaæ2ÛD×kØ��:Ý·â.ä=ÙÀØ��.Ø�Þ:ÚYÙ�ñ�û¡æ=ØQÞ:ä=ß��UØ�×!â��ÙkäDã�æ3Ø��.Ø�Þ:ÚYÙ¡Ý´Ù¡ÙYÝ·ßQÛ=Ü·à �<bT�¬é@a o mDbo m����Ob*� úHç:Úkæ=Ø!Þ:ä=ß��UØ�×(â��?ä=Þ=Ý �:ä=Ø�è(â.×Yá=Ù¡ÚkæUÖeÚ���âjÜ´Ü·âeè'ÚkæDØ/æ=Ý·ÙkÚYâ.×kà�a o mDbo m����Ob ñ �:ä8Ö�ÚkÝ·â.Þ�ékë��jú(ã�ÖeÞ �UØ��:Ý·Ø�è¬ØHá�Ö�Ù�ÖeÞÖeÛ=Û=×Yâ��:Ý´ßÖeÚYÝ´âjÞ�â��FÚYæ=Ý·Ù¡Ý´Þ:ÚYä=Ý·ÚkÝ·â.Þ�ñû¡æ=ØQö!â:â:á��mûFäD×kÝ·Þ=å Ø�ÙYÚkÝ·ß*Ö�ÚkØ®Û=×kâ��:Ý·á=Ø�Ù/ÖeÞDâ.ÚkæDØ�×/ÛUØ�×kÙYÛ8Ø�ãHÚkÝ �.Ø�â.Þ�Úkæ=Ø Ø�ÙYÚkÝ·ß*Ö�ÚkÝ·â.Þâ��øÚYæ=Ø Û=×kâ��8Ö��DÝ´Ü·Ý·Úmà

â��?Þ=â��jØ�Ü�è(â.×Yá=Ù �sâ.Ü·Ü·âeè¡Ý´ÞDå�Ö®æ=Ý·ÙkÚYâ.×kà:ñ(û¡æ=Ø�ö!â:â:á��mû)ä=×kÝ·Þ=å®Ø�ÙkÚYÝ·ß*ÖeÚYØ!Û=×kØ�áDÝ´ãHÚkÙ!Úkæ8Ö�Ú�ÚYæ=Ø/Û=×Yâ �8Ö��=Ý·Ü´Ý·Úmà â��ZÖ�ÞØ��jØ�Þ:Ú�Þ=âjÚ�ÙYØ�Ø�Þ'Ý·ÞùÚkæ=Ø�Úk×aÖeÝ·Þ=Ý·Þ=å�á8Ö�Ú�Öùé ä=ÙkÝ·Þ=å3Úkæ=ØÞ=âjÚ�ÖeÚYÝ·â.Þ ��×kâjß ÷�Ø�ã�ÚkÝ·âjÞ �=ñ �jú!Ý·Ù � �" ç)Úkæ=Ø ��×�Ö�ã�ÚkÝ·â.Þ�â��ã�âjä=Þ:ÚkÙ(á=Ø��.âjÚkØ�á ÚYâ/Ý·ÚkØ�ß�Ù)Úkæ8Ö�Ú?â:ã�ã�ä=×(Ø��=Öeã�ÚYÜ·à�âjÞ=ã�Ø.ñ)û)×�Ö�Þ=ÙkÜ�Ö�ÚkÝ·Þ=å!Úkæ=Ý·Ù��.Ö�Ü·ä=جݷÞ:Úkâ!ÚYæ=Ø�Û=×YØ��:Ý·â.ä=Ù?ÞDâ.Ú�Ö�ÚkÝ·â.ÞTçè(Ø�åjØ�Ú �yb«é@a o mDbo m����Ob*� úx � � � é-a oo m����Ob úè¡æ=Ø�×YØ �yb«é@a o mDbo m����Ob*� úd^ j � a o � � é-a o mObo m����Ob a o ú ^ ë��7j �:ä8Ö�ÚkÝ·â.Þ2éYë��jú(ã�ÖeÞ �8ØÀÙkØ�Ø�Þ2Ö�Ù�Ö�Þ�ÖeÛ=ÛD×kâ��:Ý·ß*ÖeÚYÝ·â.Þ Úkâ�Úkæ=Ø ö!â:â:á��mûFäD×kÝ·Þ=å®Ø�ÙkÚYÝ´ßÖeÚYØ.çUè¡æ=Ø�×kØ®ÚkæDØ�Þ:ä=ß��UØ�×â��)è¬âj×ká=Ù¡è¡Ý·ÚYæ Ì��?Ô·ÐaÌeÕ��?âjÞ=Ø!ã�â.ä=Þ:Ú¡Ý·Ù¡ä=ÙYØ�á�Ý·ÞQÛ=Ü�Ö�ã�Ø!â��?Úkæ=Ø!Þ:ä=ß��UØ�×(â��?è¬âj×ká=Ù¡è¡Ý·ÚYæ�ÐN.Ì�� � Ô � âjÞ=Ø!ã�â.äDÞtÚBñ

�:ÚkØ�ÞDÙkÝ �.Ø�ã�â.ß�Û8Öe×YÝ·Ùkâ.ÞDÙ �UØ�Úmè(Ø�Ø�Þ # Ý·ÚkÚkØHÞ��òï(Ø�Ü·Ü�ÙYßQâ:â.ÚYæ=Ý·Þ=åùÖeÞ=á'â.ÚYæ=Ø�×�ÙkßQâ:âjÚkæ=Ý·Þ=å�ÚkØ�ãaæ=ÞDÝ�:ä=ØHÙ���âj×ÚkØ��tÚ!ã�âjßQÛ=×YØ�ÙkÙYÝ·â.Þ�Ö�×kØ/Û=×YØ�ÙkØHÞtÚYØ�á2Ý·Þùé�ï(Ø�Ü·Ümç ê(Ü´ØBÖe×kà:ç ÖeÞ=á # Ý·ÚkÚkØHÞ�ç)ë�ì.ìjó.ú¡Ö�Þ=á2é #¶Ý´ÚYÚkØ�Þ�ÖeÞ=á�ï(Ø�Ü·Ümç)ë�ì.ìDë�úHîæ=âeè(Ø��.ØH×�çeã�âjßQÛ8Ö�×kÝ·ÙkâjÞ=Ù è¡Ý·Úkæ/ÙYßQâ:â.ÚYæ=Ý·Þ=å(ÚkØ�ãaæ=Þ=Ý �:ä=Ø�ÙZä=ÙkØ�á®Ý·Þ/Ü�ÖeÞ=åjä8ÖeåjØ)ßQâ:á=Ø�Ü·Ý·Þ=å¡Öe×kØ(Þ=âjÚ�×kØHÛ8âj×kÚkØHá�ñ)û)Ø��:Úã�âjßQÛ=×YØ�ÙkÙYÝ´âjÞðÖ�Û=Û=Ü·Ý·ã�ÖeÚYÝ·â.Þ=ÙTæ8Ö��.Ø(×kØ��:ä=Ý·×YØ�ßQØ�Þ:ÚYÙ�çeÙYä=ãaæQÖeÙ)Úkæ=Ø�Ö��=Ý·Ü·Ý´ÚmàqÚkâ��=ä=Ý·Ü·á®ßQâ:á=Ø�Ü·Ù �jØ�×kàÀØ �Qã�Ý·Ø�Þ:ÚkÜ·à�Ö�Þ=áÝ·Þ=ã�×YØ�ßQØ�Þ:ÚaÖeÜ·Ü·àtçeÚYæ8ÖeÚ¡è(Ø/á=â®Þ=âjÚ¡ã�â.Þ=ÙYÝ·á=Ø�×�Ý·Þ�Úkæ=Ý·Ù¡è(â.× ! ñ

� #�� ����*>�-����� &��N�*>���-��-� ��0#���DÙkâ.Ü·ä=ÚYØ!á=Ý·Ùkã�âjä=Þ:ÚkÝ·Þ=å�éh�qØ�à:ç7)ÙkÙYØ�Þ�ç ÖeÞ=áõ!Þ=Ø�ÙYØ�×�ç)ëBì.ì �:ú�çjÜ·Ý!jØ �jØ�Ü·Ý´ÞDØ�!�� �ØH×kã�Ø�×!ÙYßQâ:â.ÚYæ=Ý·Þ=å8çjÝ·Þ �jâ.Ü �.ØHÙ?Úkæ=ØÝ·Þ:ÚkØ�×YÛ8âjܾÖ�ÚkÝ·â.Þ�â��)æ=Ý·å.æ=Ø�×��¬ÖeÞ=áÜ·âeè¬ØH×��mâ.×káDØ�׬ß�â:á=Ø�Ü·Ù�ñTô�âeè(Ø��.ØH×�ç=Ý·Þ=ÙYÚkØ�Ö�áâ��Fß äDÜ´ÚYÝ·Û=Ü·àtÝ·Þ=åqÚkæ=Ø!æ=Ý·åjæ=Ø�×��mâ.×Yá=Ø�×ß*Ö��:Ý´ß®ä=ß �mÜwÝ !.ØHܴݲæ=â:â:áQá=Ý·ÙkÚY×kÝ �=ä=ÚYÝ·â.Þ �:à�Ö �òÖeã�ÚYâ.× � � ���� �������

ç Úkæ=Ø®æ=Ý·å.æDØ�×��mâ.×Yá=Ø�×!á=Ý·ÙkÚY×kÝ �=ä=ÚYÝ´âjÞ�Ý·Ù!ã�×kØ�Ö�ÚkØ�á��:àÙkä��=Úk×aÖeã�ÚYÝ´ÞDåQÖ � �:Ø�áá=Ý·Ùkã�âjä=Þ:Ú�����ë���×Yâ.ß Ø�Ö�ãaæ*ÞDâ.Þ7��ØH×kâQãHâ.ä=Þ:Ú�ñ)û¡æUÖeÚ¡Ý·Ù�ç:Ý·Þ=ÙYÚkØ�Ö�á�â��)Ø��:ä8ÖeÚYÝ´âjÞ�éYë �.úW�

* � ��������� é@a o j a o mObo m����Ob ú(^ � � ���� �������*�� é-a o j a o mDbo m����Ob ú �»éYë �� � � ���� �������

ú5* � ��������� é@a o j a o mObo m���� i úè(Ø�æUÖ��.Ø

* ��� é-a o j a o mDbo m����Ob ú ^ß*Ö�� � � é@a oo m����Ob ú���� ,aó��x � � � é-a oo m����Ob ú

�»ékë �� � � ���� �������ú\* ��� é-a o j a o mDbo m���� i ú éYë�íjú

�

Page 16: Chen & Goodman - Peopleklein/cs294-5/chen_goodman.pdf · Úkâ!ü òåj× Ö ß ßQâ:á=Ø Ü·Ù ÖeÞDá/Ùkß âtâjÚkæ=Ý·Þ=åUç Ö Þ=á/ÙkäD× .ØHà/Úkæ=Ø(ßQâjÙkÚ

û)â�ßÖ�!jØ�ÚkæDÝ´Ù(á=Ý·ÙkÚY×kÝ �=ä=ÚYÝ·â.ÞÙkä=ß�Úkâë.çDè¬Ø!ÚaÖ�!.Ø

ë � � � ���� �������^ �x � � � é-a oo m����Ob ú

� bT� é@a o mDbo m����Ob<� ú éYë�ìjú

è¡æ=Ø�×YØ �<bT�¡é@a o mDbo m����Ob�� ú(Ý·Ù¬á=ØZ�8Þ=Ø�á�Ö�Ù�Ý·ÞQØ��täUÖeÚkÝ·âjÞ éYë��jú¬Ö�Þ=áè¡æ=Ø�×kØÀè¬Ø/ÖeÙYÙkä=ß�Ø/ó � ����ëjñd��Ø�à:çV¦ÙkÙkØHÞ�çÖeÞDá õ�ÞDØ�ÙkØ�×/éYë�ìjì �tú¦Ùkä=åjå.Ø�ÙYÚ¬ÙYØ�ÚkÚYÝ´ÞDå �-ÚkæD×kâ.äDå.æQáDØ�Ü·Ø�ÚkØ�á�Ø�ÙkÚYÝ·ß*ÖeÚYÝ·â.Þ®â.Þ ÚkæDØ�Úk×aÖeÝ·Þ=Ý·Þ=å!á8Ö�Ú�Ö=ñTû¡æ=Ø�àQÖ�×k×YÝ�jØÖeÚ¡ÚYæ=Ø!Ø�ÙkÚYÝ·ß*ÖeÚYØ

� ^ ü büOb�� �.ü i é �.ójú

è¡æ=Ø�×YØðüOb/ÖeÞDá�ü i Öe×YØ�ÚYæ=Ø/ÚYâ.Ú�Ö�Ü)ÞtäDß��8Ø�סâ��øü��må.×�Ö�ßQÙ(è¡Ý·Úkæ�Ø��=Ö�ã�ÚkÜ·àâ.Þ=Ø®ÖeÞ=á�Úmè(âQãHâ.ä=Þ:ÚkÙBçU×kØ�ÙYÛ8Ø�ãHÚkÝ �.Ø�Ü·à:çÝ·ÞQÚYæ=Ø/Úk×aÖeÝ·Þ=Ý·Þ=å®á8ÖeÚaÖ=ç:è¡æ=ØH×kØ�ü3Ý·Ù¬ÚYæ=Ø/â.×Yá=Ø�×qâ��FÚYæ=Ø!æ=Ý·å.æ=ØH×��mâ.×káDØ�×�ß�âtáDØ�Ü �UØ�Ý·Þ=å Ý·Þ:ÚkØ�×YÛ8âjÜ�ÖeÚkØHá�ñ

#ùØ�ã�Ö�Þ�ß�â.ÚkÝ �.Ö�ÚkØ*Ö��=ÙkâjÜ·ä=ÚkØ�áDÝ´ÙYã�â.äDÞtÚYÝ·Þ=å2ä=ÙYÝ·Þ=å2ÚYæ=Ø ö�âtâ:á��mû)ä=×kÝ·Þ=åùØHÙkÚkÝ·ßÖeÚkØjñ ê(æ:ä=×Yã�æ ÖeÞDá�ö/ÖeÜ·ØékëBì.ìDë�ú(ÙkæDâeè�Ø�ß�Û=Ý·×kÝ·ã�Ö�Ü´Ü·à®Úkæ8Ö�Ú¡Úkæ=Ø®Ö��.Ø�×aÖeå.Ø/ö!â:â:á��mû)ä=×kÝ·Þ=å®á=Ý·Ùkã�âjä=Þ:Ú�é � � ��� ú¡ÖeÙkÙYâ:ã�Ý�ÖeÚkØHá�è¡Ý·Úkæ�ü��må.×aÖeßQÙè¡Ý·ÚkæÜ�Öe×Yå.Ø�×qã�â.ä=Þ:ÚYÙ�é � � &jú¡Ý·Ù¡Ü�Öe×kåjØ�Ü·àQã�âjÞ=ÙkÚaÖeÞ:Ú�â��jØ�× � ñ��=äD×kÚkæDØ�×!Ùkä=Û=ÛUâ.×YÚkÝ·Þ=å�Ø��:Ý´áDØ�Þ=ã�Ø/Ý·ÙqÛ=×kØ�ÙYØ�Þ:ÚkØ�á�Ý·Þ÷:Ø�ãHÚkÝ·â.Þ �=ñ �=ñ·ëjñ �=äD×kÚkæDØ�×kß�â.×kØjç Úkæ=Ø®ÙkãBÖeÜ·Ý·Þ=å��òÖ�ã�Úkâj×!Ý´Þ3Ø��:ä8ÖeÚYÝ´âjÞ2ékëBì.ú�Ý´Ù!ÙYÝ´ß�ݷܾÖ�׬ÚYâQÚYæ=ØQÖeÞ8Ö�Ü·â.å.âjä=Ù��òÖ�ã�Úkâj×��âj×�# Ý·ÚkÚYØ�Þ��mï¬ØHÜ´Ü)ÙYßQâ:â.ÚYæ=Ý·Þ=å�åjÝ �.Ø�Þ�Ý·Þ�Ø��täUÖeÚkÝ·âjÞ2ékë��.ú�Ö�Ù�á=ØHÙkã�×YÝ�UØ�áùÝ·Þ�÷:ØHã�ÚkÝ·â.Þ �=ñ �Dç8ÖeÞDá�ã�ÖeÞ �UØ �:Ý·Ø�è(Ø�áÖeÙ�Ö�Û=Û=×Yâ��tÝ·ßÖeÚkÝ·Þ=å!ÚYæ=Ø!Ù�Öeß�Ø��.Ö�Ü´äDØ.ç:Úkæ=ØÀÛ=×kâ��8Ö��=Ý·Ü·Ý·Úmà�â��¦Ö®Þ=â��jØ�Ü è(â.×ká ��âjÜ·Ü´âeè¡Ý·Þ=å/Ö®æ=Ý·ÙYÚkâ.×Yàtñ

� #�� � ��& *k& ��'��j& ��� � ����� "���0#õ!Þ=Ø�ÙYØ�×*Ö�Þ=á+��Ø�à»ékë�ìjì��jú!æ8Ö��.ØÝ·Þ:Úk×YâtáDä=ã�Ø�á ÖeÞ�Ø��:ÚkØ�ÞDÙkÝ·â.Þ'â��/Ö��=ÙYâ.Ü·ä=ÚYØ*áDÝ´ÙYã�â.äDÞtÚYÝ·Þ=å�è¡æDØ�×kØÚkæDØ*Ü·âeè(Ø�×��â.×Yá=Ø�×!á=Ý·ÙkÚY×kÝ �=ä=ÚYÝ·â.Þ�ÚYæ8ÖeÚqâ.Þ=Ø®ã�â.ß��DÝ´ÞDØ�Ù¡è¡Ý·Úkæ�ÖMæ=Ý·å.æ=Ø�×��òâj×ká=ØH×�áDÝ´ÙYÚk×YÝ�Dä=ÚkÝ·â.Þ3Ý´Ù��=ä=Ý·Ü·Ú�Ý·Þ�ÖMÞ=â��.Ø�ÜTß*Ö�Þ=Þ=Ø�×Bñ mÞ�Û=×kØ��:Ý·â.äDÙ�ÖeÜ·å.âj×kÝ·ÚkæDßQÙ�çDÚkæ=Ø Ü·âeè(Ø�×��mâ.×Yá=Ø�×/áDÝ´ÙYÚk×YÝ�Dä=ÚkÝ·â.Þ3Ý´ÙÀå.Ø�Þ=ØH×�ÖeÜ·Ü·à�ÚaÖ�!.ØHÞ�ÚYâ �UØQÖ�Ùkß�âtâjÚkæ=ØHá �jØ�×kÙYÝ´âjÞâ��®Úkæ=Ø�Ü·âeè¬Ø�×��òâj×ká=ØH×*ßÖ��:Ý·ß�äDß%Ü·Ý!jØ�Ü·Ý·æ=â:âtá�á=Ý·ÙkÚY×kÝ �=ä=ÚYÝ´âjÞ�ñ¸ô�âeè(Ø��jØ�×�ç!Ö�Ü´âeè(Ø�×��òâj×ká=Ø�×á=Ý·ÙYÚk×kÝ �=äDÚkÝ·â.Þ Ý·ÙÖÙkÝ·åjÞ=Ý��8ã�ÖeÞ:Ú��mÖeã�ÚYâ.×/Ý·Þ�Úkæ=Ø�ã�â.ß��=Ý·Þ=ØHá�ß�âtáDØ�Ü)â.Þ=Ü·à�è¡æ=ØHÞ���Ø�è¸âj×/Þ=â�ã�âjä=Þ:ÚkÙ Öe×YØ Û=×kØ�ÙYØ�Þ:Ú Ý·Þ�ÚYæ=ØQæ=Ý·åjæ=Ø�×��â.×Yá=Ø�×qá=Ý·ÙkÚk×YÝ �=ä=ÚkÝ·âjÞ�ñFê(âjÞ=ÙkØ��täDØ�Þ:ÚkÜ·àtçDÚkæ=ØHàQÙkæDâ.ä=Ü·á �8Ø!âjÛ=ÚkÝ·ßQÝ���ØHáQÚkâ®ÛUØ�×���âj×kß�è¬ØHÜ´ÜTÝ·ÞQÚkæDØ�ÙkØ/ÙYÝ·Úkä8Ö�ÚkÝ·â.Þ=ÙBñû)â�å.Ý �.ØQÖ�ã�â.Þ=ãH×kØ�ÚYØ*Ø���Ö�ßQÛ=Ü·Ø.ç�ã�â.Þ=ÙYÝ·á=Ø�×��=ä=Ý·Ü·á=Ý·Þ=å�Ö �=Ý·åj×�Öeß ßQâ:á=Ø�ÜZâ.Þùá8Ö�Ú�Öè¡æ=ØH×kØQÚYæ=Ø�×YØ*Ø��tÝ·ÙYÚkÙ Ö

è(â.×káÚYæ8ÖeÚqÝ´Ù �jØ�×kàã�âjßQß�â.Þ�çjÙ�ÖBà�� L5M5ED?AB-S�?58Zç=ÚYæ8ÖeÚqâtãHã�ä=×kÙ!âjÞ=Ü·àQÖ���ÚYØ�×�Ö®ÙYÝ´ÞDå.Ü·Ø/è(â.×káTç=Ù�ÖBà�.7M5E?ñ�÷:Ý·Þ=ã�Ø� é�� L5M5ED?AB-S�?58Tú?Ý·Ù?æDÝ´åjæ�çjÚkæ=Ø!ä=Þ=Ý·åj×�Öeß-Û=×kâ��8Ö��DÝ´Ü·Ý·Úmà *Té�� L5M5ED?AB-S�?58�úZè¡Ý·Ü´Ü��8Ø!æ=Ý·å.æQÖ�Þ=áQÖeÞÖeÜ·å.âj×kÝ·ÚkæDß ÙkäDã�æÖeÙ¡Ö��DÙkâ.Ü·ä=ÚYØ!á=Ý·Ùkã�âjä=Þ:ÚkÝ·Þ=å®è¡Ý´Ü·Ü8Ö�ÙkÙYÝ´åjÞ*ÖÀ×kØ�Ü�Ö�ÚkÝ �.Ø�Ü·à æ=Ý·åjæQÛ=×Yâ �8Ö��=Ý·Ü´Ý·Úmà/ÚYâ�ÚYæ=Ø!è¬âj×ká�� L5M5ED?AB-S�?58â:ã�ã�ä=×Y×kÝ·Þ=åÖ��sÚkØ�× Þ=â��jØ�Ü��DÝ´åj×�Ö�ß%æ=Ý·ÙkÚYâ.×kÝ·Ø�ÙBñ ôqâeè¬Ø��jØ�×�ç�Ý´Þ:ÚYä=Ý·ÚkÝ �.Ø�Ü·à�Úkæ=Ý·Ù Û=×Yâ �8Ö��=Ý·Ü·Ý´ÚmàùÙYæ=â.äDÜ´á Í=Ò�� �8Ø�æDÝ´åjæ2ÙYÝ´ÞDã�Ø�Ý·ÞÚkæDØ Úk×�Ö�Ý·Þ=Ý·Þ=åQá8Ö�Ú�Ö�ÚkæDØ è¬âj×ká� L5M5ED?AB-S�?58 ��âjÜ·Ü´âeè¡Ùqâ.Þ=Ü·à�Ö�ÙYÝ´ÞDå.Ü·Ø�æDÝ´ÙYÚkâj×kà:ñ�û¡æUÖeÚ!Ý·Ù�çTÛ8Ø�×Yæ8ÖeÛDÙ/Úkæ=Ø è(â.×Yá� L5M5ED?AB-S�?58'ÙkæDâ.ä=Ü·áù×kØHã�Ø�Ý �.Ø�ÖÜ·âeè äDÞ=Ý·å.×�Ö�ß Û=×kâ��8Ö��=Ý·Ü·Ý·Úmà �8Ø�ãBÖeä=ÙYØ*ÚYæ=ØQâjÞ=Ü·à�ÚYÝ·ßQØ®Úkæ=Ø�è¬âj×káùâ:ã�ã�ä=×YÙ Ý·Ùè¡æ=Ø�ÞÚYæ=Ø/Ü�ÖeÙYÚ¡è¬âj×káQÝ·Ù .7M5E?çUÝ·ÞQè¡æ=Ý·ãaæã�ÖeÙYØ/ÚkæDØ �DÝ´åj×�Ö�ß Û=×kâ��8Ö��DÝ´Ü·Ý·Úmà®ßQâ:á=Ø�Ü·Ù(Ý´ÚYÙ¡Û=×kâ��8Ö��DÝ´Ü·Ý·Úmà®è¬Ø�Ü·Ümñ

�:ÚkØ�ÞDá=Ý·Þ=åQÚYæ=Ý·Ù�Ü·Ý·Þ=Ø!â��?×kØ�Ö�ÙkâjÞ=Ý·Þ=å8çDÛ8Ø�×Yæ8ÖeÛDÙ�ÚYæ=Ø/ä=ÞDÝ´åj×�Ö�ß Û=×kâ��8Ö��DÝ´Ü·Ý·Úmà ä=ÙYØ�á�ÙYæ=â.äDÜ´áÞ=âjÚ��UØ/Û=×Yâ.ÛUâ.×��ÚkÝ·âjÞ8ÖeÜ=ÚYâ/ÚkæDØ�Þ:ä=ß��UØ�×?â�� â:ã�ã�ä=×Y×kØ�ÞDã�Ø�Ù!â��FÖ!è(â.×Yá�ç��=ä=Ú?Ý·Þ=ÙYÚkØ�Ö�áQÚkâÀÚkæ=ØqÞtäDß��8Ø�×)â���á=Ý��JØ�×YØ�Þ:Ú¬è(â.×Yá=Ù(Úkæ8Ö�Ú?Ý·Ú��âjÜ´Ü·âeè¡ÙBñ û)â�åjÝ�jØ�Ö�ÞQÝ·Þ:Úkä=Ý·ÚkÝ �jØ�Öe×Yå.ä=ß�Ø�Þ:Ú�çjÝ·ß*ÖeåjÝ·Þ=جÚY×�Ö��jØ�×kÙYÝ´ÞDå Úkæ=Ø!Úk×aÖeÝ·Þ=Ý·Þ=å/áUÖeÚ�֮ݷÞ�â.×káDØ�×�ÖeÞ=á �=ä=Ý·Ü·á=Ý·Þ=åÖ��DÝ´åj×�Ö�ß�ßQâ:á=Ø�ÜTâ.Þ�ÚYæ=Ø Û=×kØHã�Ø�á=Ý·Þ=åá8Ö�Ú�Ö�Úkâ�Û=×kØ�áDÝ´ãHÚ/Úkæ=Ø®ã�ä=×Y×kØ�Þ:Ú/è(â.×Yá�ñ!û¡æ=Ø�ÞTç è¡æ=Ø�Þ=Ø��.Ø�×/ÚYæ=Ø®ã�ä=×k×YØ�Þ:Ú�=Ý·å.×aÖeß á=â:Ø�Ù®Þ=â.Ú®â:ã�ã�ä=× Ý·Þ�Úkæ=Ø�Û=×kØ�ãHØ�á=Ý·Þ=åùá8Ö�Ú�Ö=ç)ÚYæ=ØQäDÞ=Ý·å.×�Ö�ß Û=×kâ��8Ö��=Ý·Ü·Ý·Úmà�è¡Ý·Ü·Ü��UØ*Ö3Ü�Öe×kåjØ��òÖ�ã�Úkâj×/Ý·ÞÚkæDØ�ãHä=×k×YØ�Þ:Ú �DÝ´åj×�Ö�ß ÛD×kâ �UÖ��=Ý·Ü·Ý·Úmàtñ �?è(Ø/ÖeÙkÙYÝ·å.Þ�Ö/ãHâ.ä=Þ:Ú¡Úkâ ÚYæ=Ø!ã�â.×Y×kØ�ÙYÛ8âjÞ=á=Ý·Þ=å�ä=Þ=Ý·å.×aÖeß è¡æ=ØHÞ=Ø��.ØH×�ÙkäDã�æÖeÞ3Ø��.Ø�Þ:Ú!â:ã�ã�ä=×YÙ�ç ÚYæ=Ø�Þ�Úkæ=ØÀÞtäDß��8Ø�×qâ��?ã�âjä=Þ:ÚkÙ/ÖeÙYÙkÝ·å.Þ=ØHá�Úkâ�Ø�Öeãaæ�ä=Þ=Ý·å.×aÖeß�è¡Ý´Ü·Ü ÙYÝ´ß�Û=Ü·à��8Ø®ÚkæDØ�Þ:ä=ß��UØ�×â��?á=Ý�� Ø�×kØHÞtÚ!è(â.×Yá=Ù!Úkæ8Ö�Ú�Ý·Ú���â.Ü·Ü·âeè¡Ù�ñ� mÞ �mÖeã�ÚBç8Ý·Þõ!Þ=Ø�ÙYØ�×�����Ø�àùÙYßQâ:â.ÚYæ=Ý·Þ=å®Úkæ=Ø/äDÞ=Ý·å.×�Ö�ß ÛD×kâ �UÖ��=Ý·Ü·Ý·ÚmàQÝ·Þ�Ö�=Ý·å.×aÖeß�ß�âtáDØ�Ü)Ý´Ù!ã�Ö�Ü·ã�ä=Ü�ÖeÚYØ�áùÝ·Þ�ÚYæ=Ý·Ù�ßÖeÞ=ÞDØ�×�îTæ=âeè(Ø��.Ø�×Bç ÚkæDÝ´ÙÀã�ÖeÜ·ã�ä=Ü�Ö�ÚkÝ·â.Þ�Ý·Ù!ßQâjÚkÝ �.ÖeÚYØ�á�Ý·ÞùÖeÞ�Ø�Þ:ÚkÝ·×kØ�Ü·àá=Ý�� Ø�×kØ�Þ:Úqß*ÖeÞDÞ=Ø�×(Ý´Þ�Úkæ=ØÀâ.×kÝ·åjÝ´ÞUÖeÜUÛ8ÖeÛUØ�×�ñû¡æ=Ø/ß�â.ÚkÝ �.Ö�ÚkÝ·â.Þ åjÝ�jØ�ÞÝ·Þ*ÚYæ=Ø/âj×kÝ·å.Ý·Þ8Ö�Ü ÚkØ��:Ú�Ý·ÙqÚkæ8Ö�Ú¡è¬Ø/ÙYæ=â.äDÜ´áÙYØ�Ü·Ø�ã�Ú!Úkæ=خܷâeè¬ØH×��mâ.×káDØ�סá=Ý·ÙkÚY×kÝ �=ä=ÚYÝ´âjÞ

ÙkäDã�æ3Úkæ8Ö�Ú¡Úkæ=Ø/ßÖe×Yå.Ý·Þ8ÖeÜ·Ù?â��?Úkæ=Ø/æDÝ´åjæ=Ø�×��òâj×ká=Ø�סÙYßQâ:â.ÚYæ=Ø�áá=Ý·ÙkÚY×kÝ �=ä=ÚYÝ·â.ÞÙkæ=âjä=Ü·áß*ÖeÚYãaæQÚkæDØ/ß*Ö�×kå.Ý·Þ8Ö�Ü·Ù?â��ÚkæDØ¡Úk×�Ö�Ý·Þ=Ý·Þ=å�á8Ö�Ú�ÖDñ �Dâ.×)Ø��=Öeß�Û=Ü·Ø.ç���â.×(Ö��DÝ´åj×�Ö�ß ßQâ:á=Ø�Ü:è(جè(â.ä=Ü·á®Ü·Ý!jجÚYâ!ÙkØ�Ü·Ø�ã�Ú¡ÖqÙkß�âtâjÚkæ=ØHá/á=Ý·ÙkÚY×kÝ �=ä=ÚYÝ´âjÞ

�

Page 17: Chen & Goodman - Peopleklein/cs294-5/chen_goodman.pdf · Úkâ!ü òåj× Ö ß ßQâ:á=Ø Ü·Ù ÖeÞDá/Ùkß âtâjÚkæ=Ý·Þ=åUç Ö Þ=á/ÙkäD× .ØHà/Úkæ=Ø(ßQâjÙkÚ

* ��� Úkæ8Ö�Ú¡Ù�Ö�ÚkÝ·Ù��8ØHÙ�ÚkæDØ��sâ.Ü·Ü·âeè¡Ý´ÞDå�ãHâ.Þ=ÙYÚk×�Ö�Ý·ÞtÚqâ.Þ�ä=Þ=Ý·å.×aÖeß ßÖe×kåjÝ·Þ8ÖeÜ·Ù ��â.×�Ö�Ü·ÜDa o �����

���* ��� é@a o mDb a o ú ^ � é@a o úx �� � é@a o ú

é �=ëBú

û¡æ=Ø!Ü·Ø ��Ú��òæ8Ö�Þ=áÙkÝ·á=Ø!â��)Úkæ=Ý·Ù¡Ø��:ä8Ö�ÚkÝ·â.ÞÝ·Ù(Úkæ=Ø/äDÞ=Ý·å.×�Ö�ß ß*Ö�×kåjÝ´ÞUÖeÜ���âj× a o â��FÚYæ=Ø!Ùkß�âtâjÚkæ=ØHá �=Ý·å.×aÖeß áDÝ´ÙYÚk×YÝ ��=ä=ÚYÝ·â.Þ�* ��� ç8ÖeÞDáQÚkæDØ/×kÝ·å.æ:Ú��òæ8Ö�Þ=áQÙYÝ·á=Ø!Ý´Ù¡ÚYæ=Ø/ä=ÞDÝ´åj×�Ö�ß �s×kØ��:ä=Ø�ÞDã�à�â�� a o ��â.ä=ÞDá*Ý·Þ�Úkæ=Ø/ÚY×�Ö�Ý´ÞDÝ´ÞDå/á8ÖeÚaÖ=ñô�Ø�×YØ.ç=è(Ø¡Û=×YØ�ÙkØ�Þ:Ú�Öqá=Ý�� Ø�×kØ�Þ:Ú¡á=ØH×kÝ �.ÖeÚYÝ´âjÞ�â��JÚYæ=Ø�×YØ�ÙkäDÜ´ÚYÝ·Þ=å/á=Ý·ÙkÚY×kÝ �=ä=ÚYÝ·â.Þ ÚkæUÖeÞ Ý·Ù?Û=×YØ�ÙkØ�Þ:ÚYØ�á �tà®õ!Þ=Ø�ÙYØ�×ÖeÞDá!�qØ�à�éYë�ìjì��.úHñ #ùØ/Ö�ÙkÙkäDßQØ�ÚYæ8ÖeÚ¡ÚYæ=Ø/ß�âtáDØ�Ü8æUÖeÙ¡ÚkæDØ���â.×Yß å.Ý �jØ�ÞQÝ·ÞØ��:ä8ÖeÚYÝ·â.Þ�éYë�íjú* ��� é@a o j a o mObo m����Ob ú ^ ßÖ�� � � é-a oo m����Ob ú���� ,�ó��x �� � é@a oo m����Ob ú

� �x �� � é@a oo m����Ob ú

� bT� é@a o mDbo m����Ob � úA* ��� é-a o j a o mDbo m���� i úé � �jú

ÖeÙ¡âjÛ=ÛUâ.ÙkØHá*ÚYâ Úkæ=Ø ��â.×Yß ä=ÙkØHá�Ý·ÞQÚkæDØ/â.×YÝ´åjÝ·Þ8ÖeÜUÛ8ÖeÛUØ�×

* ��� é@a o j a o mObo m����Ob ú(^ �� ��� ��� � � � �� �������� m ��� v��

x � � � � � �� �������� Ý � � é-a oo m����Ob úW� ó� é-a o mObo m����Ob ú3* ��� é-a o j a o mObo m���� i ú Ý � � é-a oo m����Ob úd^�ó

è¡æ=Ø�×YØ � é-a o mObo m����Ob ú�Ý´Ùqãaæ=â.ÙYØ�Þ�ÚYâQßÖ�!.ØqÚkæ=ØÀá=Ý·ÙkÚk×YÝ �=ä=ÚkÝ·âjÞ�Ùkä=ß�ÚYâ�ëjñ¬û¡æUÖeÚ�Ý·ÙBç8è(Ø/Ý·Þ:ÚkØ�×YÛ8âjÜ�ÖeÚkØÀÚkæ=Ø/Ü·âeè(Ø�×��â.×Yá=Ø�×/áDÝ´ÙYÚk×YÝ�Dä=ÚkÝ·â.Þ�è¡Ý·ÚkæùÖeÜ·Ü)è¬âj×ká=ÙBç�ÞDâ.Ú��aä=ÙYÚ�è¡Ý·ÚYæ�è(â.×Yá=Ù/ÚkæUÖeÚ!æ8Ö��.Ø<��Ø�×Yâ�ãHâ.ä=Þ:ÚkÙ!Ý·Þ�Úkæ=Ø æ=Ý·åjæ=Ø�×��mâ.×Yá=Ø�×á=Ý·ÙkÚY×kÝ �=ä=ÚYÝ·â.Þ�ñé��qÙkÝ·Þ=å�ÚYæ=Ø ÚkØH×kßQÝ·Þ=âjÜ·â.å.à�Úkâ �UØQá=Ø/�UÞ=Ø�áùÝ·Þ ÷�Ø�ã�ÚkÝ·âjÞ �=ñyí=ç è(Ø ä=ÙYØQÖeÞ �Í �sÐ�þ��=ÒeÔ·Ì �sÐaÓ�ßQâ:á=ØHÜÝ·Þ=ÙkÚYØ�Öeá'â��ÀÖ+_aÌ��&�jÒ�� ßQâ:á=Ø�Ümñyú #ùØä=ÙYØ�Úkæ=Ý·Ù ��âj×kß ä=Ü�Ö�ÚkÝ·â.Þ �8ØHã�Öeä=ÙYØ�Ý·Ú Ü·Ø�Ö�á=Ù Úkâ2Ö�ã�Ü·Ø�Ö�Þ=Ø�×�á=Ø�×kÝ �.Ö�ÚkÝ·â.Þâ��®Ø�ÙkÙYØ�Þ:ÚkÝ�ÖeÜ·Ü·à'Úkæ=Ø�Ù�Ö�ßQØ ��âj×kß ä=Ü�ÖDî¬ÞDâ§ÖeÛDÛ=×kâ��:Ý·ß*Ö�ÚkÝ·â.Þ=Ù Öe×YØ�×YØ��:ä=Ý·×kØ�á ÖeÙÝ·Þ ÚYæ=Ø�âj×kÝ·å.Ý·Þ8Ö�Ü¡á=Ø�×YÝ�.Ö�ÚkÝ·â.ÞTñ mÞ2ÖeáDá=Ý·ÚkÝ·â.Þ�çTÖeÙ/è¡Ý·Ü·Ü �8Ø ÙYæ=âeè¡ÞùÜ�ÖeÚkØH×/Ý·ÞùÚkæ=Ý·Ù!Û8ÖeÛUØ�×Bç)Úkæ=Ø ��â.×YßQØ�× ��â.×Yß ä=Ü�ÖeÚkÝ·âjÞ*åjØ�Þ=Ø�×aÖeÜ·Ü·à�à:Ý·Ø�Ü·á=Ù��UØ�ÚkÚYØ�×ÛUØ�×���âj×kßÖeÞ=ã�Øjñ

��âeè/çZâ.ä=× ÖeÝ·ß Ý·Ù�ÚYâ��8ÞDá§Ö3ä=Þ=Ý·å.×aÖeß á=Ý·ÙkÚY×kÝ �=ä=ÚYÝ´âjÞ:* ��� é@a o ú®ÙkäDã�æ'ÚYæ8ÖeÚ®Úkæ=Øã�âjÞ=ÙkÚY×�Ö�Ý´Þ:ÚYÙ å.Ý �.Ø�Þ��:àØ��:ä8Ö�ÚkÝ·â.Þùé �Dë�ú(Öe×YØ�ÙaÖeÚYÝ´Ù �8Ø�á�ñ� �:Û8ÖeÞDá=Ý·Þ=å�Ø��täUÖeÚkÝ·âjÞ é �=ëBú�ç:è(Ø�åjØ�Ú

� é-a o úx ��� � é-a o ú ^�� �

���* ��� é-a o j a o mDb úh*Té-a o mDb ú

�Dâ.×d*�é-a o mOb úHç:è¬Ø!ÙkÝ·ß�Û=Ü·à�ÚaÖ�!.Ø!ÚYæ=Ø!á=Ý·ÙkÚk×YÝ �=ä=ÚkÝ·âjÞ �sâ.ä=Þ=á�Ý·Þ*ÚYæ=Ø!Úk×aÖeÝ·Þ=Ý·Þ=å®á8ÖeÚaÖ*Té-a o mDbaú ^ � é-a o mDbaú

x�� ���� �é-a o mOb ú

÷:ä �DÙkÚkÝ·ÚYä=ÚkÝ·Þ=åQÖ�Þ=áQÙYÝ´ß�Û=Ü·Ý ��à:Ý´ÞDå8çBè¬ØÀæ8Ö��.Ø� é-a o ú(^ �� �

���� é-a o mDb úh* ��� é@a o j a o mOb ú

÷:ä �DÙkÚkÝ·ÚYä=ÚkÝ·Þ=å Ý·ÞQØ��täUÖeÚkÝ·âjÞ é � �jú�ç:è(Ø�æUÖ��.Ø

� é-a o ú ^ ����

���� é-a o mOb�ú�� ß*Ö�� � � é-a o mOb a o ú���� ,aó��x���� � é-a o mDb a o ú � �

x ��� � é-a o mDb/a o ú �<bT�¡é@a o mDb � ú5* ��� é-a o ú��^ �

� ���� � � � � � ���

� � � � v � é@a o mOb�ú� é-a o mDb a o ú����� é-a o mDb�ú � �

������� é-a o mDbaú �

� é@a o mOb�ú �yb ��é-a o mDb � ú5* ��� é-a o ú^ � é-a o ú�� �<bT�¡é � a o ú� � �{* ��� é@a o ú �� �

����<bT�¡é-a o mDb � ú

^ � é-a o ú�� � bT� é � a o ú� � �{* ��� é@a o ú � b � é �@� úë��

Page 18: Chen & Goodman - Peopleklein/cs294-5/chen_goodman.pdf · Úkâ!ü òåj× Ö ß ßQâ:á=Ø Ü·Ù ÖeÞDá/Ùkß âtâjÚkæ=Ý·Þ=åUç Ö Þ=á/ÙkäD× .ØHà/Úkæ=Ø(ßQâjÙkÚ

ÖeÜ·åjâ.×kÝ·ÚYæ=ß �¬é@a o j a o mDbo m����Ob ú � é@a o mDbo m����Ob ú * ���������� é-a o j a omDbo m���� i ú

pBz.zevwosvw�Bg � � � �� �������� ��

x � ��� � � �� �������� �� � � �

ó ÞTñ ÖDñ�BgYxyvyntgY�e}�� gYik{agYi � � ���� �������

* � ésú �>;�;�; ékë � � � ���� �������ú * � ��������� é-a o j a o mDbo m���� i ú

 ¡pBom¢ �� �x � � � � � �� ��������

b/m x � � � ��� � �� ����������� ���� ��� � ��� � �

����� �������

x � � � ��� � �� ������������ ��� ��� � � � � �

����� �������

� * � � � é-a o j a o mDbo m���� i úf3vwomomgknj}�¤)gYxyx ��V-.! ��*� !$# 2!*#�: 8 2 %7%$�#"%$ ��%'&)(*(�( " ��� �

� � ���� ��������+�

" ��� �� � ���� �������*+

� � x � � � � � �� �������� * ��� é@a o j a o mDbo m���� i ú

pH�tlmuHxyrtomg!zevwlm{B� � ��� � � � �� �������� m ��� v��

x � ��� � � �� �������� � ;�;�; �

x � ��� � � �� �������� � bT� é-a o mObo m����Ob � ú * ��� é-a o j a o mDbo m���� i ú

 (ntgalmgYim}�¨(ga��·vyn.omgYimh=u�xwpBomgazt� � ��� � � � �� �������

� m ��� v��x � ��� � � �� �������

� � ;�;�; �x � ��� � � �� �������

� � bT� é-a o mObo m����Ob � ú " ��� � +� ��

��������

" � � � +� � ���� �����,� +

û?Ö��=Ü·Ø �7�/÷:äDßQß*Ö�×kà�â��¡ÙkßQâ:âjÚkæ=Ý·Þ=åÖeÜ·å.âj×kÝ·Úkæ=ß�Ù¡ä=ÙkÝ·Þ=åÞ=âjÚ�Ö�ÚkÝ·â.Þ ��×kâjß Ø��:ä8Ö�ÚkÝ·â.Þ'é ��túHî�ÚYæ=Ø Úkâ�!.Ø�Þ � ñ�ñ�ñ��×kØHÛ=×kØ�ÙYØ�Þ:ÚkÙ�ÚYæ=Ø�ÚkØ�×Yß � é-a o mObo m����Ob úh* �.-�- ��/ é-a o j a o mDbo m���� i ú®ã�â.×Y×kØ�ÙYÛ8âjÞ=á=Ý·Þ=å'ÚkâùÝ·Þ:ÚkØ�×YÛ8âjÜ�ÖeÚkÝ·âjÞ§è¡Ý·ÚYæ Ö�Ü·âeè(Ø�×��â.×Yá=Ø�×qá=Ý·ÙkÚk×YÝ �=ä=ÚkÝ·âjÞ�î:Úkæ=Ø!Þ=âjÚ�Ö�ÚkÝ·â.Þ<* � é�ú�Ý´Ù¡ÖeÞ�Ö�� �=×kØ��tÝ�Ö�ÚkÝ·â.Þ ��â.× * � é@a o j a o mObo m����Ob ú

è¡æ=Ø�×YØ �<bT�(é � a o úd^ j � a o mDbf� � é-a o mOb a o úW� ó��7jÝ·Ù¡Úkæ=Ø!Þ:ä=ß��UØ�×(â��?á=Ý��JØH×kØ�Þ:Ú�è(â.×Yá=Ù a o mDb ÚkæUÖeÚ(Û=×kØ�ãHØ�á=Ø�a o Ý·ÞQÚkæDØ/Úk×aÖeÝ·Þ=Ý·Þ=å®á8ÖeÚaÖ�Ö�Þ=áè¡æ=Ø�×kØ� bT� é � � úd^ �� �

���� bT� é-a o mDb � úd^ j � é-a o mDb ,/a o úf� � é-a o mDb a o úW� ó��lj ^ � � � � b � é � a o ú

÷:âjÜ�:Ý·Þ=å��sâ.× * ��� é@a o úHç:è¬Ø!å.ØHÚ* ��� é-a o ú ^ � bT� é � a o ú� b � é �@� ú

ö!Ø�ÞDØ�×�Ö�Ü´Ý���Ý·Þ=å®Úkâ æDÝ´åjæ=Ø�×��òâj×ká=Ø�×qßQâ:á=Ø�Ü·ÙBç.è(Ø!æ8Ö��.Ø!ÚkæUÖeÚ

* ��� é-a o j a o mDbo m���� i úd^ � bT� é � a oo m���� i ú� bT� é � a o mDbo m���� i � ú é � &jú

è¡æ=Ø�×YØ � bT� é � a oo m���� i ú ^ j � a o m����Ob � � é-a oo m����Ob ú � ó��7j� b � é � a o mDbo m���� i*� ú ^ j � é@a o m����Ob ,/a o úf� � é@a oo m����Ob ú � ó��lj�^ � � � � b � é � a oo m���� i ú� #�0 �L� #��-� � "� �����������>���Ù!Þ=âjÚkØ�á��:à�õ!Þ=ØHÙkØ�× ÖeÞ=á ��Ø�à'ékëBì.ì��jú�çUßQâjÙkÚqØ��:Ý´ÙYÚkÝ·Þ=åÙkß�â:â.ÚkæDÝ´ÞDåQÖeÜ·å.âj×kÝ·Úkæ=ß�Ù¡ã�ÖeÞ �UØ�á=ØHÙkã�×YÝ�UØ�á�è¡Ý´ÚYæÚkæDØ��sâ.Ü·Ü·âeè¡Ý´ÞDå/Ø��:ä8ÖeÚYÝ·â.Þ

* �.-�- ��/ é@a o j a o mObo m����Ob ú ^ � �(é-a o j a o mDbo m����Ob ú Ý � � é@a oo m����Ob úW� ó� é@a o mDbo m����Ob úh* �.-�- ��/ é-a o j a o mDbo m���� i ú Ý � � é@a oo m����Ob úd^�óé � �:ú

ë�í

Page 19: Chen & Goodman - Peopleklein/cs294-5/chen_goodman.pdf · Úkâ!ü òåj× Ö ß ßQâ:á=Ø Ü·Ù ÖeÞDá/Ùkß âtâjÚkæ=Ý·Þ=åUç Ö Þ=á/ÙkäD× .ØHà/Úkæ=Ø(ßQâjÙkÚ

û¡æ8Ö�Ú�Ý·Ù�çBÝ �8ÖeÞ/ü��òåj×�Ö�ß�æ8Ö�ÙFÖ(Þ=âjÞ7��Ø�×Yâ!ã�â.ä=Þ:ÚTÚkæ=Ø�ÞÀè¬Ø?äDÙkØ(Úkæ=Ø?áDÝ´ÙYÚk×YÝ�Dä=ÚkÝ·â.Þ��(é-a o j a o mDbo m����Ob úHñ =qÚkæDØ�×kè¡Ý·ÙkØjç.è(Ø_aÌ��N�.Ò� ÚYâQÚYæ=Ø/Ü·âeè¬ØH×��mâ.×káDØ�×�á=Ý·ÙYÚk×kÝ �=äDÚkÝ·â.Þ�* � - - � / é-a o j a o mDbo m���� i ú�çUè¡æ=Ø�×YØ/ÚkæDØ�ÙYã�ÖeÜ·Ý·Þ=å �òÖ�ã�Úkâj× � é-a o mObo m����Ob ú�Ý·Ùãaæ=â.ÙYØ�ÞQÚYâ!ß*Ö�!jØ?ÚkæDØ¡ã�â.Þ=áDÝ´ÚYÝ·â.Þ8Ö�Ü=á=Ý·ÙkÚY×kÝ �=ä=ÚYÝ´âjÞ�ÙYä=ß ÚYâ/â.ÞDØ.ñ #ùØ(×kØ ��Ø�×(Úkâ/ÖeÜ·å.âj×kÝ·ÚkæDßQÙ�ÚYæ8ÖeÚ �òÖ�Ü·Ü=á=Ý·×kØ�ãHÚkÜ·à/Ý·ÞÚkæDÝ´Ù ��×aÖeßQØHè¬âj× !�Ö�Ù _aÌ��N�.Ò� ß�â:á=Ø�Ü·Ù�ñTõ/ÖeÚ��qÙkß�âtâjÚkæ=Ý·Þ=å!Ý·Ù?ÚYæ=Ø�ã�Ö�Þ=â.ÞDÝ´ãBÖeÜUØ��=ÖeßQÛDÜ´Ø(â�� �UÖeã !.â�*Ùkß�â:â.ÚkæDÝ´ÞDå8ñ÷:Ø��jØ�×�Ö�Ü¡ÙkßQâ:âjÚkæ=Ý·Þ=åÖeÜ·å.âj×kÝ·Úkæ=ß�Ù�Ö�×kØ Ø��:Û=×YØ�ÙkÙYØ�á�ÖeÙÀÚkæ=Ø�Ü´Ý·Þ=ØBÖe×/Ý·Þ:ÚkØ�×YÛ8âjÜ�ÖeÚkÝ·âjÞ�â��øæ=Ý·åjæ=Ø�×��/ÖeÞ=áùÜ·âeè(Ø�×��

â.×Yá=Ø�×!ü��òåj×�Öeß1ßQâ:á=Ø�Ü·Ù¬Ö�Ù¡Ý´ÞØ��:ä8Ö�ÚkÝ·â.Þ�ékë �.ú* �.-�- ��/ é@a o j a o mObo m����Ob ú(^ � � ���� �������

* � é-a o j a o mDbo m����Ob ú �»éYë �� � � ���� �������ú5* �.-�- ��/ é@a o j a o mObo m���� i ú

#ùØ�ãBÖeÞ�×YØ�è¡×kÝ·ÚkØÀÚkæ=Ý·Ù¡ÖeÙ* �.-�- ��/ é-a o j a o mDbo m����Ob ú ^ � � é@a o j a o mDbo m����Ob ú � � é@a o mDbo m����Ob úh* �.-�- ��/ é-a o j a o mDbo m���� i ú

è¡æ=Ø�×YØ � � é-a o j a o mDbo m����Ob ú ^ � � ���� �������*�� é-a o j a o mDbo m����Ob ú

ÖeÞDá � é-a o mObo m����Ob úd^-ë � � � ���� �������ñ)û¡æ=Ø�ÞTç �:àQÚaÖ�!:Ý·Þ=å

�(é-a o j a o mDbo m����Ob ú ^�� � é-a o j a o mDbo m����Ob ú � � é@a o mDbo m����Ob úh* �.-�- ��/ é-a o j a o mDbo m���� i ú é ���júè(Ø�ÙYØ�Ø�ÚYæ8ÖeÚ!ÚYæ=Ø�ÙkØ ß�â:á=Ø�Ü·Ù¡ã�ÖeÞ �UØ�Û=Ü�Ö�ã�Ø�á�Ý´Þ3Úkæ=Ø ��â.×Yß â��¬Ø��:ä8Ö�ÚkÝ·â.Þ2é � �:ú�ñ�#ùØ/×YØ ��Ø�×!Úkâß�âtáDØ�Ü·Ù¡â��¬ÚYæ=Ý·Ù��âj×kß Ö�Ù��Í �sÐ�þ��=ÒeÔ·Ì �sÐaÓQß�âtáDØ�Ü·Ù�çû¡æ=Ø�!.ØHà�á=Ý��JØH×kØ�Þ=ãHØ �UØ�Úmè¬ØHØ�Þ��8Öeã !jâ �§ÖeÞDá�Ý·Þ:ÚkØ�×YÛ8âjÜ�ÖeÚkØHá�ß�âtáDØ�Ü·Ù�Ý·Ù!Úkæ8Ö�Ú�Ý·Þ�á=Ø�ÚYØ�×kß�Ý´ÞDÝ´ÞDå Úkæ=Ø Û=×Yâ ���

Ö��DÝ´Ü·Ý·Úmàùâ���ü��må.×aÖeßQÙ è¡Ý·ÚYæ ÍDÒ.Í��BÐBþkÒ�ã�â.ä=Þ:ÚYÙ�çqÝ´Þ:ÚYØ�×kÛUâ.Ü�ÖeÚYØ�á ß�âtáDØ�Ü·Ù ä=ÙkØ�Ý·Þ���â.×Yß*Ö�ÚkÝ·â.Þ ��×Yâ.ß Ü·âeè¬Ø�×��òâj×ká=ØH×á=Ý·ÙkÚY×kÝ �=ä=ÚYÝ·â.Þ=Ù!è¡æ=Ý·Ü·Ø �UÖeã !.â�2ßQâ:á=Ø�Ü·Ù�áDâQÞ=âjÚ�ñ mÞ �Uâ.ÚYæ �UÖeã !.â�§ÖeÞ=á�Ý·ÞtÚYØ�×kÛUâ.Ü�Ö�ÚkØ�áùß�âtáDØ�Ü·Ù�çUÜ·âeè¬Ø�×��òâj×ká=ØH×á=Ý·ÙkÚY×kÝ �=ä=ÚYÝ·â.Þ=Ù�Ö�×kØ!ä=ÙkØHá�Ý·ÞQá=Ø�ÚYØ�×kß�Ý·Þ=Ý·Þ=å�ÚYæ=Ø!Û=×kâ��8Ö��DÝ´Ü·Ý·Úmà â��?ü��òåj×�Ö�ßQÙ?è¡Ý·Úkæ��BÐBþkÒ®ã�â.äDÞtÚYÙ�ñ

mÞ�û?Ö��=Ü·Ø �DçUè¬Ø®Ùkä=ß�ß*Ö�×kÝ���Ø�Ö�Ü·Ü�â��(Úkæ=Ø®Ùkß�âtâjÚkæ=Ý·Þ=å ÖeÜ·åjâ.×kÝ·ÚYæ=ßQÙ¡á=ØHÙkã�×YÝ�UØ�áùØ�Ö�×kÜ·Ý·Ø�×�Ý·Þ�ÚYØ�×kß�Ù�â��¬Ø��:ä8Ö��ÚkÝ·âjÞ§é � �túHñ!�Dâ.×ÀÝ´Þ:ÚYØ�×kÛUâ.Ü�ÖeÚYØ�áùßQâ:á=ØHÜ´ÙBç è(Ø ä=ÙkØ�Úkæ=Ø�Þ=â.ÚaÖeÚkÝ·âjÞ � ñ´ñ·ñ � ÖeÙ/ÙYæ=â.×YÚkæ8Ö�Þ=á ��âj×/Úkæ=Ø Ü�Ö�ÙkÚ/ÚYØ�×kß Ý·ÞØ��:ä8Ö�ÚkÝ·â.Þùé �]�.úHñ

#ùØ Þ=â.ÚYØQÚYæ8ÖeڮݷÚ/Ý·Ù�Ø�Ö�ÙkàùÚYâ�ã�×kØBÖeÚkØ�Ö �8Öeã !jâ � �jØ�×kÙYÝ·â.Þ2â���ÖeÞùÝ·Þ:ÚkØ�×YÛ8âjÜ�ÖeÚkØHá§ÖeÜ·åjâ.×kÝ·ÚYæ=ß�ñ� mÞDÙkÚkØBÖeá'â��ä=ÙYÝ´ÞDå Ø��:ä8ÖeÚYÝ´âjÞ�é ���.úHç:è¬Ø!ã�Ö�Þ �aä=ÙYÚ¡Ú�Ö�!.Ø�(é-a o j a o mDbo m����Ob ú ^�� � é-a o j a o mDbo m����Ob úÖeÞDá*ÚYæ=Ø�Þ�Öeá��aä=ÙkÚ � é-a o mObo m����Ob ú¡Ö�Û=Û=×kâjÛ=×kÝ�Ö�ÚkØ�Ü·à Ùkâ ÚYæ8ÖeÚ¡ÛD×kâ �UÖ��=Ý·Ü·Ý·ÚkÝ·Ø�Ù(Ùkä=ß�Úkâ®â.Þ=Øjñ ��Ù�áDØ�Ùkã�×YÝ �8Ø�á3ܾÖ�ÚkØ�×Bç=è(Øæ8Ö��jØ�Ý·ß�Û=Ü·Ø�ß Ø�Þ:ÚkØ�á ÚYæ=Ø/Ý·Þ:ÚkØ�×YÛ8âjÜ�ÖeÚkØHá�Ö�Þ=á �8Öeã !jâ � �.Ø�×YÙkÝ·â.ÞDÙ�â��)ÙkØ��jØ�×�Ö�ÜFÖ�Ü´åjâ.×YÝ´ÚYæ=ßQÙBñ

� #�� � � "�& �L� � ����� "���0#%$l& � "���)��&(* mÞ2ÚYæ=Ý·Ù�ÙYØ�ã�ÚYÝ´âjÞ�ç(è¬Ø �=×kÝ·Ø/.Uàùá=Ø�ÙkãH×kÝ �8Ø3ÙkØ��jØ�×�Ö�Ü�Ùkß�â:â.ÚkæDÝ´ÞDå�Ö�Ü·å.â.×YÝ·Úkæ=ß�Ù�ÚYæ8ÖeÚ Öe×YØÞ=â.Ú®è¡Ý·á=Ø�Ü·à�äDÙkØ�á�ç��=äDÚè¡æ=Ý·ãaæ�Öe×YØ�Ý·Þ:ÚkØ�×YØ�ÙkÚYÝ´ÞDå �s×kâ.ß ÖùÚYæ=Ø�âj×kØ�ÚYÝ´ãBÖeÜ!Û8ØH×kÙkÛUØ�ã�ÚYÝ �.Ø.ñ1û¡æ=Ø�ÖeÜ·åjâ.×kÝ·ÚYæ=ßQٮݷާÚYæ=Ý·ÙQÙYØ�ã�ÚkÝ·âjÞ�è(Ø�×kØ�Þ=âjÚ×kØ �òÝ·ßQÛDÜ´ØHßQØ�Þ:ÚkØHá Ý´ÞÚYæ=Ý·Ù¡×kØ�ÙYØ�Öe×Yã�æTç8è¡æDÝ´Ü·Ø!ÖeÜ·Ü Û=×kØHã�Ø�á=Ý·Þ=åÖeÜ·å.âj×kÝ·Úkæ=ß�Ù)è¬Ø�×YØ.ñ

������ �������������������! #"�$&%�%('���)�*�+

ê(æ:ä=×kãaæÖeÞ=áQö/Ö�Ü·Ø�éYë�ì.ìDë�úTá=Ø�ÙYã�×kÝ �UØ/Ö!Ùkß�âtâjÚkæ=Ý·Þ=åqßQØ�ÚYæ=â:á Úkæ8Ö�Ú?Ü·Ý !.Ø(õ�Ö�Ú�� � ÙBç:ã�â.ß��=Ý·Þ=ØHÙFÚYæ=Ø�ö�âtâ:á��mû)ä=×kÝ·Þ=åØ�ÙYÚkÝ·ß*Ö�ÚkØ�è¡Ý·ÚYæ�ÖÀßQØHÚkæ=â:á��sâ.סßQØH×kå.Ý·Þ=åÀÚkæ=Ø/Ý·Þ��sâ.×kßÖeÚYÝ´âjÞ��s×kâ.ß1Ü´âeè(Ø�×��ZÖ�Þ=áæ=Ý·å.æ=ØH×��mâ.×káDØ�סßQâ:á=Ø�Ü·ÙBñ

#ùØá=Ø�ÙkãH×kÝ �8Ø�ÚkæDÝ´Ù ß�Ø�ÚkæDâtá ��â.×��DÝ´åj×�Ö�ß%ßQâ:á=Ø�Ü·ÙBñ2û)â�ßQâ.ÚYÝ �.ÖeÚkØ ÚYæ=Ý·ÙQß�Ø�Úkæ=â:á�çZã�â.ÞDÙkÝ·á=Ø�×�ä=ÙkÝ·Þ=å�Úkæ=Øö!â:â:á��mûFäD×kÝ·Þ=å Ø�ÙYÚkÝ·ß*Ö�ÚkØ!á=Ý·×kØ�ãHÚkÜ·àÚkâ �Dä=Ý·Ü´á�Ö �=Ý·å.×�Ö�ß áDÝ´ÙYÚk×YÝ�Dä=ÚkÝ·â.ÞTñ �Dâ.סØ�Ö�ãaæ �=Ý·åj×�Öeß�è¡Ý·Úkæ�ãHâ.ä=Þ:Ú � çUè(Øè(â.ä=Ü·á�Ö�ÙkÙkÝ·åjÞ�Ö¡ã�âj×k×YØ�ã�ÚkØHáQã�âjä=Þ:ÚFâ�� ��� ^-é � ��ë�ú � ���� ñ �qÙ)Þ=â.ÚYØ�á/Ý·Þ�÷:Ø�ãHÚkÝ·â.Þ �=ñ &=çBÚYæ=Ý·ÙFæUÖeÙ�ÚYæ=Ø(ä=Þ=á=Ø�ÙYÝ·×�Ö��DÜ´Ø

ë�ì

Page 20: Chen & Goodman - Peopleklein/cs294-5/chen_goodman.pdf · Úkâ!ü òåj× Ö ß ßQâ:á=Ø Ü·Ù ÖeÞDá/Ùkß âtâjÚkæ=Ý·Þ=åUç Ö Þ=á/ÙkäD× .ØHà/Úkæ=Ø(ßQâjÙkÚ

Ø/� Ø�ã�Ú¡â���å.Ý �:Ý´ÞDå�Ö�Ü·Ü �=Ý·å.×aÖeßQÙ)è¡Ý·Úkæ��HØ�×kâ®ã�â.äDÞtÚ(ÚkæDØ�Ù�Ö�ßQØ(ã�â.×Y×kØ�ãHÚkØ�á�ãHâ.ä=Þ:Ú�îjÝ·Þ=ÙkÚYØ�ÖeáTç:ä=Þ=Ý·å.×aÖeß �s×kØ��:ä=Ø�ÞDã�Ý·Ø�ÙÙkæDâ.ä=Ü·á �UØ!Ú�Ö�!.Ø�ÞÝ·Þ:Úkâ Öeã�ã�âjä=Þ:Ú�ñ?ê(âjÞ=ÙkÝ·á=Ø�סÚYæ=Ø!ã�â.×Y×kØ�ãHÚkØ�á�ãHâ.ä=Þ:Ú�ÖeÙYÙkÝ·å.ÞDØ�á �tàQÖ�ÞQÝ·Þ:ÚkØ�×YÛ8âjÜ�ÖeÚkÝ �jØ�ßQâ:á=ØHÜ8ÚYâÖ �=Ý·å.×aÖeß a oo mDb è¡Ý·Úkæ���Ø�×YâQã�âjä=Þ:ÚkÙBñ mÞ*ÙYä=ãaæ�ÖÀßQâ:á=Ø�Ümçjè¬Ø!è(â.ä=Ü·áQæUÖ��.Ø

*�é@a o j a o mOb�ú � *Té-a o ú��âj×�Ö �=Ý·åj×�Öeß�è¡Ý·ÚYæ ��Ø�×kâ3ã�â.ä=Þ:ÚYÙ�ñ û)âã�â.Þ��jØ�×kÚ/ÚYæ=Ý·Ù!Û=×kâ��8Ö��=Ý·Ü·Ý·ÚmàÚkâ�Ö�ã�â.ä=Þ:ÚBç�è(Ø ß ä=Ü·ÚkÝ·Û=Ü·à��:à�ÚYæ=Ø ÚkâjÚ�Ö�ÜÞ:ä=ß��UØ�׬â��Fã�âjä=Þ:ÚkÙqÝ´Þ�Úkæ=ØÀá=Ý·ÙkÚk×YÝ �=ä=ÚkÝ·âjÞQÚkâ åjØ�Ú

*�é@a o j a o mDb ú � � � � é@a oo mOb ú � *�é@a o ú � � � � é-a oo mOb ú ^g*�é-a o ú � é@a o mOb ú � *�é@a o ú3*�é-a o mOb úû¡æ:ä=Ù�çA*�é@a o mDb�ú3*�é-a o úqß*ÖBà �UØQÖQåjâ:âtá�Ý·Þ=á=Ý·ã�Ö�Úkâ.×!â��øÚYæ=Ø ã�â.×Y×kØ�ãHÚkØ�á�ã�â.ä=Þ:Ú/â���Ö �=Ý·åj×�Öeß a oo mDb è¡Ý´ÚYæ:�HØ�×kâã�âjä=Þ:ÚkÙ�ñ

mÞ ê(ætäD×kãaæ��kö/ÖeÜ·ØÙkß�âtâjÚkæ=Ý·Þ=åUç �=Ý·å.×aÖeßQÙ<a oo mOb Öe×kØÛ8Ö�×kÚYÝ´ÚYÝ·â.Þ=Ø�á'âj×�_�Ï �N�.Ð���ÐaÓ �:àùÚkæDØ�ã�â.×Y×kØ�ÙYÛ8âjÞ=á=Ý·Þ=å�.ÖeÜ·ä=ØÀâ��D* � é-a o mOb ú3* � é-a o ú�ñqû¡æ8ÖeÚqÝ·Ù�çUÚkæ=ØHà*áDÝ�:Ý·á=Ø/ÚYæ=Ø®×�ÖeÞDå.Ø/â��¬Û8âjÙkÙYÝ�DÜ´ØR* � é@a o mOb úh* � é-a o ú �.ÖeÜ·ä=ØHÙÝ·Þ:Úkâ�ÖÞ:ä=ß��UØ�×/â���Û8Öe×YÚkÝ·ÚkÝ·âjÞ=Ù�ç?Ö�Þ=á§Ö�Ü´Ü �=Ý·å.×�Ö�ßQÙ/ÖeÙYÙkâ:ã�Ý�ÖeÚYØ�á'è¡Ý·ÚkæùÚkæDØQÙ�Ö�ßQØ ÙYä �=×�Ö�Þ=å.ØÖe×YØ*ãHâ.Þ=ÙYÝ´áDØ�×kØ�áÚkâ �8ØÀÝ´Þ3Úkæ=Ø/ÙaÖeß�Ø �Dä=ã !.Ø�ÚBñ�û¡æ=ØHÞ�çUØ�Öeãaæ �=äDã !jØ�Ú!Ý·Ù�Úk×YØ�ÖeÚYØ�áùÖeÙ�Ö®áDÝ´ÙYÚkÝ·Þ=ã�Ú!Û=×Yâ �8Ö��=Ý·Ü·Ý´Úmà áDÝ´ÙYÚk×YÝ�Dä=ÚkÝ·â.Þ�Ö�Þ=áö!â:â:á��mûFäD×kÝ·Þ=åQØHÙkÚkÝ·ßÖeÚkÝ·âjÞ�Ý·Ù�ÛUØ�×���â.×YßQØ�á�è¡Ý·Úkæ=Ý·Þ�Ø�Öeãaæ�ñ��Dâ.×/Ö �=Ý·å.×aÖeß�Ý·Þ �=ä=ã !.Ø�Ú��®è¡Ý´ÚYæ ��� ã�â.äDÞtÚYÙ�ç)è(Øã�Ö�Ü´ãHä=Ü�ÖeÚkØ!Ý·ÚkÙ¡ãHâ.×k×YØ�ã�ÚYØ�á�ãHâ.ä=Þ:Ú ���� Ö�Ù � �� ^ é � � �»ë�ú ü � � � �Obü � � �è¡æ=Ø�×YØ/ÚkæDØ/ã�â.äDÞtÚYÙ�ü � � �!Ý´ÞDã�Ü·ä=á=Ø!â.Þ=Ü·à ÚYæ=â.ÙYØ �DÝ´åj×�Ö�ßQÙ(è¡Ý´ÚYæ=Ý·Þ �=äDã !jØ�Ú��eñê(æ:ä=×kãaæ�Ö�Þ=á/ö/ÖeÜ·Ø)Û8Öe×YÚkÝ·ÚkÝ·âjÞ�ÚkæDØ?×�Ö�Þ=å.Ø?â��tÛUâ.ÙYÙkÝ �=Ü·ØD* � é@a o mOb úh* � é-a o ú �.ÖeÜ·ä=ØHÙ Ý´Þ:ÚYâøÖ��8âjä=Ú%&]���=äDã !jØ�ÚkÙBçè¡Ý·Úkæ�Úkæ=×YØ�Ø��=ä=ã !jØ�ÚkÙ/Ý·Þ�Ø�Öeãaæ �òÖeãHÚkâ.×!â���ëBó=ñ/û)â�ÙkßQâ:âjÚkæ�ÚYæ=Øðü � � � ��âj×�ÚYæ=Ø ö!â:âtá �òû)ä=×YÝ´ÞDåQØ�ÙYÚkÝ·ß*Ö�ÚkØ.çUÚkæDØ�à

ä=ÙYØ�Ö/ÙYßQâ:â.ÚYæ=Ø�× �:àQ÷:æ=Ý·×YØ�à*Ö�Þ=áô�ÖeÙYÚkÝ·Ø ékëBì.í.íjú�ñ# æ=Ý·Ü·Ø!Ø��:ÚkØ�Þ=ÙYÝ �.Ø/Ø�ß�Û=Ý·×kÝ·ã�Ö�Ü�ÖeÞ8Ö�Ü´à:ÙYÝ´Ù(Ý·Ù¡×kØ�ÛUâ.×YÚkØ�áTç Úkæ=ØHà*ÛD×kØ�ÙYØ�Þ:Ú�âjÞ=Ü·àQÖ®ÙkÝ·Þ=åjÜ´Ø!Ø�Þ:ÚY×kâ.Û:à×kØHÙkä=Ü·Ú�çDã�â.ß �

Û8Ö�×kÝ·Þ=å®Úkæ=Ø/Ö��Uâ��.ØqÙkß�âtâjÚkæ=Ý·Þ=å!ÚYØ�ãaæ=Þ=Ý �:ä=Ø!è¡Ý´ÚYæ*Ö�Þ=â.ÚYæ=Ø�סÙkß�â:â.ÚkæDÝ´ÞDå/ßQØ�ÚYæ=â:á Ý·ÞtÚY×kâ:á=ä=ãHØ�áÝ´Þ�Úkæ=ØHݴסÛUÖeÛUØ�×�çÐN �sÐ�ÍDÓ.ÐaÓ�Ó.ÐHÔ´Ð��sÐ�ÓÐHÕ�� �Ñ®Ì � �ÒjÍ=ñ� mÞ3â.ä=×qÛ=×kØ��:Ý·â.äDÙ�è(â.×"!ùé�ê(æ=Ø�ÞTçFëBì.ì]�.ú�çUè(Ø/Û=×YØ�ÙkØ�Þ:Ú��sä=×kÚYæ=Ø�×!×kØ�ÙYä=Ü·ÚkÙBç Ý·Þ=á=Ý �ã�Ö�ÚkÝ·Þ=å ÚkæUÖeÚ�ÚYæ=Ý·Ù¡Ùkß�âtâjÚkæ=Ý·Þ=å®è(â.× !:Ù¡è(Ø�Ü·Ü ��âj× �=Ý·å.×aÖeß Ü�ÖeÞDå.ä8Ö�å.Ø!ßQâ:á=Ø�Ü·ÙBñ # æ=Ø�Þ�Ø��tÚYØ�Þ=á=Ý·Þ=å ÚYæ=Ý·Ù�ß�Ø�Úkæ=â:áÚkâÀÚk×kÝ·åj×�Öe߸ß�âtáDØ�Ü·Ù�çeÚYæ=Ø�×kØ/Ö�×kØ�Úmè(â!â.Û=ÚYÝ·â.Þ=Ù �sâ.×(Ý´ß�Û=Ü·Ø�ß Ø�Þ:Ú�Ö�ÚkÝ·â.ÞTñ �qÞ���âj×kÚkäDÞ8ÖeÚYØ�Ü·àtçeâjÞ=Ø�â���Úkæ=ØHÙkØ�ß�Ø�ÚkæDâtáDÙÝ·Ù¡ã�â.ß�Û=ä=ÚaÖeÚkÝ·âjÞ8ÖeÜ·Ü·à/Ý·Þ:Úk×�Ö�ã�Ú�Ö��=Ü·Ø.ç=ÖeÞDá*è(Ø!æ8Ö��.Ø!á=ØHßQâ.ÞDÙkÚk×aÖeÚYØ�áQÚYæ8ÖeÚ¡ÚYæ=Ø/â.ÚYæ=Ø�סÛUØ�×��sâ.×kß�Ù¡Û8â:âj×kÜ·àtñ

����� � � ��� )!� * "�$&%�% '���)!*�+

÷:Ø��jØ�×�Ö�ܬÙYßQâ:â.ÚYæ=Ý·Þ=åQÚYØ�ãaæ=Þ=Ý �:ä=Ø�ÙQÖ�×kØ ßQâjÚkÝ �.ÖeÚYØ�á�è¡Ý·ÚkæDÝ´ÞùÖï¡ÖBà.Ø�ÙYÝ�ÖeÞ ��×aÖeßQØHè¬âj× ! ñ�� Û=×YÝ·â.×!á=Ý·ÙkÚY×kÝ �=ä=ÚYÝ´âjÞâ��.ØH×�Ùkß�â:â.ÚkæDØ�á/á=Ý·ÙkÚY×kÝ �=ä=ÚYÝ·â.Þ=ÙTÝ´Ù)ÙYØ�Ü·Ø�ã�ÚkØHá�çtÖ�Þ=á/ÚYæ=Ý·ÙFÛD×kÝ·â.×TÝ´ÙTä=ÙkØHá Úkâ�ÙYâ.ß�Ø�æ=âeèùÖe×k×YÝ �.جÖ�Ú¦Ö �8Þ8Ö�ÜtÙYßQâ:â.ÚYæ=Ø�áá=Ý·ÙkÚY×kÝ �=ä=ÚYÝ·â.Þ�ñ��=âj×�Ø��=Öeß�Û=Ü·Ø.ç���Ö�á8ÖeÙ/éYë�ìjí �tú(ÙYØ�Ü·Ø�ã�ÚYÙ�ÙYßQâ:â.ÚYæ=Ø�áÛ=×Yâ �8Ö��=Ý·Ü´Ý·ÚYÝ´ØHÙ¬ÚYâ �UØ/Úkæ=ØHÝ´×qßQØ�Ö�Þ�Ì �=ÒeÕ���ÐHýþ��Òjþ� �.ÖeÜ·ä=Øqå.Ý �.ØHÞQÚkæDØ/Û=×kÝ·âjסá=Ý·ÙkÚk×YÝ �=ä=ÚkÝ·âjÞ�ñ

��Ö�á8ÖeÙ¡ékëBì.í�tú æ:à:ÛUâ.ÚkæDØ�ÙkÝ���Ø�Ù¡Ö¡ÛD×kÝ·â.×)á=Ý·ÙkÚY×kÝ �=ä=ÚYÝ·â.Þ���×Yâ.ß ÚYæ=Ø��mÖeßQÝ·Ü·à¡â�� �8Ø�ÚaÖ���ä=ÞDã�ÚkÝ·â.ÞDÙ�ñO� �ÖeáUÖeÙ)×kØ�ÛUâ.×YÚkÙ×kØHÙkä=Ü·ÚkÙ¡âjÞQÖ!ÙkÝ·Þ=åjÜ·Ø¡Úk×�Ö�Ý·Þ=Ý·Þ=å!ÙkØ�Ú¡Ý·Þ=á=Ý·ã�Ö�ÚkÝ·Þ=å!ÚkæUÖeÚ � �Öeá8Ö�Ù¬ÙYßQâ:â.ÚYæ=Ý·Þ=å�ÛUØ�×��sâ.×kß�Ù?ÙkÜ·Ý·å.æ:ÚYÜ´àÀè¬âj×kÙkØqÚkæ8Ö�Þ õ/ÖeÚ��ÖeÞDá!�jØ�Ü·Ý·Þ=Ø�!�� ��Ø�×kã�ØH×�ÙYßQâ:â.ÚYæ=Ý·Þ=å8ñ

��ÖeãHõ�ÖBà ÖeÞDá �TØ�ÚYâQékëBì.ì��júTä=ÙkØ���Ý·×YÝ´ãaæ=Ü·Ø�Ú)Û=×YÝ·â.×kÙ)Ý·ÞQÖeÞ ÖeÚYÚkØ�ß�Û=Ú)Úkâ!ßQâjÚkÝ �.ÖeÚYØ?ÚkæDØ¡Ü´Ý·Þ=ØBÖe×)Ý·ÞtÚYØ�×kÛUâ.Ü�Ö�ÚkÝ·â.Þä=ÙYØ�áQÝ·Þ��.ØHÜ´Ý·Þ=Ø�! ���Ø�×Yã�Ø�×qÙkßQâ:âjÚkæ=Ý·Þ=åUñ8û¡æDØ�à ã�â.ß�Û8Öe×YØ¡Úkæ=ØHÝ´×(ßQØHÚkæ=â:á®è¡Ý´ÚYæ��.Ø�Ü·Ý·Þ=Ø�!����Ø�×Yã�Ø�×�ÙYßQâ:â.ÚYæ=Ý·Þ=å�âjÞÖ¡ÙYÝ·Þ=å.Ü·Ø(Úk×�Ö�Ý·Þ=Ý·Þ=å�ÙYØ�Ú)â���Ö��Uâ.ä=ÚTÚmè¬âqßQÝ·Ü·Ü´Ý·âjÞ�è(â.×káDÙ�îeÚYæ=Ø�Ý·×)×kØ�ÙYä=Ü·ÚkÙ?Ý·Þ=á=Ý·ã�Ö�ÚkØ(Úkæ8Ö�Ú ��Öeã�õ/ÖBà�� ��ØHÚkâ!Ùkß�âtâjÚkæ=Ý·Þ=åÛUØ�×���âj×kß�Ù¬ÙYÜ´Ý·åjætÚYÜ·à è¬âj×kÙkØ!ÚYæ8ÖeÞ��.ØHÜ´Ý·Þ=Ø�! ���Ø�×Yã�Ø�×!Ùkß�â:â.ÚkæDÝ´ÞDå8ñ

�.ó

Page 21: Chen & Goodman - Peopleklein/cs294-5/chen_goodman.pdf · Úkâ!ü òåj× Ö ß ßQâ:á=Ø Ü·Ù ÖeÞDá/Ùkß âtâjÚkæ=Ý·Þ=åUç Ö Þ=á/ÙkäD× .ØHà/Úkæ=Ø(ßQâjÙkÚ

� � ÆQÇÊ�� qÇ�� Ã� �¡Å��� ���� Æ�Æ/Ä��QÊBÃ��

mÞ'Úkæ=Ý·Ù ÙYØ�ã�ÚkÝ·âjÞ�ç(è¬ØÝ·Þ:Úk×kâ:á=äDã�Ø�Ö3Þ=â��.Ø�Ü �.Ö�×kÝ�ÖeÚYÝ·â.Þ2â���õ!Þ=Ø�ÙYØ�×�����ØHà Ùkß�âtâjÚkæ=Ý·Þ=åUç)è¡æ=Ý·ãaæ2è(Ø*×YØ ��Ø�×�Úkâ2Ö�ÙÑ®Ò�Ó� �?ÐaÓ�õ!Þ=Ø�ÙYØ�×�����ØHà�ÙYßQâ:â.ÚYæ=Ý·Þ=å8ç:ÚYæ8ÖeÚqè¬Ø/æUÖ��.Ø���âjä=Þ=áæ8Ö�Ù�Ø��:ã�Ø�Ü·Ü·Ø�Þ:Ú!Û8ØH×���âj×kß*Ö�Þ=ã�Ø.ñ mÞ=ÙkÚYØ�Öeá�â��?ä=ÙYÝ´ÞDåÖÙYÝ´ÞDå.Ü·Ø á=Ý·Ùkã�âjä=Þ:Ú � ��â.×®ÖeÜ·Ü?Þ=âjÞ7��Ø�×Yâ�ã�âjä=Þ:ÚkÙ ÖeÙ/Ý·Þ�õ!Þ=Ø�ÙkØH×�����Ø�à'Ùkß�â:â.ÚkæDÝ´ÞDå8çUè¬Ø�æ8Ö��.Ø ÚYæ=×kØHØQá=Ý�� Ø�×kØ�Þ:ÚÛ8Ö�×�Öeß�Ø�ÚkØH×kÙ�ç � b ç ��ijç¡ÖeÞ=á�� k � çZÚkæ8Ö�ÚQÖe×YØ�Ö�Û=Û=Ü·Ý·Ø�á2ÚYâ2ü��òåj×�Ö�ßQÙ/è¡Ý·Úkæ'âjÞ=Ø.ç?Úmè(â8ç(ÖeÞ=á'ÚYæ=×kØ�Ø3â.× ßQâj×kØã�âjä=Þ:ÚkÙ�çD×kØ�ÙYÛ8ØHã�ÚkÝ �.ØHÜ´à:ñ� mÞâjÚkæ=Ø�סè(â.×Yá=Ù�çDÝ·Þ=ÙkÚYØ�Öeáâ��?ä=ÙYÝ·Þ=å�Ø��täUÖeÚkÝ·âjÞ é � �jú ��×Yâ.ß�÷:Ø�ã�ÚYÝ·â.Þ �=ñ �=çjè(Ø�ÚaÖ�!jØ

* ��� é-a o j a o mDbo m����Ob ú ^ � é-a oo m����Ob ú����é � é-a oo m����Ob úYúx ��� � é-a oo m����Ob ú� � é-a o mObo m����Ob úh* ��� é@a o j a o mObo m���� i ú

è¡æ=Ø�×YØ

�é � ú(^���� ��� ó Ý � � ^»ó� b Ý � � ^-ë�<i Ý � � ^ �

� k � Ý � � � &

û)â�ßÖ�!jØ�ÚkæDØ�áDÝ´ÙYÚk×YÝ�Dä=ÚkÝ·â.Þ�Ùkä=ß�Úkâ�ëjç:è¬Ø!ÚaÖ�!.Ø

� é-a o mDbo m����Ob ú ^ � b �<beé-a o mDbo m����Ob � ú ��� i � i é@a o mDbo m����Ob � ú ��� k � � k �¡é@a o mDbo m����Ob � úx �� � é-a oo m����Ob úè¡æ=Ø�×YØ � ijé-a o mObo m����Ob�� ú¡Ö�Þ=á �[k � é-a o mObo m����Ob�� ú¡Ö�×kØ!á=Ø/�8ÞDØ�á�ÖeÞUÖeÜ·â.åjâ.ä=ÙYÜ´à®Úkâ � b é@a o mDbo m����Ob�� ú�ñû¡æ=Ý·ÙQß�âtáDÝ �Uã�ÖeÚYÝ´âjÞùÝ·ÙQßQâjÚkÝ �.ÖeÚYØ�á��:à'Ø��:Ý´áDØ�Þ=ã�Ø�ÚYâ �UØ�Û=×YØ�ÙkØ�Þ:ÚYØ�á Ý·Þ ÷�Ø�ã�ÚkÝ·âjÞ0�=ñ �=ñ·ë�Úkæ8Ö�Ú Úkæ=Ø�Ý·á=Ø�Ö�ÜÖ��.ØH×�ÖeåjØ�áDÝ´ÙYã�â.äDÞtÚ ��âj×*ü��må.×aÖeßQÙ è¡Ý·ÚYæ â.Þ=Ø�â.×Úmè(â2ã�âjä=Þ:ÚkÙ�Ý·Ù�Ùkä �=ÙYÚ�Ö�ÞtÚYÝ�ÖeÜ·Ü·à§áDÝ � Ø�×YØ�Þ:Ú �s×kâ.ß ÚYæ=ØùÝ·á=Ø�Ö�ÜÖ��.ØH×�ÖeåjØ/á=Ý·ÙkãHâ.ä=Þ:Ú �sâ.×�ü��må.×�Ö�ßQÙ(è¡Ý·Úkæ�æ=Ý·åjæ=Ø�×�ãHâ.ä=Þ:ÚkÙBñ mÞ=á=ØHØ�á�ç è(Ø/è¡Ý·Ü·Ü ÙkØ�Ø®Ü�ÖeÚkØH×�ÚkæUÖeÚ�ß�â:á=Ý��8Ø�áQõ!Þ=ØHÙkØ�×����ØHàQÙkß�â:â.ÚkæDÝ´ÞDå/ÙkÝ·å.ÞDÝ �Uã�ÖeÞ:ÚkÜ·à âjä=ÚkÛUØ�×��sâ.×kß�Ù¡×kØ�åjä=Ü�Öe×(õ!Þ=Ø�ÙkØH×�����Ø�à�Ùkß�âtâjÚkæ=Ý·Þ=åUñ

�.ä=ÙYÚ�ÖeÙ���Ø�à:ç )ÙYÙkØ�ÞTç/ÖeÞ=á õ!Þ=ØHÙkØ�×2éYë�ìjì �tú®æUÖ��.Ø�á=Ø��.Ø�Ü·â.ÛUØ�á ÖeÞ ØHÙkÚkÝ·ßÖeÚkØ ��â.× ÚYæ=Ø�âjÛ=ÚkÝ·ßÖeÜ�� ��âj×Ö��DÙkâ.Ü·ä=ÚYØ�á=Ý·ÙYã�â.ä=Þ:ÚYÝ´ÞDåðÖ�Þ=áQõ!Þ=Ø�ÙYØ�×�����ØHà�Ùkß�âtâjÚkæ=Ý·Þ=å/Ö�ÙøÖ ��ä=Þ=ãHÚkÝ·â.Þ�â��FÚY×�Ö�Ý´ÞDÝ´ÞDå/á8ÖeÚaÖ/ãHâ.ä=Þ:ÚkÙ/ésÖeÙ¡åjÝ�jØ�Þ Ý·ÞØ��:ä8Ö�ÚkÝ·â.Þùé �jó.úYú�ç:Ý·Ú¡Ý·Ù¡Û8âjÙkÙkÝ �=Ü·Ø!Úkâ ãH×kØ�Ö�ÚkØ ÖeÞ8Ö�Ü´âjå.âjä=Ù?Ø��:ä8Ö�ÚkÝ·â.Þ=ÙqÚkâ®Ø�ÙkÚYÝ·ß*ÖeÚYØ!Úkæ=Ø/âjÛ=ÚkÝ·ßÖeÜ �.Ö�Ü´äDØ�Ù���â.× � b ç�<i.ç=Ö�Þ=á � kQé �¡Ý·Ø�ÙBç ë�ì.ì]�.úHñ�û¡æ=Ø®ÖeÞ8Ö�Ü´âjå.âjä=Ù?×kØHܾÖ�ÚkÝ·â.ÞDÙ���â.סß�âtáDÝ �UØ�á õ!Þ=Ø�ÙkØH×�����Ø�à�ÙYßQâ:â.ÚYæ=Ý·Þ=å�Ö�×kØ

� ^ üObüOb � �.ü i

� b ^ ë � ��� ü5iü b��i ^ � � &�� ü kü5i� k � ^ & � ��� ü �üAk é ���jú

� ����� ¡Å?Ê� �Ã/Ä��! "� �Ä#�QÆQÇÆ$ �Æ%�&

mÞ»Úkæ=Ý·ÙQÙYØ�ã�ÚYÝ´âjÞ�ç!è(Ø�á=ØHÙkã�×YÝ�UØùÚkæDØùá=Ø�Ú�Ö�Ý·Ü´Ù�â���âjä=×Ùkß�âtâjÚkæ=Ý·Þ=å2Ö�Ü·å.â.×YÝ·Úkæ=ß Ý·ßQÛ=Ü·Ø�ß Ø�Þ:ÚaÖeÚkÝ·âjÞ=Ù�çZæ=âeè è(Øãaæ=â.ÙYØ�ÛUÖe×�Ö�ßQØ�ÚYØ�× �.ÖeÜ·ä=ØHÙ ��âj×�ÖeÜ·å.âj×kÝ·Úkæ=ß�Ù¬è¡Ý·ÚYæ*ÛUÖe×�Ö�ßQØ�ÚYØ�×kÙBçUÚkæ=Ø/áUÖeÚ�ÖMÙkØ�ÚYÙ!è¬Ø/äDÙkØ�á�ç Ö�Þ=á�â.ÚYæ=Ø�×!ÖeÙkÛUØ�ã�ÚYÙâ��)â.ä=סØ��tÛUØ�×YÝ´ß�Ø�Þ:Ú�Ö�Ü ßQØ�ÚYæ=â:á=â.Ü·â.åjàtñ�ï¬×YÝ´ØZ.8àtçDè¬Ø!Ý·ßQÛDÜ´ØHß Ø�Þ:ÚkØ�áQÖ�Ü´Ü â��FÚYæ=Ø/ßQâjÙkÚ(è¡Ý·á=Ø�Ü·à��òä=ÙYØ�áÙkß�âtâjÚkæ=Ý·Þ=åÖeÜ·åjâ.×kÝ·ÚYæ=ßQÙ��sâ.×�Ü�Ö�Þ=å.ä8Ö�å.ØTßQâ:á=Ø�Ü·Ý·Þ=åV�UÖeá=áDÝ´ÚYÝ �.Ø)Ùkß�âtâjÚkæ=Ý·Þ=åUç/�.Ø�Ü·Ý·Þ=Ø�!����Ø�×Yã�Ø�×?ÙYßQâ:â.ÚYæ=Ý·Þ=å8çaõ/ÖeÚ$�?Ùkß�â:â.ÚkæDÝ´ÞDå8ç# Ý·ÚkÚYØ�Þ��mï¬ØHÜ´ÜDÙkßQâ:âjÚkæ=Ý·Þ=åUç«Ö��=ÙkâjÜ·ä=ÚkØ¡á=Ý·ÙYã�â.ä=Þ:ÚYÝ´ÞDå8ç:ÖeÞ=á®õ!Þ=Ø�ÙkØH×�����Ø�à�ÙkßQâ:âjÚkæ=Ý·Þ=åUñ mÞðÖ�á=á=Ý·ÚkÝ·âjÞ�çeè(Ø¡ÙkØ�Ü·Ø�ã�ÚYØ�áÖ3ÙkÝ·ßQÛ=ܷخݷÞ=ÙkÚaÖeÞ=ã�Øâ�� �.Ø�Ü·Ý·Þ=Ø�!����Ø�×kãHØ�×QÙYßQâ:â.ÚYæ=Ý·Þ=å�Úkâ3ÙkØ�×"�.Ø�Ö�ÙðÖ �UÖeÙkØHÜ´Ý·Þ=Øjç¬ÖeÞDá2è(ØQÝ·ßQÛ=Ü·Ø�ß�Ø�Þ:ÚkØ�á�â.äD×ßQâ:á=Ý��8ØHá �jØ�×kÙYÝ·â.Þ�â��¦õ!Þ=ØHÙkØ�×����qØ�à�ÙYßQâ:â.ÚYæ=Ý·Þ=å8ñ�#ùØ!ã�âjßQÛ8Ö�×kØ�áÚkæDØ�ÙkØ ÙYßQâ:â.ÚYæ=Ý·Þ=åðÖ�Ü·å.â.×YÝ·Úkæ=ß�Ù¬ä=ÙYÝ·Þ=å ÚkØ��:Ú

�=ë

Page 22: Chen & Goodman - Peopleklein/cs294-5/chen_goodman.pdf · Úkâ!ü òåj× Ö ß ßQâ:á=Ø Ü·Ù ÖeÞDá/Ùkß âtâjÚkæ=Ý·Þ=åUç Ö Þ=á/ÙkäD× .ØHà/Úkæ=Ø(ßQâjÙkÚ

��×Yâ.ß�Úkæ=Ø/ï(×kâeè¡Þ3ã�â.×YÛ=ä=Ù�çUÚYæ=Ø ��âj×kÚYæ ��ß�Ø�×kÝ·ã�Ö�Þ*ï(ä=ÙYÝ´ÞDØ�ÙkÙ!Þ=Ø�è¡Ù!ã�âj×kÛ=äDÙ�çUÚkæ=Ø®÷:è¡Ý·Úkãaæ��8â:Öe×ká3ã�â.×YÛ=ä=Ù�ç Ö�Þ=áÚkæDØ�ï(×kâ:Öeá=ãBÖeÙkÚR��Ø�è¡Ùqã�â.×YÛ=ä=ÙBñ

mÚQÙYæ=â.ä=Ü·á �UØ�Þ=â.ÚYØ�á ÚkæUÖeÚQÚYæ=Ø�×YØ�Ø��:Ý·ÙkÚÜ�ÖeÞDå.ä8Ö�å.ØßQâ:á=Ø�Ü·Ý·Þ=å�Úkâ:â.Ü !:Ý·ÚkÙ�é �¡â.ÙYØ�Þ���ØHÜ´áTç/ë�ìjì��=îqê(ܾÖ�× !:ÙkâjÞÖeÞDá ��â.ÙYØ�Þ���Ø�Ü·á�çÀë�ì.ì]�.úÀè¡æ=Ý·ãaæ ã�ÖeÞ �8Ø�äDÙkØ�á ÚYâ �=äDÝ´Ü·á�ÙkßQâ:âjÚkæ=Ø�á ü��må.×aÖeß ßQâ:á=Ø�Ü·Ù®ä=ÙkÝ·Þ=å2Ö �.Öe×kÝ·Ø�Úmà�â��Ùkß�â:â.ÚkæDÝ´ÞDå�ÖeÜ·å.âj×kÝ·Úkæ=ß�Ù�çHÝ´ÞDã�Ü·ä=á=Ý·Þ=å!õ/ÖeÚ��(Ùkß�â:â.ÚkæDÝ´ÞDå8ç��.Ø�Ü·Ý·Þ=Ø�!����Ø�×Yã�Ø�×(ÙkßQâ:âjÚkæ=Ý·Þ=åUç«Ö��=ÙkâjÜ·ä=ÚkØ(á=Ý·Ùkã�âjä=Þ:ÚkÝ·Þ=åUçÖeÞDá�# Ý·ÚkÚYØ�Þ��mï¬Ø�Ü·Ü=ÙYßQâ:â.ÚYæ=Ý·Þ=å8ñUû¡æ=ØHÙkØ¡Úkâ:âjÜ!:Ý·ÚkÙTæ8Ö��.Ø ��â.ä=ÞDá/è¡Ý·á=جäDÙkØ.çjßQâjÙkÚ Þ=âjÚ�Ö��DÜ´à!Ý·Þ/ÚYæ=ØøÖ�×kØ�Öqâ��8ÙkÛUØ�Ø�ãaæ×kØHã�â.åjÞ=Ý·ÚkÝ·â.Þ�ñTô�âeè(Ø��jØ�×�ç:ÚYæ=Ø�à ã�Ö�Þ=Þ=â.Ú(ÛUØ�×���âj×k߸Û8Ö�×�Öeß�Ø�ÚkØH×?â.Û=ÚYÝ·ßQÝ���ÖeÚYÝ·â.Þ�Ö�Þ=á Úkæ=ØHà á=â�ÞDâ.Ú?ÙYä=Û=ÛUâ.×kÚ¡ÖeÜ·ÜUâ��ÚkæDØ�Ö�Ü·å.â.×YÝ·Úkæ=ß�Ù?è¬Ø!è¡ÖeÞ:ÚkØHá*ÚYâ Ø��.ÖeÜ·ä8Ö�ÚkØ.î:ÚYæ:ä=Ù�çDÚkæ=Ø�à�è¬ØH×kØ/Þ=âjÚ¡Ùkä=Ý·ÚaÖ��=Ü·Ø���â.×(â.äDסØ��:Û8Ø�×YÝ·ßQØ�Þ:ÚkÙBñ

�f#$" ��������� "����#�� �����&(� &(� � � � �-�* mÞ2ÚYæ=Ý·Ù ÙkØ�ãHÚkÝ·â.Þ�çZè¬Øá=Ý·ÙYã�ä=ÙkÙ ÚYæ=Øá=Ø�ÚaÖeÝ·Ü·Ù�â���â.ä=× Ý·ßQÛDÜ´ØHß Ø�Þ:Ú�ÖeÚYÝ·â.Þ=Ù!â����.Ö�×kÝ·â.äDÙ�ÙYßQâ:â.ÚYæ=Ý·Þ=åÚkØ�ãaæ=Þ=Ý �:ä=Ø�ÙBîâ��sÚkØ�Þ�ç�Úkæ=Ø�â.×YÝ´åjÝ·Þ8ÖeÜqá=Ø�ÙkãH×kÝ·Û=ÚkÝ·âjÞ â��ðÖ�Þ�ÖeÜ·åjâ.×kÝ·ÚYæ=ß Ý·Ù�Þ=â.Ú�Ø�Þ:ÚkÝ·×kØ�Ü·à'ã�âjßQÛ=Ü·Ø�ÚYØ�ÖeÞ=á¶ä=Þ8Öeß��DÝ´åjä=â.äDÙ�ñ mÞÙkØ��.Ø�×aÖeÜ ã�Ö�ÙkØ�ÙBç:è¬ØqÝ´ß�Û=Ü·Ø�ßQØHÞtÚYØ�á/ß ä=Ü·ÚYÝ´ÛDÜ´Ø �.Öe×kÝ�Ö�ÚkÝ·â.Þ=Ù)â��FÖeÞQÖeÜ·åjâ.×kÝ·ÚYæ=ß è¡æ=ØHÞ*ÖeÞQÖ�ß��=Ý·å.ä=Ý·Úmà!è¡ÖeÙ?Û=×YØ�ÙkØHÞtÚBçÖeÞDá*ãaæ=âjÙkØ!ÚkæDØ��.Ø�×YÙkÝ·â.ÞÚYæ8ÖeÚ¡ÛUØ�×��sâ.×kß�Ø�á �8ØHÙkÚ�ñû¡æ=Ø¡ÚkÝ·ÚYÜ´ØHÙFâ��8ÚkæDØ���â.Ü·Ü·âeè¡Ý·Þ=å¬ÙYØ�ã�ÚYÝ´âjÞ=Ù?Ý·Þ=ã�Ü·ä=áDجÚYæ=Ø¡ßQÞ=ØHßQâ.ÞDÝ´ãTè¬Ø(ä=ÙYØ¡Úkâ!×kØ �sØ�×?Úkâ!ÚYæ=جݷß�Û=Ü·Ø�ßQØ�Þ:ÚaÖeÚkÝ·âjÞ=Ù

Ý·Þ�Ü�Ö�ÚkØ�×!ÙkØHã�ÚkÝ·â.ÞDÙ�ñ #ùØ/ä=ÙYØ Úkæ=Ø ß�Þ=Ø�ßQâjÞ=Ý·ã�è¡æ=ØHÞùè¬Ø Öe×YØ�×YØ ��Ø�×Y×kÝ·Þ=å�ÚYâ*âjä=×!ÙkÛUØ�ã�Ý��8ã Ý·ßQÛDÜ´ØHßQØ�Þ:Ú�Ö�ÚkÝ·â.Þ�â��Ö ÙYßQâ:â.ÚYæ=Ý·Þ=å ßQØHÚkæ=â:á�ç ÖeÙ!âjÛ=Û8âjÙkØ�á�Úkâ�Úkæ=ØQÖ�Ü·å.â.×YÝ·Úkæ=ß�Ý·Þ�å.Ø�ÞDØ�×�Ö�Üòñ �Dâ.×!Ø�Ö�ãaæ�ß�Ø�Úkæ=â:á�çDè¬Ø®ßQØHÞtÚYÝ·â.ÞÚkæ=ØÛ8Ö�×�Öeß�Ø�ÚkØH×kÙ/ÚYæ8ÖeÚ/ãBÖeÞ��UØQÚkäDÞ=Ø�áùÚkâ3â.Û=ÚYÝ´ß�Ý���Ø�ÛUØ�×���â.×Yß*ÖeÞDã�Ø.îTÝ´ÞùåjØ�Þ=Ø�×aÖeÜmç)ÖeÞ:à �.Ö�×kÝ�Ö��DÜ´Ø®ßQØHÞtÚYÝ·â.Þ=Ø�á3Ý´Ù®ÖÚkäDÞ8Ö��=Ü·Ø¡Û8Ö�×�Ö�ßQØ�ÚYØ�×�ñTû¬à:Û=Ý·ã�Ö�Ü·Ü´à:çBè¬Ø¡ÙYØ�Ú(Û8Öe×aÖeßQØHÚkØ�× �.ÖeÜ·ä=ØHÙ?Úkâ/âjÛ=ÚkÝ·ß�Ý �HØ?Úkæ=ØqÛ8ØH×kÛ=Ü·Ø��:Ý·Úmà�â��JæDØ�Ü·á��òâjä=Ú?á8Ö�Ú�ÖDî��âjסßQâ.×YØ¡á=Ø�ÚaÖeÝ·Ü·Ù�ç=×YØ ��Ø�×qÚkâ ÷:Ø�ã�ÚYÝ·â.Þ��Uñ �Dñ

�â.×YØ�á=ØHÚ�ÖeÝ·Ü·Ù?Ö��Uâ.ä=ÚZâ.ä=×?ãHâ.ßQÛDÜ´ØHÚkØ(Ý´ß�Û=Ü·Ø�ßQØHÞtÚaÖeÚYÝ´âjÞ�çaÝ·Þ=ã�Ü·ä=á=Ý·Þ=å!ÚYØ�ãaæ=Þ=Ý �:ä=Ø�Ù ��â.×?Ü·Ý·ßQÝ·ÚYÝ´ÞDå¬ß�Ø�ßQâj×kà!ä=Ù��ÖeåjØ ��âj×?Ü�Öe×Yå.Ø�áUÖeÚ�Ö�ÙkØ�ÚYÙ�ç8Ö�×kØqå.Ý �.Ø�Þ ØHÜ´ÙYØ�è¡æ=Ø�×YØQé�ê(æDØ�Þ�ç ë�ìjì��jú�ñd=�ÞDØ�â��=ÙkØH× �.ÖeÚYÝ·â.Þ ÚkæUÖeÚ(è¬ØqÚ�Ö�!jØ�Ö�á �.ÖeÞ:Ú�Ö�å.Øâ��(Ý´Ù!ÚYæ8ÖeÚ���âj×�ÙkâjßQØ�Ö�Ü·å.â.×YÝ·Úkæ=ß�Ù�ç=è¡æDØ�Þ�âjÛ=ÚkÝ·ß�Ý �HÝ´ÞDå�ÚYæ=Ø��.ÖeÜ·ä=Ø�Ùqâ��¬ÛUÖe×�Ö�ßQØ�ÚYØ�×kÙ!âjÞ ÖMæ=Ø�Ü·á��mâ.ä=Ú!ÙkØHÚ�çTÝ´ÚqÝ·ÙÙkä �Qã�Ý·Ø�Þ:Ú�ÚYââ.Þ=Ü·àã�â.ÞDÙkÝ·á=Ø�×/Ö�ÙkßÖeÜ·Ü Û8âj×kÚYÝ´âjÞ�â��¬ÚkæDØ�Ø�Þ:ÚYÝ´×YØQü��òåj×�Ö�ß�ßQâ:á=Ø�Ümñqû¡æ8ÖeÚqÝ´ÙBç è¡æ=Ø�Þ�Û8Ö�×�Öeß�Ø�ÚkØH×�.ÖeÜ·ä=ØHÙ¡ã�æUÖeÞ=åjØ.çUè¬Ø/ÞDØ�Ø�á�âjÞ=Ü·àQ×kØHã�â.ß�Û=ä=ÚkØÀÚkæ=Ø/ÛUâ.×YÚkÝ·â.Þ3â��?Úkæ=Ø®ü��òåj×�Öeß�ßQâ:á=ØHÜ ×kØ�Ü·Ø��.Ö�ÞtÚ¡ÚYâQÚYæ=Ø/æ=Ø�Ü·á��mâ.äDÚÙkØHÚ�ñ!û¡æ:ä=Ù�ç���âj×�ÚYæ=Ø�ÙkØ ÖeÜ·åjâ.×kÝ·ÚYæ=ßQÙ(Ý·Ú�Ý·Ù�ÛUâ.ÙYÙkÝ �=Ü·Ø/Úkâ�Û8ØH×���âj×kß ÛUÖe×�Ö�ßQØ�ÚYØ�×�âjÛ=ÚkÝ·ß�Ý �BÖeÚkÝ·âjÞ Ø �Qã�Ý·Ø�Þ:ÚkÜ·à:ç=è¡æ=Ý·Ü·Ø��âj×øÖ�Ü´åjâ.×YÝ´ÚYæ=ßQÙTÞ=â.Ú �òÖ�Ü´Ü·Ý·Þ=å!Ý·Þ:Úkâ®Úkæ=Ý·Ù(ã�ÖeÚYØ�å.âj×kà ݷڬݷÙ(å.Ø�ÞDØ�×�Ö�Ü´Ü·à®Þ=Ø�ã�ØHÙkÙ�Ö�×kàÚkâ®Úk×aÖ��.Ø�×YÙkØ/ÚYæ=Ø�ØHÞtÚYÝ·×kØ!Úk×aÖeÝ·Þ=Ý·Þ=åÙkØHÚ�è¡æ=Ø�ÞDØ��.Ø�×!Û8Ö�×�Ö�ßQØ�ÚYØ�×kÙ�Ö�×kØ�Ö�á �aä=ÙYÚkØ�á�ñ(û¡æ=ØÀÝ´ß�Û=Ü·Ø�ßQØHÞtÚaÖeÚYÝ´âeÞDÙ ��â.סè¡æDÝ´ãaæÛ8Ö�×�Öeß�Ø�ÚkØHסâ.Û=ÚYÝ´ß�Ý���ÖeÚYÝ´âjÞ Ý·ÙØ��:ÛUØ�Þ=ÙkÝ �jØ/Ý·Þ=ã�Ü·ä=á=Ø!ÖeÜ·Ü �8Öeã !jâ ��ÖeÜ·å.âj×kÝ·ÚkæDßQÙ?ÖeÞ=áÚYæ=Ø/ÖeÜ·å.âj×kÝ·Úkæ=ß���������� ��� �������������������������8îeÚYæ=Ý·Ù¬ãHâ.ßQÛDä��Ú�Ö�ÚkÝ·â.ÞUÖeÜ�ãHâ.ÙkÚ!Ý·Ù�ÚYæ=Ø/×YØ�ÖeÙYâ.Þ�è¬Ø®á=Ý·áÞ=â.Ú!ä=ÙYØ�ÚYæ=Ø�ÙkØ ÖeÜ·åjâ.×kÝ·ÚYæ=ßQÙ(Ý·Þ�ÙkâjßQØ!â��¬ÚYæ=Ø/Ø��:ÛUØ�×kÝ·ß�Ø�Þ:ÚkÙ!è¡Ý·Úkæ �jØ�×kàÜ�Öe×Yå.Ø!á8ÖeÚaÖ/ÙYØ�ÚkÙBñ

��� �� ��� ��)�'�)"!( #"�$&%�% '���)!*�+$#&% ��'�����(����) % ��'�������������*�+#ùØ/ã�âjÞ=ÙkÝ·á=ØH×/Úmè¬â �.Ø�×YÙkÝ·â.ÞDÙ�â��øÖeáDá=Ý·ÚkÝ �.Ø/ÙYßQâ:â.ÚYæ=Ý·Þ=å8ñ �¡Ø ��ØH×k×kÝ·Þ=å�ÚkâØ��:ä8Ö�ÚkÝ·â.Þ2é@�.úqÝ·Þ�÷:Ø�ãHÚkÝ·â.Þ �=ñ·ë.çDè¬Ø � �� ^ ëqÝ´Þ % ��'�����(���ÀÙkß�â:â.ÚkæDÝ´ÞDå8ñ mÞ % ��'�������������*Uçeè¬Øqã�â.ÞDÙkÝ·á=Ø�×�Ö�Þtà �=ñ¡é û¡æ=Ø��.Ö�Ü·ä=Ø�Ù(â��FÛUÖe×�Ö�ßQØ�ÚYØ�×kÙ(ÙkäDã�æÖeÙ�� Öe×YØ!á=Ø�ÚkØH×kßQÝ·Þ=ØHá*ÚYæ=×kâjä=å.æÚY×�ÖeÝ·Þ=Ý·Þ=å®â.Þæ=ØHÜ´á �òâjä=Ú¬áUÖeÚ�ÖDñyúû)â�Ý·ßQÛ=×Yâ��.Ø ÛUØ�×���âj×kßÖeÞ=ã�Øjç)è¬Ø�Û8Ø�×���â.×Yß �8Ö�ã !jâ � è¡æ=Ø�Þ ÖæDÝ´ÙYÚkâj×kàùæ8Ö�Ù�Þ=â�ã�âjä=Þ:ÚkÙ�ñ û¡æ8ÖeڮݷÙ�ç)è¡æ=Ø�Þ

� é@a o mDbo m����Ob ú(^�óÀè¬Ø!ÚaÖ�!.Ø *��! " =é@a o j a o mObo m����Ob ú(^H* � =é-a o j a omDbo m���� i ú

Ý·Þ=ÙkÚYØ�Öeáâ���ä=ÙkÝ·Þ=å®Ø��:ä8ÖeÚYÝ·â.Þ�é@�.úHñ �=ä=×YÚkæ=ØH×kßQâj×kØ.ç��sâ.×?ß�Ø�Úkæ=â:á % ��'�������������*UçeÝ·Þ=ÙkÚYØ�Öeá�â��¦ÖÀÙkÝ·Þ=åjÜ·Ø���è(Ø�æ8Ö��jØÖ®ÙkØHÛ8Öe×aÖeÚkØ�� � ��â.×(Ø�ÖeãaæÜ·Ø��.ØHÜ�â��)Úkæ=Ø®ü��òåj×�Öeß1ßQâ:á=Ø�Ümñ

��� � � ,� ��)!*� �-(�/. ��� � " $&%�%('�� )�*�+$# ��������� ��� ������������)0�������1�� ��� ������� ���������������2��+�¡ØHã�ÖeÜ·Ü=ÚYæ8ÖeÚ)æ=Ý·å.æDØ�×��mâ.×Yá=Ø�×(ßQâ:á=Ø�Ü·ÙFÖ�×kØ¡á=ØZ�8Þ=Ø�á�×kØ�ã�äD×kÙkÝ �jØ�Ü·à�Ý·Þ®ÚkØ�×YßQÙ)â�� Ü·âeè¬Ø�×��òâj×ká=ØH×?ßQâ:á=Ø�Ü·ÙBñ #ùجØHÞ=á Úkæ=Ø×kØHã�ä=×kÙYÝ·â.Þ �:àQÚaÖ�!:Ý·Þ=å®Úkæ=Ø/óeÚYæ��mâ.×káDØ�×�á=Ý·ÙYÚk×kÝ �=äDÚkÝ·â.Þ�Úkâ��UØ�ÚYæ=Ø/ä=ÞDÝ �sâ.×k߸á=Ý·ÙYÚk×kÝ �=äDÚkÝ·â.Þ�* � � � � é-a o ú ^-ë3Aj��yj²ñ

� �

Page 23: Chen & Goodman - Peopleklein/cs294-5/chen_goodman.pdf · Úkâ!ü òåj× Ö ß ßQâ:á=Ø Ü·Ù ÖeÞDá/Ùkß âtâjÚkæ=Ý·Þ=åUç Ö Þ=á/ÙkäD× .ØHà/Úkæ=Ø(ßQâjÙkÚ

#ùØ��=ä=ã !.ØHÚ Úkæ=Ø � � ���� �������Ö�ã�ã�âj×ká=Ý·Þ=å�Úkâ x ��� � é-a oo m����Ob ú�Ö�Ù/ÙkäDå.å.ØHÙkÚkØHá �:àùï¡Öeæ=Ü!Ð���Ì�Ô´ñ mÞtÚYä=Ý·ÚkÝ �.ØHÜ´à:ç

Ø�Ö�ã�æ �=ä=ã !.ØHÚ¬ÙYæ=â.ä=Ü·á��UØ�ßÖeá=Ø¡ÖeÙ?ÙYß*Ö�Ü´Ü=Ö�Ù¬ÛUâ.ÙYÙkÝ �=Ü·Ø.çjÚkâ/âjÞ=Ü·à�åj×kâ.äDÛ Úkâ.åjØ�ÚkæDØ�׬ÚYæ=Ø�ß�â.ÙYÚFÙYÝ·ßQÝ·Ü�Öe×Fü��må.×aÖeß�Ù�çè¡æ=Ý·Ü·ØQ×YØ�ß*Ö�Ý´ÞDÝ´ÞDå�Ü�Öe×kåjØØ�Þ=â.äDå.æ2ÚYâ2Öeã�ãHä=×�Ö�ÚkØ�Ü·à'Ø�ÙkÚYÝ·ß*ÖeÚYØQÚYæ=Ø�ÖeÙkÙYâ:ã�Ý�ÖeÚkØHá Û8Öe×aÖeß�Ø�ÚkØ�×YÙ�ñ #ùØ�ß*Ö�!jØ Úkæ=ØÖeÙYÙkä=ß�Û=ÚkÝ·âjÞ�ÚYæ8ÖeÚ?è¡æDØ�Úkæ=ØH×�Ö��=ä=ã !.ØHڬݷÙ?Ü�Öe×Yå.Ø¡Ø�ÞDâ.ä=åjæ ��â.׬Ö�ã�ã�ä=×aÖeÚYØ�Û8Ö�×�Öeß�Ø�ÚkØH×?Ø�ÙkÚYÝ·ß*ÖeÚYÝ·â.Þ®á=Ø�ÛUØ�Þ=á=Ù¡âjÞ=Ü·àâ.Þ�ÚkæDØ ÞtäDß��8Ø�×!â���ü��må.×aÖeßQÙqÚkæ8Ö�Ú��òÖeÜ·Ü)Ý·Þ�ÚYæ8ÖeÚ��Dä=ã !.Ø�Ú/Ý·Þ�Úkæ=Ø áUÖeÚ�Ö�ä=ÙYØ�á2ÚYâÚk×�Ö�Ý·Þ�ÚYæ=Ø��� ÙBñ�#ùØðÖ�ÙkÙYÝ´åjÞ�=ä=ã !jØ�ÚkÙqÙkâ®Úkæ8Ö�Ú�Ö/ß�Ý´ÞDÝ´ß®ä=ß â�� � � � � ü��òåj×�Öeß�Ù �òÖ�Ü´ÜUÝ·ÞQØ�Ö�ãaæ �Dä=ã !.Ø�ÚBñ #ùØ�ÙkÚaÖe×YÚ���×kâjß Úkæ=Ø!Ü·âeè(Ø�ÙkÚ¡ÛUâ.ÙYÙkÝ �=Ü·Ø�.ÖeÜ·ä=Øâ�� x � � � é-a oo m����Ob úé �� Ð ��ç���ØH×kâtú�ÖeÞ=á'Û=äDÚQÝ·Þ=ã�×YØ�ÖeÙYÝ´ÞDå �.ÖeÜ·ä=ØHÙ â���x � � � é-a oo m����Ob ú®Ý·Þ:ÚkâùÚYæ=Ø�Ù�Ö�ßQØ�=ä=ã !jØ�Ú�äDÞtÚYÝ·Ü?Úkæ=Ý·Ù/ß�Ý·Þ=Ý·ß ä=ß ã�âjä=Þ:Ú�Ý·Ù/×YØ�Öeãaæ=Ø�áTñ #ùØ ×kØHÛ8Ø�Ö�Ú�ÚYæ=Ý·Ù/Û=×YâtãHØ�ÙkÙ ä=Þ:ÚYÝ´Ü(ÖeÜ·Ü?ÛUâ.ÙkÙYÝ �=Ü·Ø �.ÖeÜ·ä=ØHÙ/â��x��� � é@a oo m����Ob úqÖe×YØ��=ä=ã !.ØHÚkØ�á�ñ �¦ÚYæ=Ø/Ü�ÖeÙYÚ��=äDã !jØ�Ú�æUÖeÙ �sØ�è¬ØH×�ÚkæUÖeÞ � � � � ã�â.äDÞtÚYÙ�çUè(Ø/ßQØ�×Yå.Ø!Ý·Ú¡è¡Ý·ÚkæÚkæ=ØÛ=×YØ�ã�Ø�á=Ý·Þ=å �=ä=ã !.ØHÚ�ñ�#ùØqä=ÙkØÀÙkØ�Û8Ö�×�Ö�ÚkØ��=äDã !jØ�ÚkÙ ��â.×(Ø�Ö�ã�æ�ü��òåj×�Öeß1ßQâ:á=Ø�Ü �8ØHÝ´ÞDå Ý´Þ:ÚYØ�×kÛUâ.Ü�ÖeÚYØ�á�ñ

mÞÛ8Ø�×���â.×YßQÝ·Þ=å!ÚkæDÝ´Ù �Dä=ã !.Ø�ÚYÝ´ÞDå8ç:è(Ø�ã�×YØ�ÖeÚYØ�ÖeÞÖe×k×aÖBà ã�â.Þ:ÚaÖeÝ·Þ=Ý·Þ=å®Úkæ=ØqÞtäDß��8Ø�×(â��?ü��òåj×�Ö�ßQÙ)Úkæ8Ö�Ú¡â:ã�ã�ä=×��âj×�Ø�Ö�ãaæ �.ÖeÜ·ä=Ø â�� x ��� � é@a oo m����Ob ú/ä=Û�Úkâ�ÙYâ.ß�Ø ß*Ö��:Ý·ß ä=ß �.ÖeÜ·ä=Ø.ç)è¡æDÝ´ãaæ�è¬Ø�ã�ÖeÜ·Ü � � - �

ñ �=âj×ðü��må.×aÖeßQÙa o mObo m����Ob è¡Ý·ÚYæ x��� � é@a oo m����Ob úW� � � - �

ç:è(Ø!Û=×kØHÚkØ�Þ=á x��� � é@a oo m����Ob ú(^ � � - ���â.× �=äDã !jØ�ÚkÝ·Þ=å ÛDä=×kÛUâ.ÙYØ�Ù�ñ

��Ù?ß�Ø�Þ:ÚkÝ·â.ÞDØ�á/Ý·Þ�÷:Ø�ãHÚkÝ·â.Þ �Dñ &DçBÚkæ=Ø��� Ù)ã�Ö�Þ��8Ø(Úk×aÖeÝ·Þ=Ø�á Ø �QãHÝ´ØHÞtÚYÜ·à/ä=ÙkÝ·Þ=åqÚkæ=Ø¡ï¡ÖeäDß���#ùØ�Ü·ã�æ/Ö�Ü´åjâ.×YÝ´ÚYæ=ß�ñö!Ý �.ØHÞùÝ´ÞDÝ´ÚYÝ�ÖeÜ �.ÖeÜ·ä=Ø�Ù ��â.×/ÚYæ=Ø � Ù�çTÚkæ=Ø�ïøÖ�ä=ß���#ùØ�Ü·ãaæ�ÖeÜ·åjâ.×kÝ·ÚYæ=ß Ö�á �aä=ÙYÚkÙ®Úkæ=Ø�ÙYØQÛ8Ö�×�Ö�ßQØ�ÚYØ�×kٮݷÚkØ�×aÖeÚkÝ �jØ�Ü·àÚkâß�Ý´ÞDÝ´ß Ý���Ø!Úkæ=Ø®Ø�Þ:Úk×Yâ.Û:à�â��¬ÙkâjßQØ/á8Ö�Ú�ÖDñ!û¡æ=ØðÖ�Ü·å.â.×YÝ·Úkæ=ß�å.Ø�ÞDØ�×�Ö�Ü´Ü·à�áDØ�ã�×kØBÖeÙkØHÙ�ÚYæ=Ø�ØHÞtÚY×kâjÛtà3è¡Ý´ÚYæ�Ø�Ö�ã�æÝ·ÚkØ�×aÖeÚYÝ´âjÞ�ç=ÖeÞDá*åjä8Öe×aÖeÞ:ÚkØHØ�Ù�Þ=âjÚ¬ÚYâ Ý·Þ=ã�×kØBÖeÙkØÀÝ´ÚBñ #ùØ!ÙkØ�Ú!ÖeÜ·Ü � Ù¡Ý·Þ=Ý·ÚkÝ�ÖeÜ·Ü·à�ÚYâ�ÚYæ=Ø��.Ö�Ü´äDØ&Av.ñ #ùØ!ÚkØH×kßQÝ·Þ8Ö�ÚkØÚkæDØQÖeÜ·å.âj×kÝ·Úkæ=ß�è¡æ=Ø�ÞùÚYæ=Ø®Ø�Þ:Úk×kâjÛ:à�ÛUØ�×/è(â.×Yá�ãaæ8Ö�Þ=å.Ø�ÙÀÜ´ØHÙkÙ!Úkæ8Ö�Þ � � - �

�=Ý·ÚkÙ��8ØHÚmè¬Ø�ØHÞ2Ý·ÚkØ�×aÖeÚYÝ´âjÞ=Ù�ñ�éh�qâ.ÚkØÚkæUÖeÚ?ÚYæ=Ø�Û8Ö�×�Ö�ßQØ�ÚYØ�×kÙ � � � � ç � � - �

ç�Vv�çtÖ�Þ=á � � - � Ö�×kØ�Ö�Ü´ÜDã�â.Þ=ÙYÝ·á=Ø�×kØHá���âj×?â.Û=ÚYÝ·ßQÝ���ÖeÚYÝ·â.Þ�çBÖeÙ¬Ö�×kØ�Ö�Ü·Ü �.Öe×YݾÖ��=Ü·Ø�ÙÝ·ÞQÜ�ÖeÚYØ�סÙkØHã�ÚkÝ·â.ÞDÙ�ñyú#ùØ Ý·ßQÛ=Ü·Ø�ß�Ø�Þ:ÚkØ�á�Úmè(â �.Ø�×YÙkÝ·â.ÞDÙ�â�� �jØ�Ü·Ý´ÞDØ�!�� �ØH×kã�Ø�× ÙYßQâ:â.ÚYæ=Ý·Þ=å8ç�â.Þ=Ø ä=ÙYÝ·Þ=å�æ=Ø�Ü·á��mâ.äDÚ/Ý·ÞtÚYØ�×kÛUâ.Ü�Ö�ÚkÝ·â.Þ

ÖeÞDáùâ.Þ=Ø ä=ÙYÝ·Þ=åá=Ø�Ü·Ø�ÚkØHá2Ý·Þ:ÚkØ�×YÛ8âjܾÖ�ÚkÝ·â.ÞTñ� mÞ �������1�� ��� ������� ��� ç=ÚYæ=Ø � Ù�Öe×YØ Úk×aÖeÝ·Þ=Ø�áùä=ÙYÝ·Þ=å�æ=Ø�Ü·á��mâ.äDÚ/Ý·Þ��ÚkØH×kÛUâ.Ü�ÖeÚYÝ´âjÞ�â.ÞùÖ�æ=Ø�Ü·á��mâ.ä=Ú!ÙYØ�Ú�ñ mÞ$�������1������ �����������������������1� ç:Úkæ=Ø� � Ù�Ö�×kØ®Úk×aÖeÝ·Þ=Ø�á�ä=ÙkÝ·Þ=åÚYæ=Ø*þYÐ�Ô·Ì?jÐaÓÓ.ÐHÔ´Ð��sÐ�Ó �Í �sÐ�þ��=ÒeÔ·Ì � �Ò.Í�ÚYØ�ãaæ=Þ=Ý �:ä=Ø á=Ø�ÙYã�×kÝ �UØ�á �:à��.Ø�Ü·Ý·Þ=Ø�!ùÖeÞDá �ØH×kã�Ø�×Bç)è¡æ=Ø�×YØ â.Þ=Ø®è¬âj×ká�Ý·Ù�áDØ�Ü·Ø�ÚkØ�á2Ö�Ú/ÖÚkÝ·ß�Ø.ñ!é�û¡æ=Ý·Ù�Ý·Ù�Ö�Ü´ÙYâ !:Þ=âeè¡Þ�ÖeÙqÚkæ=ØMÔ´ÐaÌ �BÐ�ýkÒjÍ=ÐHýkÒ.Ï���ß�Ø�ÚkæDâtáTñ ú mÞ �������1�� �����������������������������Jç�è¬Ø��Dä=ã !.Ø�ÚÖeÞ�ü��må.×aÖeß�Öeã�ã�âj×ká=Ý·Þ=å�Úkâ�Ý´ÚYÙ¡ã�â.äDÞtÚ��8Ø ��â.×YØ�á=ØHÜ´ØHÚkÝ·â.Þ�çUÖeÙqÚkæ=Ý·Ù�ÚYä=×kÞDØ�á�â.äDÚ�Úkâ�ÙkÝ·å.ÞDÝ �Uã�ÖeÞ:ÚkÜ·à Ý·ßQÛD×kâ��.ØqÛ8ØH×����âj×kß*Ö�Þ=ã�Ø.ñ$#ùØ¡ætà:ÛUâ.ÚYæ=Ø�ÙkÝ���ØqÚkæ8Ö�Ú?ÚkæDÝ´ÙZÝ´Ù �8Ø�ãBÖeä=ÙYØ�ÖeÞQü��må.×aÖeß-Ý´ÙZÚkæ=Ø�Þ ÛDܾÖ�ã�Ø�á�Ý´Þ®ÚkæDØ�Ù�Ö�ßQØ��=ä=ã !.ØHÚ?á=ä=×YÝ´ÞDåÚk×aÖeÝ·Þ=Ý·Þ=å ÖeÙ¡Ý·ÞQØ��.ÖeÜ·ä8ÖeÚYÝ·â.Þ�ç:ÖeÜ·Ü·âeè¡Ý·Þ=å/ÚkæDØ! � Ù¡Úkâ��UØ/ßQØBÖeÞ=Ý·Þ=å���ä=Ü·Ü·à�åjØ�Öe×YØ�á�ÚYâeèøÖ�×káQÝ·Þ=áDÝ�:Ý·á=ä8Ö�ÜJü��må.×aÖeß�Ù�ñ��� ��� ����'�� "�$&%�% '���)!*�+$# ��*�����+�¡Ø ��Ø�×k×YÝ·Þ=å�ÚYâð÷�Ø�ã�ÚkÝ·âjÞ �Dñ �8çjÝ´ÞDÙkÚkØBÖeáQâ��¦ÖÀÙkÝ·Þ=åjÜ´Ø � è(Ø�Ö�Ü´Ü·âeè ÖÀá=Ý��JØ�×YØ�Þ:Ú��O� ��â.×(Ø�Öeãaæ�ü��må.×�Ö�߸ßQâ:á=Ø�Ü �8ØHÝ´ÞDåã�âjß��=Ý·Þ=Ø�á�ñ

�¡Ø�ãBÖeÜ·Ü¡Úkæ8Ö�Ú�æDÝ´åjæ=Ø�×��òâj×ká=Ø�× ß�â:á=Ø�Ü·Ù/Öe×kØá=ØZ�8Þ=Ø�á'×kØHã�ä=×kÙYÝ �.Ø�Ü·à2Ý·Þ�ÚkØ�×YßQÙ®â���Ü·âeè¬ØH×��mâ.×káDØ�× ßQâ:á=Ø�Ü·ÙBçFÖ�Þ=áÚkæUÖeÚ¡ÚkæDØ�×YØ�ã�ä=×YÙkÝ·â.Þ3Ý´Ù(Ø�Þ=áDØ�á �:à Ú�Ö�!tÝ·Þ=å®ÚkæDØ�äDÞ=Ý·å.×�Ö�߸á=Ý·ÙkÚk×YÝ �=ä=ÚkÝ·âjÞQÚkâ��UØ!Úkæ=Ø!ßÖ��:Ý·ß�ä=ß Ü·Ý !.ØHÜ´Ý·æ=â:â:á á=Ý·Ù��Úk×YÝ �=ä=ÚkÝ·âjÞ�ñ #¶æ=Ý·Ü´Øqä=ÙkÝ·Þ=å®ÚkæDØ�ßÖ��:Ý·ß�äDß Ü´Ý !jØ�Ü·Ý´æDâtâ:á ä=ÞDÝ´åj×�Ö�ß áDÝ´ÙYÚk×YÝ�Dä=ÚkÝ·â.Þ�â���ÚYØ�ÞQè(â.×"!:Ù¡è¬Ø�Ü·ÜUÝ·ÞQÛ=×aÖeã�ÚYÝ´ãHØ.çÚkæDÝ´Ù!ãaæ=âjÝ´ãHØ�Ý·Ù�ÞDâ.Ú!è¬ØHÜ´Ü �mÙkä=Ý·ÚYØ�á�Úkââjä=×�è(â.×"!Jñ� mÞ�Û=×aÖeã�ÚYÝ´ãHØ.ç�ÚYæ=Ø �.â:ã�Ö��Dä=Ü�Öe×kà �¸Ý·Ù�äDÙkä8Ö�Ü´Ü·à�ã�æDâ.ÙkØHÞùÚkâÝ·Þ��ã�Ü·ä=á=ØÀâ.Þ=Ü·àQÚYæ=â.ÙYØ/è(â.×káDÙ�ÚkæUÖeÚ�â:ã�ãHä=×�Ý·Þ�ÚYæ=Ø/Úk×aÖeÝ·Þ=Ý·Þ=å á8Ö�Ú�ÖDç=Ùkâ ÚYæ8ÖeÚ�*�� é-a o ú ��ó ��â.×�Ö�Ü´Üda o � � ñ(û¡æ=Ý·ÙÖeÙYÙkä=×YØ�Ù/ÚYæ8ÖeÚqÚkæ=Ø Û=×Yâ �8Ö��=Ý·Ü·Ý´ÚYÝ·Ø�Ù¡â��øÖ�Ü·ÜFü��må.×�Ö�ßQÙ�Ö�×kØ®Þ=â.Þ7�HØ�×kâUñ!ô�âeè(Ø��.Ø�×Bç Ý·Þ�ÚkæDÝ´Ùqè¬âj× !Þ=âjÚ�Ö�Ü·Ü�è(â.×káDÙ�Ý·ÞÚkæDØ��.â:ã�Ö��Dä=Ü�Öe×kà�ÖeÜ·èøÖBà:Ù!â:ã�ã�ä=׮ݷÞ�ÚYæ=Ø Úk×aÖeÝ·Þ=Ý·Þ=åá8Ö�Ú�Ö=ñ #ùØ�×Yä=ÞùØ��:Û8ØH×kÝ·ßQØ�Þ:ÚYÙ/ä=ÙkÝ·Þ=å3ß*ÖeÞ:à�Úk×�Ö�Ý·Þ=Ý·Þ=åÙkØ�ÚÙkÝ���ØHÙ�ç�Ö�Þ=áè¬Ø/äDÙkØ�Öy� �:Ø�á �.â:ã�Ö��=ä=Ü�Öe×Yà*Ö�ã�×kâjÙkÙ/ÖeÜ·Ü ×käDÞ=Ù�ÙYâQÚkæUÖeÚ�×YØ�ÙkäDÜ´ÚYÙ��8Ø�Úmè(Ø�Ø�Þ�ÙkÝ���ØHÙ�Ö�×kØ/ãHâ.ßQÛUÖe×�Ö��=Ü·Ø.ñ��âjÚ/ÖeÜ·Ü)è¬âj×ká=Ù!Ý·Þ�ÚkæDØ��.â:ã�Ö��Dä=Ü�Öe×kàè¡Ý·Ü·Ü)âtãHã�ä=×/Ý·Þ�ÚYæ=Ø ÙkßÖeÜ·Ü·Ø�סÚk×aÖeÝ·Þ=Ý·Þ=åQÙYØ�ÚkÙBñ û¡æ:ä=Ù�ç�ä=Þ=Ü·Ø�ÙkÙÀè¬Ø®Ùkß�âtâjÚkæÚkæDØ/ä=Þ=Ý·å.×aÖeß áDÝ´ÙYÚk×YÝ�Dä=ÚkÝ·â.Þè(Ø/ß*ÖBà æUÖ��.Ø/ü��òåj×�Ö�ß Û=×kâ��8Ö��DÝ´Ü·Ý·ÚkÝ·Ø�Ù¡ÚYæ8ÖeÚ�Ö�×kØ �HØ�×kâUç8è¡æDÝ´ãaæã�âjä=Ü·á�Ü·Ø�ÖeáÚkâQÖ�ÞÝ·Þ��8Þ=Ý·ÚYØ/ã�×kâjÙkÙ��òØ�Þ:ÚY×kâ.Û:à�â.ÞÚkØHÙkÚ/á8Ö�Ú�ÖDñ¡û)â*ÖeáDá=×kØ�ÙYÙ!Úkæ=Ý·Ù!Ý·ÙkÙkäDØ.çUè¬Ø®Ùkß�âtâjÚkæÚkæDØ�ä=ÞDÝ´åj×�Ö�ß á=Ý·ÙYÚk×kÝ �=äDÚkÝ·â.ÞÝ·Þõ/ÖeÚ$��ÙYßQâ:â.ÚYæ=Ý·Þ=å/ä=ÙYÝ·Þ=åQÖeá=áDÝ´ÚYÝ �.Ø�ÙYßQâ:â.ÚYæ=Ý·Þ=å8îjè(Ø�ãBÖeÜ·Ü Úkæ=Ø/Ö�á=á=Ý·ÚkÝ �.Ø!ã�âjÞ=ÙkÚaÖeÞ:Ú��=ñ��

� P�N@4K858P;@ �"� � @4G,�4@TG�=�AU:�:�7�9;58P;Q;>,��@�J�X;X;G�@T=�=Z7�9;58=�58=�=�<;@�H!�!@TP;X;58P;Q�7�9;@0AU:?X;@4KNG�@ �T<;G�=�58:�P ��587�9 J +I7�9�� :�G�X;@TG;AU:�X;@TKN58P;=�7�@4J�X:NCJ <;P;58Q�G�J�ABAU:�X;@TK >OJ�P;X 7�J �?58P;Q 7�9;@ +�7�9�� :�G�X;@4GAU:�X;@TK�7�: HO@RJ <;P;5 C :�G�A�X;58=�7�G�58H;<;7�58:�P�[�3 @U7�G�58@4X J =�58AU58K8J�G�7�J�� � ��587�9;!J�7��R=�AU:?:I7�9;58P;Q;>;H;<;7�J�F;F;K�?58P;QU7�9;@�P;J�7�<;G�J�K�@ ��7�@4P;=�58:�P :NC7�9;@ ;!J�7��RJIK8Q�:�G�587�9;A 7�: �T:�A H;58P;58P;QRJ <;P;58Q�G�J�A�J�P;X <;P;5 C :�G�A

� &

Page 24: Chen & Goodman - Peopleklein/cs294-5/chen_goodman.pdf · Úkâ!ü òåj× Ö ß ßQâ:á=Ø Ü·Ù ÖeÞDá/Ùkß âtâjÚkæ=Ý·Þ=åUç Ö Þ=á/ÙkäD× .ØHà/Úkæ=Ø(ßQâjÙkÚ

mÞ ÚkæDØ Ö�Ü´åjâ.×YÝ´ÚYæ=ß Ö�Ù*áDØ�Ùkã�×YÝ �8Ø�á Ý·Þ'ÚkæDØ�âj×kÝ·å.Ý·Þ8Ö�Ü¡Û8ÖeÛUØ�×�çqÞ=â�Û=×kâ��8Ö��=Ý·Ü·Ý·ÚmàùÝ·Ù*ÖeÙYÙkÝ·å.ÞDØ�á�ÚYâ§ü��må.×aÖeßQÙè¡Ý·Úkæ��HØ�×kâ�ãHâ.ä=Þ:ÚkÙ!Ý·Þ�Ö�ã�âjÞ=á=Ý·ÚkÝ·â.ÞUÖeÜ�áDÝ´ÙYÚk×YÝ�Dä=ÚkÝ·â.ÞY*�é-a o j a o mDbo m����Ob úqÝ �¬ÚkæDØ�×kØQÖ�×kØ®Þ=â*ü��må.×aÖeßQÙ a oo m����Ob Úkæ8Ö�Úâ:ã�ã�ä=× �8ØHÚmè¬Ø�ØHÞ ë�ÖeÞ=á�� � ÚYÝ·ßQØ�ٮݷÞ2ÚkæUÖeÚ á=Ý·ÙkÚY×kÝ �=ä=ÚYÝ·â.Þ�ñ'û¡æ=Ý·Ù ã�Ö�Þ'Ü´ØBÖeá2ÚYâ2ÖeÞ'Ý·Þ��8Þ=Ý·ÚYØ*ãH×kâ.ÙYÙ��mØ�Þ:Úk×Yâ.Û:àâ.ÞùÚYØ�ÙkÚÀá8ÖeÚaÖ=ñ�ûFâ�Ö�á=á=×kØHÙkÙ®Úkæ=Ý·Ù�çTè¡æ=Ø�ÞDØ��.Ø�×®ÚkæDØ�×kØÖe×kØ ÞDâ�ã�â.äDÞtÚYÙ��UØ�Úmè¬ØHØ�Þ ëðÖ�Þ=á � � Ý·ÞùÖ�ã�â.Þ=áDÝ´ÚYÝ·â.Þ8Ö�Üá=Ý·ÙkÚY×kÝ �=ä=ÚYÝ·â.Þ�çUè(Ø å.Ý �.Ø/ÚYæ=Ø���Ø�×Yâ��mã�â.äDÞtÚ®ü��òåj×�Öeß�Ù�Ö�Úkâ.ÚaÖeÜ)â�� � ãHâ.ä=Þ:ÚkÙBç�ÖeÞDá�Ý·Þ=ã�×YØ�ÖeÙYØ Úkæ=Ø ÞDâ.×kßÖeÜ·Ý���ÖeÚYÝ·â.Þã�âjÞ=ÙkÚaÖeÞ:Ú�ÖeÛ=ÛD×kâ.ÛD×kÝ�ÖeÚYØ�Ü·àtñ

��� � � � )�'�'� *�� � ��� "�$&%�%('���)�* +$#�� ���������������������1������ % ) � �1���������������������*��1��(�����+û¡æ=Ø/Ý·ß�Û=Ü·Ø�ßQØ�Þ:ÚaÖeÚkÝ·âjÞ � �1��������������������1������ % Ý·Ù�Ö �òÖ�Ý·Úkæ���äDÜ�Ý·ßQÛ=Ü·Ø�ß ØHÞtÚaÖeÚYÝ´âjÞ â��?ÚkæDØ/â.×YÝ´åjÝ·Þ8ÖeÜ�Ö�Ü´åjâ.×YÝ´ÚYæ=ß�çè¡æ=Ø�×YØ è¬Ø®Ø�Þ=á�ÚkæDØ ßQâ:á=Ø�ÜT×kØ�ã�äD×kÙkÝ·âjÞ��tàÚaÖ�!:Ý·Þ=åQÚYæ=ØQóeÚYæ��òâj×ká=ØH×�áDÝ´ÙYÚk×YÝ�Dä=ÚkÝ·â.Þ3Úkâ �8Ø®ÚkæDØ ä=Þ=Ý ��â.×Yß áDÝ´ÙYÚk×YÝ ��=ä=ÚYÝ·â.Þ�ñ(û¡æ=Ø/Ý·ß�Û=Ü·Ø�ßQØ�Þ:ÚaÖeÚkÝ·âjÞ � �1���������������������*��1��(����/Ý·Ù�Ö �8Ö�ã !jâ ���.Ø�×YÙkÝ·â.Þâ��¦ÚYæ=Ø®â.×kÝ·åjÝ´ÞUÖeÜ�ÖeÜ·åjâ.×kÝ·ÚYæ=ßé�ÙYØ�Ø�÷:ØHã�ÚkÝ·â.Þ �=ñyí.úHñ

��� � ��� %(�!��'� � �) �� %(��*�'�)!*�+ # *���� ���0����� ���1������ % ) *�������� ����������*��1��(�����+�¡Ø ��Ø�×k×YÝ·Þ=å�ÚYâ�÷:Ø�ãHÚkÝ·â.Þ �=ñ �=ç)Ý·Þ=ÙYÚkØ�Ö�á2â���Ö�ÙkÝ·Þ=å.Ü·Ø � â��.Ø�×®ÚkæDØQè¡æ=âjÜ´Ø ß�â:á=Ø�Ü(è¬Ø�ä=ÙkØÖ�ÙYØ�Û8Öe×aÖeÚYØ � � ��âj×Ø�Ö�ã�æ ü��må.×aÖeß%Ü·Ø��jØ�Ümñ���Ù ä=ÙYä8ÖeÜmçZè¬ØÚkØH×kßQÝ·Þ8Ö�ÚkØ�Úkæ=ØßQâ:á=ØHܬ×YØ�ã�ä=×YÙkÝ·â.Þ'è¡Ý·Úkæ�Úkæ=Ø�äDÞ=Ý ��â.×Yß áDÝ´ÙYÚk×YÝ�Dä=ÚkÝ·â.ÞTñ��Ü·ÙYâ8çUÝ·Þ=ÙkÚYØ�Öeá�â��?ä=ÙYÝ´ÞDåQØ��:ä8Ö�ÚkÝ·â.Þ2é �.ójú¡Úkâ�ã�ÖeÜ·ã�äDܾÖ�ÚkØ � � ç8è(Ø[�8ÞDá�ÚYæ=Ø �.Ö�Ü·ä=Ø�Ù�â�� � � �:à*âjÛ=ÚkÝ·ß�Ý �HÝ´ÞDå/Úkæ=ØÛUØ�×kÛ=Ü·Ø��:Ý·Úmàâ��¬æDØ�Ü·á��òâjä=Ú¡á8Ö�Ú�Ö=ñ�û¡æ=Ø�Ý·ß�Û=Ü·Ø�ßQØ�Þ:ÚaÖeÚkÝ·âeÞ *��������0����������*��1��(����®Ý·Ù�Ö��UÖeã !.â� �.Ø�×YÙkÝ·â.Þ3â�� *�������0���������1������ % é�ÙkØHØ�÷:Ø�ã�ÚYÝ·â.Þ �=ñyí.úHñ

��� �� ��*� ����� �� "�$&%�%('���)�* +$# ������������������)����������������������0����+�¡Ø ��Ø�×k×YÝ·Þ=å/Úkâ ÷:Ø�ãHÚkÝ·â.Þ �Dñ �Dç.Ý·Þ=ÙYÚkØ�Ö�á â���ÚaÖ�!:Ý·Þ=å/Ø��:ä8Ö�ÚkÝ·â.Þ�é � &.úZÖeÙ?Ý·Ù�ç:è(Ø¡Ùkß�â:â.Úkæ®Ü·âeè¬ØH×��mâ.×káDØ�׬áDÝ´ÙYÚk×YÝ�Dä=ÚkÝ·â.ÞDÙÝ·Þ2Ö�ÙkÝ·ßQÝ·Ü�Öe× �òÖeÙYæ=Ý·â.ÞùÖeÙ/ÚYæ=ØQæ=Ý·åjæ=Ø�ÙkÚ��òâj×ká=ØH×/á=Ý·ÙkÚY×kÝ �=ä=ÚYÝ´âjÞ�ñ�û¡æ8ÖeÚ/Ý·ÙBç ��âj×�Öeܷܬü��må.×aÖeß ßQâ:á=Ø�Ü·Ù��8ØHÜ´âeè-Úkæ=Øæ=Ý·å.æDØ�ÙkÚ¡Ü·Ø��jØ�Ü�è(Ø!Ú�Ö�!jØ

* ��� é-a o j a o mDbo m����Ob ú ^ ß*Ö�� � � bT� é-a oo m����Ob ú � � ,aó��x ��� �<bT�(é-a oo m����Ob ú �

�x �� � bT� é-a oo m����Ob ú �yb ��é-a o mObo m����Ob�� ú5* ��� é@a o j a o mObo m���� i ú

#ùØ/Ø�ÞDá�ÚYæ=Ø�ß�â:á=Ø�Ü�×YØ�ã�ä=×YÙkÝ·â.Þ��:àÚ�Ö�!:Ý´ÞDåQÚkæDØðó�Úkæ��mâ.×Yá=Ø�×!á=Ý·ÙkÚY×kÝ �=ä=ÚYÝ´âjÞ�Úkâ �8Ø®ÚkæDØ ä=Þ=Ý ��â.×Yß áDÝ´ÙYÚk×YÝ�Dä=ÚkÝ·â.ÞTñ��Ü·ÙYâ8ç:Ý·Þ=ÙkÚYØ�Öeá�â��?Ö/ÙYÝ´ÞDå.Ü·Ø�� â��jØ�×(Úkæ=Ø!è¡æ=âjÜ´ØqßQâ:á=Ø�ÜUè(Ø�ä=ÙYØ�ÖÀÙkØHÛ8Öe×aÖeÚkØ � ����âj׬ØBÖeãaæ�ü��òåj×�Öe߸ܷØ��jØ�Ümñ)û¡æ=ØÖeÜ·åjâ.×kÝ·ÚYæ=ß������� ����������ÀÙkØ�ÚYÙ¡Úkæ=Ø � ��Û8Öe×aÖeßQØHÚkØ�×YÙ �:à â.ÛDÚkÝ·ßQÝ���Ý·Þ=åqÚkæ=ØqÛ8Ø�×YÛ=Ü·Ø��:Ý·Úmà â���æ=Ø�Ü·á��mâ.äDÚ¬á8Ö�Ú�ÖDñ)û¡æ=ØßQØHÚkæ=â:á ���������������������0���/ÙkØHÚkÙ!Úkæ=Ø � �Û8Öe×aÖeßQØHÚkØ�×YÙ¡ä=ÙkÝ·Þ=å Ø��:ä8Ö�ÚkÝ·â.Þ�é �jó.ú¡ÖeÙ¡ÙYä=å.åjØ�ÙkÚYØ�á�Ý´Þ�Úkæ=ØÀâ.×kÝ·åjÝ´ÞUÖeÜÛ8Ö�Û8Ø�×Bñ

��� ��� . % ��)�� �� ��*� ����� �� "�$&%�% '���)!*�+ # ����������������������(���)�������������������� ��(������0����)������������������� ��(�������*��1��(�����+

û¡æ=Ø(Ý·ßQÛ=Ü·Ø�ß�Ø�Þ:Ú�ÖeÚYÝ·â.Þ ������������������� ��(��¡â��8ß�â:á=Ý��8Ø�á/õ!Þ=Ø�ÙYØ�×�����ØHà ÙkßQâ:âjÚkæ=Ý·Þ=å/és÷:Ø�ã�ÚYÝ´âjÞ &.úTÝ·Ù)Ý´áDØ�Þ:ÚkÝ·ã�ÖeÜ:ÚYâÚkæDØ�Ý·ßQÛDÜ´ØHßQØ�Þ:Ú�Ö�ÚkÝ·âeÞ �����������������Jç:è¡Ý·ÚYæ*ÚYæ=Ø®Ø��:ã�Ø�Û=ÚYÝ´âjÞ�ÚYæ8ÖeÚ!ÚYæ=×kØ�Ø®á=Ý·ÙkãHâ.ä=Þ:Ú!Û8Öe×aÖeß�Ø�ÚkØ�×YÙ�ç � � � b ç � � � ieçÖeÞDá � � � k �(ç=Öe×YØ!ä=ÙkØ�á�ÖeÚ¡Ø�Ö�ã�æ�ü��må.×aÖeß Ü·Ø��jØ�Ü�Ý·Þ=ÙYÚkØ�Ö�á*â�� �aäDÙkÚ�Ö®ÙkÝ·Þ=åjÜ·Ø�á=Ý·ÙkãHâ.ä=Þ:Ú � � ñû¡æ=Ø/ÖeÜ·å.âj×kÝ·ÚkæDß ������������������� ��(������0����Ý·Ù(Ý·á=Ø�Þ:ÚkÝ·ã�Ö�Ü Úkâ ����������������������(�� çBØ��:ã�Ø�Û=ÚqÚkæ8Ö�Ú¬ÚYæ=Ø!á=Ý·Ùkã�âjä=Þ:Ú

Û8Ö�×�Öeß�Ø�ÚkØH×kÙ*Ö�×kØ�ÙkØ�Úä=ÙYÝ·Þ=å2Ø��:ä8Ö�ÚkÝ·â.Þ é ���.úMÝ·Þ=ÙkÚYØ�Öeá»â����:à �8Ø�Ý·Þ=å�â.Û=ÚYÝ·ßQÝ���Ø�á'â.Þ¶æ=Ø�Ü·á��mâ.ä=Ú�á8ÖeÚaÖ=ñ-û¡æ=ØAU:�X;@TK�K8@TXU7�:�FZ:�:�G�G�@4=�<;K87�=T[O3 @!7�G�58@TXUJ�X;X;587�58S�@�=�AU:�:�7�9;58P;Q58P;=�7�@4J�X�>#��9;5�L9U58=�@��?<;58SNJ�K8@4P?7�7�:�58P?7�@TG�FZ:IK8J�7�58P;Q ��587�9 JW<;P;5 C :�G�AX;58=�7�G�58H;<;7�58:IP�<;=�58P;Q 7�9;@ N@4K858P;@ �"� � @4G,�4@TG0F;J�G�J�X;58Q�A >NJ�P;XU7�9;58= ��:IG,��@4X ��@TK8K [

� �

Page 25: Chen & Goodman - Peopleklein/cs294-5/chen_goodman.pdf · Úkâ!ü òåj× Ö ß ßQâ:á=Ø Ü·Ù ÖeÞDá/Ùkß âtâjÚkæ=Ý·Þ=åUç Ö Þ=á/ÙkäD× .ØHà/Úkæ=Ø(ßQâjÙkÚ

-0.4

-0.2

0

0.2

0.4

0.6

0.8

1

1.2

1.4

0.001 0.01 0.1 1 10 100

diff

in te

st c

ross

-ent

ropy

fro

m b

asel

ine

(bits

/toke

n)

delta

performance of katz with respect to delta

100 sent

1000 sent

45000 sent-0.1

-0.09

-0.08

-0.07

-0.06

-0.05

-0.04

1 10 100 1000 10000

diff

in te

st c

ross

-ent

ropy

fro

m b

asel

ine

(bits

/toke

n)

minimum number of counts per bucket

performance of jelinek-mercer with respect to c-min

10000 sent

1000000 sent

10000000 sent

�TÝ·å.ä=×YØ ë]���TØ�×���â.×Yß*Ö�Þ=ã�Ø×kØ�Ü�Ö�ÚkÝ �.Ø�Úkâ��8Ö�ÙkØ�Ü·Ý·Þ=Ø�ÖeÜ·å.âj×kÝ·ÚkæDß �������1�� ��� ����������������*��2�����1��Qâ���Ö�Ü´åjâ.×YÝ´ÚYæ=ßQÙ��*�� �!ÖeÞ=á �������1������ �����������(è¡Ý´ÚYæ!×kØ�ÙYÛ8Ø�ãHÚ?ÚkâqÛ8Öe×aÖeßQØHÚkØ�×YÙ ��ÖeÞDá � � � � çB×YØ�ÙkÛUØ�ã�ÚYÝ�jØ�Ü·àtçjâ��.ØH×�ÙkØ��.Ø�×aÖeÜ:Úk×aÖeÝ·Þ=Ý·Þ=åÙkØHÚ�ÙkÝ���ØHÙ

Ý·ßQÛ=Ü·Ø�ß�Ø�Þ:Ú�Ö�ÚkÝ·âeÞ$������ ������������ ��(�������*��1��(����ùÝ·ÙQÚYæ=Ø �8Öeã !.â� �jØ�×kÙYÝ·â.Þ â���Úkæ=Ø�Ý·Þ:ÚkØ�×YÛ8âjܾÖ�ÚkØ�á ÖeÜ·åjâ.×kÝ·ÚYæ=ß������������������� ��(�� ñ

��� ��� � � �!)�*� �"�$&%�% '���)!*�+$# �������1������ ��������� ������*��2�����1���+�Dâ.×�âjä=×��UÖeÙkØHÜ´Ý·Þ=Ø®Ùkß�â:â.ÚkæDÝ´ÞDå�ß�Ø�Úkæ=â:á�çDè¬Ø®ä=ÙYØðÖ �.Ø�×YÙkÝ·â.Þ�â�� �.ØHÜ´Ý·Þ=Ø�! ���Ø�×Yã�Ø�×/ÙYßQâ:â.ÚYæ=Ý·Þ=å®è¡Ý´ÚYæ�æ=Ø�Ü·á��mâ.äDÚÝ·Þ:ÚkØ�×YÛ8âjܾÖ�ÚkÝ·â.ÞTñ�÷:ÛUØ�ã�Ý��8ãBÖeÜ·Ü·àtç���âj×�ØBÖeãaæ ü��må.×aÖeß�ßQâ:á=Ø�Ü �UØ�Ý·Þ=åQÝ·Þ:ÚkØH×kÛUâ.Ü�ÖeÚYØ�á�è(Ø®ã�â.Þ=ÙYÚk×aÖeÝ·Þ Ö�Ü·Ü' � � ���� �������

Ý·ÞØ��:ä8Ö�ÚkÝ·â.Þ2éYë �jú�ÚYâ �8Ø®Ø��:ä8ÖeÜ)ÚYâ�Ö�ÙYÝ´ÞDå.Ü·Ø��.ÖeÜ·ä=Ø � ñ #ùØ/ß*Ö�!.Ø/ÖeÞ�Ø��:ã�Ø�ÛDÚkÝ·â.Þ�è¡æ=Ø�ÞùÚYæ=Ø�æDÝ´ÙYÚkâj×kà:a o mObo m����Obæ8Ö�Ù�ÞDØ��.Ø�×!â:ã�ã�äD×k×kØHá2Ý·Þ�ÚkæDØ Úk×�Ö�Ý·Þ=Ý·Þ=å á8ÖeÚaÖ=ç Ý·Þ�è¡æDÝ´ãaæ�ã�ÖeÙYØ�è(Ø®Ú�Ö�!jØ � � ���� �������

ÚYâ �8Ø<��Ø�×Yâ�ÖeÙ!ÚkæDØ�×kØ Ý·Ù�ÞDâÝ·Þ���âj×kß*Ö�ÚkÝ·â.ÞÝ·Þ�Úkæ=Ø æ=Ý·åjæ=Ø�×��mâ.×Yá=Ø�×/áDÝ´ÙYÚk×YÝ�Dä=ÚkÝ·â.ÞTñ�û¡æDÝ´ÙÀÝ´Ù!Ý·á=Ø�Þ:ÚYÝ´ãBÖeÜ?ÚYâ �������1�� ��� �����������Qè¡æ=ØH×kØ � � � � Ý·ÙÙkØHÚ�Úkâ��»çjÙkâ ÚYæ8ÖeÚ¡ÚYæ=Ø�×kخݷ٬âjÞ=Ü·àQÖ®ÙkÝ·Þ=åjÜ´Ø��=ä=ã !.ØHÚ�é �sâ.סÞ=âjÞ7��Ø�×Yâ ã�â.ä=Þ:ÚYÙ�ú��sâ.סØ�Ö�ã�æ�ü��må.×aÖeß Ü·Ø��jØ�Ümñ b v

�f#�� � �/�D�/� &�� &(� ��&��>� ���# mÞ ÚYæ=Ý·ÙQÙkØHã�ÚkÝ·â.ÞTç�è(Ø�áDÝ´ÙYã�ä=ÙYÙ*æDâeè ÚYæ=Ø�ÙYØ�ÚkÚYÝ·Þ=å'â��/Ùkß�âtâjÚkæ=Ý·Þ=å�Û8Ö�×�Öeß�Ø�ÚkØH×kÙ�Ö�� Ø�ã�ÚYÙ*ÛUØ�×���â.×Yß*ÖeÞDã�Ø.ç�Ö�Þ=áØ��=Öeß�Ý·Þ=Ø!è¡æ=Ý·ã�æ3Û8Öe×aÖeßQØHÚkØ�×YÙ�Ö �JØHã�Ú!â��.Ø�×aÖeÜ·Ü�ÛUØ�×��sâ.×kßÖeÞ=ãHØ/ÙkÝ·å.ÞDÝ �Uã�ÖeÞ:ÚkÜ·à:ñ mÞ ��Ý·åjä=×kØQëjçUè¬Ø®å.Ý �.Ø®Ö ã�âjä=Û=Ü·Øâ��!Ø��=Öeß�Û=Ü·Ø�Ù�â��/Úkæ=ØÙkØHÞ=ÙkÝ·ÚkÝ �:Ý·Úmà2â���Ùkß�â:â.ÚkæDÝ´ÞDå�ÖeÜ·å.âj×kÝ·ÚkæDßQÙ/ÚYâ�Û8Ö�×�Ö�ßQØ�ÚYØ�×��.ÖeÜ·ä=Ø�Ù��è¬ØÙYæ=âeè æDâeè Úkæ=Ø�.ÖeÜ·ä=Øqâ��)Úkæ=Ø!Û8Ö�×�Öeß�Ø�ÚkØH× �é�è¡æ=Ý·ãaæQãHâ.Þ:Úk×Yâ.Ü·Ù¡ä=Þ=Ý·å.×aÖe߸Ùkß�â:â.ÚkæDÝ´ÞDåtú?Ö �JØ�ãHÚkÙ�ÚYæ=Ø!Û8ØH×���âj×kß*Ö�Þ=ã�Ø!â��)Úkæ=Ø ��*����ÖeÜ·åjâ.×kÝ·ÚYæ=ß�ç�Ö�Þ=á2æDâeè ÚYæ=Ø �.ÖeÜ·ä=Ø â���ÚkæDØQÛ8Ö�×�Öeß�Ø�ÚkØH× � � � � é è¡æ=Ý·ãaæ2á=Ø�ÚYØ�×kß�Ý·Þ=Ø�Ù �=ä=ã !.Ø�Ú ÙYÝ���Ø�ú Ö�� Ø�ã�ÚYÙ Úkæ=ØÛUØ�×���âj×kßÖeÞ=ã�Ø!â�� �������1�� ��� ����������� ñD�qâ.ÚkÝ·ã�ØÀÚkæ8Ö�Ú�ÛUâtâjסÛ8Öe×aÖeß�Ø�ÚkØ�סÙYØ�ÚkÚYÝ·Þ=åQã�Ö�Þ�Ü·Ø�ÖeáÚYâ �.ØH×kàQÙYÝ·å.Þ=Ý��8ã�Ö�Þ:ÚÜ·â.ÙYÙkØ�Ù?Ý·Þ®Û8ØH×���âj×kß*Ö�Þ=ã�Ø.ñ mÞ���Ý·åjä=×kØ/ëjçeè¬Ø¡ÙYØ�Ø¡á=Ý�� Ø�×kØ�ÞDã�Ø�Ù¡Ý·Þ�ØHÞtÚY×kâjÛtà ��×kâjß ÙkØ��.Ø�×aÖeÜUætäDÞ=á=×kØHá=Úkæ=ÙZâ���Ö��DÝ´Ú)ÚYââ��.ØH×�Ö �=Ý·Ú�ñ ��Ü·ÙkâUç:è¬Ø/ÙYØ�Ø/ÚYæ8ÖeÚ¡ÚYæ=Ø!â.Û=ÚYÝ´ßÖeÜ �.Ö�Ü·ä=Ø!â��¦Ö®ÛUÖe×�Ö�ßQØ�ÚYØ�×��.Öe×kÝ·Ø�Ù¡è¡Ý·ÚYæ*ÚY×�Ö�Ý´ÞDÝ´ÞDå/ÙkØ�ÚqÙkÝ���Ø.ñZû¡æ:ä=Ù�çÝ·Ú¡Ý·Ù¡Ý´ß�Û8âj×kÚaÖeÞ:Ú?Úkâ âjÛ=ÚkÝ·ß�Ý �HØ¡Û8Öe×aÖeßQØHÚkØ�× �.Ö�Ü´äDØ�Ù¡Úkâ ß�Ø�ÖeÞ=Ý·Þ=å���ä=Ü·Ü·à/ã�âjßQÛ8Ö�×kØ�ÙYßQâ:â.ÚYæ=Ý·Þ=å/ÚYØ�ãaæ=Þ=Ý �:ä=Ø�Ù�ç Ö�Þ=áÚkæDÝ´Ù¡âjÛ=ÚkÝ·ß�Ý �BÖeÚkÝ·âjÞ�ÙYæ=â.ä=Ü·á �UØ�ÙYÛ8ØHã�Ý��8ã�ÚYâ�ÚYæ=Ø/åjÝ�jØ�ÞQÚY×�Ö�Ý´ÞDÝ´ÞDå�ÙYØ�Ú�ñ2�� ��9;58=-X;@4=,�4G�58F;7�58:�P X;5 ��@TG�=�C G�:IA 7�9;@ X;@T=��TG�58F;7�58:�P :NC�7�9;@RH;J�=�@TK858P;@WJ�K8Q�:�G�587�9;A QI58S�@TP 58P :�<;G!F;G�@4S?58:�<;= ��:IG,� � '�9;@TP J�P;X

�!:�:?X;AUJIP�>ZV�)*)�� 2@'�9;@TP�>0V�)&)��)% [ � P 7�9;@�:�7�9;@TG�7�@ ��7�=4>���@RX;:UP;:I7-X;@4=,�4G�58HO@!J�P @ �!�T@TF;7�58:�P C :�G!7�9;@��4J�=�@���9;@TG�@R7�9;@�9;58=�7�:IG,�9;J�=�P;@4S�@TG�:�� �T<;G�G�@4XUJ�P;X JIK��J#��=�=�@47 ) * � ���� �������

7�: ) : [�:#��@4S�@TG4>;7�9;@�:�7�9;@4G�X;@T=��TG�58F;7�58:IP;=0J�G�@-58P;J�� �T<;G�J�7�@��Z7�9;@-X;@4=,�4G�58F;7�58:�PF;G�@T=�@TP�7�@4XR9;@4G�@!J�F;F;K858@4=07�: J�K8KO:NC�7�9;@ ��:�G,�O[

���

Page 26: Chen & Goodman - Peopleklein/cs294-5/chen_goodman.pdf · Úkâ!ü òåj× Ö ß ßQâ:á=Ø Ü·Ù ÖeÞDá/Ùkß âtâjÚkæ=Ý·Þ=åUç Ö Þ=á/ÙkäD× .ØHà/Úkæ=Ø(ßQâjÙkÚ

Ö�Ü·å.â.×YÝ·Úkæ=ß ÙkÝ·å.ÞDÝ �Uã�ÖeÞ:Ú(Û8Öe×aÖeßQØHÚkØ�×YÙ Ý·Þ=ÙkÝ·åjÞ=Ý��8ã�ÖeÞ:Ú(Û8Öe×aÖeß�Ø�ÚkØ�×YÙ% ��'�����(��� Þ=â.ÞDØ Þ=âjÞ=Ø% ��'�������������* � � Þ=âjÞ=Ø�������1�� ��� ����������� � � ���� �������

ç � � � � Avf^�óF; �Dç � � - � ^ óF; ójó=ëjç � � - � ^-ë�ójó0,aó.ó.ó�������1�� ��� �����������������������1� � � ���� �������ç � � � � Avf^�óF; �Dç � � - � ^ óF; ójó=ëjç � � - � ^-ë�ójó0,aó.ó.ó��*���� b b � � � ^�� � ���� ç � ^-ë

� �1��������������������1������ % Þ=â.ÞDØ Þ=âjÞ=Ø� �1���������������������*�� ��(�� � Þ=â.ÞDØ Þ=âjÞ=Ø*�������� ��������������� % � � Þ=âjÞ=Ø*�������� ����������*��1��(���� � � Þ=âjÞ=Ø����������������� � � Þ=âjÞ=Ø���������������������0��� Þ=â.ÞDØ Þ=âjÞ=Ø������������������� ��(�� � � � b�ç � � � i ç � � � k � Þ=âjÞ=Ø������������������� ��(�������*����( � � � � � b ç � � � ijç � � � k � Þ=âjÞ=Ø������������������� ��(������0��� Þ=â.ÞDØ Þ=âjÞ=Ø�������1�� ��� ����������������*�� ������� � Avf^�óF; �Dç � � - � ^ óF; ójó=ë

û?Ö��=Ü·Ø &7� �)Ö�×�Öeß�Ø�ÚkØH×kÙ?ÚYæ8ÖeÚ)ÙkÝ·åjÞ=Ý��8ã�ÖeÞ:ÚYÜ´à®Ö�� Ø�ã�Ú?ÛUØ�×kÛDÜ´Ø��tÝ·Úmà ��â.×)Ø�Ö�ãaæ ÙkßQâ:âjÚkæ=Ý·Þ=å!ÖeÜ·å.âj×kÝ·Úkæ=ß�ç�ÖeÞ=á Ý·Þ=ÙYÝ·å.Þ=Ý � �Ý·ã�ÖeÞ:Ú¡Û8Ö�×�Ö�ßQØ�ÚYØ�×kÙ�Ö�Þ=áQÚYæ=Ø�Ý·×�á=Ø �òÖeä=Ü·Ú��.ÖeÜ·ä=Ø�Ù

mÞ�ØBÖeãaæùâ��¬âjä=×!Ø��:Û8ØH×kÝ·ßQØ�Þ:ÚYÙ�çTâ.Û=ÚYÝ´ßÖeÜ �.Ö�Ü´äDØ�Ù���â.×qÚkæ=Ø Û8Ö�×�Ö�ßQØ�ÚYØ�×kÙ!â��¡Ø�Ö�ã�æ�ßQØHÚkæ=â:á�è(Ø�×kØ ÙYØ�Öe×Yãaæ=Ø�á��âj×�ä=ÙYÝ´ÞDå��Tâeè¬ØHÜ´Ü � Ù�ÙYØ�Öe×Yãaæ2ÖeÜ·å.âj×kÝ·Úkæ=ß é,�)×YØ�ÙkÙ®Ø�Ú/ÖeÜmñ·ç�ëBì.í.íjú�ñ��)Öe×�Ö�ßQØ�ÚYØ�×kÙ!è(Ø�×kØ®ãaæ=â.ÙYØ�ÞùÚkâ�â.Û=ÚYÝ·ßQÝ���Ø!Úkæ=Øã�×Yâ.ÙkÙ��òØHÞtÚY×kâjÛtàùâ��øÖ�æ=Ø�Ü·á��mâ.ä=Ú!ÙYØ�ÚðÖ�ÙkÙYâtãHݾÖ�ÚkØ�áùè¡Ý·ÚYæ�Ø�Ö�ãaæ�ÚY×�ÖeÝ·Þ=Ý·Þ=åÙYØ�Ú�ñ���â.×kØ ÙYÛ8ØHã�Ý��8ã�ÖeÜ·Ü·à:ç�ÖeÙ!á=Ø�ÙYã�×kÝ �UØ�áÝ·Þ�÷:Ø�ãHÚkÝ·â.Þ �Uñ &�ÚYæ=Ø�×YØ2Öe×kØùÚYæ=×kØHØùæ=Ø�Ü·á��mâ.ä=Ú�ÙkØ�ÚYÙ Ö�ÙkÙkâ:ã�Ý�Ö�ÚkØ�á»è¡Ý·Úkæ»Ø�Öeãaæ»Úk×�Ö�Ý·Þ=Ý·Þ=å2ÙYØ�Ú�ç/Ö�Þ=á Û8Ö�×�Öeß�Ø�ÚkØH×â.ÛDÚkÝ·ßQÝ���Ö�ÚkÝ·â.Þ®èøÖ�Ù¡Û8ØH×���âj×kßQØHá*äDÙkÝ·Þ=å®Úkæ=Ø[�U×kÙkÚ¡â��?Úkæ=Ø!ÚkæD×kØ�Ø.ñ

�=âj×!Ý´ÞDÙkÚ�Ö�Þ=ã�Ø�ÙÀâ�� �jØ�Ü·Ý´ÞDØ�!�� �ØH×kã�Ø�×®Ùkß�â:â.ÚkæDÝ´ÞDå8ç=ÚYæ=Ø� � Ù!è(Ø�×kØ ÚY×�Ö�Ý´ÞDØ�á�äDÙkÝ·Þ=åÚkæ=Ø®ï¡Öeä=ß � #ùØ�Ü·ãaæ�ÖeÜ·å.â��×kÝ·ÚYæ=ß â.Þ ÚYæ=Ø!ÙkØ�ãHâ.Þ=áâ��)Úkæ=ØqÚkæ=×YØ�Ø/æ=ØHÜ´á �òâjä=Ú¬ÙYØ�ÚkÙBî8Ö�Ü´ÜUâ.ÚYæ=Ø�סÛ8Ö�×�Ö�ßQØ�ÚYØ�×kÙ(è¬ØH×kØ!â.Û=ÚYÝ·ßQÝ���Ø�á®ä=ÙkÝ·Þ=å �Tâeè¬ØHÜ´Ü � ÙÖeÜ·åjâ.×kÝ·ÚYæ=ß âjÞùÚkæ=Ø<�8×YÙkÚ®ÙkØ�ÚBñ mÞùÛ8Ö�×kÚYÝ´ãHä=Ü�Öe×�ç)ÚYâ�Ø��.Ö�Ü´äUÖeÚkØ ÚYæ=ØQØHÞtÚY×kâjÛtàùÖeÙYÙkâ:ã�Ý�ÖeÚYØ�á2è¡Ý·ÚYæ2Öå.Ý �.ØHÞ�ÙYØ�Ú â��é�ÞDâ.Þ�� 8ú(ÛUÖe×�Ö�ßQØ�ÚYØ�×kÙ¡Ý·Þ ��âeè(Ø�Ü·Ü � Ù¬ÙYØ�Öe×Yã�æTç8è(ØR�8×kÙYÚ�âjÛ=ÚkÝ·ßQÝ���Ø¡ÚYæ=Ø%�� Ù¡âjÞ*ÚYæ=Ø!ÙkØ�ãHâ.Þ=á�æDØ�Ü·á��òâjä=Ú¡ÙkØHÚ�ñû)â�ãHâ.Þ=ÙYÚk×�Ö�Ý·Þ Úkæ=Ø¡Û8Ö�×�Ö�ßQØ�ÚYØ�×?ÙkØBÖe×kãaæ Ý·Þ â.äD×FßÖeÝ·Þ/Ø��:ÛUØ�×kÝ·ß�Ø�Þ:ÚkÙ�çjè(جÙYØ�Öe×Yã�æDØ�áâ.Þ=Ü·à/ÚYæ=â.ÙYØ¡Û8Öe×aÖeßQØHÚkØ�×YÙ

ÚkæUÖeÚ¡è(Ø�×kØ��sâ.ä=Þ=á�ÚkâQÖ �JØ�ãHÚ�ÛUØ�×���âj×kßÖeÞ=ã�ØqÙkÝ·å.ÞDÝ �Uã�ÖeÞ:ÚkÜ·à:çtÖ�Ù¡Ý·Þ=á=Ý·ã�ÖeÚYØ�áÚkæ=×Yâ.ä=åjæÛ=×kØ�Ü·Ý·ßQÝ·Þ8Ö�×kà®Ø��:Û8ØH×kÝ·ßQØ�Þ:ÚYÙâ��.ØHסÙkØ��jØ�×�Ö�Ü�á8Ö�Ú�ÖÀÙkÝ���Ø�ÙBñ mÞ�Ø�Öeãaæ�×Yä=Þâ��)Úkæ=Ø�ÙYØ/Û=×YØ�Ü·Ý´ß�Ý·Þ8Öe×Yà�Ø��:ÛUØ�×kÝ·ß�Ø�Þ:ÚkÙ�ç:è(ØR� �:Ø�á�ÖeÜ·Ü?é�ÞDâ.Þ�� 8ú(ÛUÖe×�Ö�ß��Ø�ÚYØ�×kÙ��Dä=Ú!â.Þ=Ø®ÚkâÙkâjßQØ/×YØ�ÖeÙYâ.Þ8Ö��=Ü·Ø �.Ö�Ü·ä=Ø.ç ÖeÞ=á�ä=ÙYØ�á �Tâeè(Ø�Ü·Ü � Ù!ÖeÜ·å.âj×kÝ·ÚkæDß ÚYâ*ÙYØ�Öe×Yãaæùâ.Þ�ÚYæ=Ø ÙkÝ·Þ=åjÜ´Ø ��×kØ�ØÛ8Ö�×�Öeß�Ø�ÚkØH×�ñ ��ÚkæDØQ×�Ö�Þ=å.Ø â���ÚkØ�ÙYÚ á8ÖeÚaÖØ�Þ:Úk×Yâ.Û=Ý·Ø�Ù®â��.ØH×�ÖeÜ·Ü?Û8Ö�×�Ö�ßQØ�ÚYØ�×��.ÖeÜ·ä=ØHÙ/ã�â.ÞDÙkÝ·á=Ø�×YØ�á �tà �Tâeè¬ØHÜ´Ü � ÙÖeÜ·åjâ.×kÝ·ÚYæ=ß è¡ÖeÙqß ä=ãaæÙkß*Ö�Ü·Ü´ØH׬ÚYæ8ÖeÞ�ÚYæ=Ø®ÚmàtÛDÝ´ãBÖeÜ)á=Ý��JØH×kØ�Þ=ãHØ Ý´ÞØ�Þ:ÚY×kâ.ÛDÝ´ØHÙ �UØ�Úmè(Ø�Ø�Þùá=Ý�� Ø�×kØHÞtÚ/Ö�Ü´åjâ.×YÝ´ÚYæ=ßQÙé ��Ð � çtóDñ ójó����DÝ´ÚYÙ�úHç:è¬Øqã�æDâ.ÙkØ!Þ=âjÚ¡Úkâ®Û8ØH×���âj×kß ÚYæ=Ø!ÙkØ�Ö�×kãaæâ��.Ø�×(Úkæ=Ý·Ù¡Û8Ö�×�Ö�ßQØ�ÚYØ�×?Ý·ÞQÚYæ=Ø!ܾÖ�ÚkØ�×(Ø��:ÛUØ�×kÝ·ßQØHÞtÚYÙ�çÖeÞDá�ÙkÝ·ßQÛDÜ´àÖeÙYÙkÝ·å.Þ�Ö�Þ Ö�× �=Ý·ÚY×�Öe×Yà×kØ�Ö�Ùkâ.ÞUÖ��=Ü·Ø �.ÖeÜ·ä=Ø/ÚYâQÚkæDØ Û8Öe×aÖeßQØHÚkØ�×Bñ �Dâ.×qØ�ÖeãaæùÛ8Ö�×�Öeß�Ø�ÚkØH×�çUè¬Ø®Úk×YÝ·Ø�áÚkæD×kØ�Øqá=Ý��JØ�×YØ�Þ:Ú?Úk×aÖeÝ·Þ=Ý·Þ=åqÙkØ�ÚYÙ�� �.óDçyó.ó.ó�è¬âj×ká=Ù ��×Yâ.ß ÚYæ=Ø #�÷��/ãHâ.×kÛDä=Ù�çjâ.Þ=Ø(ßQÝ·Ü·Ü·Ý·â.Þ�è(â.×Yá=Ù ��×kâjß ÚYæ=Ø¡ï¬×Yâeè¡Þã�âj×kÛ=ä=ÙBç8Ö�Þ=áÚkæ=×YØ�Ø/ßQÝ·Ü·Ü·Ý·â.Þ®è¬âj×ká=Ù���×Yâ.ß ÚYæ=Ø�#�÷�� ã�âj×kÛ=äDÙ�ñ

#ùØ¡Ùkä=ß�ß*Ö�×kÝ���Ø(Úkæ=Øq×kØ�ÙYä=Ü·ÚkÙ(â���ÚkæDØ�ÙkØ!Ø��:ÛUØ�×kÝ·ßQØHÞtÚYÙ?Ý·Þ û?Ö��=Ü·Ø�&=î:ê(æ=Ø�Þ�ékëBì.ì��júTå.Ý �.Ø�Ù(ßQâj×kØ(á=Ø�ÚaÖeÝ·Ü·Ù�ñd�=âj×Ø�Ö�ã�æ2Ö�Ü·å.â.×YÝ·Úkæ=ß�ç=è(Ø Ü´Ý·ÙYÚ/Úkæ=Ø ÛUÖe×�Ö�ßQØ�ÚYØ�×kÙÀè¬Ø ��âjä=Þ=á�Úkâ �UØQÙkÝ·åjÞ=Ý��8ã�ÖeÞ:Ú é�Ö�Þ=áùÚkæ:ä=ÙÀÙkØ�Ö�×kãaæùâ��.Ø�×ÀÝ´Þ�Ø�Ö�ã�æÜ�ÖeÚYØ�סØ��:Û8ØH×kÝ·ßQØ�Þ:Úaú�î:è(Ø�ÖeÜ·Ùkâ®Ü·Ý·ÙkÚ(Úkæ=Ø/Ý·Þ=ÙYÝ·å.Þ=Ý��8ã�Ö�Þ:Ú¬Û8Ö�×�Ö�ßQØ�ÚYØ�×kÙ�Ö�Þ=áQÚYæ=Ø��.ÖeÜ·ä=Øqè¬Ø!ÙYØ�Ú�ÚYæ=Ø�ß�Úkâ8ñ2L2 3 @�C :�<;P;XU7�9;J�7�7�9;@!K8J�G�Q�@TG�7�9;@-SNJ�K8<;@�:NC0@TJ �L9�# : >�7�9;@!HO@T7�7�@4G�7�9;@FO@TG C :�G�AUJ�P �T@I[ :#��@4S�@TG4>�C :�G�K8J�G�Q�@ # : 7�9;@4G�@ ��58K8K�HZ@

�T:I<;P?7�=�&U=�< �L9 7�9;J�7�7�9;@!J�=�=�:!�T58J�7�@TXUX;58=��T:�<;P�70G�J�7�58: ��� 7�J ��@4=�:�P J�P <;P;G�@TJI=�:�P;JIH;K8@�SNJ�K8<;@I>?=�< �L9 J�=�JUP;:�P;FZ:�=�587�58S�@�SNJ�K8<;@!:�GJ S&JIK8<;@-JIHZ:NS�@:IP;@�[�3 @�7�J ��@ # : 7�:RHO@!J�=�K8J�G�Q�@J�=�FZ:�=�=�58H;K8@�=�< �L9 7�9;J�7�J�K8K ��� 7�J���@:�P G�@4J�=�:�P;J�H;K8@�SNJ�K8<;@T=4[

���

Page 27: Chen & Goodman - Peopleklein/cs294-5/chen_goodman.pdf · Úkâ!ü òåj× Ö ß ßQâ:á=Ø Ü·Ù ÖeÞDá/Ùkß âtâjÚkæ=Ý·Þ=åUç Ö Þ=á/ÙkäD× .ØHà/Úkæ=Ø(ßQâjÙkÚ

�f#�� �N� � �#ùØ¡ä=ÙYØ�á á8ÖeÚaÖ���×Yâ.ß ÚYæ=Ø�ï(×kâeè¡Þ ãHâ.×kÛDä=Ù�ç:ÚYæ=Øf��âj×kÚkæ��qßQØ�×YÝ·ã�ÖeÞ®ï¬äDÙkÝ·Þ=Ø�ÙYÙ¡Þ=Ø�è¡Ù(ã�â.×YÛ=ä=Ù�çjÚkæDØ�÷:è¡Ý·Úkãaæ��UâtÖe×Yáã�âj×kÛ=ä=ÙBç8Ö�Þ=áÚkæ=Ø/ï(×kâ:Öeá=ãBÖeÙkÚf�qØ�è¡Ù�ãHâ.×kÛDä=Ù�ñ b iû¡æ=Ø/ÚYØ��:Ú�â��)Úkæ=ØÀï¬×Yâeè¡Þ�ã�â.×YÛ=ä=Ù®é�õ!ä=ã�Ø�×aÖÖeÞ=á��D×�ÖeÞDã�Ý·Ù�ç�ëBì��]�.úZèøÖ�Ù¡Ø��:Úk×�Ö�ã�ÚkØHá ��×Yâ.ß ÚYæ=Ø/ÚaÖeå.åjØ�áÚkØ��:Ú

Ý·Þ�ÚkæDØ �TØ�Þ=Þ�ûF×YØ�Ø��8Ö�Þ !ùé-��Ö�×kã�äDÙ�ç�÷=Ö�Þ:Úkâ.×YÝ·Þ=Ýmç8ÖeÞDáw�3Öe×kãHÝ´Þ�!tÝ·Ø�è¡Ý·ãU�jç?ë�ìjì &.ú¡Ö�Þ=á�Öeß�â.ä=Þ:ÚkØHá*ÚYâ*Ö��8âjä=Ú�âjÞ=ØßQÝ·Ü·Ü·Ý·âeÞ/è¬âj×ká=ÙBñ)û¡æ=Ø��jâ:ã�Ö��=äDܾÖ�×kà®è¬Øqä=ÙkØHá*è¡Ý·ÚYæ Úkæ=Ø!ï(×kâeè¡ÞQãHâ.×kÛDä=Ù¬Ø��tÛUØ�×YÝ´ß�Ø�Þ:ÚkÙ(Ý·Ù¬ÚYæ=Ø�ÙYØ�Ú¡â��FÖ�Ü´Ü5� &Dçyí��.óè(â.×káDÙ¡âtãHã�ä=×k×YÝ·Þ=åQÝ·ÞQÚYæ=Ø/ã�âj×kÛ=äDÙ�ñ?û¡æDØ�Ö��jØ�×�Ö�å.Ø!ÙkØHÞtÚYØ�Þ=ã�خܷØ�Þ=åjÚkæÝ·ÙøÖ��8âjä=Ú �=ë!è(â.×Yá=Ù�ñû¡æ=Ø���â.×YÚkæ��qßQØ�×YÝ·ã�ÖeÞ!ï(ä=ÙkÝ·Þ=Ø�ÙYÙ?Þ=Ø�è¡ÙTÚkØ��:Ú)è¡ÖeÙ�ÚaÖ�!jØ�Þ���×Yâ.ß»Úkæ=Ø(Ü�ÖeÞ=åjä8ÖeåjØFß�â:á=Ø�Ü·Ý·Þ=å¬áUÖeÚ�Ö(áDÝ´ÙYÚk×YÝ�Dä=ÚkØ�á

��âj×?Úkæ=Ø/ëBì.ì]��� � � � ãHâ.Þ:ÚkÝ·Þ:ä=â.äDÙ?ÙkÛUØ�Ø�ãaæ×kØ�ãHâ.å.ÞDÝ´ÚYÝ·â.Þ®Ø��.ÖeÜ·ä8Ö�ÚkÝ·â.Þé�÷:ÚYØ�×kÞTç ë�ì.ì]�.úHñ û¡æ=Ø�áUÖeÚ�Ö�Ý´ÞDã�Ü·ä=á=Ø�á�ëjë�óßQÝ·Ü·Ü·Ý·âeÞ�è(â.×Yá=Ù¡â�� ��ÙkÙYâ:ã�Ý�ÖeÚkØHá �)×kØHÙkÙ�é � �?ú�ÚkØ��:ÚBç=ì.í®ßQÝ·Ü·Ü·ÝwâjÞ�è(â.×Yá=Ù¡â�� #2ÖeÜ·Ü8÷:ÚY×kØ�Ø�ÚR�.âjä=×kÞ8Ö�ܬé #�÷��tú(ÚYØ��:Ú�çÖeÞDá &]�®ßQÝ·Ü·Ü·Ý´âjÞ�è(â.×Yá=Ù�â��¬÷=ÖeÞ��jâ.ÙYØ��Ø�×Yã�ä=×kà ��Ø�è¡Ù®é�÷�����úqÚkØ��:Ú�ñf�Dâ.×qÚkæ=Ø�ÙYØ�Ø��tÛUØ�×YÝ´ß�Ø�Þ:ÚkÙBç=è(Ø/ä=ÙkØHá�Úkæ=Ø�.óDçyó.ó.óMè¬âj×ká �.â:ã�Ö��=ä=Ü�Öe×Yà*ÙYä=Û=Û=Ü·Ý·Ø�á ��âj×!Úkæ=Ø Ø��.Ö�Ü·ä8ÖeÚYÝ´âjÞ�ñ�#ùØÀÛ=×kÝ·ß*Ö�×kÝ·Ü·àQä=ÙYØ�áùÚkæDØ�#2ÖeÜ·ÜF÷:ÚY×kØ�ØHÚ��jâ.ä=×YÞ8ÖeÜÚkØ��tÚBç�ÖeÞDá�â.Þ=Ü·àä=ÙYØ�áùÚkæ=Ø®â.ÚYæ=Ø�×!ÚkØ��tÚ!Ý �¬ß�â.×kØ!ÚYæ8ÖeÞùì.íMßQݷܷܴݲâ.Þ�è¬âj×ká=Ùqâ��¬á8Ö�Ú�ÖMèøÖ�Ù�×YØ��:ä=Ý·×kØ�áTñ�#ùØ/×YØ ��Ø�×Úkâ ÚYæ=Ý·Ù�á8Ö�Ú�Ö Ö�Ù�ÚkæDØ�� �������� ã�âj×kÛ=ä=ÙBñ¡û¡æ=Ø�Ö��jØ�×�Ö�å.Ø!ÙkØHÞtÚYØ�Þ=ã�Ø Ü·Ø�ÞDå.ÚkæDÙ ��âjסÚkæ=Ø�#2Ö�Ü·Ü�÷:Úk×YØ�Ø�Ú[�.âjä=×kÞ8Ö�Ümç��ÙYÙkâ:ã�Ý�ÖeÚYØ�á �)×YØ�ÙkÙBç ÖeÞ=á�÷=Ö�Þ!�jâ.ÙYØ ��Ø�×kã�äD×kà��qØ�è¡Ù¡ÚkØ��:ÚYÙ�Öe×YØ/Ö��Uâ.ä=Ú ��&=ç � �Dç=ÖeÞ=á �jó/è(â.×Yá=Ù�çD×kØ�ÙYÛ8Ø�ãHÚkÝ �.Ø�Ü·à:ñû¡æ=Ø�÷:è¡Ý·Úkãaæ��UâtÖe×Yá á8ÖeÚaÖqÝ´ÙZÚkæ=×YØ�Ø�ß�Ý´Ü·Ü·Ý·âeÞ!è¬âj×ká=Ù?â��JÚYØ�Ü·Ø�Û=æ=âjÞ=Ø�ãHâ.Þ��.Ø�×YÙ�Ö�ÚkÝ·â.Þ ÚY×�ÖeÞDÙkã�×YÝ´ÛDÚkÝ·â.Þ=Ùqé�ö!â:á���×YØ�à:ç

ô�âjÜ·Ü´Ý·ßÖeÞ�ç�Ö�Þ=á ��ã �!ÖeÞ=Ý·Ø�Ümç¡ë�ìjì �jú�ñùû¡æ=Ø �.Ø�×YÙkÝ·â.Þ'â���Úkæ=Øá8Ö�Ú�Ö3è¬Øä=ÙYØ�á'èøÖ�Ù�Û=×Yâ:ã�Ø�ÙkÙYØ�á �tàùÚYæ=Ø��tÖ�ÞtäDÙÙkÛUØ�Ø�ãaæ�×kØ�ãHâ.å.ÞDÝ´ÚYÝ·â.Þå.×Yâ.ä=Û2é �¡âjå.Ý·Þ8Ö/Ö�Þ=á #2ÖeÝ �UØ�Ümç8ëBì.ì]�.ú�çUÖeÞ=áÝ·Þâ.ä=סØ��tÛUØ�×YÝ´ß�Ø�Þ:ÚkÙqè¬Ø!ä=ÙYØ�á�ÚYæ=Ø�Ý·×�ì=çyíjó.óè(â.×ká �jâtãBÖ��=ä=Ü�Ö�×kà:ñ�û¡æ=Ø/Ö��jØ�×�Ö�å.Ø!ÙkØ�Þ:ÚYØ�Þ=ã�خܷØ�Þ=å.ÚYæÝ´Ù�Ö��8âjä=Ú!ë��®è(â.×káDÙ�ñû¡æ=Ø!ï¬×YâtÖ�á=ã�ÖeÙYÚf��Ø�è¡Ù¡ÚYØ��:Ú¡èøÖ�Ù¬ÚaÖ�!jØ�Þ ��×kâjß ÚYæ=Ø!Ü�ÖeÞ=åjä8ÖeåjØ¡ßQâ:á=Ø�Ü·Ý·Þ=å!á8ÖeÚaÖ/áDÝ´ÙYÚk×YÝ�Dä=ÚkØ�á ��âj׬ÚYæ=Ø ë�ìjì��

� � � � �-ô�ä ���ã�âjÞ:ÚkÝ·Þ:ä=â.ä=ÙqÙkÛUØ�Ø�ãaæù×kØHã�â.åjÞ=Ý·ÚkÝ·â.Þ�Ø��.ÖeÜ·ä8ÖeÚYÝ·â.Þ2é �¡ä=á=ÞDÝ´ã !:à:ç�ë�ìjì��jú�ñqû¡æ=Ø�áUÖeÚ�ÖMã�â.ÞDÙkÝ·ÙkÚYÙ/â��ë &jó/ß�Ý·Ü´Ü·Ý·âeÞ®è¬âj×ká=Ù¡â��¦ÚY×�Ö�Þ=Ùkã�×YÝ·Û=ÚkÝ·â.ÞDÙ¡â��FÚYØ�Ü·Ø��:Ý·ÙkÝ·â.Þ�ÖeÞDáQ×�Ö�á=Ý·â Þ=Ø�è¡Ù¡ÙYæ=âeè¡Ù�ñ �Dâ.סÚYæ=Ø�ÙkØÀØ��:Û8Ø�×YÝ·ßQØ�Þ:ÚkÙBç=è(Øä=ÙYØ�á�ÚkæDØ��.óDç ójó.ó!è(â.×Yá �.â:ã�Ö��Dä=Ü�Öe×kà áDØ��.Ø�Ü·âjÛ8Ø�á �tà�Úkæ=Ø/÷:ÛDæ=Ý·Þ �QÙYÛ8Ø�ØHã�æ�×kØHã�â.åjÞ=Ý·ÚkÝ·â.Þå.×Yâ.ä=Ûùé��)Ü�Öeã�Ø�è¡ÖBà Ø�ÚÖeÜmñ·çUë�ì.ì]�.ú ��â.סÚYæ=Ø!Ø��.ÖeÜ·ä8Ö�ÚkÝ·â.ÞTñ�û¡æ=Ø/Ö��jØ�×�Ö�å.Ø!ÙkØ�Þ:ÚYØ�Þ=ã�خܷØ�Þ=å.ÚYæÝ´Ù�Ö��8âjä=Ú/ë��Àè(â.×káDÙ�ñ

�=âj×!Ø�ÖeãaæùØ��:ÛUØ�×kÝ·ßQØHÞtÚBç�è(Ø ÙkØHÜ´ØHã�ÚkØ�á�Úkæ=×YØ�ØQÙYØ�å.ß�Ø�Þ:ÚkÙ!â��¡æ=Ø�Ü·á��mâ.äDÚ/á8ÖeÚaÖÖeÜ·â.Þ=å�è¡Ý·Úkæ�Úkæ=Ø ÙYØ�å.ß�Ø�Þ:Ú/â��Úk×aÖeÝ·Þ=Ý·Þ=å/áUÖeÚ�ÖDñ)û¡æ=Ø�ÙYØ��sâ.ä=×(ÙkØ�åjßQØ�Þ:ÚYÙ¬è(Ø�×kØ!ãaæ=âjÙkØ�ÞÚkâ �UØ�Ö�á ��Ö�ã�Ø�Þ:ڬݷÞ�Úkæ=Øqâ.×kÝ·åjÝ´ÞUÖeÜUã�â.×YÛ=ä=Ù�ÖeÞDá á=Ý·Ù�aâjÝ´Þ:ÚBçÚkæDØ/æ=Ø�Ü·á��mâ.ä=Ú¡ÙYØ�å.ß�Ø�Þ:ÚkÙ���âjÜ·Ü´âeè¡Ý·Þ=åÀÚkæ=Ø/ÚY×�Ö�Ý´ÞDÝ´ÞDå8ñ?û¡æDØ �U×kÙkÚ!Úmè(â�æDØ�Ü·á��òâjä=Ú�ÙYØ�å.ß�Ø�Þ:ÚkÙ¡è(Ø�×kØÀä=ÙkØ�á3ÚkâQÙYØ�Ü·Ø�ã�ÚÚkæDØ�Û8Ö�×�Ö�ßQØ�ÚYØ�×kÙqâ��¬Ø�Ö�ãaæ�ÙYßQâ:â.ÚYæ=Ý·Þ=åðÖ�Ü·å.â.×YÝ·Úkæ=ß�çtÖ�Þ=á�ÚYæ=Ø/Ü�ÖeÙYÚ�æ=ØHÜ´á �òâjä=Ú�ÙYØ�å.ß�Ø�Þ:Ú�è¡ÖeÙ!ä=ÙkØHá Ö�Ù�ÚkæDØ�ÚYØ�ÙkÚá8Ö�Ú�Ö �sâ.×QÛUØ�×���â.×Yß*ÖeÞDã�Ø�Ø��.ÖeÜ·ä8ÖeÚYÝ·â.Þ�ñ û¡æDØ�×YØ�ÖeÙYâ.Þ»Úkæ8Ö�Ú*Úmè(â2ÙYØ�å.ß�Ø�Þ:ÚkÙ�è¬Ø�×YØù×kØ�ÙYØ�× �jØ�á ��âj×QÛ8Ö�×�Öeß�Ø�ÚkØH×ÙkØHÜ´ØHã�ÚkÝ·â.Þ'Ý·Þ=ÙYÚkØ�Ö�á2â��!â.Þ=Ø�Ý·Ù�á=ØHÙkã�×YÝ�UØ�á Ý·Þ2÷:ØHã�ÚkÝ·â.Þ+�Uñ �Dñ:�Dâ.×®Ø��:Û8ØH×kÝ·ßQØ�Þ:ÚYÙ�â��jØ�×�ß äDÜ´ÚYÝ·Û=Ü·Ø�ÚY×�ÖeÝ·Þ=Ý·Þ=å3ÙkØ�ÚÙkÝ���ØHÙ�ç ÚYæ=Ø�áDÝ � Ø�×YØ�Þ:Ú/Úk×aÖeÝ·Þ=Ý·Þ=å ÙkØHÚkÙ/ÙYæ8Öe×YØ�ÚYæ=Ø�ÙaÖeß�Ø/æ=Ø�Ü·á��mâ.ä=ÚqÙkØ�ÚYÙ�ñ mÞ�Ø��:Û8ØH×kÝ·ßQØ�Þ:ÚYÙ�è¡Ý·ÚYæ�ß ä=Ü·ÚkÝ·Û=Ü·Ø�×Yä=Þ=Ùâ.ÞÚYæ=Ø!Ù�Öeß�Ø�ÚY×�ÖeÝ·Þ=Ý·Þ=å®ÙkØHÚ�ÙkÝ���Øjç=ÚkæDØ/á8ÖeÚaÖ/ÙYØ�å.ß�Ø�Þ:ÚkÙ¡â��FØ�Ö�ã�æ3×kä=Þ�Öe×YØ!ã�â.ß�Û=Ü·Ø�ÚkØ�Ü·à á=Ý·Ù �aâ.Ý·Þ:Ú�ñ

?Öeãaæ�Û=Ý·Ø�ã�Ø®â��¬æDØ�Ü·á��òâjä=Ú�áUÖeÚ�Ö�è¡ÖeÙqã�æDâ.ÙkØHÞ�ÚYâ �UØ �=ç �.ójó/ÙYØ�Þ:ÚkØ�Þ=ãHØ�Ù�ç)âj×�×Yâ.ä=åjæ=Ü·à!�jó=çyó.ójó®è¬âj×ká=ÙBñ!û¡æ=Ý·Ùá=Ø�ãHÝ´ÙYÝ·â.Þá=â:Ø�Ù¡Þ=âjÚ¡Þ=Ø�ã�Ø�ÙYÙ�Ö�×kÝ·Ü·à*×YØ/.8Ø�ãHÚ�Û=×aÖeã�ÚYÝ´ãHØ/è¬ØHÜ´Ümñd�=âj׬Ø���Ö�ßQÛ=Ü·Ø.çjÝ �FÚYæ=Ø!Úk×�Ö�Ý·Þ=Ý·Þ=å�ÙYØ�Ú�ÙYÝ���Ø!Ý´Ù¡Ü·Ø�ÙYÙ¡Úkæ8Ö�Þ�.óDçyó.ó.ó�è¬âj×ká=Ù¡ÚYæ=Ø�Þݷڬݷ١Þ=âjÚ¬×YØ�ÖeÜ·Ý·ÙkÚYÝ´ã!ÚYâ�æ8Ö��jØ�ÚYæ=Ý·Ù¡ß ä=ãaæ æ=Ø�Ü·á��mâ.ä=Ú¡á8Ö�Ú�Ö®Ö��.ÖeÝ·Ü�Ö��=Ü·Ø.ñ�ô�âeè(Ø��.Ø�×Bç:è¬Ø!ßÖeá=ØÚkæDÝ´Ù!ãaæ=âjÝ´ãHØ Úkâ�Ö��.âjÝ´á3ã�â.Þ=ÙYÝ·á=Ø�×kÝ·Þ=åÚYæ=Ø Úk×aÖeÝ·Þ=Ý·Þ=å �jØ�×kÙYä=Ù/æ=ØHÜ´á �òâjä=Ú!á8ÖeÚaÖQÚY×�Ö�á=Ø�â � ��â.×!Ø�Ö�ãaæùá8ÖeÚaÖ ÙkÝ���Øjñ� mÞÖeáDá=Ý·ÚkÝ·â.Þ�çjÚkæDØ�æDØ�Ü·á��òâjä=Ú¡á8Ö�Ú�ÖÀÝ´Ù¡äDÙkØ�áÚkâ®â.ÛDÚkÝ·ßQÝ���ØqÚmàtÛDÝ´ãBÖeÜ·Ü·à �jØ�×kà ��Ø�è Û8Ö�×�Ö�ßQØ�ÚYØ�×kÙBç=Ùkâ®Ý·ÞÛ=×�Ö�ã�ÚkÝ·ã�Ø!ÙkßÖeÜ·Üæ=Ø�Ü·á��mâ.äDÚ¡ÙkØ�ÚYÙ�Öe×kØÀå.Ø�Þ=ØH×�ÖeÜ·Ü·àQÖeáDØ��:ä8ÖeÚYØ.ç8Ö�Þ=áQÛUØ�×kæUÖeÛ=Ùqã�ÖeÞ �UØ�Ö��jâ.Ý·á=Ø�áÖeÜ·Úkâjå.Ø�ÚYæ=Ø�סè¡Ý·Úkæ�ÚkØ�ãaæ=ÞDÝ�:ä=ØHÙ�ÙkäDã�æÖeÙ)á=ØHÜ´ØHÚkØ�á Ø�ÙYÚkÝ·ß*Ö�ÚkÝ·â.ÞTñ �qÞ=â.ÚYæ=Ø�×?ÚYØ�ãaæ=Þ=Ý �:ä=Ø¡Ý·Ù)Úkâ�äDÙkØ¡ÙkâjßQØ?æDØ�Ü·á��òâjä=Ú)á8ÖeÚaÖ¡ÚYâ �UÞ=á�ÙYßQâ:â.ÚYæ=Ý·Þ=å¡Û8Ö�×�Öeß�Ø�ÚkØH×�.ÖeÜ·ä=ØHÙ�ç=ÖeÞDáQÚkæDØ�ÞÚkâ ��âjÜ´á ÚYæ8ÖeÚ¡æDØ�Ü·á��òâjä=Ú(á8ÖeÚaÖ��8Ö�ã !QÝ·Þ:Úkâ®Úkæ=Ø!Úk×aÖeÝ·Þ=Ý·Þ=å/áUÖeÚ�Ö®ÖeÞDá*ÚYâ�×YØ��=ä=Ý·Ü·áQÚYæ=Ø/ß�âtáDØ�Ü·Ù�ñû)âQå.Ý �jØ�ÙYâ.ß�Ø[.JÖ��.âj×�Ö��Uâ.ä=Úqæ=âeè ÚkæDØ�ÙYÚk×�Ö�ÚkØ�åjà�ä=ÙYØ�á�ÚYâQÙYØ�Ü·Ø�ã�Ú�ÖMæ=Ø�Ü·á��mâ.ä=ÚqÙkØ�Ú/Ö�� Ø�ã�ÚYÙ/ÛUØ�×���âj×kßÖeÞ=ã�Øjç

è(Ø�×aÖeÞ�Úmè¬â®ÙkßÖeÜ·Ü=ÙkØHÚkÙ¡â��)Ø��:Û8ØH×kÝ·ßQØ�Þ:ÚYÙ¡Ý´Þ��jØ�ÙkÚYÝ´å:ÖeÚYÝ´ÞDå/æ=âeè æ=ØHÜ´á �òâjä=Ú¬ÙYØ�Ú¡ÙkÝ���Ø/Ö�Þ=áQæ=âeè ��â.Ü·á=Ý·Þ=å��UÖeã ! Úkæ=Øæ=Ø�Ü·á��mâ.äDÚFÙYØ�Ú?Ý·Þ:Úkâ!ÚkæDØ¡Úk×�Ö�Ý·Þ=Ý·Þ=å�ÙYØ�Ú¬Ö�� Ø�ã�ÚYÙ¬ãH×kâ.ÙYÙ��mØ�Þ:Úk×Yâ.Û:àtñ mÞ��TÝ·å.ä=×YØ �=çeè(جáDÝ´ÙYÛ=Ü�ÖBà/ÚkæDجØ/� Ø�ã�Ú(â�� æ=Ø�Ü·á��mâ.äDÚÙkØHÚ�ÙkÝ���Ø!âjÞ*ÚYæ=Ø!Û8ØH×���âj×kß*Ö�Þ=ã�Ø!â��)Úmè¬â®Ùkß�â:â.ÚkæDÝ´ÞDå�ÖeÜ·å.âj×kÝ·ÚkæDßQÙ�ç��������1������ ������������Ö�Þ=á ������ ������������ ��(��Jçâ��.ØH×�ÚYæ=×kØ�Ø3Úk×�Ö�Ý·Þ=Ý·Þ=å�ÙkØHÚ ÙkÝ���Ø�Ù âjÞ2ÚkæDØQï(×kâtÖ�á=ã�Ö�ÙkÚ��qØ�è¡Ù®ã�â.×YÛ=ä=Ù�ñ �TØ�×��sâ.×kßÖeÞ=ãHØQÝ·Ù�ãBÖeÜ·ã�ä=Ü�ÖeÚYØ�á2×YØ�Ü�ÖeÚYÝ�jØÚkâÚYæ=Ø�ãH×kâ.ÙYÙ��mØ�Þ:Úk×Yâ.Û:à�à:Ý·Ø�Ü·á=Ø�á �:àä=ÙkÝ·Þ=åÖ �Dç �.ó.ó®ÙYØ�Þ:ÚkØ�ÞDã�Ø�ésÖ��Uâ.ä=Ú �.óDçyó.ó.ó®è(â.×Yá8ú¡æDØ�Ü·á��òâjä=Ú!ÙkØ�Ú ��â.×qÚkæ8Ö�Ú2�� �K8KZ:DCE7�9;58=�X;J�7�JR58=�JNSNJ�58K8J�H;K8@�C G�:IAB7�9;@���58P;Q�<;58=�7�5� % JI7�J '�:IP;=�:�G�7�58<;A [

���

Page 28: Chen & Goodman - Peopleklein/cs294-5/chen_goodman.pdf · Úkâ!ü òåj× Ö ß ßQâ:á=Ø Ü·Ù ÖeÞDá/Ùkß âtâjÚkæ=Ý·Þ=åUç Ö Þ=á/ÙkäD× .ØHà/Úkæ=Ø(ßQâjÙkÚ

-0.01

0

0.01

0.02

0.03

100 1000 10000

diff

in te

st c

ross

-ent

ropy

fro

m b

asel

ine

(bits

/toke

n)

held-out set size (sentences)

performance of jelinek-mercer over varying held-out set sizes

5000 train sent

50000 train sent

500000 train sent

-0.002

0

0.002

0.004

0.006

0.008

100 1000 10000

diff

in te

st c

ross

-ent

ropy

fro

m b

asel

ine

(bits

/toke

n)

held-out set size (sentences)

performance of kneser-ney-mod over varying held-out set sizes

5000 train sent

50000 sent

500000 train sent

�TÝ·å.ä=×YØ �7����ØH×���âj×kß*Ö�Þ=ã�Ø/×YØ�Ü�ÖeÚYÝ�jØ!Úkâ �UÖeÙkØHÜ´Ý·Þ=Ø!æ=ØHÜ´á �òâjä=Ú�ÙYØ�Ú!ÙkÝ���ØQé �=ç �.ójó/ÙYØ�Þ:ÚkØ�Þ=ãHØ�Ù�úÀâ�� �������1�� ���������������ÖeÞDá ����������������������(�� â��.ØH×/ÙkØ��jØ�×�Ö�ܬæDØ�Ü·á��òâjä=Ú/ÙYØ�Ú/ÙkÝ���ØHÙ�î?æDØ�Ü·á��òâjä=Ú!ÙkØ�ڮݷÙ/ä=ÙYØ�áùÚkâ�âjÛ=ÚkÝ·ß�Ý �HØ/Ùkß�âtâjÚkæ=Ý·Þ=åÖeÜ·åjâ.×kÝ·ÚYæ=߸Û8Öe×aÖeßQØHÚkØ�×YÙ

Úk×aÖeÝ·Þ=Ý·Þ=åÙkØHÚ/ÙkÝ���Ø.ñY�=âj× �������1�� ��� ������� ��� ÙYßQâ:â.ÚYæ=Ý·Þ=å8çUè¡æ=Ý·ãaæ�ãBÖeÞùæ8Ö��jØ�æ:ä=Þ=áD×kØ�á=Ù®â��$�Û8Ö�×�Öeß�Ø�ÚkØH×kÙ/âj×ßQâj×kØ.çjÚkæDØ�ÙkÝ���Ø!â���Úkæ=Ø!æ=Ø�Ü·á��mâ.äDÚ¬ÙYØ�Ú¡ã�ÖeÞ�æ8Ö��.Ø!Ö!ßQâ:á=ØH×�ÖeÚYØ�Ø/� Ø�ã�ÚBñ �Dâ.×(æ=Ø�Ü·á��mâ.ä=Ú(ÙkØHÚkÙ¡ß ä=ãaæ ÙkßÖeÜ·Ü·Ø�×)Úkæ8Ö�ÞÚkæDØ��8ÖeÙYØ�Ü·Ý´ÞDØ ÙkÝ���Ø.çTÚkØ�ÙYÚ�ãH×kâ.ÙYÙ��mØ�Þ:Úk×Yâ.Û:à�ãBÖeÞ��UØ ä=ÛùÚkâ�ó=ñyó�&��=Ý·ÚkÙ �eè(â.×Yá�æ=Ý·åjæ=Ø�×�çTè¡æ=Ý·ãaæ�Ý·Ù/ÖeÛDÛ=×kâ��:Ý·ß*Ö�ÚkØ�Ü·àØ��:ä=Ý �.ÖeÜ·Ø�Þ:Ú¡ÚYâ*Ö �]��Û8ØH×kÛ=Ü·Ø��:Ý·Úmàá=Ý��JØ�×YØ�Þ=ã�Øjñ/ô�âeè(Ø��jØ�×�çUØ��jØ�Þ�è¡æDØ�Þ�ÚYæ=Ø®æ=Ø�Ü·á��mâ.ä=ÚqÙkØ�Ú!Ý·Ù�Ö �òÖeã�ÚYâ.×qâ�� ��â.äD×Ü�Öe×Yå.Ø�×(Úkæ8Ö�ÞQÚYæ=Ø��8ÖeÙYØ�Ü·Ý´ÞDØ�ÙkÝ���Ø!â�� �=ç �jó.ó!ÙYØ�Þ:ÚkØ�Þ=ãHØ�Ù�çUè(Ø�ÙkØHØ�ÖeÞ�Ý´ß�Û=×kâ��jØ�ßQØHÞtÚTâ��?ÖeÚ(ßQâ.ÙYÚ¬ó=ñyóDë �=Ý·ÚkÙ �eè(â.×káTñ��Ù¡è(Ø!è¡Ý·Ü´Ü ÙYØ�Ø/Ü�ÖeÚYØ�×�ç:ÚYæ=Ø�ÙYØ/á=Ý��JØH×kØ�Þ=ãHØ�Ù�Öe×YØ!ß ä=ãaæ Ùkß*Ö�Ü·Ü´ØH׬ÚYæ8ÖeÞÚkæDØ�Úmà:Û=Ý·ã�Ö�Ü á=Ý��JØH×kØ�Þ=ãHØ�Ý·ÞQÛUØ�×���â.×Yß*ÖeÞDã�Ø�UØ�Úmè¬ØHØ�Þ�ÙYßQâ:â.ÚYæ=Ý·Þ=å ÖeÜ·å.âj×kÝ·Úkæ=ß�Ù�ñ��=âj× ����������������������(��®ÙkßQâ:âjÚkæ=Ý·Þ=å®è¡æ=Ý·ãaæ*æUÖeÙ�Ö��8âjä=Ú�ëBó®Û8Öe×aÖeß�Ø�ÚkØ�×YÙ�çæ=Ø�Ü·á��mâ.äDÚ¡ÙkØ�ÚqÙkÝ���Ø!æ8ÖeÙ¡Ü·Ý·ÚkÚYÜ·Ø�Ø/� Ø�ã�ÚBç8Úmà:Û=Ý·ã�Ö�Ü·Ü´à Ü·Ø�ÙYÙ�ÚYæ8ÖeÞó=ñyó.ó]���=Ý·ÚYÙ��eè(â.×Yá�ñ

mÞ���Ý·åjä=×kØ�&=ç:è(Ø�áDÝ´ÙYÛ=Ü�ÖBà�æDâeè ��â.Ü·á=Ý·Þ=å �8Öeã ! ÚkæDØ�æDØ�Ü·á��òâjä=Ú(ÙkØ�ÚqÝ´Þ:ÚYâ/Úkæ=Ø!ÚY×�ÖeÝ·Þ=Ý·Þ=å®ÙkØHÚ�Ö���ÚYØ�סÙkß�âtâjÚkæ=Ý·Þ=åÛ8Ö�×�Öeß�Ø�ÚkØH×�âjÛ=ÚkÝ·ß�Ý �BÖeÚkÝ·âjÞ�Ö �JØHã�ÚkÙ/ÛUØ�×���â.×Yß*ÖeÞDã�Ø â��.Ø�×!á=Ý�� Ø�×kØHÞtÚ®Úk×aÖeÝ·Þ=Ý·Þ=å�ÙkØ�Ú/ÙYÝ���Ø�Ù ��â.× �������1�� ���������������ÖeÞDá ����������������������(�� ñ �TØ�×���â.×Yß*ÖeÞDã�ØùÝ·Ù�ã�ÖeÜ·ã�äDܾÖ�ÚkØ�á ×YØ�Ü�ÖeÚYÝ�jØùÚkâ ÚYæ=Ø2ãH×kâ.ÙYÙ��mØ�Þ:Úk×Yâ.Û:à â�� â.ä=×3á=Ø �òÖ�ä=Ü·ÚßQØHÚkæ=â:á=âjÜ´âjå.à â��¬Þ=â.Ú���âjÜ·á=Ý·Þ=å Úkæ=Ø®æ=Ø�Ü·á��mâ.äDÚ�ÙkØHÚ��8Öeã !Ý·Þ:ÚkâQÚYæ=Ø®Úk×�Ö�Ý·Þ=Ý·Þ=åQÙYØ�Ú/Ö���ÚYØ�×!Û8Öe×aÖeßQØHÚkØ�×qâ.Û=ÚYÝ´ß�Ý���Ö��ÚkÝ·âjÞ�ñQû¡æDØ � Ò�Ô´Óeý�_aÌ��&� Ü´Ý·Þ=Ø ãHâ.×k×YØ�ÙkÛUâ.ÞDá=Ù Úkâ�ÚYæ=ØQãBÖeÙkØ�è¡æ=Ø�×YØQè(Ø���âjÜ´á�ÚkæDØQæ=Ø�Ü·á��mâ.äDÚ/á8ÖeÚaÖ �8Ö�ã !�Ý·Þ:ÚkâÚkæ=ØÚk×aÖeÝ·Þ=Ý·Þ=åUç.ÖeÞ=á ÚYæ=Ø�ÐN���þYÌ/Ü·Ý·Þ=Ø¡ã�â.×Y×kØ�ÙYÛ8âjÞ=á=Ù¡ÚYâ�ÚYæ=Ø�ã�Ö�ÙkØqè¡æ=Ø�×kØ!Ö���ÚYØ�× ��â.Ü·á=Ý·Þ=åqÚkæ=Øqæ=Ø�Ü·á��mâ.ä=Ú?áUÖeÚ�Ö �8Öeã ! Ý·Þ:ÚkâÚkæDØ�Úk×aÖeÝ·Þ=Ý·Þ=åUç�è(Ø�äDÙkØ�ÖeÞQÖ�á=á=Ý·ÚkÝ·âjÞ8ÖeÜ:æ=Ø�Ü·á��mâ.äDÚ?ÙkØ�Ú(Úkâ!×YØ �òâjÛ=ÚkÝ·ß�Ý �HجÚYæ=Ø�ÙYßQâ:â.ÚYæ=Ý·Þ=å�Û8Ö�×�Ö�ßQØ�ÚYØ�×kÙBñ �qÙ¬è(â.ä=Ü·á�UØ�Ø��tÛUØ�ã�ÚYØ�á�ç ��â.×(ÙkßÖeÜ·Ü=Úk×aÖeÝ·Þ=Ý·Þ=å/ÙYØ�Ú¡ÙkÝ���ØHÙ¡Û8Ø�×���â.×Yß*Ö�Þ=ã�Ø�Ý·Ù¡Öeä=åjßQØ�Þ:ÚYØ�á ÙkÝ·å.ÞDÝ �Uã�ÖeÞ:ÚkÜ·à®è¡æ=Ø�Þ�Úkæ=Ø!æ=Ø�Ü·á��mâ.äDÚá8Ö�Ú�֮ݷ٠��âjÜ·á=Ø�á �8Öeã !Ý·Þ�ç=ÖeÙqÚkæ=Ý·ÙqÝ´ÞDã�×kØ�Ö�ÙkØ�Ù!ÚYæ=Ø/Úk×aÖeÝ·Þ=Ý·Þ=å ÙYØ�Ú!ÙkÝ���Ø/Þ=âjÚkÝ·ã�Ø�Ö��=Ü·àtñZô�âeè(Ø��.ØH×�ç���â.סÚY×�Ö�Ý´ÞDÝ´ÞDå ÙkØ�ÚÙkÝ���ØHÙ�â���ë�ójó=çyó.ójó/ÙYØ�Þ:ÚkØ�ÞDã�Ø�Ù/âj×�ßQâj×kØ.çDÚkæ=Ý·ÙqÝ´ß�Û=×kâ��jØ�ßQØHÞtÚ��UØ�ã�â.ß�Ø�Ù�ÞDØ�å.Ü·Ý·å.Ý �=Ü·Ø.ñ(û¡æ=Ø®á=Ý��JØH×kØ�Þ=ãHØ��8Ø�Úmè(Ø�Ø�ÞÚkæDØ � ÒeÔ´Ó�ý�_aÌ��N��ÖeÞ=á�Ð&��sþkÌ Ü·Ý·Þ=Ø�Ù¡×YØ�Û=×kØHÙkØ�Þ:ÚkÙ!ÚYæ=Ø��UØ�Þ=Ø/�8Úqâ��)ä=ÙkÝ·Þ=åQÖ®æ=ØHÜ´á �òâjä=Ú¬ÙYØ�Ú�áDÝ´Ù �aâ.Ý·Þ:Ú ��×kâjß Úkæ=Ø!ÚY×�ÖeÝ·Þ��Ý·Þ=å®ÙkØ�ÚqÚkâ â.ÛDÚkÝ·ßQÝ���Ø¡Û8Ö�×�Ö�ßQØ�ÚYØ�×kÙBñ)û¡æ=Ý·Ù �8Ø�ÞDØ/�8Ú!ݷ٬ݷÞ=ÙYÝ´åjÞ=Ý��8ã�Ö�ÞtÚ ��âj× ����������������������(�� ç��=ä=Ú�Ý·Ù(Ü�Öe×kåjØ�×���âj×�������1�� ��������������� çBØ�ÙYÛ8Ø�ãHݾÖ�Ü·Ü´à ��âj׬ÙYß*Ö�Ü´Ü·Ø�×ZÚk×�Ö�Ý·Þ=Ý·Þ=å�ÙYØ�ÚkÙBñ

� � ZÈ Ä�

mÞùÚkæDÝ´Ù®ÙkØHã�ÚkÝ·â.ÞTç?è(Ø Û=×kØ�ÙYØ�Þ:Ú Úkæ=Ø�×kØ�ÙYä=Ü·ÚkÙ â���â.ä=×/ßÖeÝ·Þ�Ø��:Û8Ø�×YÝ·ßQØ�Þ:ÚkÙBñ mÞ§÷:ØHã�ÚkÝ·â.Þ+�=ñ·ë.çTè(Ø Û=×kØ�ÙYØ�Þ:Ú Úkæ=ØÛUØ�×���âj×kßÖeÞ=ã�Øâ�� �.Ö�×kÝ·â.äDÙQÖeÜ·å.âj×kÝ·Úkæ=ß�Ù���âj× á=Ý��JØ�×YØ�Þ:ÚÚk×�Ö�Ý·Þ=Ý·Þ=å�ÙYØ�ÚÙkÝ���Ø�Ù�â.Þ'á=Ý�� Ø�×kØ�Þ:Úã�âj×kÛUâ.×�Ö ��â.×��Uâ.ÚYæ�=Ý·å.×aÖeß ÖeÞDá Úk×kÝ·åj×�Öe߸ß�âtáDØ�Ü·Ù�ñ #ùØ¡á=Ø�ßQâjÞ=ÙkÚY×�Ö�ÚkØ�ÚYæ8ÖeÚ(ÚkæDØ�×kØHܾÖ�ÚkÝ �.Ø¡ÛUØ�×���â.×Yß*ÖeÞDã�Ø�â���á=Ý��JØ�×YØ�Þ:Ú¡Ùkß�âtâjÚkæ=Ý·Þ=åßQØHÚkæ=â:á=Ù(ã�ÖeÞ �.Ö�×kà ÙkÝ·åjÞ=Ý��8ã�ÖeÞ:ÚYÜ´à ÖeÙ¡ãHâ.Þ=á=Ý·ÚYÝ´âjÞ=Ù��.Öe×kà îjæ=âeè(Ø��.Ø�×Bç=õ!Þ=Ø�ÙYØ�×�����ØHà*ÙYßQâ:â.ÚYæ=Ý·Þ=å�Ö�Þ=á �.Ö�×kÝ�ÖeÚYÝ´âjÞ=Ù

�.í

Page 29: Chen & Goodman - Peopleklein/cs294-5/chen_goodman.pdf · Úkâ!ü òåj× Ö ß ßQâ:á=Ø Ü·Ù ÖeÞDá/Ùkß âtâjÚkæ=Ý·Þ=åUç Ö Þ=á/ÙkäD× .ØHà/Úkæ=Ø(ßQâjÙkÚ

-1

-0.8

-0.6

-0.4

-0.2

0

1000 10000 100000 1e+06

diff

in te

st c

ross

-ent

ropy

fro

m b

asel

ine

(bits

/toke

n)

training data (sentences)

performance of jelinek-mercer over varying held-out set strategies

fold-back

extra -1

-0.8

-0.6

-0.4

-0.2

0

1000 10000 100000 1e+06

diff

in te

st c

ross

-ent

ropy

fro

m b

asel

ine

(bits

/toke

n)

training data (sentences)

performance of kneser-ney-mod over varying held-out set strategies

fold-backextra

�TÝ·å.ä=×YØ &7� �TØ�×���âj×kßÖeÞ=ã�Ø ×YØ�Ü�ÖeÚYÝ�jØ ÚYâ �8ÖeÙYØ�Ü·Ý·Þ=Ø æ=Ø�Ü·á��mâ.ä=Ú»ßQØHÚkæ=â:á=âjÜ´âjå.à¸â�� �������1�� ��� ����������� Ö�Þ=á������������������� ��(�� î � Ò�Ô´Óeý�_aÌ��&��ã�âj×k×kØHÙkÛUâ.Þ=á=ÙqÚkâ®ã�ÖeÙYØ!è¡æ=Ø�×kØÀæ=Ø�Ü·á��mâ.ä=Ú(ÙkØ�Ú¡äDÙkØ�áÚkâ®â.ÛDÚkÝ·ßQÝ���Ø¡Û8Ö�×�Ö�ßQØ�ÚYØ�×kÙ(Ý·ÙÜ�ÖeÚYØ�×���â.Ü·á=Ø�á �8Öeã !Ý·ÞtÚYâQÚY×�ÖeÝ·Þ=Ý·Þ=å ÙYØ�Ú�î(ÐN �sþkÌ�ã�â.×Y×kØ�ÙYÛ8âjÞ=á=Ù®Úkâ�ã�ÖeÙYØ è¡æ=Ø�×kØ®Úk×aÖeÝ·Þ=Ý·Þ=å�ÙkØ�Ú!Ý·Ù/Öeä=åjßQØ�Þ:ÚkØHá �:àâ.×YÝ·å.Ý·Þ8ÖeÜUæ=Ø�Ü·á��mâ.äDÚ¡ÙkØ�ÚBç �=ä=Ú�Ö�á=á=Ý·ÚkÝ·âjÞ8ÖeÜUæ=Ø�Ü·á��mâ.ä=Ú¡ÙYØ�Ú�Ý·Ù¡ä=ÙYØ�áÚkâ âjÛ=ÚkÝ·ßQÝ���Ø¡ÛUÖe×�Ö�ßQØ�ÚYØ�×kÙ

ã�âjÞ=ÙkÝ·ÙkÚYØ�Þ:ÚkÜ·àQâjä=ÚkÛUØ�×���â.×Yß Ö�Ü´Ü âjÚkæ=ØH×�ßQØHÚkæ=â:á=ÙBñ mÞ�÷:Ø�ã�ÚYÝ´âjÞ:�=ñ �Dç:è¬Ø!Û=×YØ�ÙkØ�Þ:Ú/ÖÀßQâ.×YØ!á=Ø�Ú�Ö�Ý·Ü´ØHá�Ö�Þ8ÖeÜ·à:ÙkÝ·Ù(â��)Û8Ø�×���â.×Yß*Ö�Þ=ã�Ø.çD×�ÖeÚYÝ·Þ=å á=Ý��JØH×kØ�Þ:Ú�ÚYØ�ãaæ=Þ=Ý �:ä=Ø�Ù

â.Þ3æ=âeè�è(Ø�Ü·Ü)Úkæ=ØHà*ÛUØ�×���â.×Yß�â.Þ�ü��må.×aÖeßQÙ(è¡Ý·Úkæ�ÖMÛ8Öe×YÚkÝ·ã�ä=Ü�Ö�סã�â.ä=Þ:Ú!Ý·ÞÚkæ=Ø®Úk×aÖeÝ·Þ=Ý·Þ=å á8Ö�Ú�Ö=çTÐ �²Î ��ç ü��må.×aÖeßQÙÚkæUÖeÚ(æ8Ö��.Ø!â:ã�ã�ä=×Y×kØ�á3Ø��=Öeã�ÚYÜ´à�â.Þ=ãHØ�Ý·Þ�Úkæ=Ø!Úk×aÖeÝ·Þ=Ý·Þ=å/áUÖeÚ�ÖDñ #ùØf�8ÞDáQÚkæUÖeÚ ��*�� �®ßQâjÙkÚ¡Öeã�ãHä=×�Ö�ÚkØ�Ü·àQÙYßQâ:â.ÚYæ=Ùü��må.×�Ö�ßQÙ!è¡Ý·Úkæ�ܾÖ�×kåjØQã�âjä=Þ:ÚkÙ�çZè¡æ=Ý·Ü·Ø ������������������� ��(��Ý·Ù��UØ�ÙkÚ ��â.×ÀÙkß*Ö�Ü·Ü?ã�â.äDÞtÚYÙ�ñ�#ùØ�Úkæ=ØHÞ2ÙkæDâeè Úkæ=Ø×kØHܾÖ�ÚkÝ �.Ø¡Ý·ß�Û8Öeã�Ú)âjÞ Û8Ø�×���â.×Yß*Ö�Þ=ã�Ø�â���ÙkßÖeÜ·Ü:ã�â.ä=Þ:ÚYÙøÖ�Þ=á Ü�Öe×kåjØ¡ã�â.äDÞtÚYÙ��sâ.×?á=Ý�� Ø�×kØHÞtÚ¡ÚY×�Ö�Ý´ÞDÝ´ÞDå�ÙYØ�Ú¡ÙkÝ���ØHÙøÖ�Þ=áü��må.×�Ö�߸â.×káDØ�×kÙBç=ÖeÞ=á�ä=ÙkØqÚkæ=Ý·Ù(á8ÖeÚaÖ/ÚYâ/Ø��:Û=Ü�ÖeÝ·Þ ÚkæDØ��.Öe×YÝ�ÖeÚkÝ·âjÞ�Ý·ÞQÛUØ�×���â.×Yß*ÖeÞDã�Ø¡â���á=Ý�� Ø�×kØHÞtÚ�Ö�Ü·å.â.×YÝ·Úkæ=ß�Ù�Ý·Þá=Ý�� Ø�×kØ�Þ:ÚqÙkÝ·Úkä8Ö�ÚkÝ·â.ÞDÙ�ñ

mÞ ÷�Ø�ã�ÚkÝ·âjÞ �Dñ &Dç=è(Ø�ÛD×kØ�ÙYØ�Þ:Ú/Ø��:Û8ØH×kÝ·ßQØ�Þ:ÚYÙ�è¡Ý·Úkæ����òåj×�Ö�ß ÖeÞ=á:� �òåj×�Ö�ß ß�âtáDØ�Ü·Ù�ç=è¡Ý·ÚYæ ü��må.×aÖeß�ßQâ:á=Ø�Ü·Ùè¡Ý·Úkæ ã�âjä=Þ:Ú¬ãHä=Úkâ�JÙ!é �� Ð ��ç�ßQâ:á=Ø�Ü·Ù?ÚYæ8ÖeÚ?Ý·åjÞ=â.×YØ�ü��òåj×�Öeß�Ù)è¡Ý´ÚYæ ��Ø�è(Ø�×(Úkæ8Ö�Þ Ùkâ.ß�جÞ:ä=ß��UØ�×?â���ã�â.äDÞtÚYÙ?Ý·Þ Úkæ=ØÚk×aÖeÝ·Þ=Ý·Þ=å�á8ÖeÚaÖ.ú�çTÖeÞ=á�Ø��:Û8ØH×kÝ·ßQØ�Þ:ÚYÙ/Úkæ8Ö�Ú!Ø��=ÖeßQÝ·Þ=ØÀæ=âeè ã�×Yâ.ÙYÙ��mØ�Þ:Úk×kâjÛ:à�Ý·Ù!×kØ�Ü�Ö�ÚkØ�áùÚYâ*è(â.×Yá��mØ�×k×Yâ.×/×aÖeÚkخݷÞÙkÛUØ�Ø�ãaæ�×kØ�ãHâ.å.ÞDÝ´ÚYÝ·â.Þ�ñ

#$" � �1& � �������L&(*>�� � *��Ù(ßQØHÞtÚYÝ·â.Þ=Ø�á ØBÖe×kÜ·Ý·Ø�×Bç.è(Ø�Ø��.Ö�Ü·ä8ÖeÚYØ¡ÙkßQâ:âjÚkæ=Ý·Þ=å!ßQØHÚkæ=â:á=Ù?ÚYæ=×kâjä=å.æ�Úkæ=ØHÝ´×(ã�×Yâ.ÙkÙ��òØHÞtÚY×kâjÛtà�â.Þ ÚYØ�ÙkÚ¡á8Ö�Ú�ÖDçtÖ�Ùå.Ý �jØ�ÞÝ´ÞØ��:ä8Ö�ÚkÝ·â.Þ�é-�jú�ñ� mÞ���Ý·åjä=×kØ�ÙR�QÖeÞ=á��Dç:è¬Ø/áDÝ´ÙYÛ=Ü�ÖBà Úkæ=ØÀã�×kâjÙkÙ��mØ�Þ:Úk×Yâ.Û:àâ��?â.äD× �8ÖeÙYØ�Ü·Ý´ÞDØ/Ùkß�âtâjÚkæ=Ý·Þ=åßQØHÚkæ=â:á�ç �������1�� ��� ����������������*��������1��=ç(â��.Ø�×Ö �.Öe×kÝ·Ø�Úmà'â���Úk×aÖeÝ·Þ=Ý·Þ=å2ÙYØ�Ú�ÙYÝ �HØ�Ù ��âj× �Uâ.Úkæ �=Ý·å.×aÖeß�Ö�Þ=áÚk×YÝ·å.×�Ö�ß ß�â:á=Ø�Ü·Ù¡â.Þ�Ö�Ü·Ü ��âjä=סã�â.×YÛ8âj×�Ö�á=Ø�ÙYã�×kÝ �UØ�áùÝ·Þ�÷:Ø�ã�ÚYÝ´âjÞ:�Uñ &=ñ�#ùØ/ÙkØHØ�ÚYæ8ÖeÚqã�×kâjÙkÙ��mØ�Þ:Úk×Yâ.Û:à�á=ØHã�×kØ�Ö�ÙkØ�ÙÙkÚYØ�ÖeáDÝ´Ü·àQÖ�Ù¡Úkæ=Ø/ÚY×�Ö�Ý´ÞDÝ´ÞDå�ÙYØ�Ú¡ä=ÙkØHá�å.×Yâeè¡Ù¡Ý´Þ�ÙkÝ���Ø.îDÚkæ=Ý·Ù¡á=ØHã�×kØ�Ö�Ùkخݷ٬ÙYâ.ßQØHè¡æ8ÖeÚ(ÙkÜ·âeè(Ø�סÚkæ8Ö�ÞÜ´Ý·Þ=ØBÖe×(Ý´Þ�Úkæ=ØÜ·â.å:Öe×kÝ·ÚYæ=߸â��?Úkæ=Ø!ÚY×�ÖeÝ·Þ=Ý·Þ=å®ÙkØHÚ�ÙkÝ���Øjñ �Dä=×kÚYæ=Ø�×kß�â.×YØ.ç=è(Ø!ÙkØ�Ø/ÚYæ8ÖeÚ¡ÚYæ=Ø/Ø�Þ:ÚY×kâ.ÛDÝ´ØHÙ�â��)á=Ý��JØH×kØ�Þ:Ú�ãHâ.×kÛUâ.×aÖ ã�Ö�Þ�UØ �jØ�×kà�áDÝ � Ø�×YØ�Þ:Ú�ç�Ö�Þ=á�ÚkæUÖeÚ!Úk×YÝ´åj×�Ö�ß ß�âtáDØ�Ü·Ù�ÛUØ�×���âj×kß�ÙYÝ´åjÞ=Ý��8ã�Ö�ÞtÚYÜ·à �UØ�ÚYÚkØ�×/ÚYæ8ÖeÞ �=Ý·å.×�Ö�ß ß�â:á=Ø�Ü·Ù�âjÞ=Ü·à��âjסܾÖ�×kåjØ�׬ÚY×�Ö�Ý´ÞDÝ´ÞDå�ÙYØ�ÚkÙBñ

mÞQÚYæ=Ø���â.Ü·Ü·âeè¡Ý·Þ=å�á=Ý·ÙYã�ä=ÙkÙYÝ·â.Þ�ç:è(Ø�è¡Ý·Ü·Ü8ÛD×kÝ·ß*Ö�×kÝ·Ü·à�×YØ�ÛUâ.×kÚ¡ÚYæ=Ø!Û8ØH×���âj×kß*Ö�Þ=ã�Øqâ��FÖÀÙkßQâ:âjÚkæ=Ý·Þ=å/ÖeÜ·åjâ.×kÝ·ÚYæ=ßÖeÙ ÚYæ=Øá=Ý��JØH×kØ�Þ=ãHØ�â���Ý·ÚkÙ ã�×Yâ.ÙYÙ��mØ�Þ:Úk×kâjÛ:à§âjÞ§Ö�ÚYØ�ÙkÚ�ÙkØ�Ú ��×Yâ.ß%ÚYæ=Ø�ã�×Yâ.ÙYÙ��mØ�Þ:Úk×kâjÛ:à§â�� ��������� ��� ���������������*�� �����1���è¡Ý´ÚYæ'Úkæ=Ø�Ù�Ö�ßQØÚk×aÖeÝ·Þ=Ý·Þ=å�ÙkØ�ÚBñ û)âùÙkØHØ�æ=âeè�ÚkæDØ�ÙkØ�ã�×kâjÙkÙ��òØ�Þ:ÚY×kâ.Û:à áDÝ � Ø�×YØ�Þ=ã�Ø�Ù3Úk×�Ö�Þ=ÙkÜ�Ö�ÚkØ�ÚYâ

�.ì

Page 30: Chen & Goodman - Peopleklein/cs294-5/chen_goodman.pdf · Úkâ!ü òåj× Ö ß ßQâ:á=Ø Ü·Ù ÖeÞDá/Ùkß âtâjÚkæ=Ý·Þ=åUç Ö Þ=á/ÙkäD× .ØHà/Úkæ=Ø(ßQâjÙkÚ

6.5

7

7.5

8

8.5

9

9.5

10

10.5

11

100 1000 10000 100000 1e+06 1e+07

cros

s-en

trop

y of

test

dat

a (b

its/to

ken)

training set size (sentences)

cross-entropy of baseline for WSJ/NAB corpus

NAB 2-gram

NAB 3-gram 7

7.5

8

8.5

9

9.5

10

10.5

11

11.5

100 1000 10000 100000 1e+06cr

oss-

entr

opy

of te

st d

ata

(bits

/toke

n)training set size (sentences)

cross-entropy of baseline for Broadcast News corpus

BN 2-gram

BN 3-gram

�TÝ·å.ä=×YØ �V�?ê(×Yâ.ÙYÙ��mØ�Þ:Úk×kâjÛ:àQâ�� �8ÖeÙYØ�Ü·Ý·Þ=Ø�Ö�Ü´åjâ.×YÝ´ÚYæ=ß��������1�� ��� ������� ��������*��������1��!â.Þ�ÚkØ�ÙYÚ¡ÙkØ�Ú¡â��jØ�× �.Öe×YÝ´âjä=ÙÚk×aÖeÝ·Þ=Ý·Þ=å®ÙkØ�ÚqÙkÝ���Ø�Ùqâ.Þ #�÷�� ����qï Ö�Þ=áQï(×kâ:Öeá=ã�Ö�ÙkÚR��Ø�è¡Ùqã�â.×YÛ8âj×�Ö

6.5

7

7.5

8

8.5

9

9.5

10

100 1000 10000 100000

cros

s-en

trop

y of

test

dat

a (b

its/to

ken)

training set size (sentences)

cross-entropy of baseline for Brown and Switchboard corpora

Brown 2-gram

Brown 3-gram

SWB 2-gram

SWB 3-gram

�TÝ·å.ä=×YØ �7�?ê(×Yâ.ÙYÙ��mØ�Þ:Úk×kâjÛ:àQâ�� �8ÖeÙYØ�Ü·Ý·Þ=Ø�Ö�Ü´åjâ.×YÝ´ÚYæ=ß��������1�� ��� ������� ��������*��������1��!â.Þ�ÚkØ�ÙYÚ¡ÙkØ�Ú¡â��jØ�× �.Öe×YÝ´âjä=ÙÚk×aÖeÝ·Þ=Ý·Þ=å®ÙkØ�ÚqÙkÝ���Ø�Ùqâ.Þ�ï¬×Yâeè¡Þ�ÖeÞ=á÷:è¡Ý·Úkãaæ��8â:Öe×Yá*ãHâ.×kÛUâ.×aÖ

&.ó

Page 31: Chen & Goodman - Peopleklein/cs294-5/chen_goodman.pdf · Úkâ!ü òåj× Ö ß ßQâ:á=Ø Ü·Ù ÖeÞDá/Ùkß âtâjÚkæ=Ý·Þ=åUç Ö Þ=á/ÙkäD× .ØHà/Úkæ=Ø(ßQâjÙkÚ

ÛUØ�×kÛ=Ü·Ø��:Ý·Úmà:ç:×kØ�ã�Ö�Ü·Ü�ÚkæUÖeÚ¡ÛUØ�×kÛ=Ü·Ø��:Ý·Úmà�� � � é ��ú(Ý·Ù¡×kØ�Ü�Ö�ÚkØ�á�ÚYâ�ãH×kâ.ÙYÙ��mØ�Þ:Úk×Yâ.Û:à � � é���ú¡ÖeÙ��� � é���ú ^ � ��� � � �

ô�ØHÞ=ã�Ø.ç]� �:Ø�á áDÝ � Ø�×YØ�Þ=ã�Ø�Ù¡Ý·Þ®ã�×kâjÙkÙ��òØ�Þ:ÚY×kâ.Û:àQÖ�×kØ¡Ø��:ä=Ý �.ÖeÜ·Ø�Þ:Ú)Úkâ � �:Ø�á ×�Ö�ÚkÝ·â.Ù)Ý·Þ Û8ØH×kÛ=Ü·Ø��:Ý·Úmàtñd�Dâ.×)Ø��=Öeß�Û=Ü·Ø.çeÖë�� á=Ø�ã�×YØ�ÖeÙYØ!Ý´Þ®ÛUØ�×kÛ=Ü·Ø��:Ý·Úmà®Ý´ÙZØ��:ä=Ý �.ÖeÜ·Ø�Þ:Ú)Úkâ�Ö �Ü´âjå i ékë �MóF;yó=ë�úd9 óF;yó=ëU���=Ý·ÚYÙ��eè(â.×Yá�áDØ�ã�×kØBÖeÙkØ!Ý·Þ Ø�Þ:Úk×Yâ.Û:à:çÖeÞDá�Ö3ë�ó]�¸á=Ø�ã�×YØ�ÖeÙYØ Ý·Þ*ÛUØ�×YÛ=Ü·Ø��:Ý´Úmà�Ý·Ù�Ø��:ä=Ý �.ÖeÜ·Ø�Þ:Ú¡ÚYâQÖ��*Ü·â.å i éYë �2ó7;·ë�ú 9 óF;·ë�� � �=Ý·ÚkÙ �eè(â.×Yá*áDØ�ã�×kØBÖeÙkخݷÞØ�Þ:Úk×Yâ.Û:à:ñ��Þ=Ü·Ø�ÙYÙ¬ÞDâ.ÚkØHá�ç=ÖeÜ·Ü=â���Úkæ=ØqÛ8âjÝ´Þ:ÚYÙ?Ý·Þ Ø�Öeãaæ å.×aÖeÛ=æ ×YØ�Û=×YØ�ÙkØ�Þ:Ú!Ö!ÙkÝ·Þ=åjÜ´Ø¡×Yä=ÞQâjÞQÖ!ÙkÝ·Þ=åjܷجÚY×�ÖeÝ·Þ=Ý·Þ=å®ÖeÞ=á ÚYØ�ÙkÚÙkØHÚ�ñ)û)â/å.Ý �jجÙYâ.ßQØ¡Ý·á=ØBÖ/Ö��Uâ.ä=ÚZÚkæ=Ø¡ßÖeå.ÞDÝ´ÚYä=á=Ø(â���ÚYæ=Ø¡Ø�×k×Yâ.×(Ý·Þ â.ä=×?×YØ�ÙkäDÜ´ÚYÙ�çDè¬Ø¡×aÖeÞQÖ!ÙYØ�Ú¬â���Ø��:Û8ØH×kÝ·ßQØ�Þ:ÚYÙè¡æ=Ø�×YØ���âj׬Ø�Ö�ãaæ*ÚY×�Ö�Ý´ÞDÝ´ÞDå/ÙkØ�Ú¡ÙYÝ���Ø.ç=è(Ø!×�Ö�ÞQÚkØHÞ*Ø��tÛUØ�×YÝ´ß�Ø�Þ:ÚkÙ¡âjÞQã�âjßQÛ=Ü·Ø�ÚYØ�Ü·à á=Ý·Ù�aâjÝ´Þ:Ú?áUÖeÚ�ÖÀÙkØHÚkÙ�é Úk×aÖeÝ·Þ=Ý·Þ=åÖeÞDáQÚkØHÙkÚ�úHñ�#ùØ�ã�Ö�Ü´ãHä=Ü�ÖeÚkØHá*ÚYæ=Ø!Ø�ßQÛDÝ´×YÝ·ã�ÖeÜUßQØ�Ö�ÞQÖeÞ=áÚYæ=Ø!ÙkÚ�Ö�Þ=á8Ö�×káá=Ø��:Ý�ÖeÚYÝ´âjÞ�é â��FÚYæ=Ø!ßQØ�Ö�Þ8úZâ��.Ø�סÚYæ=Ø�ÙkØÚkØHÞ*×Yä=Þ=ÙBî:Úkæ=Ø�ÙYØ��.ÖeÜ·ä=Ø�Ù¡Öe×YØ�á=Ý·ÙkÛDܾÖBàjØ�áQÝ·Þ��TÝ·å.ä=×YØ�Ùf��Ö�Þ=á!�Dñ mÞ���Ý·åjä=×kØ[�=çjè¬Ø!á=Ý·ÙkÛDܾÖBàÀÚkæ=Ø/Ö��DÙkâ.Ü·ä=ÚYØ�ã�×Yâ.ÙYÙ��Ø�Þ:Úk×Yâ.Û:à â�� ÚkæDØ��8Ö�ÙkØ�Ü·Ý·Þ=Ø�Ö�Ü·å.â.×YÝ·Úkæ=ß�ç�������1�� ��������������������*�� �������Dç�âjÞ Úkæ=Ø!÷:è¡Ý·Úkãaæ��8â:Öe×YáQÖeÞ=á ï(×kâ:Öeá=ã�Ö�ÙkÚ��ØHè¡Ù ã�â.×YÛ8âj×�Ö ��âj×��=Ý·å.×aÖeß%ÖeÞ=á�Úk×YÝ´åj×�Ö�ß%ßQâ:á=Ø�Ü·Ù/â��jØ�× Ö�×aÖeÞ=åjØQâ��!Úk×aÖeÝ·Þ=Ý·Þ=å�ÙYØ�Ú ÙkÝ���Ø�ÙBñ2û¡æDØ*ÙYÚ�Ö�Þ=á8Öe×Yáá=Ø��:Ý�ÖeÚYÝ·â.Þ®â.Þ®Úkæ=Ø�÷:è¡Ý·ÚYã�æ��UâtÖ�×ká ×käDÞ=Ù?è¡ÖeÙ��jØ�×kà®ÙkßÖeÜ·Ümî�â.Þ ï(×kâ:Öeá=ãBÖeÙkÚ(��Ø�è¡ÙBç:Úkæ=Ø �.Ö�×kÝ�ÖeÚYÝ´âjÞ/è¡ÖeÙ?×YØ�Ü�ÖeÚkÝ �jØ�Ü·àÜ�Öe×Yå.Ø.çUã�âjßQÛ8Ö�×�Ö��DÜ´ØÀÚkâQÚYæ=Ø®á=Ý��JØ�×YØ�Þ=ã�ØHÙ�Ý·Þ�Û8Ø�×���â.×Yß*Ö�Þ=ã�Ø��UØ�Úmè(Ø�Ø�ÞùÙkß�â:â.ÚkæDÝ´ÞDåQÖeÜ·å.âj×kÝ·Úkæ=ß�Ù�ñ mÞ �TÝ·å.ä=×YØy�Dçè(Ø¡á=Ý·ÙkÛ=Ü�ÖBà/ÚYæ=Ø¡Û8ØH×���âj×kß*Ö�Þ=ã�Ø(â���Ö!Þ:ä=ß��UØ�×)â�� ÙkßQâ:âjÚkæ=Ý·Þ=å�Ö�Ü´åjâ.×YÝ´ÚYæ=ßQÙT×kØ�Ü�Ö�ÚkÝ �.Ø(Úkâ/ÚYæ=Ø �8Ö�ÙkØ�Ü·Ý·Þ=Ø�ÖeÜ·åjâ.×kÝ·ÚYæ=ßâ.ÞùÚYæ=ØQï(×kâ:Öeá=ãBÖeÙkÚ<��ØHè¡ÙðÖ�Þ=á2÷:è¡Ý·Úkãaæ��8â:Öe×Yáùã�â.×YÛ8âj×�Ö ��â.×/ÚY×kÝ·å.×aÖeß ßQâ:á=Ø�Ü·Ù/âjÞ2Ö×�Ö�Þ=å.Ø â���Úk×�Ö�Ý·Þ=Ý·Þ=åÙkØ�ÚÙkÝ���ØHÙ�ñ�#ùØ/ÙYØ�Ø�ÚYæ8ÖeÚ!ÚYæ=Ø �.Ö�×kÝ�ÖeÚYÝ·â.ÞQÝ·Þ�ãH×kâ.ÙYÙ��mØ�Þ:Úk×Yâ.Û:à�×YØ�Ü�ÖeÚYÝ�jØ/Úkâ�Úkæ=Ø �8ÖeÙYØ�Ü·Ý´ÞDØ�Ý·Ù�åjØ�Þ=Ø�×aÖeÜ·Ü·à �òÖeÝ·×kÜ·à�Ùkß*Ö�Ü·Üòçß ä=ãaæÙkßÖeÜ·Ü·Ø�סÚkæ8Ö�Þ�ÚkæDØ�á=Ý�� Ø�×kØHÞ=ã�Ø Ý·ÞÛ8Ø�×���â.×Yß*Ö�Þ=ã�Ø��UØ�Úmè(Ø�Ø�Þ2ÖeÜ·åjâ.×kÝ·ÚYæ=ßQÙBñ¬ôqØ�Þ=ã�Øjç è¡æ=Ý·Ü·Ø/Úkæ=Ø �.Öe×YÝ�ÖeÚkÝ·âjÞÝ·Þ2Ö��=ÙYâ.Ü·ä=ÚYØ ã�×kâjÙkÙ��mØ�Þ:Úk×Yâ.Û=Ý·Ø�Ù Ý·Ù®Ü�Öe×kåjØ.çTÚkæ=Ø �.Öe×kÝ�Ö�ÚkÝ·â.Þ�Ý·Þ�×YØ�Ü�ÖeÚkÝ �jØQã�×Yâ.ÙkÙ��òØHÞtÚY×kâjÛ=Ý·Ø�Ù Ý·Ù/ÙkßÖeÜ·Ü?ÖeÞ=áùè(ØQã�Ö�Þß*Ö�!.Ø¡ß�Ø�ÖeÞ=Ý·Þ=å���ä=ÜUÙkÚaÖeÚkØHßQØ�Þ:ÚkÙ�Ö��8âjä=Ú¡ÚkæDØ�×YØ�Ü�ÖeÚYÝ�jØ!Û8Ø�×���â.×Yß*Ö�Þ=ã�Ø!â��?ÖeÜ·å.âj×kÝ·Úkæ=ß�Ù)Ý´ÞÚYæ=Ý·Ù¡á=â.ßÖeÝ·Þ�ñô�âeè(Ø��.ØH×�ç Ý·ÞÜ�ÖeÚkØH×�åj×�Ö�Û=æ=Ù�ØBÖeãaæ�ÛUâ.Ý·Þ:Ú¡è¡Ý·Ü·Ü�×kØHÛ=×kØ�ÙYØ�Þ:Ú�Ö ÙYÝ·Þ=å.Ü·Ø/×Yä=Þ�Ý·Þ=ÙkÚYØ�Öeá�â��¬Ö�Þ�Ö��.Ø�×aÖeåjØ/â��.Ø�×qÚkØ�Þ

×käDÞ=Ù�ç.Ö�Þ=á/ÚYæ=جÙYÚ�Ö�Þ=á8Öe×Yá/á=Ø��:Ý�ÖeÚYÝ·â.Þ���âj×�Ö¡ÙYÝ´ÞDå.Ü·Ø?×käDÞ/è¡Ý·Ü´Ü��8Ø¡Ö��mÖeã�ÚYâ.×�â��8Ö��Uâ.ä=Ú�� ë�ó(Ü�Öe×Yå.Ø�×TÚkæ8Ö�Þ�ÚYæ=Ø��.ÖeÜ·ä=ØHÙÛ=Ü·â.ÚYÚkØ�á�Ý·Þ!�TÝ·å.ä=×YØ �=ñ # Ý·Úkæ ÚYæ=Ø�ÙYØ/Ü�Öe×kåjØ�×(á=Ø��:Ý�ÖeÚkÝ·âjÞ=Ù�çjÚkæ=Øq×kØ�Ü�Ö�ÚkÝ �.ØqÛ8Ø�×���â.×Yß*Ö�Þ=ã�Ø�â���Úmè¬â ÖeÜ·åjâ.×kÝ·ÚYæ=ßQÙTè¡Ý´ÚYæÙkÝ·ß�Ý´Ü�Ö�× Û8Ø�×���â.×Yß*Ö�Þ=ã�Ø¡ß*ÖBà��8Ø¡áDÝ �QãHä=Ü·ÚFÚYâ/á=Ø�ÚYØ�×kß�Ý·Þ=Ø��s×kâ.߸ÖqÙkÝ·Þ=å.Ü·Ø¡Û8Ö�Ý·×Fâ��JÛUâ.Ý·Þ:ÚkÙBñ�ôqâeè¬Ø��.Ø�×Bç.è(Ø �8ØHÜ´Ý·Ø��jØÚkæUÖeÚ¡ÖeÞ*Ö�ã�ã�ä=×aÖeÚYØ�Ö�Þ=áQÛD×kØ�ã�Ý·ÙYØ�ÛDÝ´ãHÚkä=×YØ�â��F×YØ�Ü�ÖeÚkÝ �jØ�ÛUØ�×���âj×kßÖeÞ=ã�Øqã�ÖeÞ �8Øqå.Ü·Ø�Ö�Þ=Ø�á��s×kâ.ß1Úkæ=Øqå.×�Ö�Û=æ=Ù(Úkâ �8ØÛ=×YØ�ÙkØ�Þ:ÚYØ�á2Ü�ÖeÚYØ�×/á=äDØ�ÚYâ*ÚYæ=Ø��.ÖeÙYÚ!â��.Ø�×aÖeÜ·Ü)ÞtäDß��8Ø�×!â��¬Ø��:Û8ØH×kÝ·ßQØ�Þ:ÚYÙ/Û8ØH×���âj×kßQØHáD��ß�â.ÙYÚ�Ø��:ÛUØ�×kÝ·ßQØHÞtÚYÙ�Öe×YØã�Ö�×k×kÝ·Ø�á�â.äDÚ¡â��.Ø�×!Ö��.Öe×YÝ·Ø�ÚmàQâ��¦ÚY×�Ö�Ý´ÞDÝ´ÞDå ÙkØ�ÚqÙkÝ���Ø�Ù/ÖeÞDá�â.Þ�ØBÖeãaæ�â�� ��âjä=×�Ý·Þ=áDØ�Û8ØHÞ=á=Ø�Þ:Ú!ã�â.×YÛ8âj×�ÖDñ �¡Ø�Ü�Ö�ÚkÝ �.ØÛUØ�×���âj×kßÖeÞ=ã�Ø!ÚY×kØ�Þ=áDÙ�Öe×YØ!ܾÖ�×kåjØ�Ü·à ã�â.Þ=ÙYÝ·ÙkÚkØHÞtÚ!â��jØ�׬ÚYæ=Ø�ÙYØ�×Yä=Þ=Ù�ñ(��Ø��jØ�×kÚYæ=Ø�Ü·Ø�ÙYÙ�ç ÚYæ=Ø�×kØÀÝ´Ù¡âjÞ=Ø!Û=æ=Ø�ÞDâ.ßQØHÞ=â.ÞÚkæUÖeÚ�ÙYØ�Ø�ß�Ù�ÚYâ*Ö�á �.Ø�×YÙkØ�Ü·à�Ö�Þ=á�ÙYÝ´åjÞ=Ý��8ã�Ö�ÞtÚYÜ·à*Ö�� Ø�ã�ÚÀÚkæ=Ø®Û8ØH×���âj×kß*Ö�Þ=ã�Ø/â��¬Ö ã�Ø�×YÚ�Ö�Ý´Þ�å.×Yâ.ä=Û�â��¬Ö�Ü´åjâ.×YÝ´ÚYæ=ßQÙâ.Þ�Ö®Ùkß*Ö�Ü·Ü8Þ:ä=ß��UØ�סâ��(á8ÖeÚaÖ®ÙkØ�ÚYÙ�ç?Ð��wÎ ��ç=ÙYØ�Ø�ÚYæ=Ø/ÛUâ.Ý·Þ:ÚkÙqã�â.×Y×kØ�ÙYÛ8âjÞ=á=Ý·Þ=åÚkâQÖMÚk×�Ö�Ý·Þ=Ý·Þ=å�ÙYØ�Ú!ÙkÝ���Ø®â�� &.óDçyó.ó.óÙkØHÞtÚYØ�Þ=ã�ØHÙ�Ý·Þ�Úkæ=Ø/åj×�Ö�Û=æ=Ù¡Ý·Þ!�TÝ·å.ä=×YØ ë�ó=ñ #ùØ�ÛD×kØ�ÙYØ�Þ:Ú�ÖeÞ�Ö�Þ8ÖeÜ·à:ÙkÝ·Ù(â��FÚYæ=Ý·Ù�ÖeÞ=âjß*Ö�Ü´àÀÝ´Þ÷:Ø�ã�ÚYÝ·â.Þ��=ñ·ë.ñ·ëjîeÚkæ=ØÖeÜ·åjâ.×kÝ·ÚYæ=ßQÙ)ÚkæUÖeÚ?ÚYæ=Ý·Ù¬Û=æDØ�Þ=â.ß�Ø�Þ=âjÞQÖ�� Ø�ã�ÚkÙqã�â.×Y×kØ�ÙYÛ8âjÞ=áÚkâ®Úkæ=Ø!ÖeÜ·å.âj×kÝ·ÚkæDßQÙ)è¡Ý·Úkæ ÚkæDØ�Ü�Ö�×kå.ØHÙkÚ��.Öe×kÝ�Ö�Þ=ã�Ø¡Ý·Þ�TÝ·å.ä=×YØ �Dñ

� �� � ! � ������� �� % � $&� * � � �)� � * � mÞ���Ý·åjä=×kØ�Ù?í �Jë.ëjç�è(جáDÝ´ÙYÛ=Ü�ÖBà!Úkæ=Ø(Û8ØH×���âj×kß*Ö�Þ=ã�Ø?â�� �.Öe×YÝ·â.ä=Ù)ÖeÜ·å.âj×kÝ·Úkæ=ß�Ù8×YØ�Ü�ÖeÚYÝ�jØ?Úkâ!ÚYæ=Ø �UÖeÙkØHÜ´Ý·Þ=Ø¡ÖeÜ·åjâ.×kÝ·ÚYæ=ß�������1�� ��������������������*�����������â��.Ø�×�Ö �.Öe×YÝ·Ø�Úmà�â���Úk×aÖeÝ·Þ=Ý·Þ=å�ÙYØ�Ú�ÙYÝ���Ø�Ù�ç ��â.× �=Ý·å.×aÖeß ÖeÞ=á�Úk×kÝ·åj×�Öeß ß�âtáDØ�Ü·Ù�çÖeÞDá �sâ.× Ø�Ö�ã�æ'â���ÚkæDØ ��â.äD× ã�â.×YÛ8âj×�Ö�á=Ø�ÙYã�×kÝ �UØ�á»Ý´Þ ÷:ØHã�ÚkÝ·â.Þ+�Uñ &Dñ2û¡æDØ�ÙkØ�å.×aÖeÛ=æ=Ù áDâùÞ=â.Ú á=Ý·ÙYÛ=Ü�ÖBà2ÖeÜ·Ü¡â��ÚkæDØ�ÖeÜ·å.âj×kÝ·ÚkæDßQÙ!è¬Ø3Ý´ß�Û=Ü·Ø�ß Ø�Þ:ÚkØHá�ç?ÖeÙ Û=Ü�Ö�ã�Ý·Þ=å Ö�Ü·Ü¡â��/Úkæ=Ø�Ö�Ü´åjâ.×YÝ´ÚYæ=ßQÙÀâ.Þ Ö�ÙYÝ·Þ=å.Ü·Øå.×aÖeÛ=æ'è(â.ä=Ü·á2Ü·Ø�Ö�áÚkâ3Úkâ:â�ß ä=ãaæùã�Ü·ä=ÚYÚkØ�×Bî?Ý·Þ=ÙkÚYØ�ÖeáTç)Úkæ=ØÖeÜ·å.âj×kÝ·Úkæ=ß�Ù�ãaæ=âjÙkØ�Þ Öe×YØQß�Ø�ÖeÞ:Ú!Úkâ�åjÝ �.ØQÖeÞùâ��jØ�×�Ö�Ü·Ü?Û=Ý·ã�ÚkäD×kØâ��¡Úkæ=Ø×kØHܾÖ�ÚkÝ �.ØÀÛ8Ø�×���â.×Yß*Ö�Þ=ã�Ø®â��?á=Ý��JØH×kØ�Þ:Ú�Ö�Ü´åjâ.×YÝ´ÚYæ=ßQÙBñ¡ê(â.ßQÛUÖe×kÝ·ÙYâ.Þ=Ù �UØ�Úmè(Ø�Ø�ÞùÚkæDØ�á=Ý·ÙYÛ=Ü�ÖBà.Ø�á�Ö�Ü·å.â.×YÝ·Úkæ=ß�ÙøÖ�Þ=áÚkæDØ�Ö�Ü·å.â.×YÝ·Úkæ=ß�Ù?â.ß�Ý´ÚYÚkØ�á ��×kâjß ÚkæDØ�åj×�Ö�Û=æ=Ù�Öe×YØ/Û=×Yâ��tÝ·á=ØHáQÝ·Þ ��â.Ü·Ü·âeè¡Ý·Þ=å!ÙkØ�ã�ÚYÝ·â.Þ=ÙBñ

�=×Yâ.ß ÚkæDØ�ÙkØ�åj×�Ö�Û=æ=Ù�ç)è(ØÙkØ�ØÚYæ8ÖeÚ®Úkæ=Ø�ßQØ�ÚYæ=â:á=Ù ������������������ÖeÞDá ����������������������(��ã�â.ÞDÙkÝ·ÙkÚYØ�Þ:ÚkÜ·àâ.äDÚkÛUØ�×���âj×kß Ö�Ü´Ü âjÚkæ=ØH×�Ö�Ü·å.â.×YÝ·Úkæ=ß�Ù�çjâ��.Ø�×!ÖeÜ·Ü Úk×aÖeÝ·Þ=Ý·Þ=å ÙkØHÚ�ÙkÝ���ØHÙ�Ö�Þ=á�ã�âj×kÛUâ.×aÖ=ç ÖeÞ=á ��âj×��Uâ.ÚYæ �DÝ´åj×�Ö�ß Ö�Þ=áÚk×YÝ·å.×�Ö�ß�ßQâ:á=Ø�Ü·ÙBñ!û¡æ=Ø�ÙkØ ß�Ø�ÚkæDâtáDÙ�Ö�Ü·ÙkâQâjä=ÚkÛUØ�×���â.×Yß ÖeÜ·Ü?ÖeÜ·åjâ.×kÝ·ÚYæ=ßQÙ¡Þ=âjÚ�ÙYæ=âeè¡Þ�Ý·Þ�Úkæ=Ø®å.×aÖeÛ=æDÙ�çTØ��:ã�Ø�Û=Ú

&=ë

Page 32: Chen & Goodman - Peopleklein/cs294-5/chen_goodman.pdf · Úkâ!ü òåj× Ö ß ßQâ:á=Ø Ü·Ù ÖeÞDá/Ùkß âtâjÚkæ=Ý·Þ=åUç Ö Þ=á/ÙkäD× .ØHà/Úkæ=Ø(ßQâjÙkÚ

7

7.5

8

8.5

9

9.5

10

10.5

11

100 1000 10000 100000

cros

s-en

trop

y of

test

dat

a (b

its/to

ken)

training set size (sentences)

cross-entropy of baseline for Switchboard and Broadcast News corpora

SWB 2-gram

SWB 3-gram

BN 2-gram

BN 3-gram

�TÝ·å.ä=×YØ �7�?ê(×Yâ.ÙYÙ��mØ�Þ:Úk×kâjÛ:àQâ�� �8ÖeÙYØ�Ü·Ý·Þ=Ø�Ö�Ü´åjâ.×YÝ´ÚYæ=ß��������1�� ��� ������� ��������*��������1��!â.Þ�ÚkØ�ÙYÚ¡ÙkØ�Ú¡â��jØ�× �.Öe×YÝ´âjä=ÙÚk×aÖeÝ·Þ=Ý·Þ=å�ÙkØ�Ú�ÙkÝ���Ø�ÙâjÞ§÷:è¡Ý·Úkãaæ��UâtÖe×Yá�ÖeÞDá§ï(×kâ:Öeá=ãBÖeÙkÚY��Ø�è¡Ù�ã�â.×YÛ8âj×�ÖDî¡Ø�Öeãaæ ÛUâ.Ý·Þ:Ú á=Ý·ÙkÛDܾÖBà:Ù®ßQØ�Ö�Þ§Ö�Þ=áÙkÚaÖeÞ=áUÖe×káá=Ø��tÝ�Ö�ÚkÝ·â.Þ�â��.Ø�סÚYØ�Þ�×käDÞ=Ù¡â.Þá=Ý·Ù� â.Ý·Þ:Ú¬á8Ö�Ú�ÖÀÙkØ�ÚYÙ

-0.2

-0.15

-0.1

-0.05

0

0.05

0.1

100 1000 10000 100000

diff

eren

ce in

test

cro

ss-e

ntro

py f

rom

bas

elin

e (b

its/to

ken)

training set size (sentences)

relative performance of algorithms on Broadcast News corpus, trigram

baseline

katz

kneser-ney-fix

kneser-ney-mod

abs-disc-interp

jelinek-mercer

-0.2

-0.15

-0.1

-0.05

0

0.05

100 1000 10000

diff

eren

ce in

test

cro

ss-e

ntro

py f

rom

bas

elin

e (b

its/to

ken)

training set size (sentences)

relative performance of algorithms on Switchboard corpus, trigram

jelinek-mercer-baseline

katzkneser-ney-fix

kneser-ney-mod

abs-disc-interp

jelinek-mercer

�TÝ·å.ä=×YØ��7� �TØ�×���â.×Yß*Ö�Þ=ã�Ø/×YØ�Ü�ÖeÚkÝ �jØ/Úkâ �8ÖeÙYØ�Ü·Ý´ÞDØ/â�� �.Ö�×kÝ·â.äDÙ�ÖeÜ·å.âj×kÝ·Úkæ=ß�Ù¬âjÞ�ï(×kâtÖ�á=ã�Ö�ÙkÚ[��Ø�è¡Ù/Ö�Þ=á�÷:è¡Ý·Úkãaæ���UâtÖe×Yáã�â.×YÛ8âj×�Ö=çDÚk×YÝ´åj×�Ö�ß ßQâ:á=Ø�ÜmîjØ�Öeãaæ�ÛUâ.Ý·Þ:Ú(á=Ý·ÙkÛ=Ü�ÖBà:Ù¡ßQØ�Ö�ÞQÖeÞ=áÙYÚ�ÖeÞDá8Öe×Yá�á=Ø��:Ý�ÖeÚYÝ´âjÞQâ��jØ�סÚkØ�Þ×Yä=Þ=Ù�âjÞá=Ý·Ù� â.Ý·Þ:Ú¬á8Ö�Ú�ÖÀÙkØ�ÚYÙ

& �

Page 33: Chen & Goodman - Peopleklein/cs294-5/chen_goodman.pdf · Úkâ!ü òåj× Ö ß ßQâ:á=Ø Ü·Ù ÖeÞDá/Ùkß âtâjÚkæ=Ý·Þ=åUç Ö Þ=á/ÙkäD× .ØHà/Úkæ=Ø(ßQâjÙkÚ

-0.25

-0.2

-0.15

-0.1

-0.05

0

0.05

0.1

100 1000 10000 100000 1e+06 1e+07

diff

in te

st c

ross

-ent

ropy

fro

m b

asel

ine

(bits

/toke

n)

training set size (sentences)

relative performance of algorithms on WSJ/NAB corpus, 2-gram

jelinek-mercer-baseline

katz

k-nkneser-ney-mod

abs-disc-int

j-m

witten-bell-backoff

-0.3

-0.25

-0.2

-0.15

-0.1

-0.05

0

0.05

0.1

100 1000 10000 100000 1e+06 1e+07di

ff in

test

cro

ss-e

ntro

py f

rom

bas

elin

e (b

its/to

ken)

training set size (sentences)

relative performance of algorithms on WSJ/NAB corpus, 3-gram

jelinek-mercer-baseline

katzkneser-ney

kneser-ney-mod

abs-disc-interp

j-m

witten-bell-backoff

�TÝ·å.ä=×YØ�í7� ��ØH×���âj×kß*Ö�Þ=ã�Ø¡×YØ�Ü�ÖeÚkÝ �jØ¡Úkâ��8Ö�ÙkØ�Ü·Ý·Þ=Ø¡â�� �.Ö�×kÝ·â.ä=Ù(ÖeÜ·å.âj×kÝ·Úkæ=ß�Ù â.Þ�#�÷l� � ����ï'ã�âj×kÛ=ä=Ù(â��.ØH×��.Öe×YÝ´âjä=ÙÚk×aÖeÝ·Þ=Ý·Þ=å®ÙkØ�ÚqÙkÝ���Ø�ÙBç �=Ý·åj×�Öeß�ÖeÞ=áÚk×YÝ·å.×�Ö�ß ßQâ:á=ØHÜ´Ù

-0.2

-0.15

-0.1

-0.05

0

0.05

0.1

100 1000 10000 100000 1e+06

diff

in te

st c

ross

-ent

ropy

fro

m b

asel

ine

(bits

/toke

n)

training set size (sentences)

relative performance of algorithms on Broadcast News corpus, 2-gram

jelinek-mercer-baseline

katz

kneser-ney

kneser-ney-mod

abs-disc-interp

j-m

witten-bell-backoff

-0.3

-0.25

-0.2

-0.15

-0.1

-0.05

0

0.05

0.1

100 1000 10000 100000 1e+06

diff

in te

st c

ross

-ent

ropy

fro

m b

asel

ine

(bits

/toke

n)

training set size (sentences)

relative performance of algorithms on Broadcast News corpus, 3-gram

baseline

katz

kneser-ney

kneser-ney-mod

abs-disc-interp

jelinek-mercer

witten-bell-backoff

�TÝ·å.ä=×YØðìF� �TØ�×���â.×Yß*ÖeÞDã�Ø/×kØHܾÖ�ÚkÝ �.Ø®Úkâ �8ÖeÙYØ�Ü·Ý·Þ=Ø�â�� �.Ö�×kÝ·â.äDÙ�ÖeÜ·åjâ.×kÝ·ÚYæ=ßQÙ(â.Þ�ï¬×YâtÖ�á=ã�ÖeÙYÚ ��ØHè¡Ù�ãHâ.×kÛDä=Ù/â��.ØH×�.Öe×YÝ·â.ä=Ù(Úk×aÖeÝ·Þ=Ý·Þ=å®ÙkØ�ÚqÙkÝ���Ø�ÙBç �=Ý·å.×aÖeß Ö�Þ=áÚk×YÝ´åj×�Ö�ß ßQâ:á=Ø�Ü·Ù

& &

Page 34: Chen & Goodman - Peopleklein/cs294-5/chen_goodman.pdf · Úkâ!ü òåj× Ö ß ßQâ:á=Ø Ü·Ù ÖeÞDá/Ùkß âtâjÚkæ=Ý·Þ=åUç Ö Þ=á/ÙkäD× .ØHà/Úkæ=Ø(ßQâjÙkÚ

-0.2

-0.15

-0.1

-0.05

0

0.05

0.1

100 1000 10000 100000

diff

in te

st c

ross

-ent

ropy

fro

m b

asel

ine

(bits

/toke

n)

training set size (sentences)

relative performance of algorithms on Switchboard corpus, 2-gram

jelinek-mercer-baseline

katzkneser-ney

kneser-ney-mod

abs-disc-interp

j-m

witten-bell-backoff

-0.25

-0.2

-0.15

-0.1

-0.05

0

0.05

0.1

100 1000 10000 100000di

ff in

test

cro

ss-e

ntro

py f

rom

bas

elin

e (b

its/to

ken)

training set size (sentences)

relative performance of algorithms on Switchboard corpus, 3-gram

baseline

katz

kneser-ney

kneser-ney-mod

abs-disc-interp

jelinek-mercer

witten-bell-backoff

�TÝ·å.ä=×YØ2ë�óF����ØH×���âj×kß*Ö�Þ=ã�Ø�×YØ�Ü�ÖeÚYÝ�jØÚkâ��8Ö�ÙkØ�Ü·Ý·Þ=Ø�â�� �.Ö�×kÝ·â.äDÙQÖeÜ·å.âj×kÝ·Úkæ=ß�Ù/â.Þ ÷:è¡Ý·ÚYã�æ��UâtÖ�×ká ã�âj×kÛ=äDÙQâ��.ØH×�.Öe×YÝ·â.ä=Ù(Úk×aÖeÝ·Þ=Ý·Þ=å®ÙkØ�ÚqÙkÝ���Ø�ÙBç �=Ý·å.×aÖeß Ö�Þ=áÚk×YÝ´åj×�Ö�ß ßQâ:á=Ø�Ü·Ù

-0.3

-0.25

-0.2

-0.15

-0.1

-0.05

0

0.05

0.1

100 1000 10000

diff

in te

st c

ross

-ent

ropy

fro

m b

asel

ine

(bits

/toke

n)

training set size (sentences)

relative performance of algorithms on Brown corpus, 2-gram

jelinek-mercer-baseline

katz

kneser-ney

kneser-ney-mod

abs-disc-interp

jelinek-mercer

witten-bell-backoff

-0.35

-0.3

-0.25

-0.2

-0.15

-0.1

-0.05

0

0.05

0.1

100 1000 10000

diff

in te

st c

ross

-ent

ropy

fro

m b

asel

ine

(bits

/toke

n)

training set size (sentences)

relative performance of algorithms on Brown corpus, 3-gram

jelinek-mercer-baseline

katz

kneser-ney

kneser-ney-mod

abs-disc-interp

jelinek-mercer

witten-bell-backoff

�TÝ·å.ä=×YØ�ë.ë����TØ�×���â.×Yß*Ö�Þ=ã�Ø®×kØ�Ü�ÖeÚYÝ �.Ø®Úkâ �8Ö�ÙkØ�Ü·Ý·Þ=Ø®â�� �.Öe×YÝ´âjä=Ù/ÖeÜ·å.âj×kÝ·ÚkæDßQÙ¡â.Þùï(×kâeè¡ÞùãHâ.×kÛDä=Ù/â��.ØH×��.Öe×YÝ´âjä=ÙÚk×aÖeÝ·Þ=Ý·Þ=å®ÙkØ�ÚqÙkÝ���Ø�ÙBç �=Ý·åj×�Öeß�ÖeÞ=áÚk×YÝ·å.×�Ö�ß ßQâ:á=ØHÜ´Ù

& �

Page 35: Chen & Goodman - Peopleklein/cs294-5/chen_goodman.pdf · Úkâ!ü òåj× Ö ß ßQâ:á=Ø Ü·Ù ÖeÞDá/Ùkß âtâjÚkæ=Ý·Þ=åUç Ö Þ=á/ÙkäD× .ØHà/Úkæ=Ø(ßQâjÙkÚ

��âj×�âjÚkæ=Ø�×��.Ö�×kÝ�ÖeÚYÝ·â.Þ=Ù/â���õ!Þ=Ø�ÙYØ�×�����ØHà§ÙYßQâ:â.ÚYæ=Ý·Þ=å8ñ mÞ'÷:Ø�ã�ÚYÝ´âjÞ>�=ñ �=ç)è(ØQè¡Ý·Ü·Ü¬ÙYæ=âeè ÚYæ8ÖeÚ ÚYæ=Ý·Ù�Ø��:ã�ØHÜ´Ü·Ø�Þ:ÚÛUØ�×���âj×kßÖeÞ=ã�ØÀÝ´Ùqá=ä=Ø/ÚYâQÚYæ=Ø/ßQâ:á=Ý��8ØHá �UÖeã !.â� á=Ý·ÙYÚk×kÝ �=äDÚkÝ·â.Þ=Ù¡ÚYæ8ÖeÚqõ!Þ=Ø�ÙkØH×�����Ø�àùÙYßQâ:â.ÚYæ=Ý·Þ=å�ØHßQÛ=Ü·âeà:Ù�ç=Ö�Ùá=Ø�ÙYã�×kÝ �UØ�á�Ý´Þ÷:Ø�ã�ÚYÝ·â.Þ �=ñ �=ñû¡æ=Ø*Ö�Ü·å.â.×YÝ·Úkæ=ß�Ù ��*�� ��ÖeÞ=á ��������� ��� �����������Qå.ØHÞ=Ø�×�Ö�Ü·Ü´à�à:Ý·Ø�Ü·á�ÚYæ=ØQÞ=Ø��tÚ �UØ�ÙkÚ®Û8ØH×���âj×kß*Ö�Þ=ã�Ø.ñï(â.ÚYæ

ÛUØ�×���âj×kß-ÙkÝ·å.Þ=Ý��8ãBÖeÞ:ÚkÜ·à��8ØHÚkÚkØH׬ÚYæ8ÖeÞ®Úkæ=Ø �UÖeÙkØHÜ´Ý·Þ=Ø(ßQØHÚkæ=â:á®Ý´Þ®ÖeÜ·ßQâjÙkÚFÖ�Ü·ÜtÙYÝ·Úkä8Ö�ÚkÝ·â.Þ=ÙBçBØ��:ã�Ø�Û=Ú ��â.×)ã�Ö�ÙkØ�ÙZè¡Ý´ÚYæ�.ØH×kà2Ü·Ý·ÚkÚYÜ·ØQÚk×aÖeÝ·Þ=Ý·Þ=å�áUÖeÚ�ÖDñùû¡æ=Ø�ÖeÜ·åjâ.×kÝ·ÚYæ=ß �������1������ ������������ÛUØ�×��sâ.×kß�Ù �UØ�ÚYÚkØ�×�Úkæ8Ö�Þ$��*�� �ùÝ·Þ�ÙkÛ8Ö�×kÙkØá8Ö�Ú�ÖÙYÝ´ÚYä8ÖeÚYÝ·â.Þ=ÙBç?ÖeÞ=á�Úkæ=Ø�×kØ��jØ�×kÙYØ�Ý·Ù/Úk×Yä=Øè¡æ=Ø�Þ2ÚYæ=Ø�×YØ*Ý·Ù®ß ä=ãaæ�áUÖeÚ�ÖDñ:�Dâ.×®Ø��=Öeß�Û=Ü·Ø.ç0��*�����ÛUØ�×���âj×kß�Ù�UØ�ÚkÚYØ�× â.Þùï(×kâ:Öeá=ã�Ö�ÙkÚ��qØ�è¡ÙðÖ�Þ=á�#�÷�� � ����ï¸Úk×YÝ´åj×�Ö�ß ß�â:á=Ø�Ü·Ù���âj×/Úk×aÖeÝ·Þ=Ý·Þ=åÙkØ�ÚYÙ Ü�Öe×kåjØ�×/ÚYæ8ÖeÞ+�.ó=çyójó.ó�ë�ójó=çyó.ójó ÙYØ�Þ:ÚkØ�Þ=ãHØ�Ù�î ��âj× �DÝ´åj×�Ö�ß ßQâ:á=ØHÜ´ÙqÚkæ=Ø ãH×kâ.ÙYÙ��mâ��.Ø�×®ÛUâ.Ý·Þ:Ú�Ý·Ù/åjØ�Þ=Ø�×aÖeÜ·Ü·à�Ü·âeè¬ØH×�ñ� mÞ2÷:ØHã�ÚkÝ·â.ÞH�Dñ �=ç è(Øè¡Ý·Ü·Ü.Ø��:Û=Ü�ÖeÝ·Þ/ÚYæ=Ý·Ù �.Öe×kÝ�Ö�ÚkÝ·â.Þ!Ý·Þ/ÛUØ�×���âj×kßÖeÞ=ã�Ø(×kØHܾÖ�ÚkÝ �.ØZÚkâ!Úk×aÖeÝ·Þ=Ý·Þ=å�ÙYØ�Ú)ÙkÝ���Ø �:à!Ùkæ=âeè¡Ý·Þ=åqÚkæ8Ö�Ú ��*����!Ý·Ù �UØ�ÚkÚYØ�×ÖeÚ¡ÙYßQâ:â.ÚYæ=Ý·Þ=å/Ü�Öe×Yå.Ø�סãHâ.ä=Þ:ÚkÙBî=ÚYæ=Ø�ÙkØÀã�â.ä=Þ:ÚYÙ�Öe×YØ!ßQâ.×YØ�Û=×YØ��.ÖeÜ·Ø�Þ:Ú¡Ý·ÞQÜ�Ö�×kå.ØHסá8ÖeÚaÖ®ÙkØ�ÚYÙ�ñû¡æ=Øè¬âj×kÙYÚ�â���ÚkæDØ*áDÝ´ÙYÛ=Ü�ÖBà.Ø�á'ÖeÜ·å.âj×kÝ·ÚkæDßQÙ é�Þ=âjÚ�Ý·Þ=ãHÜ´äDá=Ý·Þ=å�ÚkæDØ �UÖeÙkØHÜ´Ý·Þ=ØBú�Ö�×kØÚkæ=Ø�Ö�Ü´åjâ.×YÝ´ÚYæ=ßQÙ *������

�0���������1������ % Ö�Þ=á � �1���������������������*��1��(����8ñqû¡æ=Ø�ß�Ø�ÚkæDâtá *��������0���������1������ % å.Ø�ÞDØ�×�Ö�Ü´Ü·àâ.äDÚkÛUØ�×���âj×kß�ÙÚkæDØ �8Ö�ÙkØ�Ü·Ý·Þ=Ø�Ö�Ü·å.â.×YÝ·Úkæ=ß�ç:Úkæ=âjä=å.æ�ÞDâ.Ú �sâ.×��jØ�×kà3Ùkß*Ö�Ü·Ü á8ÖeÚaÖ ÙkØHÚkÙ�ñÀû¡æ=Ø/ß�Ø�Úkæ=â:á � �1���������������������*����( � �ÛUØ�×���âj×kß�Ù�ÛUâ:â.×YÜ´à:çTß ä=ãaæ�è¬âj×kÙYØQÚkæUÖeÞ�Úkæ=Ø �8ÖeÙYØ�Ü·Ý´ÞDØ.ç �sâ.×/ÙYß*ÖeÜ·Ü·Ø�×qá8ÖeÚaÖQÙYØ�ÚkÙBñ�ï(â.ÚYæùâ��¡Úkæ=Ø�ÙYØ*Ö�Ü´åjâ.×YÝ´ÚYæ=ßQÙÖe×YØÙkÝ·å.Þ=Ý��8ãBÖeÞ:ÚkÜ·à2ÙYä=ÛUØ�×kÝ·â.× ÚYâùÚkæ=Ø �8ÖeÙYØ�Ü·Ý´ÞDØ �sâ.×��.ØH×kà2Ü�Ö�×kå.Øá8Ö�Ú�Ö�ÙYØ�ÚkÙBî�Ý·Þ'Úkæ=ØHÙkØ�ÙYÝ´ÚYä8ÖeÚYÝ·â.Þ=ÙBç¬ÚYæ=Ø�à Öe×YØã�âjßQÛUØ�ÚkÝ·ÚkÝ �jØ�è¡Ý·Úkæ�Úkæ=Ø�Ö�Ü·å.â.×YÝ·Úkæ=ß�Ù ��*����*Ö�Þ=á ��������� ��� �����������Jñû¡æ=Ø�ÙYØ�åj×�Ö�Û=æ=Ù?ßÖ�!.ØZÝ´Ú(ÖeÛ=Û8Ö�×kØ�Þ:Ú?ÚYæ8ÖeÚZÚkæ=Øq×kØ�Ü�ÖeÚYÝ �.Ø¡ÛUØ�×���âj×kßÖeÞ=ã�Ø(â���ÙYßQâ:â.ÚYæ=Ý·Þ=å�ÚYØ�ãaæ=Þ=Ý �:ä=Ø�Ù(ã�ÖeÞ��.Ö�×kà

á=×aÖeß*Ö�ÚkÝ·ã�Ö�Ü´Ü·à®â��.Ø�×!ÚY×�ÖeÝ·Þ=Ý·Þ=å ÙYØ�Ú!ÙkÝ���Ø.çTü��òåj×�Öeß�â.×Yá=Ø�×Bç�ÖeÞ=á3Úk×�Ö�Ý·Þ=Ý·Þ=å ã�â.×YÛ=ä=ÙBñ �=âjסØ��=ÖeßQÛDÜ´Øjç=ÚkæDØ�ß�Ø�Úkæ=â:á� �1���������������������*��1��(�����ÛUØ�×���â.×YßQÙ?ÖeÚY×kâ:ã�Ý·â.ä=ÙYÜ·à���â.×)ÙYß*ÖeÜ·Ü:Úk×aÖeÝ·Þ=Ý·Þ=åqÙkØ�ÚYÙ �=äDÚ?ã�â.ß�Û8ØHÚkÝ·ÚkÝ �.ØHÜ´à!âjÞ �jØ�×kà®Ü�Öe×kåjØÚk×aÖeÝ·Þ=Ý·Þ=åqÙkØ�ÚYÙ�ñ)û¡æ=Ø�×YØ�Ö�×kØ(ÞtäDßQØ�×Yâ.ä=Ù)Ý·Þ=ÙkÚaÖeÞ=ãHØ�Ù?è¡æ=Ø�×YØ¡Úkæ=Ø¡×YØ�Ü�ÖeÚYÝ�jØ?ÛUØ�×���âj×kßÖeÞ=ã�Ø(â�� Úmè(â�ßQØHÚkæ=â:á=Ù)×kØ��.Ø�×YÙkØâ��.ØH×/á=Ý��JØH×kØ�Þ:Ú®Úk×�Ö�Ý·Þ=Ý·Þ=åÙkØ�Ú®ÙkÝ���Ø�ÙBç?ÖeÞ=áùÚYæ=Ý·Ù/ã�×Yâ.ÙkÙ��òâ��jØ�×®Û8âjÝ´Þ:Ú/è¡Ý·Ü·Ü �.Öe×Yà�è¡Ý·á=Ø�Ü·à�â��jØ�×�ü��må.×aÖeß âj×ká=ØH×�âj×ã�âj×kÛ=ä=ÙBñ�û¡æ:ä=ÙBçUÝ´Ú¡Ý·ÙqÞ=â.ÚqÙkä��Qã�Ý·Ø�Þ:ÚqÚkâQ×Yä=Þ�Ø��:ÛUØ�×kÝ·ß�Ø�Þ:ÚkÙ�âjÞâ.Þ=Ø®â.סÚmè(âQá8Ö�Ú�Ö®ÙYØ�ÚkÙ���âj×�Ö®ÙkÝ·Þ=åjÜ·Ø/Úk×aÖeÝ·Þ=Ý·Þ=åÙkØHÚ ÙkÝ���ØÚkâ�×kØ�Ö�ÙkâjÞ8Ö��=Ü·àùãaæ8Ö�×�ÖeãHÚkØ�×YÝ �HØ*ÚYæ=ØÛ8ØH×���âj×kß*Ö�Þ=ã�Ø�â���Ö3ÙkßQâ:âjÚkæ=Ý·Þ=å�ÖeÜ·åjâ.×kÝ·ÚYæ=ß�ç�Ö�Ù�Ý·Ù®Úkæ=ØÚmà:Û=Ý·ã�Ö�ÜßQØHÚkæ=â:á=âjÜ´âjå.à®Ý·ÞQÛ=×YØ��:Ý´âjä=Ù¡è(â.× ! ñ

� *���� � ) % ��� �� %(� $&��* � � *�% $&��� � mÞ ÚkæDØ¡å.×�Ö�Û=æ=Ù)Ý·Þy�TÝ·å.äD×kØ!ë�ó=ç�è¬Ø¡ÙYØ�Ø¡Úkæ8Ö�Ú)ÙkØ��jØ�×�Ö�ÜJÖ�Ü´åjâ.×YÝ´ÚYæ=ßQÙ�UØ�æ8Ö��.ØQÖ�Þ=â.ßÖeÜ·â.äDÙkÜ·àQâjÞùÚkæ=Ø ÚY×�ÖeÝ·Þ=Ý·Þ=åÙYØ�Ú�â�� &jó=çyó.ójó ÙYØ�Þ:ÚkØ�Þ=ãHØ�Ù�ñ�û¡æ=ØQÖ�Ü´åjâ.×YÝ´ÚYæ=ßQÙ *��������0���������1������ % ç��*�� � ç:ÖeÞ=á ����������������� ÖeÜ·Ü8ÛUØ�×���â.×Yß Ùkä �DÙkÚ�Ö�Þ:ÚkÝ�ÖeÜ·Ü·à è¬âj×kÙYØ�ÚYæ8ÖeÞ�è¬âjä=Ü·á��8Ø!Ø��:ÛUØ�ã�ÚYØ�á�åjÝ �.Ø�Þ�Úkæ=Ø�ݷסÛUØ�×��sâ.×��ß*Ö�Þ=ã�Ø¡âjÞQâ.ÚYæ=Ø�×(Úk×aÖeÝ·Þ=Ý·Þ=å/ÙYØ�ÚkÙ ��â.×��Uâ.ÚYæ �=Ý·åj×�Öeß Ö�Þ=áQÚY×kÝ·å.×aÖe߸ßQâ:á=Ø�Ü·ÙBçeè¡æ=Ý·Ü·Ø�ÚkæDØ�×kØHß*ÖeÝ·Þ=Ý·Þ=å/Ö�Ü´åjâ.×YÝ´ÚYæ=ßQÙÙkØHØ�ß ÚYâ��UØ�äDÞ8Ö�� Ø�ã�ÚYØ�á�ñ��qÙ¬ãBÖeÞ �UØ!ÙkØ�ØHÞ*Ü�Ö�ÚkØ�×(Ý·Þ���Ý·åjä=×kØ�Ù!ë�ìÀÖeÞ=á �=ë.çjÚkæDØ�ÖeÜ·åjâ.×kÝ·ÚYæ=ßQÙ ���������������������0���ÖeÞDá ����������������������(�����������Ö�×kØ�ÖeÜ·ÙYâ�Ö�á �.ØH×kÙkØHÜ´àQÖ �JØHã�ÚkØ�áTñ� mÞ®Úkæ=Ý·Ù?ÙYØ�ã�ÚkÝ·âjÞ�ç:è¬Ø�Ö�Þ8ÖeÜ·à���Ø¡ÚYæ=Ý·Ù?Û=æ=Ø�ÞDâ.ßQØHÞ=â.ÞÖeÞDá Ùkæ=âeè�ÚYæ8ÖeÚ�Úkæ=Ý·Ù�Û8Öe×YÚkÝ·ã�ä=Ü�Öe× ÚY×�Ö�Ý´ÞDÝ´ÞDåùÙkØ�ÚÝ·ÙQÝ·Þ=á=ØHØ�á ä=Þ:ä=ÙYä8ÖeÜmç�Ö�Þ=á Ø��:Û=Ü�ÖeÝ·Þ'è¡æ:à2âjÞ=Ü·à2ÚkæDØ�Ü·Ý·ÙkÚYØ�áÖeÜ·åjâ.×kÝ·ÚYæ=ßQÙ¬Ö�×kØ/Ö�� Ø�ã�ÚYØ�á�ñ

� ��ÚYØ�×(Ý´Þ��jØ�ÙkÚYÝ´å:ÖeÚYÝ´âjÞ�çeè(Ø ��âjä=Þ=á ÚYæ8ÖeÚ(Úkæ=Ø�&.óDç ójó.ó �òÙYØ�Þ:ÚkØ�Þ=ãHØ�Úk×aÖeÝ·Þ=Ý·Þ=å/ÙYØ�Ú(æ8ÖeáÖeÞ ä=Þ:ä=ÙYä8ÖeÜUá=Ý·ÙkÚY×kÝ �=ä=ÚYÝ´âjÞâ�� ã�âjä=Þ:ÚkÙ�î:ÚYæ=Ø�×YØ�è(Ø�×kØ!Ö��=Þ=âj×kßÖeÜ·Ü·à ��Ø�è�Úk×YÝ´åj×�Ö�ßQÙ)è¡Ý·Úkæ®â.Þ=Ø¡ã�âjä=Þ:Ú¬ÖeÙZã�â.ß�Û8Öe×YØ�á�ÚYâ/Úk×YÝ·å.×�Ö�ßQÙTè¡Ý´ÚYæ æ=Ý·å.æ=ØH×ã�âjä=Þ:ÚkÙ�ñ b k mÞ+�TÝ´åjä=×kØ�ë �=çTè¬Ø ÛDÜ´âjÚ/ÚkæDØ ×�ÖeÚYÝ·â�â��¡Úkæ=Ø�Þ:ä=ß��8ØH×�â���Úk×YÝ´åj×�Ö�ßQÙ!è¡Ý·Úkæ �.Öe×kÝ·âjä=Ù/ã�âjä=Þ:ÚkÙ/ÚYâ�Úkæ=ØÞ:ä=ß��UØ�× â��!Úk×kÝ·åj×�Öeß�Ù�è¡Ý·ÚYæ§Ø���Ö�ã�ÚkÜ·à�â.Þ=Ø�ãHâ.ä=Þ:Ú â��.ØH× �.Öe×YÝ·â.ä=Ù®Úk×aÖeÝ·Þ=Ý·Þ=åùÙkØHÚQÙkÝ���ØHÙQâ.Þ'ÚYæ=Ø�÷:è¡Ý·Úkãaæ��UâtÖe×Yáã�âj×kÛ=ä=ÙBñ®û¡æ=Ý·Ù�å.×aÖeÛ=æ�ß*Ö�!.Ø�Ù!ÖeÛ=ÛUÖe×kØHÞtÚ!ÚYæ=Ø�äDÞtäDÙkä8Ö�Ü?ã�â.äDÞtÚ!á=Ý·ÙYÚk×kÝ �=äDÚkÝ·â.Þ�ÛD×kØ�ÙYØ�Þ:Ú�Ý·Þ�ÚYæ=Ø å.Ý �.ØHÞ�Úk×aÖeÝ·Þ=Ý·Þ=åÙkØHÚ�ñû¡æ=Ý·Ù�â �DÙkØ�×"�.ÖeÚkÝ·âjÞ�ã�Ö�Þ �8ØùäDÙkØ�á ÚYâ Ø��:Û=Ü�ÖeÝ·Þ è¡æ:à»Úkæ=Ø2Ö�Ü´åjâ.×YÝ´ÚYæ=ßQÙ ��*���� ç ������ ��������������0���Jç¡Ö�Þ=á

������������������� ��(������0���ùÖeÜ·Ü¡ÛUØ�×���âj×kß ä=Þ:ä=ÙYä8ÖeÜ·Ü·àùÛUâtâj×kÜ·à:ñ û¡æ=Ø�ÙYØ Ö�Ü·å.â.×YÝ·Úkæ=ß�Ù/Ùkæ8Ö�×kØ�ÚYæ=Ø�Û=×kâjÛ8Ø�×YÚmà'Úkæ8Ö�Úá=Ý·ÙkãHâ.ä=Þ:ÚkÙ®Öe×kØ ãBÖeÜ·ã�ä=Ü�ÖeÚYØ�á��8Ö�ÙkØ�áùâjÞùÚkæ=Ø ã�âjä=Þ:ÚkÙ/â���ü��må.×aÖeß�Ù�è¡Ý·Úkæ2Ö�Û8Ö�×kÚkÝ·ã�äDܾÖ�×/ã�âjä=Þ:Ú�Ý·ÞùÚYæ=Ø Úk×aÖeÝ·Þ=Ý·Þ=åá8Ö�Ú�Ö=ñq÷:Ý·Þ=ã�Ø®Úkæ=Ø/ÚY×�Ö�Ý´ÞDÝ´ÞDå ÙkØ�Ú!æ8Ö�Ù�Ö�Þä=Þ:ä=Ùkä8Ö�Ü)á=Ý·ÙkÚk×YÝ �=ä=ÚkÝ·âjÞ�â��?ÚkæDØ�ÙkØ ã�âjä=Þ:ÚkÙ!ÖeÞ=á�ÛD×kØ�ÙYä=ß*Ö��=Ü·àQÚkæDØ�ÚYØ�ÙkÚÙkØHÚ�æ8Ö�Ù/ÖßQâj×kØ/Úmà:Û=Ý·ã�Ö�Ü?á=Ý·ÙkÚY×kÝ �=ä=ÚYÝ´âjÞ�çTè¬Ø®æ8Ö��.ØQÖ�ß�Ý´ÙYß*Ö�Úkãaæ �8Ø�Úmè(Ø�Ø�Þ�Úkæ=Ø ÚY×�Ö�Ý´ÞDÝ´ÞDå�Ö�Þ=áùÚkØHÙkÚ/ÙYØ�Ú�ç?Ö�Þ=áá=Ý·ÙkãHâ.ä=Þ:ÚkÙÖe×YØ�Þ=â.Ú�ÙkØ�Ú�Ùkä=Ý·ÚaÖ��=Ü·à��sâ.×QÚYæ=Ø�ÚYØ�ÙkÚ�ÙkØ�ÚBñ mÞ=áDØ�Ø�á�ç¡Ý·Þ>�TÝ·å.ä=×YØ�Ù�ëBìùÖeÞ=á �Dëè¬Ø3ÙkØ�Ø�Úkæ8Ö�Ú Úkæ=Ø2 � � <;G�7�9;@TG�@ �?J�AU58P;JI7�58:NPUG�@TS�@4J�K8@TXU7�9;J�77�9;58=F;JI< �T587��U:NC�:�P;@��T:I<;P?7�= ��JI=-F;G�@T=�@TP�7�HZ@ �TJ�<;=�@!JUK8:�P;QU=�@TQ�AU@4P?7�:NC�7�@ �?7 ��J�=X;<;F;K85�TJI7�@4XR58P 7�9;@�7�G�J�58P;58P;Q�=�@T74[

&��

Page 36: Chen & Goodman - Peopleklein/cs294-5/chen_goodman.pdf · Úkâ!ü òåj× Ö ß ßQâ:á=Ø Ü·Ù ÖeÞDá/Ùkß âtâjÚkæ=Ý·Þ=åUç Ö Þ=á/ÙkäD× .ØHà/Úkæ=Ø(ßQâjÙkÚ

0

0.05

0.1

0.15

0.2

0.25

0.3

0.35

0.4

100 1000 10000 100000training set size (sentences)

n2/n1

n3/n1

n4/n1

�TÝ·å.ä=×YØ*ë �7� ��ÖeÚYÝ·â â��¡Úkæ=Ø®Þ:ä=ß��8ØH×�â��¡Úk×YÝ·å.×�Ö�ßQÙ¡è¡Ý·Úkæ �.Öe×YÝ·â.ä=Ùqã�â.ä=Þ:ÚYÙ/ÚkâÚkæDØ�Þ:ä=ß��UØ�×�â��øÚY×kÝ·å.×aÖeß�Ù¡è¡Ý´ÚYæØ��=ÖeãHÚkÜ·àQâjÞ=Ø!ã�â.ä=Þ:Ú¡â��jØ�× �.Öe×YÝ´âjä=Ù(Úk×�Ö�Ý·Þ=Ý·Þ=å�ÙYØ�Ú�ÙYÝ���Ø�Ù�âjÞÚkæ=Ø/÷:è¡Ý·Úkãaæ��UâtÖe×Yáã�â.×YÛ=ä=Ù

ÖeÜ·åjâ.×kÝ·ÚYæ=ßQÙ �����������������QÖeÞ=á�������������������� ��(��®ÛUØ�×���âj×kß�ÙYä �=ÙkÚaÖeÞ:ÚkÝ�Ö�Ü´Ü·à��UØ�ÚkÚYØ�×!Úkæ8Ö�Þ ���������������������0���ÖeÞDá ������ ������������ ��(������0��� ç:×kØ�ÙYÛ8Ø�ãHÚkÝ �.Ø�Ü·à:ç)â.ÞùÚYæ=Ý·Ù�ÚY×�Ö�Ý´ÞDÝ´ÞDå*ÙYØ�Ú�ñ��Dâ.× ������������������ÖeÞ=á ���������������������(��Jçjá=Ý·ÙkãHâ.ä=Þ:Ú?Û8Ö�×�Ö�ßQØ�ÚYØ�×kÙ¡Öe×YØ�ÙkØHÚ¬ÚYæ=×kâjä=å.æ âjÛ=ÚkÝ·ßQÝ���Ö�ÚkÝ·â.ÞÀâ.Þ æ=Ø�Ü·á��mâ.äDÚ?á8ÖeÚaÖ=çjÙkâ®Úkæ=ØqßQÝ·ÙkßÖeÚYã�æ �8Ø�Úmè(Ø�Ø�ÞÚk×aÖeÝ·Þ=Ý·Þ=å ÖeÞ=á�ÚkØ�ÙYÚ�á8Ö�Ú�ÖÀæ8ÖeÙ¡Ü·Ý·ÚkÚYÜ·Ø�Ø/� Ø�ã�ÚBñ?û¡æ=Ý·Ù¡Ø��=Öeß�Û=Ü·Ø¡æ=Ý·å.æ=Ü·Ý·å.æ:ÚYÙ?Úkæ=Ø/Ö�á=á=Ý·ÚkÝ·â.ÞUÖeÜU×kâ �Dä=ÙkÚYÞ=Ø�ÙkÙ!ÛUâ.ÙYÙkÝ �=Ü·Øè¡æ=Ø�Þ äDÙkÝ·Þ=å/æ=ØHÜ´á �òâjä=Ú?á8Ö�Ú�Ö!ÚYâ�ÙYØ�Ú(Û8Öe×aÖeßQØHÚkØ�×YÙ?Ý·Þ=ÙkÚYØ�Öeá�â�� ÙkØ�ÚYÚkÝ·Þ=å/ÚYæ=Ø�߸á=Ø�ÚYØ�×kß�Ý´ÞDÝ´ÙYÚkÝ·ã�Ö�Ü´Ü·à��s×kâ.ß-Úk×aÖeÝ·Þ=Ý·Þ=åá8Ö�Ú�Ö=ñû)â2Ø��:Û=Ü�ÖeÝ·Þ è¡æ:à'ÚkæDØ Ö�Ü´åjâ.×YÝ´ÚYæ=ßQÙ *���� ���0����� ���1������ % ÖeÞ=á �����������������ùÛUØ�×��sâ.×kß Û8â:âj×kÜ·à'â.Þ ÚYæ=Ý·Ù

Úk×aÖeÝ·Þ=Ý·Þ=å®ÙkØ�ÚBç=è(Ø/×kØ ��Ø�×�ÚYâ Úkæ=Ø!âjÛ=ÚkÝ·ß*Ö�Ü=á=Ý·ÙkãHâ.ä=Þ:ÚkÙqã�ÖeÜ·ã�äDܾÖ�ÚkØ�áâjÞ*ÚYæ=Ø/æ=ØHÜ´á �òâjä=Ú¬ÙYØ�Ú �sâ.× ������������������� ��(��Ùkß�â:â.ÚkæDÝ´ÞDå ��âjצÖqÚY×kÝ·å.×aÖeß ß�â:á=Ø�Ümñ #ùØ(�8Þ=á ÚkæUÖeÚ)Úkæ=ØHÙkØ�áDÝ´ÙYã�â.äDÞtÚYÙ¬Öe×YØ¡ÙkÛ=×YØ�Öeá�ä=Þ:ä=ÙkäUÖeÜ·Ü·à��mÖe׬Ö�Û8Öe×YÚ �sâ.×)Úkæ=Ø&.óDçyó.ó.ó �òÙYØ�Þ:ÚkØ�ÞDã�Ø/Úk×aÖeÝ·Þ=Ý·Þ=å ÙYØ�Ú��¡è(Ø[�8ÞDá2é � b , �<iZ, � k � ú �.Ö�Ü·ä=Ø�Ù¡â��¬Ö��8âjä=Ú�ésó=ñyì=çTë.ñyí=ç �=ñ �tú(è¡æ=ØHÞ �.ÖeÜ·ä=Ø�Ùqâ��Ö��Uâ.äDÚøésó=ñyì=çDë.ñ �=ç �=ñ·ëBú�Ý·Ù)è¡æ8Ö�ÚFè(â.äDÜ´á �UØ¡Ø��:Û8Ø�ãHÚkØ�á ��×kâjß Ý·Þ:ÚkØ�×YÛ8âjܾÖ�ÚkÝ·Þ=åqÚkæ=Ø �.Ö�Ü´äDØ�Ù ��â.ä=ÞDá�âjÞ�ÚY×�ÖeÝ·Þ=Ý·Þ=å!ÙYØ�ÚkÙâ��?Þ=ØBÖe× �:àÙkÝ���Øjñ¬û¡æDÝ´Ù¡Ý·Þ=áDÝ´ãBÖeÚkØHÙ�ÚkæUÖeÚ�ÚYæ=Ø/Ý·á=Ø�Ö�Ü�Ö��.Ø�×aÖeåjØ/á=Ý·Ùkã�âjä=Þ:Ú ��âjסá=Ý��JØH×kØ�Þ:Ú�ãHâ.ä=Þ:ÚkÙqâ.ÞÚkæDÝ´ÙqÚk×aÖeÝ·Þ=Ý·Þ=åÙkØHÚ�Öe×YØ!ä=Þ:ä=Ùkä8Ö�Ü·Ü´à ÙYÛ=×kØBÖeá�Ö�Û8Öe×YÚ�ç8Ö�Þ=áQÙYâ ä=ÙkÝ·Þ=åQÖ®ÙYÝ·Þ=å.Ü·Ø�áDÝ´ÙYã�â.äDÞtÚ � �sâ.×�ÖeÜ·ÜUã�â.äDÞtÚYÙ�Ö�Ù¡Ý´Ù¡áDâ.Þ=Ø��:à *�������0���������1������ % ÖeÞ=á������������������®Ý·Ù�ÖeÞä=Þ:ä=ÙkäUÖeÜ·Ü·à Û8â:â.×�Ö�Û=Û=×Yâ��tÝ·ßÖeÚkÝ·âjÞ�âjÞ*ÚYæ=Ý·Ù¡Úk×aÖeÝ·Þ=Ý·Þ=å®ÙkØ�ÚBñ¬û¡æ:ä=ÙBç=è(Øã�Ö�Þ�ÙYØ�Ø�æ=âeè�Úkæ=Ø�Ö�Úmà:Û=Ý·ã�ÖeÜ:Þ8Ö�Úkä=×YØ¡â��8ÚYæ=Ø¡Úk×aÖeÝ·Þ=Ý·Þ=å�ÙYØ�Ú?Ü·Ø�Ö�á=Ù?Úkâ!ÛUâ:â.×)Û8ØH×���âj×kß*Ö�Þ=ã�Ø ��â.× *��������0���������1������ %ÖeÞDá �����������������Jñ

mڬݷÙ?Ý·Þ:ÚkØH×kØ�ÙYÚkÝ·Þ=å®Úkâ/Þ=âjÚkØqè¡ætà®ÚkæDØ�ÖeÜ·åjâ.×kÝ·ÚYæ=ßQÙ �������1������ ����������� ç��������� ��� ����������������*�������� ��Uç�Ö�Þ=á������������������� ��(��Àá=â�ÞDâ.Ú¡Ø��:æ=Ý �=Ý·Ú¡ÖeÞ=âjß*ÖeÜ·âjä=Ù��UØ�æ8Ö��:Ý·â.×(â.ÞÚkæ=Ø�&jó=çyó.ójó��mÙkØ�Þ:ÚkØHÞ=ã�Ø!Úk×aÖeÝ·Þ=Ý·Þ=å®ÙkØ�ÚBñ?ï(Ø�ã�ÖeäDÙkØÚkæDØ*ÖeÜ·åjâ.×kÝ·ÚYæ=ßQÙ ��������� ��� �����������*ÖeÞDá �������1������ ����������������*��������1��®á=â�Þ=âjÚ/ä=ÚYÝ´Ü·Ý���Ø ÚYæ=Ø ã�â.äDÞtÚYÙ�â���ü��å.×aÖeß�Ù?è¡Ý·Úkæã�Ø�×YÚ�ÖeÝ·Þã�âjä=Þ:ÚkÙ¡Ý·ÞQÚYæ=Ø/Úk×aÖeÝ·Þ=Ý·Þ=å/áUÖeÚ�ÖDç:Úkæ=ØHà*Öe×YØ!ä=Þ8Ö�� Ø�ã�ÚYØ�á �:àQÚYæ=Ø!ä=Þ:ä=ÙkäUÖeÜ á=Ý·ÙkÚY×kÝ �=ä=ÚYÝ·â.Þâ��ÚkæDØ�ÙkØ!ã�âjä=Þ:ÚkÙ�ñ)û¡æDØ�ÖeÜ·åjâ.×kÝ·ÚYæ=ß������� ������������ ��(���×YØ�Ú�Ö�Ý·Þ=٬ݷÚYÙ¬ÛUØ�×��sâ.×kßÖeÞ=ãHØ��UØ�ã�ÖeäDÙkØ!â��FÖ!ãHâ.ß��=Ý·Þ8Ö�ÚkÝ·â.Þ®â��Úmè(â�×YØ�ÖeÙYâ.Þ=Ù���ÛUÖe×�Ö�ßQØ�ÚYØ�×kÙ?Ö�×kØ¡â.ÛDÚkÝ·ßQÝ���Ø�áÀâ.Þ/æ=ØHÜ´á �òâjä=Ú)á8ÖeÚaÖ�ÙYâ!Úkæ8Ö�Ú?Úkæ=Ø(ßQÝ·ÙYß*ÖeÚYãaæ �UØ�Úmè(Ø�Ø�Þ ÚYæ=Ø¡Úk×aÖeÝ·Þ=Ý·Þ=åÖeÞDá ÚkØ�ÙYÚ�á8Ö�Ú�ÖùãBÖeÞ �UØ�ãHâ.ßQÛUØ�Þ=ÙaÖeÚYØ�á �sâ.×�çqÖeÞ=á Ý·Ú�æ8ÖeÙ�Ø�Þ=â.äDå.æ»á=Ý·Ùkã�âjä=Þ:ÚQÛ8Ö�×�Öeß�Ø�ÚkØH×kÙÚkâ'Öeá=Ø��:ä8Ö�ÚkØ�Ü·àã�âjßQÛUØ�Þ=Ù�Ö�ÚkØ���âjסÚkæ=Ø!ßQÝ·ÙYß*ÖeÚYãaæ�ñ

� � � ��� ��)�'�)"!( #"�$&%�% '���)!*�+

mÞs�TÝ·å.ä=×Yاë�&=ç!è(Øùá=Ý·ÙkÛ=Ü�ÖBà ÚYæ=ØùÛ8ØH×���âj×kß*Ö�Þ=ã�Ø�â��QÚYæ=Ø % ��'�����(���'Ö�Þ=á % ��'�������������*§Ö�Ü·å.â.×YÝ·Úkæ=ß�Ù ×kØ�Ü�Ö��ÚkÝ �jØ/Úkâ�Úkæ=Ø �8ÖeÙYØ�Ü·Ý·Þ=Ø�ÖeÜ·åjâ.×kÝ·ÚYæ=ß �������1�� ��� ����������������*�� ����� �� ��â.×��=Ý·å.×aÖeß�ÖeÞ=á�ÚY×kÝ·å.×aÖeß�ßQâ:á=Ø�Ü·Ù¡âjÞ�Úkæ=Ø#�÷�� � ����ï ãHâ.×kÛDä=Ù/â��.ØH×�ÖM×�Ö�Þ=å.Ø â��¬Úk×aÖeÝ·Þ=Ý·Þ=åQÙYØ�Ú/ÙYÝ �HØ�Ù�ñ� mÞ�å.ØHÞ=Ø�×�Ö�Ümç�ÚYæ=Ø�ÙkØQÖ�Ü·å.â.×YÝ·Úkæ=ß�Ù¡Û8Ø�×���â.×Yß ß ä=ãaæè(â.×kÙYØ�ÚkæUÖeÞ ÚYæ=Ø �8Ö�ÙkØ�Ü·Ý·Þ=Ø�ÖeÜ·å.âj×kÝ·ÚkæDß�ç)Ø��:ã�Ø�ÛDÚ �sâ.× ÙkÝ·ÚYä8ÖeÚYÝ´âjÞ=Ù è¡Ý·Úkæ�Ö�è(Ø�Ö�Ü´ÚYæ'â��/á8ÖeÚaÖ=ñ �Dâ.× Ø��=Öeß�Û=Ü·Ø.ç

&��

Page 37: Chen & Goodman - Peopleklein/cs294-5/chen_goodman.pdf · Úkâ!ü òåj× Ö ß ßQâ:á=Ø Ü·Ù ÖeÞDá/Ùkß âtâjÚkæ=Ý·Þ=åUç Ö Þ=á/ÙkäD× .ØHà/Úkæ=Ø(ßQâjÙkÚ

0

0.5

1

1.5

2

2.5

3

3.5

100 1000 10000 100000 1e+06 1e+07

diff

in te

st c

ross

-ent

ropy

fro

m b

asel

ine

(bits

/toke

n)

training set size (sentences)

relative performance of algorithms on WSJ/NAB corpus, 2-gram

jelinek-mercer-baseline

plus-one

plus-delta

0

1

2

3

4

100 1000 10000 100000 1e+06 1e+07

diff

in te

st c

ross

-ent

ropy

fro

m b

asel

ine

(bits

/toke

n)

training set size (sentences)

relative performance of algorithms on WSJ/NAB corpus, 3-gram

jelinek-mercer-baseline

plus-one

plus-delta

�TÝ·å.ä=×YØ�ë�&7� �TØ�×���âj×kßÖeÞ=ã�Ø(×kØHܾÖ�ÚkÝ �.ØZÚkâ��UÖeÙkØHÜ´Ý·Þ=Ø(â�� % ��'�����(���¡Ö�Þ=á % ��'�������������*¡ÖeÜ·å.âj×kÝ·Úkæ=ß�Ù8âjÞ #»÷�� �����ïã�âj×kÛ=ä=ÙBç �=Ý·åj×�Öeß�ÖeÞ=áÚk×YÝ·å.×�Ö�ß ßQâ:á=ØHÜ´Ù

% ��'�������������*ÀÝ·Ù¡ã�â.ß�Û8Ø�ÚYÝ·ÚkÝ �.Øqè¡Ý´ÚYæÚkæ=Ø��8Ö�ÙkØ�Ü·Ý·Þ=Ø!ßQØ�ÚYæ=â:áè¡æ=Ø�Þä=ÙkÝ·Þ=åQÖ®ÚY×�Ö�Ý´ÞDÝ´ÞDå�ÙYØ�Ú�â��øë�óDçyó.ó.óDçyó.ó.óqÙYØ�Þ��ÚkØHÞ=ã�Ø�Ù���âj×�Ö �=Ý·å.×�Ö�ß ßQâ:á=ØHÜ â.Þ #�÷�� � ���qï á8Ö�Ú�Ö=ñZû¡æ=â.äDå.æÞ=â.Ú¡ÙYæ=âeè¡Þ�çDÚkæ=Ø�ÙYØ�ÖeÜ·åjâ.×kÝ·ÚYæ=ßQÙ?æUÖ��.Ø!ÙkÝ·ßQÝ·Ü�Öe×ÛUØ�×���âj×kßÖeÞ=ã�Øqâ.Þ ÚYæ=Ø!â.ÚkæDØ�סÚkæ=×YØ�Ø!ã�â.×YÛ8âj×�ÖDñ?ö/ÖeÜ·Ø�ÖeÞDá*ê(æ:ä=×kãaæ�ékë�ìjì.óDî8ëBì.ì �:ú ��ä=×YÚkæ=ØHסá=Ý·Ùkã�ä=ÙYÙ¡Úkæ=Ø!ÛUØ�×��sâ.×��ß*Ö�Þ=ã�Øqâ��FÚYæ=Ø�ÙYØðÖ�Ü´åjâ.×YÝ´ÚYæ=ßQÙBñ

� ��� � � �1-(% ��Õ"��� *�'� ��� % ����'�)!% * mÞ!Úkæ=Ý·ÙTÙkØ�ã�ÚYÝ·â.Þ�çBè(Ø?ã�â.ß�Û8Öe×YØ�ÚYæ=Ø?ÛUØ�×���âj×kßÖeÞ=ã�Ø �UØ�Úmè(Ø�Ø�Þ®Úkæ=Ø��UÖeã !.â�ðÖeÞ=á!Ý·Þ:ÚkØ�×YÛ8âjÜ�ÖeÚkØHá��.Ø�×YÙkÝ·â.ÞDÙ�â��:ÙkØ��jØ�×�Ö�ÜÙkß�â:â.ÚkæDÝ´ÞDåøÖ�Ü´åjâ.×YÝ´ÚYæ=ßQÙBñ�é@�=âj×�ÚkæDØ?á=Ø/�8ÞDÝ´ÚYÝ·â.Þ=ÙTâ��8ÚYæ=Ø�ÙkØ(Úmà:Û8ØHÙFâ��=ßQâ:á=Ø�Ü·Ù�çH×kØ �sØ�×)Úkâ�÷:Ø�ãHÚkÝ·â.Þ �=ñyí=ñyú�#ùØ)Ý·ßQÛ=Ü·Ø �ßQØHÞtÚYØ�á!Úkæ=×YØ�Ø¡Û8Ö�Ý´×YÙ â��JÖ�Ü·å.â.×YÝ·Úkæ=ß�Ù=Úkæ8Ö�Ú�á=Ý�� Ø�×)â.Þ=Ü·àqÝ´Þ!ÚYæ=Ø �UÖeã !.â��ÙkÚY×�ÖeÚYØ�å.àÀä=ÙkØ�áO� � �1��������������������1���� � %ÖeÞDá � �1���������������������*��1��( ���Jç1*��������0���������1������ % Ö�Þ=á *���� ���0����� ����*��1��(����JçBÖeÞ=á ������������������� ��(���Ö�Þ=á������������������� ��(�������*��1��(�� �Uñ

mÞ���Ý·åjä=×kØ ëU�Uç:è¬Ø!á=Ý·ÙYÛ=Ü�ÖBà�ÚYæ=Ø/ÛUØ�×���âj×kßÖeÞ=ã�Øqâ�� � �1��������������������1������ % ÖeÞDá � �1���������������������*����( � �×kØHܾÖ�ÚkÝ �.Ø®Úkâ�Úkæ=Ø �8Ö�ÙkØ�Ü·Ý·Þ=Ø ÖeÜ·å.âj×kÝ·Úkæ=ß �������1�� ��������������������*�� ������� ��â.×��=Ý·åj×�Öeß�ÖeÞDá�ÚY×kÝ·å.×aÖeß�ßQâ:á=ØHÜ´Ù¡âjÞÚkæDØ #�÷l� � ����ï�ã�â.×YÛ=ä=Ùâ��.ØH×�Ö�×aÖeÞ=åjØ�â��/Úk×�Ö�Ý·Þ=Ý·Þ=å2ÙYØ�ÚÙkÝ���Ø�ÙBñ #ùØ*ÙYØ�ØùÚkæUÖeÚ � �1���������������������*����( � �ã�âjÞ=ÙkÝ·ÙkÚYØ�Þ:ÚkÜ·àQâjä=ÚkÛUØ�×���â.×YßQÙ � �1��������������������1������ % â��.Ø�סÖeÜ·ÜUÚk×�Ö�Ý·Þ=Ý·Þ=å/ÙkØHÚ¡ÙkÝ���Ø�Ù�Ö�Þ=á���âj× �Uâ.ÚYæ �=Ý·åj×�Öeß Ö�Þ=áÚk×YÝ·å.×�Ö�ß ß�â:á=Ø�Ü·Ù�ñ #¶æ=Ý·Ü´ØÀÞ=â.ÚqÙkæ=âeè¡Þ�çUÚYæ=Ø�ÙkØ ÖeÜ·åjâ.×kÝ·ÚYæ=ßQÙ(æ8Ö��.ØÀÙkÝ·ßQÝ·Ü�Öe×(Û8ØH×���âj×kß*Ö�Þ=ã�Ø/âjÞ�ÚkæDØ�âjÚkæ=Ø�×!ÚYæ=×kØ�Øã�âj×kÛUâ.×�ÖDñ

mÞ0�TÝ·å.ä=×YØ�Ù�ë��ùÖ�Þ=á ë��=ç(è(Ø�á=Ý·ÙkÛDܾÖBàùÚYæ=Ø�ÛUØ�×��sâ.×kßÖeÞ=ãHØ*â��/Úkæ=Ø �UÖeã !.â� ÖeÞ=á'Ý·Þ:ÚkØ�×YÛ8âjÜ�ÖeÚkØHá �jØ�×kÙYÝ·â.Þ=Ùâ���Ö��=ÙkâjÜ·ä=ÚkØ á=Ý·ÙYã�â.ä=Þ:ÚYÝ´ÞDå Ö�Þ=áùßQâ:á=Ý��8Ø�á�õ!Þ=Ø�ÙYØ�×�����Ø�à'ÙYßQâ:â.ÚYæ=Ý·Þ=å���âj×��=Ý·å.×aÖeß%ÖeÞDáùÚk×kÝ·åj×�Öeß ß�âtáDØ�Ü·Ù�âjÞÚkæDØ #�÷l� � ����ï Ö�Þ=á�ï(×kâ:Öeá=ãBÖeÙkÚ ��Ø�è¡Ùã�âj×kÛUâ.×�Ö�â��jØ�×�Ö2×aÖeÞ=åjØ�â�� Úk×aÖeÝ·Þ=Ý·Þ=åùÙYØ�Ú�ÙkÝ���ØHÙ�ñ #ùØ�ÙkØHØùÚkæ8Ö�Ú������������������� ��(���ã�â.ÞDÙkÝ·ÙkÚYØ�Þ:ÚkÜ·à�âjä=ÚkÛUØ�×���â.×YßQÙ ������������������� ��(�������*��1��(���� ñ�=qÞùÙYß*ÖeÜ·ÜTá8ÖeÚaÖÙkØ�ÚYÙ�ç *�������0���������1������ % â.äDÚkÛUØ�×���âj×kß�Ù *�������� ����������*��1��(�� � ç:ÖeÞ=á�ÚkæDØ�×YØ��.Ø�×YÙkØ�æ=â.Ü·á=Ù���âj×�Ü�Öe×Yå.Ø®á8ÖeÚaÖ ÙkØHÚkÙ�ñ #ùØ®ÙkØ�ØÚkæUÖeÚ(Úkæ=Øqã�×kâjÙkÙ��mâ��.ØHסÛ8âjÝ´Þ:Ú��.Ö�×kÝ·Ø�Ù(è¡Ý·Úkæ ã�âj×kÛ=ä=Ù�Ö�Þ=á*ü��må.×aÖeß-â.×káDØ�×�ñ # æ=Ý·Ü·Ø¡Þ=â.Ú(Ùkæ=âeè¡ÞTç.ÚYæ=Ø�ÙkØ/Ö�Ü´åjâ.×YÝ´ÚYæ=ßQÙæ8Ö��jØ�ÙYÝ´ß�ݷܾÖ�סÛ8ØH×���âj×kß*Ö�Þ=ã�Ø âjÞ�ÚYæ=Ø â.ÚYæ=Ø�×/Úmè(âã�â.×YÛ8âj×�Ö=ñ mÞù÷:Ø�ã�ÚYÝ´âjÞH�=ñ �=ç�è¬Ø Û=×YØ�ÙkØHÞtÚ ÖeÞùÖeÞUÖeÜ·à:ÙkÝ·Ù!Úkæ8Ö�ÚÛ8Ö�×kÚkÝ�Ö�Ü´Ü·à®Ø��:Û=Ü�ÖeÝ·Þ=Ù¡ÚYæ=Ø!×kØ�Ü�ÖeÚYÝ �.Ø!Û8ØH×���âj×kß*Ö�Þ=ã�Ø!â�� �8Öeã !jâ � Ö�Þ=áQÝ·Þ:ÚkØ�×YÛ8âjÜ�ÖeÚkØHá�Ö�Ü·å.â.×YÝ·Úkæ=ß�Ù�ñ

&��

Page 38: Chen & Goodman - Peopleklein/cs294-5/chen_goodman.pdf · Úkâ!ü òåj× Ö ß ßQâ:á=Ø Ü·Ù ÖeÞDá/Ùkß âtâjÚkæ=Ý·Þ=åUç Ö Þ=á/ÙkäD× .ØHà/Úkæ=Ø(ßQâjÙkÚ

-0.05

0

0.05

0.1

0.15

0.2

0.25

0.3

0.35

100 1000 10000 100000 1e+06 1e+07

diff

in te

st c

ross

-ent

ropy

fro

m b

asel

ine

(bits

/toke

n)

training set size (sentences)

relative performance of algorithms on WSJ/NAB corpus, 2-gram

jelinek-mercer-baseline

witten-bell-backoff

witten-bell-interp

-0.1

0

0.1

0.2

0.3

0.4

0.5

100 1000 10000 100000 1e+06 1e+07

diff

in te

st c

ross

-ent

ropy

fro

m b

asel

ine

(bits

/toke

n)

training set size (sentences)

relative performance of algorithms on WSJ/NAB corpus, 3-gram

jelinek-mercer-baseline

witten-bell-backoff

witten-bell-interp

�TÝ·å.ä=×YØ*ëW�V����ØH×���âj×kß*Ö�Þ=ã�Ø®×kØ�Ü�Ö�ÚkÝ �.Ø®Úkâ �8Ö�ÙkØ�Ü·Ý·Þ=Ø â�� � �1���������������������*��1��(����QÖeÞDá � �1��������������������1���� � %ÖeÜ·åjâ.×kÝ·ÚYæ=ßQÙ?âjÞ #�÷l� � ����ï»ã�â.×YÛ=ä=ÙBç �=Ý·å.×aÖeß Ö�Þ=áQÚY×kÝ·å.×aÖeß�ßQâ:á=Ø�Ü·Ù

� � � ��*� ����� �� "�$&%�%('���)�* +#��* � � ��� )���'�)�%(*

mÞ�ÚYæ=Ý·Ù�ÙYØ�ã�ÚYÝ´âjÞ�çUè¬Ø®ã�âjßQÛ8Ö�×kØ!Úkæ=Ø®ÛUØ�×���âj×kßÖeÞ=ã�ØÀâ��¬ÚYæ=Ø�áDÝ � Ø�×YØ�Þ:Ú �.Ö�×kÝ�ÖeÚYÝ·â.Þ=Ù¡â��¦õ!Þ=ØHÙkØ�×����qØ�àùÙkß�âtâjÚkæ=Ý·Þ=åÚkæUÖeÚ è(Ø*Ý·ß�Û=Ü·Ø�ßQØ�Þ:ÚYØ�áD� ����������������� ç0������ ������������ ��(��Jç ���������������������0��� ç)ÖeÞ=á ������ ������������ ��(�����0���Jñ #ùØ/á=âÞ=âjÚ�áDÝ´ÙYã�ä=ÙYÙ/Úkæ=Ø ÛUØ�×���â.×Yß*ÖeÞDã�Ø�â��¬ßQØHÚkæ=â:á ������ ������������ ��(�������*��1��(���� æ=Ø�×kØjçFÖ�Ù�ÚYæ=Ý·Ù!èøÖ�ÙÛ=×YØ�ÙkØ�Þ:ÚYØ�á�Ý·Þ÷:Ø�ã�ÚYÝ´âjÞ:�=ñ·ëjñ &Dñ

mÞ:�TÝ·å.ä=×YØQë��Dç=è(Ø/á=Ý·ÙkÛ=Ü�ÖBà�Úkæ=Ø/ÛUØ�×���â.×Yß*ÖeÞDã�Ø/â�� ������ ����������QÖ�Þ=á�������������������� ��(��®×kØ�Ü�Ö�ÚkÝ �.Ø/ÚYâ Úkæ=Ø�8Ö�ÙkØ�Ü·Ý·Þ=Ø�Ö�Ü´åjâ.×YÝ´ÚYæ=ß��������1�� ��� ������� ��������*��������1�����âj× �=Ý·å.×aÖeß Ö�Þ=áÚk×kÝ·åj×�Öeß�ßQâ:á=ØHÜ´Ù(â.Þ3Úkæ=Ø�#»÷�� �����ïã�âj×kÛ=ä=Ù®â��.ØH×�Ö�×�ÖeÞDå.Ø â��¡Úk×aÖeÝ·Þ=Ý·Þ=å�ÙkØ�Ú®ÙkÝ���Ø�ÙBñ �¡Ø�ãBÖeÜ·Ü)Úkæ8Ö�Ú/Úkæ=ØHÙkØ*Ö�Ü·å.â.×YÝ·Úkæ=ß�Ù�á=Ý�� Ø�×/Ý·Þ�ÚYæ8ÖeÚ ��â.×!Ø�Ö�ã�æ2ü��å.×aÖeß Ü·Ø��jØ�Ümç������������������®æ8ÖeÙ�Ö®ÙYÝ´ÞDå.Ü·Ø!á=Ý·Ùkã�âjä=Þ:Ú�� � ��âj׬Ø�Ö�ãaæ�ã�â.äDÞtÚ¡è¡æDÝ´Ü·Ø ������������������� ��(��Àæ8ÖeÙ¡ÚYæ=×kØ�Øá=Ý·ÙkãHâ.ä=Þ:ÚkÙ � � � b ç � � � ieç.Ö�Þ=á � � � k � ��â.×?ü��må.×�Ö�ßQÙ è¡Ý·Úkæ®â.ÞDجã�âjä=Þ:Ú�çeÚmè(â!ã�â.äDÞtÚYÙ�ç:ÖeÞ=á®ÚkæD×kØ�Ø¡âj×Fß�â.×YØ?ã�â.äDÞtÚYÙ�ç×kØHÙkÛUØ�ã�ÚkÝ �jØ�Ü·àtç)ÖeÙ/áDØ�Ùkã�×YÝ �8Ø�á�Ý·Þ�÷:Ø�ã�ÚYÝ·â.Þ �8ñ·ëjñ�#ùØ®ÙkØ�Ø ÚYæ8ÖeÚ ������������������� ��(���ã�â.ÞDÙkÝ·ÙkÚYØ�Þ:ÚkÜ·à�â.äDÚkÛUØ�×���âj×kß�Ù�����������������/â��jØ�סÖeÜ·Ü8ÚY×�Ö�Ý´ÞDÝ´ÞDå/ÙkØ�Ú(ÙkÝ���ØHÙ�ÖeÞ=á ��â.×��8âjÚkæ �=Ý·å.×�Ö�ß ÖeÞ=á�Úk×kÝ·åj×�Öe߸ß�âtáDØ�Ü·Ù�ñ # æDÝ´Ü·ØqÞ=â.Ú?ÙYæ=âeè¡Þ�çÚkæDØ�ÙkØ!ÖeÜ·å.âj×kÝ·Úkæ=ß�Ù�æ8Ö��jجÙYÝ·ßQÝ·Ü�Öe× �UØ�æ8Ö��:Ý·â.×)âjÞ Úkæ=Ø¡âjÚkæ=Ø�×ZÚkæ=×YØ�Ø�ã�âj×kÛUâ.×aÖ=ñ)û¡æ=Ø�Ý·×?áDÝ � Ø�×YØ�Þ=ã�Ø!Ý·Þ�ÛUØ�×���â.×Yß*ÖeÞDã�ØÝ·Ù�åjØ�Þ=Ø�×aÖeÜ·Ü·à*ÙYÝ·å.Þ=Ý��8ã�Ö�Þ:Ú�ç=ÚYæ=â.äDå.æ�Ý·Ù�ÙYß*Ö�Ü´Ü·Ø�× ��âj×��.ØH×kàÜ�Öe×kåjØ/á8Ö�Ú�Ö®ÙkØHÚkÙ�ñ� mÞ�÷:Ø�ã�ÚYÝ´âjÞ �Dñ �=ç:è(Ø�Ø��:Û=Ü�Ö�Ý´ÞÚYæ=Ý·Ùá=Ý�� Ø�×kØ�ÞDã�Ø �:à ÙYæ=âeè¡Ý·Þ=å�ÚYæ8ÖeÚ¡ÚYæ=Ø/ã�âj×k×YØ�ã�Ú�Ö��jØ�×�Ö�å.Ø!á=Ý·ÙkãHâ.ä=Þ:Ú���âj×øü��må.×aÖeßQÙ(è¡Ý·Úkæ�â.Þ=Ø!ã�âjä=Þ:Ú¡â.סÚmè(â�ã�âjä=Þ:ÚkÙá=Ø��:Ý�ÖeÚYØ�Ù�ÙYÝ·å.Þ=Ý��8ã�Ö�Þ:ÚkÜ·à��s×kâ.ß1Úkæ=Ø/ãHâ.×k×YØ�ã�Ú/Ö��.ØH×�ÖeåjØ�á=Ý·ÙYã�â.ä=Þ:Ú ��â.×(Ü�Öe×kåjØ�סã�âjä=Þ:ÚkÙ�ñ

mÞ>��Ý·åjä=×kØ�Ù�ëBíùÖeÞ=á»ë�ìDç¬è(Øá=Ý·ÙkÛ=Ü�ÖBàùÚYæ=ØÛ8Ø�×���â.×Yß*Ö�Þ=ã�Øâ�� ����������������� Ö�Þ=á$���������������������0��� ��âj×�=Ý·å.×aÖeß�ÖeÞ=á3Úk×kÝ·åj×�Öeß�ß�â:á=Ø�Ü·Ù¡â.Þ�ÚYæ=Ø�#�÷l� � ����ï Ö�Þ=á�÷:è¡Ý·Úkãaæ��UâtÖe×Yá�ã�âj×kÛUâ.×�Ö�â��jØ�×�ÖM×�ÖeÞDå.Ø/â��¬Úk×aÖeÝ·Þ=Ý·Þ=åÙkØHÚ�ÙkÝ���ØHÙ�ñ ��Ø�ã�Ö�Ü´Ü ÚYæ8ÖeÚ¡ÚYæ=Ø�ÙYØ�ÖeÜ·å.âj×kÝ·ÚkæDßQÙ?á=Ý�� Ø�סݷÞQÚYæ8ÖeÚ���âj× �����������������/è(Ø!ÙkØ�ÚqÚkæ=Ø/ÛUÖe×�Ö�ßQØ�ÚYØ�×kÙ � � �:àâ.ÛDÚkÝ·ßQÝ���Ý·Þ=åqÚkæ=Ø!ã�×Yâ.ÙkÙ��òØHÞtÚY×kâjÛtàâ���æ=Ø�Ü·á��mâ.ä=Ú(á8ÖeÚaÖ=çjè¡æ=Ý·Ü·Ø ��âj× ������ ��������������0����ÚYæ=Ø�ÙYØ�ÛUÖe×�Ö�ßQØ�ÚYØ�×kÙ�Ö�×kØqÙkØ�Úä=ÙYÝ´ÞDåQÚkæDØ ��â.×Yß ä=Ü�Ö/ÙYä=å.åjØ�ÙkÚYØ�á �:à�õ!Þ=ØHÙkØ�×�Ö�Þ=á`��Ø�à2éYë�ìjì��.úHç8Ö�Ù�áDØ�Ùkã�×YÝ �8Ø�á�Ý·Þ�÷:Ø�ã�ÚYÝ·â.Þ`�8ñ·ë.ñ�# æ=Ý·Ü·Ø/ÚkæDØ�Ý·×ÛUØ�×���âj×kßÖeÞ=ã�ØHÙøÖ�×kØ¡ÙkâjßQØ�ÚYÝ·ßQØ�Ù �.ØH×kà®ã�Ü·â.ÙkØjç:Ø�ÙkÛUØ�ã�Ý�ÖeÜ·Ü·à ��â.×?Ü�Ö�×kå.Ø¡áUÖeÚ�Ö�ÙkØ�ÚYÙ�ç:è(Ø�ÙkØHØ�ÚkæUÖeÚ �����������������!ã�â.Þ��ÙkÝ·ÙYÚkØ�Þ:ÚkÜ·àâ.äDÚkÛUØ�×���âj×kß�Ù ������ ��������������0���Jñ # æ=Ý·Ü·Ø�ÞDâ.Ú�ÙYæ=âeè¡Þ�ç:ÚYæ=Ø�ÙkØ ÖeÜ·åjâ.×kÝ·ÚYæ=ßQÙ?æUÖ��.Ø!ÙkÝ·ßQÝ·Ü�Öe× �8Ø�æUÖ��tÝ·âj×â.ÞÚYæ=Ø/â.ÚYæ=Ø�×qÚmè¬â ã�âj×kÛUâ.×aÖ=ñ!é-�Dâ.×�Ö®á=Ý·ÙYã�ä=ÙkÙYÝ·â.Þ�â��¦ÚYæ=Ø�Ö�Þ=â.ßÖeÜ·â.ä=ÙZÛ8âjÝ´Þ:ÚYÙ¡Ý´Þ��TÝ·å.ä=×YØ�Ù�ëBì�Ö�Þ=á �Dë ��âjסÚkæ=Ø&.óDçyó.ó.ó �òÙYØ�Þ:ÚkØ�ÞDã�Ø!Úk×�Ö�Ý·Þ=Ý·Þ=å�ÙYØ�Ú�çU×YØ ��Ø�סÚYâQ÷:Ø�ã�ÚYÝ´âjÞ��=ñ·ë.ñ·ë.ñyú

mÞ �TÝ·å.äD×kØ�Ù �.ó�ÖeÞ=á �=ë.çUè(Ø�áDÝ´ÙYÛ=Ü�ÖBàÚkæ=Ø®Û8ØH×���âj×kß*Ö�Þ=ã�Ø/â�� ������������������� ��(��QÖ�Þ=á ������ ������������ ��(�����0��� �sâ.×��=Ý·å.×aÖeß ÖeÞDá�ÚY×kÝ·å.×aÖeß�ßQâ:á=ØHÜ´Ùqâ.Þ�Úkæ=Ø�#»÷�� �����ï Ö�Þ=áù÷:è¡Ý·Úkãaæ��8â:Öe×ká�ã�âj×kÛUâ.×�Ö�â��jØ�×�Ö ×aÖeÞ=åjØ â��Úk×aÖeÝ·Þ=Ý·Þ=å¡ÙYØ�Ú)ÙkÝ���Ø�ÙBñ ��Ù)è¡Ý·Úkæ ������������������ÖeÞDá ��������������������� ��� çaÚkæDØ�ÙkØ¡ÖeÜ·å.âj×kÝ·ÚkæDßQÙUá=Ý��JØ�×TÝ·Þ/è¡æ=Ø�ÚYæ=Ø�×)Úkæ=Øá=Ý·ÙkãHâ.ä=Þ:ÚkÙ?Ö�×kØ?ÙYØ�Ú)ä=ÙkÝ·Þ=åqæ=Ø�Ü·á��mâ.ä=ÚTá8ÖeÚaÖ¡â.×Tä=ÙkÝ·Þ=å!Ö���âj×kß ä=Ü�Ö �UÖeÙkØHá�âjÞ/Úk×aÖeÝ·Þ=Ý·Þ=å¡ÙkØHÚFãHâ.ä=Þ:ÚkÙBñ #ùØZÙkØ�Ø(ÙkÝ·ßQÝ·Ü�Öe×

&.í

Page 39: Chen & Goodman - Peopleklein/cs294-5/chen_goodman.pdf · Úkâ!ü òåj× Ö ß ßQâ:á=Ø Ü·Ù ÖeÞDá/Ùkß âtâjÚkæ=Ý·Þ=åUç Ö Þ=á/ÙkäD× .ØHà/Úkæ=Ø(ßQâjÙkÚ

-0.2

-0.15

-0.1

-0.05

0

0.05

0.1

100 1000 10000 100000

diff

in te

st c

ross

-ent

ropy

fro

m b

asel

ine

(bits

/toke

n)

training set size (sentences)

relative performance of algorithms on WSJ/NAB corpus, 2-gram

jelinek-mercer-baseline

abs-disc-backoff

abs-disc-interp

kneser-ney-mod

kneser-ney-mod-backoff

-0.3

-0.25

-0.2

-0.15

-0.1

-0.05

0

0.05

0.1

100 1000 10000 100000

diff

in te

st c

ross

-ent

ropy

fro

m b

asel

ine

(bits

/toke

n)training set size (sentences)

relative performance of algorithms on WSJ/NAB corpus, 3-gram

jelinek-mercer-baseline

abs-disc-backoff

abs-disc-interp

kneser-ney-mod

kneser-ney-mod-backoff

�TÝ·å.ä=×YØ�ë��7���TØ�×��sâ.×kßÖeÞ=ãHØ�×YØ�Ü�ÖeÚkÝ �jØ Úkâ �8ÖeÙYØ�Ü·Ý·Þ=Ø â�� �8Öeã !jâ �§ÖeÞDá�Ý·Þ:ÚkØ�×YÛ8âjÜ�ÖeÚkØHá��.Ø�×YÙkÝ·â.Þ=ÙÀâ���Ö��=ÙYâ.Ü·ä=ÚkØ®á=Ý·Ù��ã�âjä=Þ:ÚkÝ·Þ=åQÖeÞDáQßQâ:á=Ý��8ØHáQõ!Þ=Ø�ÙYØ�×�����Ø�à3ÙkßQâ:âjÚkæ=Ý·Þ=å/âjÞ #�÷l� � ����ï»ã�â.×YÛ=ä=ÙBç �=Ý·å.×aÖeß Ö�Þ=áÚk×YÝ´åj×�Ö�ß ßQâ:á=Ø�Ü·Ù

-0.2

-0.15

-0.1

-0.05

0

0.05

100 1000 10000 100000

diff

in te

st c

ross

-ent

ropy

fro

m b

asel

ine

(bits

/toke

n)

training set size (sentences)

relative performance of algorithms on Broadcast News corpus, 2-gram

jelinek-mercer-baseline

abs-disc-backoff

abs-disc-interp

kneser-ney-mod

kneser-ney-mod-backoff

-0.25

-0.2

-0.15

-0.1

-0.05

0

0.05

0.1

100 1000 10000 100000

diff

in te

st c

ross

-ent

ropy

fro

m b

asel

ine

(bits

/toke

n)

training set size (sentences)

relative performance of algorithms on Broadcast News corpus, 3-gram

jelinek-mercer-baseline

abs-disc-backoff

abs-disc-interp

kneser-ney-mod

kneser-ney-mod-backoff

�TÝ·å.ä=×YØ�ë��7���TØ�×��sâ.×kßÖeÞ=ãHØ�×YØ�Ü�ÖeÚkÝ �jØ Úkâ �8ÖeÙYØ�Ü·Ý·Þ=Ø â�� �8Öeã !jâ �§ÖeÞDá�Ý·Þ:ÚkØ�×YÛ8âjÜ�ÖeÚkØHá��.Ø�×YÙkÝ·â.Þ=ÙÀâ���Ö��=ÙYâ.Ü·ä=ÚkØ®á=Ý·Ù��ã�âjä=Þ:ÚkÝ·Þ=å2ÖeÞDá§ß�â:á=Ý��8Ø�á2õ!Þ=ØHÙkØ�×����qØ�à Ùkß�â:â.ÚkæDÝ´ÞDå�â.Þ'ï(×kâtÖ�á=ã�Ö�ÙkÚ��qØ�è¡Ùã�â.×YÛ=ä=ÙBç �=Ý·å.×aÖeß Ö�Þ=á'Úk×kÝ·åj×�ÖeßßQâ:á=ØHÜ´Ù

&.ì

Page 40: Chen & Goodman - Peopleklein/cs294-5/chen_goodman.pdf · Úkâ!ü òåj× Ö ß ßQâ:á=Ø Ü·Ù ÖeÞDá/Ùkß âtâjÚkæ=Ý·Þ=åUç Ö Þ=á/ÙkäD× .ØHà/Úkæ=Ø(ßQâjÙkÚ

-0.2

-0.15

-0.1

-0.05

0

100 1000 10000 100000 1e+06 1e+07

diff

in te

st c

ross

-ent

ropy

fro

m b

asel

ine

(bits

/toke

n)

training set size (sentences)

relative performance of algorithms on WSJ/NAB corpus, 2-gram

jelinek-mercer-baseline

kneser-ney

kneser-ney-mod-0.25

-0.2

-0.15

-0.1

-0.05

0

100 1000 10000 100000 1e+06 1e+07

diff

in te

st c

ross

-ent

ropy

fro

m b

asel

ine

(bits

/toke

n)

training set size (sentences)

relative performance of algorithms on WSJ/NAB corpus, 3-gram

jelinek-mercer-baseline

kneser-ney

kneser-ney-mod

�TÝ·å.ä=×YØ�ë��F� �TØ�×���â.×Yß*ÖeÞDã�ØQ×YØ�Ü�ÖeÚkÝ �jØ Úkâ �8Ö�ÙkØ�Ü·Ý·Þ=Ø�â�� ������������������ÖeÞDá ����������������������(���ÖeÜ·å.âj×kÝ·ÚkæDßQÙ�âjÞ#�÷�� � ����ï ã�âj×kÛ=äDÙ�ç �=Ý·å.×aÖeß ÖeÞ=áÚY×kÝ·å.×aÖeß ß�âtáDØ�Ü·Ù

�UØ�æ8Ö��:Ý·â.×�ÖeÙ��8Ø ��â.×YØ��¡è¡æ=Ý·Ü·Ø!Úkæ=Ø�Ý·×qÛ8Ø�×���â.×Yß*Ö�Þ=ã�Ø/Ý·Ù�â���ÚkØHÞ*ãHÜ´âjÙkØ.çUØ�ÙYÛ8ØHã�Ý�ÖeÜ·Ü·à �sâ.×�Ü�Ö�×kå.Ø!á8Ö�Ú�ÖMÙkØ�ÚYÙ�ç������������������� ��(���ãHâ.Þ=ÙYÝ´ÙYÚkØ�Þ:ÚYÜ´à�â.ä=ÚYÛ8ØH×���âj×kßQÙ ������������������� ��(���� � ��� ñ # æ=Ý·Ü·Ø¡Þ=â.Ú(ÙkæDâeè¡Þ�ç:Úkæ=ØHÙkØ�Ö�Ü´åjâ.×YÝ´ÚYæ=ßQÙ)æ8Ö��jØÙkÝ·ß�Ý´Ü�Ö�׬ÛUØ�×��sâ.×kßÖeÞ=ãHØ�âjÞ�ÚYæ=Ø�âjÚkæ=ØH×/Úmè¬â�ã�â.×YÛ8âj×�ÖDñ�# æ=Ý·Ü·Ø/ÚYæ=Ø ��� ��� �.Öe×YÝ�ÖeÚkÝ·âjÞ=Ù¡æ8Ö��.Ø®ÚkæDØQÖeá �.Ö�ÞtÚaÖeåjØ/â��Þ=âjÚ¡æ8Ö��:Ý´ÞDåðÖ�Þtà Ø��tÚYØ�×kÞUÖeÜ)Û8Öe×aÖeß�Ø�ÚkØ�×YÙ¡Úkæ8Ö�Ú¡Þ=Ø�Ø�á3Úkâ �8Ø/âjÛ=ÚkÝ·ß�Ý �HØ�á�çjè¬Ø!ÙkØHØ/Úkæ8Ö�Ú�è(Ø!ã�ÖeÞå.ØHÞ=Ø�×�Ö�Ü·Ü´à�á=â ÖÜ·Ý·ÚkÚkÜ·Ø��UØ�ÚkÚYØ�×��tà�â.Û=ÚYÝ·ßQÝ���Ý·Þ=å/Û8Ö�×�Ö�ßQØ�ÚYØ�×kÙ¡âjÞ�æ=Ø�Ü·á��mâ.ä=Ú¡áUÖeÚ�ÖDñ� mÞ�Ö�á=á=Ý·ÚkÝ·âjÞ�ç:Ý·Þ*ÙYÝ·Úkä8Ö�ÚkÝ·â.Þ=Ù¡è¡æDØ�×kØ/è(Ø/æ8Ö��jØæ=Ø�Ü·á��mâ.äDÚ¡á8ÖeÚaÖ�!:Þ=âeè¡ÞÚkâ��UØ!ÙkÝ·ßQÝ·Ü�Öe×ZÚkâ®Úkæ=Ø/ÚYØ�ÙkÚqá8ÖeÚaÖ=ç:ÚYæ=Ø��.Öe×YÝ�ÖeÚkÝ·âjÞ=Ù?è¡Ý·Úkæ ��×YØ�Ø!Û8Öe×aÖeßQØHÚkØ�×YÙ¡Ùkæ=âjä=Ü·á*áDâè(Ø�Ü·Ü8Ø��jØ�ÞÝ �FÚkæDØ�Úk×aÖeÝ·Þ=Ý·Þ=å®á8ÖeÚaÖ!á=â:Ø�Ù¡Þ=âjÚ¬Ø���Ö�ã�ÚkÜ·à�ß*ÖeÚYãaæ Úkæ=ØqÚkØ�ÙYÚ�á8Ö�Ú�Ö=ñTû¡æ=Ý·Ù(×kâ �Dä=ÙkÚYÞ=Ø�ÙkÙqÝ·Ù¬æ=Ý·åjæ=Ü·Ý´åjæ:ÚkØ�á��âjסÚkæ=Ø�&.óDçyó.ó.ó �òÙYØ�Þ:ÚkØ�ÞDã�Ø!Úk×�Ö�Ý·Þ=Ý·Þ=å�ÙYØ�Ú �s×kâ.ß1Úkæ=Ø�÷�è¡Ý´ÚYãaæ �UâtÖ�×ká�ã�â.×YÛ=ä=Ù�ç Ö�Ù¡á=Ý·Ùkã�ä=ÙYÙkØ�á3Ý´Þ�÷:ØHã�ÚkÝ·â.Þ��Dñ´ëjñ·ë.ñ

� � � � ��� % ��' � * � � �! '� ����� '�)�$&��'�)!%(*

mÞ2ÚYæ=Ý·Ù�ÙYØ�ã�ÚYÝ´âjÞ�ç?è(ØQãHâ.ßQÛUÖe×kØ�Úkæ=Ø�æ=Ø�Ü·á��mâ.ä=Ú ÖeÞDá2á=Ø�Ü·Ø�ÚYØ�á'Ý·ÞtÚYØ�×kÛUâ.Ü�Ö�ÚkÝ·â.Þ��.Ö�×kÝ�ÖeÚYÝ´âjÞ=Ù/â�� �.Ø�Ü·Ý·Þ=Ø�!����Ø�×kãHØ�×Ùkß�â:â.ÚkæDÝ´ÞDå8ñ mÞ �TÝ·å.ä=×YØ � �Dç�è(Ø�á=Ý·ÙkÛ=Ü�ÖBà'Úkæ=Ø�ÛUØ�×���âj×kßÖeÞ=ã�Ø�â��®Úkæ=Ø$�������1�� ��� ������� ���2Ö�Þ=á �������1�� �����������������������������ÖeÜ·åjâ.×kÝ·ÚYæ=ßQÙ âjÞ Úkæ=Ø #�÷l� � ����ï�ã�â.×YÛ=ä=Ù ��â.× �=Ý·å.×aÖe߸ÖeÞ=á®Úk×YÝ´åj×�Ö�ß ßQâ:á=ØHÜ´ÙTâ��.Ø�×(Ö��.Öe×YÝ´ØHÚmàâ��(Úk×�Ö�Ý·Þ=Ý·Þ=å ÙkØ�Ú!ÙYÝ �HØ�Ù�ñ!û¡æ=ØHÙkØ®Úmè¬âÖeÜ·å.âj×kÝ·Úkæ=ß�Ù¬áDÝ � Ø�×qâ.Þ=Ü·àÝ·Þ�Úkæ8Ö�Ú ��������� ��� ������������ä=ÙYØ�Ù!Úkæ=Ø®æ=Ø�Ü·á��mâ.äDÚá8Ö�Ú�Ö3Úkâ�âjÛ=ÚkÝ·ßQÝ���Ø ÚYæ=Ø �Û8Ö�×�Ö�ßQØ�ÚYØ�×kÙBç?è¡æ=Ý·Ü·Ø �������1�� ��� ������� ���������������2�âjÛ=ÚkÝ·ßQÝ���ØHÙ�ÚYæ=Ø �Û8Öe×aÖeßQØHÚkØ�×YÙä=ÙYÝ´ÞDå�á=Ø�Ü·Ø�ÚYØ�á®Ø�ÙkÚYÝ´ßÖeÚYÝ´âjÞ é ���Ð���çBÚkæDØ�Ô·Ð�Ì ��ÐHýkÒ.ÍDÐ�ýkÒjÏ �TÚkØHã�æDÞ=Ý �täDØ�ú�ñ #ùØ?ÙkØHØ¡Úkæ8Ö�Ú �������1�� ���������������(ÛUØ�×���âj×kß�ÙÙkÝ·åjÞ=Ý��8ã�ÖeÞ:ÚYÜ´à �UØ�ÚkÚYØ�×���âj×!Ùkß*Ö�Ü·Ü´ØHסÚk×�Ö�Ý·Þ=Ý·Þ=åQÙYØ�ÚkÙBç �=äDÚ��sâ.×!Ü�Öe×kåjØ/Úk×aÖeÝ·Þ=Ý·Þ=å�ÙkØ�ÚYÙ �������1�� ��� ������� ���������������2�ÛUØ�×���âj×kß�Ù¬ÙYÜ´Ý·åjætÚYÜ·à��8Ø�ÚYÚkØ�×Bñ b �÷:ßQâ:âjÚkæ=Ý·Þ=å!ã�Ö�Þ �UØ �:Ý·Ø�è(Ø�á*Ö�Ù¬ß�â:á=Ø�Ü·Ý·Þ=å!Úkæ=Ø!á=Ý�� Ø�×kØ�ÞDã�Ø/Ý·Þ Þ8ÖeÚYä=×kØ��UØ�Úmè(Ø�Ø�Þ�Ö!ÚY×�Ö�Ý´ÞDÝ´ÞDåðÖ�Þ=á ÚkØ�ÙYÚ�ÙYØ�Ú�ñ

ô�ØHÜ´á �òâjä=Ú�á8Ö�Ú�Ö®Ø��:ÚYØ�×kÞ8Ö�Ü)ÚkâQÚYæ=Ø/ÚY×�ÖeÝ·Þ=Ý·Þ=å áUÖeÚ�ÖMè¡Ý·Ü´Ü ÚYØ�Þ=á�ÚYâ �UØ�ß�â.×YØ�á=Ý�� Ø�×kØ�Þ:Ú���×Yâ.ß�Úkæ=Ø/ÚY×�Ö�Ý´ÞDÝ´ÞDå á8ÖeÚaÖÚkæUÖeÞ2áUÖeÚ�Ö�Úkæ8Ö�Ú�Ý·Ù®á=Ø�Ü·Ø�ÚkØHá���×Yâ.ß Úkæ=Øß�Ý´áDá=Ü·Ø�â���Úkæ=Ø�Úk×�Ö�Ý·Þ=Ý·Þ=å�á8Ö�Ú�Ö=ñ ��Ù âjä=×/Ø��.Ö�Ü´äUÖeÚkÝ·âjÞùÚkØ�ÙYÚ á8ÖeÚaÖÝ·ÙÖeÜ·ÙYâQØ��:ÚkØH×kÞ8Ö�Ü?Úkâ�Úkæ=Ø®Úk×aÖeÝ·Þ=Ý·Þ=åQáUÖeÚ�Ö3é�Ö�Ù�Ý·ÙqÚkæ=Ø®ã�ÖeÙYØ�Ý·Þ�Ö�Û=Û=Ü·Ý·ã�ÖeÚYÝ·â.Þ=Ùaú�ç"�� Ù!Úk×aÖeÝ·Þ=Ø�á ��×kâjß�æ=Ø�Ü·á��mâ.ä=Úqá8ÖeÚaÖß*ÖBà �8ØHÚkÚkØH×�ãaæ8Ö�×�ÖeãHÚkØ�×YÝ �HØQÚkæDØ�Ø��.Ö�Ü·ä8ÖeÚYÝ´âjÞ�ÚkØHÙkÚ/á8Ö�Ú�ÖDñ/û¡æ=Ý·Ù!ß*ÖBà�Ø��:Û=Ü�ÖeÝ·Þ�ÚkæDØ Ùkä=ÛUØ�×kÝ·âj×/Û8ØH×���âj×kß*Ö�Þ=ã�Ø®â���������1�� ���������������âjÞ2ÙkßÖeÜ·Ü·Ø�×/á8Ö�Ú�Ö3ÙkØ�ÚYÙ�ñ #ùØQæ:à:Û8âjÚkæ=ØHÙkÝ���ØÚkæ8Ö�Ú Úkæ=Ø�×kØ�Ö�ÙkâjÞ§è¡æ:à ��������� ��� ������������������������ á=â:Ø�Ù!è(Ø�Ü·Ü�â.ÞÜ�Öe×Yå.Ø�×qá8ÖeÚaÖ®ÙkØ�ÚYÙ!Ý´ÙqÚkæ8Ö�Ú¡â.Þ�Ü�Ö�×kå.ØH×�Úk×aÖeÝ·Þ=Ý·Þ=å®ÙkØ�ÚYÙ�ç áUÖeÚ�Ö®ÚYæ8ÖeÚqÝ·Ù�á=Ø�Ü·Ø�ÚYØ�á ��×Yâ.ß�Úkæ=ØßQÝ·á=áDÜ´Ø¡â��¦ÖÀÚk×aÖeÝ·Þ=Ý·Þ=å/ÙYØ�Ú�Ý·Ù(Ùkä��Qã�Ý·Ø�Þ:ÚYÜ´à�á=Ý��JØH×kØ�Þ:Ú���×Yâ.ß ÚYæ=Ø!×kØ�ßÖeÝ·Þ=á=Ø�×(â��)Úkæ=Ø!á8Ö�Ú�ÖÀÚkæ8Ö�ڡݷڬݷÙ(ÙkÝ·ßQÝ·Ü�Öe×)Ý·Þ2��9��9;@T=�@-G�@T=�<;K87�=�X;5 ��@TG�=�K858Q�9?7�K�WC G�:�AB7�9;:�=�@-G�@TFO:�G�7�@4XR58P F;G�@TS�58:�<;=���:�G��5� '�9;@TP�>OV�)*)��)%�2�58P 7�9;JI7 ��:�G�� ��@RG�@TFO:�G�7�@TX 7�9;J�79;@TK8X�� :�<;7�@T=�7�58AUJ�7�58:IPU58==�<;FZ@TG�58:�G4[�:'��@TSI@TG4>?58P 7�9;JI7 ��:�G,� ��@ X;58X P;:I7<;=�@�7�G�J�58P;58P;Q�=�@T7�=JI=K8J�G�Q�@!J�=7�9;:�=�@!58P 7�9;58= ��:�G��Z>=�:R7�9;J�7 ��@�X;58XUP;:�7�:�H;=�@TG�S�@7�9;@ �TG�:�=�= � :NS�@TGMFZ:�58P�7�58P FZ@4G C :�G�AUJIP �T@N[

�tó

Page 41: Chen & Goodman - Peopleklein/cs294-5/chen_goodman.pdf · Úkâ!ü òåj× Ö ß ßQâ:á=Ø Ü·Ù ÖeÞDá/Ùkß âtâjÚkæ=Ý·Þ=åUç Ö Þ=á/ÙkäD× .ØHà/Úkæ=Ø(ßQâjÙkÚ

-0.2

-0.15

-0.1

-0.05

0

100 1000 10000 100000 1e+06 1e+07

diff

in te

st c

ross

-ent

ropy

fro

m b

asel

ine

(bits

/toke

n)

training set size (sentences)

relative performance of algorithms on WSJ/NAB corpus, 2-gram

jelinek-mercer-baseline

kneser-ney

kneser-ney-fix

-0.25

-0.2

-0.15

-0.1

-0.05

0

0.05

100 1000 10000 100000 1e+06 1e+07di

ff in

test

cro

ss-e

ntro

py f

rom

bas

elin

e (b

its/to

ken)

training set size (sentences)

relative performance of algorithms on WSJ/NAB corpus, 3-gram

jelinek-mercer-baseline

kneser-ney

kneser-ney-fix

�TÝ·å.ä=×YØ�ë�íF� �TØ�×���â.×Yß*ÖeÞDã�ØQ×YØ�Ü�ÖeÚkÝ �jØ Úkâ �8Ö�ÙkØ�Ü·Ý·Þ=Ø�â�� ������������������ÖeÞDá ���������������������0����ÖeÜ·å.âj×kÝ·ÚkæDßQÙ�âjÞ#�÷�� � ����ï ã�âj×kÛ=äDÙ�ç �=Ý·å.×aÖeß ÖeÞ=áÚY×kÝ·å.×aÖeß ß�âtáDØ�Ü·Ù

-0.15

-0.1

-0.05

0

100 1000 10000 100000

diff

in te

st c

ross

-ent

ropy

fro

m b

asel

ine

(bits

/toke

n)

training set size (sentences)

relative performance of algorithms on Switchboard corpus, 2-gram

jelinek-mercer-baseline

kneser-ney

kneser-ney-fix

-0.2

-0.15

-0.1

-0.05

0

0.05

0.1

0.15

100 1000 10000 100000

diff

in te

st c

ross

-ent

ropy

fro

m b

asel

ine

(bits

/toke

n)

training set size (sentences)

relative performance of algorithms on Switchboard corpus, 3-gram

jelinek-mercer-baseline

kneser-ney

kneser-ney-fix

�TÝ·å.ä=×YØ�ë�ìF� �TØ�×���â.×Yß*ÖeÞDã�ØQ×YØ�Ü�ÖeÚkÝ �jØ Úkâ �8Ö�ÙkØ�Ü·Ý·Þ=Ø�â�� ������������������ÖeÞDá ���������������������0����ÖeÜ·å.âj×kÝ·ÚkæDßQÙ�âjÞ÷:è¡Ý·Úkãaæ��UâtÖe×Yáã�â.×YÛ=ä=Ù�ç��=Ý·å.×aÖeß Ö�Þ=áÚk×kÝ·åj×�Öeß1ßQâ:á=Ø�Ü·Ù

�8ë

Page 42: Chen & Goodman - Peopleklein/cs294-5/chen_goodman.pdf · Úkâ!ü òåj× Ö ß ßQâ:á=Ø Ü·Ù ÖeÞDá/Ùkß âtâjÚkæ=Ý·Þ=åUç Ö Þ=á/ÙkäD× .ØHà/Úkæ=Ø(ßQâjÙkÚ

-0.2

-0.15

-0.1

-0.05

0

100 1000 10000 100000 1e+06 1e+07

diff

in te

st c

ross

-ent

ropy

fro

m b

asel

ine

(bits

/toke

n)

training set size (sentences)

relative performance of algorithms on WSJ/NAB corpus, 2-gram

jelinek-mercer-baseline

kneser-ney-mod

kneser-ney-mod-fix

-0.25

-0.2

-0.15

-0.1

-0.05

0

100 1000 10000 100000 1e+06 1e+07di

ff in

test

cro

ss-e

ntro

py f

rom

bas

elin

e (b

its/to

ken)

training set size (sentences)

relative performance of algorithms on WSJ/NAB corpus, 3-gram

jelinek-mercer-baseline

kneser-ney-mod

kneser-ney-mod-fix

�TÝ·å.ä=×YØ �.ó7���TØ�×���â.×Yß*Ö�Þ=ã�Ø®×kØ�Ü�ÖeÚYÝ �.Ø Úkâ �8Ö�ÙkØ�Ü·Ý·Þ=Ø â�� ������ ������������ ��(��*ÖeÞDá ������ ������������ ��(������0���QÖeÜ·å.â��×kÝ·ÚYæ=ßQÙ(â.Þ #�÷�� ����qï�ã�âj×kÛ=äDÙ�ç �DÝ´åj×�Ö�ß ÖeÞ=áÚY×kÝ·å.×aÖeß ß�âtáDØ�Ü·Ù

-0.2

-0.15

-0.1

-0.05

0

100 1000 10000 100000

diff

in te

st c

ross

-ent

ropy

fro

m b

asel

ine

(bits

/toke

n)

training set size (sentences)

relative performance of algorithms on Switchboard corpus, 2-gram

jelinek-mercer-baseline

kneser-ney-mod

kneser-ney-mod-fix

-0.2

-0.15

-0.1

-0.05

0

100 1000 10000 100000

diff

in te

st c

ross

-ent

ropy

fro

m b

asel

ine

(bits

/toke

n)

training set size (sentences)

relative performance of algorithms on Switchboard corpus, 3-gram

jelinek-mercer-baseline

kneser-ney-mod

kneser-ney-mod-fix

�TÝ·å.ä=×YØ �=ë����TØ�×���â.×Yß*Ö�Þ=ã�Ø®×kØ�Ü�ÖeÚYÝ �.Ø Úkâ �8Ö�ÙkØ�Ü·Ý·Þ=Ø â�� ������ ������������ ��(��*ÖeÞDá ������ ������������ ��(������0���QÖeÜ·å.â��×kÝ·ÚYæ=ßQÙ(â.Þ÷:è¡Ý·Úkãaæ��8â:Öe×káã�âj×kÛ=äDÙ�ç �=Ý·å.×aÖeß ÖeÞ=áÚY×kÝ·å.×aÖeß ß�âtáDØ�Ü·Ù

� �

Page 43: Chen & Goodman - Peopleklein/cs294-5/chen_goodman.pdf · Úkâ!ü òåj× Ö ß ßQâ:á=Ø Ü·Ù ÖeÞDá/Ùkß âtâjÚkæ=Ý·Þ=åUç Ö Þ=á/ÙkäD× .ØHà/Úkæ=Ø(ßQâjÙkÚ

-0.1

-0.05

0

0.05

0.1

100 1000 10000 100000

diff

in te

st c

ross

-ent

ropy

fro

m b

asel

ine

(bits

/toke

n)

training set size (sentences)

relative performance of algorithms on WSJ/NAB corpus, 2-gram

jelinek-mercer-baseline

jelinek-mercer

jelinek-mercer-delest

-0.12

-0.1

-0.08

-0.06

-0.04

-0.02

0

0.02

0.04

100 1000 10000 100000

diff

in te

st c

ross

-ent

ropy

fro

m b

asel

ine

(bits

/toke

n)

training set size (sentences)

relative performance of algorithms on WSJ/NAB corpus, 3-gram

jelinek-mercer-baseline

jelinek-mercer

jelinek-mercer-delest

�TÝ·å.ä=×YØ � �7� �TØ�×���â.×Yß*ÖeÞDã�Ø�×kØHܾÖ�ÚkÝ �.Ø3Úkâ �8ÖeÙYØ�Ü·Ý·Þ=Ø�â�� �������1������ �����������2ÖeÞDá �������1�� ��� ������� ���������������2�ÖeÜ·åjâ.×kÝ·ÚYæ=ßQÙ?âjÞ #�÷l� � ����ï»ã�â.×YÛ=ä=ÙBç �=Ý·å.×aÖeß Ö�Þ=áQÚY×kÝ·å.×aÖeß�ßQâ:á=Ø�Ü·Ù

Þ8Ö�Úkä=×YØ�ÚkâÀæ=Ø�Ü·á��mâ.ä=Ú(á8ÖeÚaÖ=ñTû¡æ:ä=Ù�çjÚkæ=ØqÛ=×kØHã�Ø�á=Ý·Þ=å Ø/� Ø�ã�Ú¡Ý·Ù?Ü·Ø�ÙYÙ¬ÛD×kâ.ÞDâ.ä=Þ=ãHØ�á�ç8Ö�Þ=á ÛUØ�×kæ8Ö�Û=Ù��8Ø�ãBÖeä=ÙYØ/â�� Úkæ=ØÜ�Öe×Yå.Ø�×�Ö�ßQâ.äDÞtÚ(â��)á8ÖeÚaÖ®ä=ÙkØHá�ÚYâ â.Û=ÚYÝ´ß�Ý���Ø�Û8Ö�×�Ö�ßQØ�ÚYØ�×kÙBç=ÚkæDØ�ÛUØ�×���â.×Yß*ÖeÞDã�Ø/â�� �������1�� ��� ������� ���������������2��UØ�ã�â.ß�Ø�Ù ÙkäDÛ8Ø�×YÝ·â.×�ñ'ôqâeè¬Ø��.Ø�×Bç?ÚkæDØ*Ý·ß�Û=Ü·Ø�ßQØ�Þ:ÚaÖeÚkÝ·âjÞ �������1�� ��� ������� ���������������2�á=â:Ø�Ù�Þ=â.Ú®ã�âjßQÛ=Ü·Ø�ÚYØ�Ü·àãaæ8Öe×aÖeã�ÚYØ�×kÝ���Ø ÚYæ=Ø ÚkØHã�æDÞ=Ý �täDØ�â��¬á=Ø�Ü·Ø�ÚYØ�áùÝ·ÞtÚYØ�×kÛUâ.Ü�Ö�ÚkÝ·â.Þ�ÖeÙ!è(Ø/á=âÞ=âjÚ��.Öe×YàÚkæ=Ø®ÙkÝ���Ø â��¬Úkæ=Ø®ãaæ:ä=Þ !:Ù!Úkæ8Ö�ÚÖe×YØ!á=Ø�Ü·Ø�ÚkØHá�ñ

#�� �!�-��-��' �-�f'��!�-��-�N�L����� ��*>�* mÞQâj×ká=ØH×�Úkâ®Û8Ö�Ý´Þ:Ú¡Ö/ß�â.×YØ�á=Ø�ÚaÖeÝ·Ü·Ø�áQÛDÝ´ãHÚkä=×YØ�â��FÚYæ=Ø!Û8Ø�×���â.×Yß*Ö�Þ=ã�Ø!â�� �.Ö�×kÝ·â.ä=Ù¡ÖeÜ·åjâ.×kÝ·ÚYæ=ßQÙBçeÝ·Þ=ÙkÚYØ�Öeáâ�� �aä=ÙYÚÜ·â:â !:Ý·Þ=å/ÖeÚ?ÚYæ=Ø�â��jØ�×�Ö�Ü´ÜDã�×kâjÙkÙ��mØ�Þ:Úk×Yâ.Û:à â��FÖ�ÚkØ�ÙYÚ¬ÙYØ�Ú�ç:è(Ø�Û8Ö�×kÚYÝ´ÚYÝ·â.Þ®ÚkØ�ÙYÚ¬ÙYØ�ÚkÙ�Ö�ã�ã�â.×Yá=Ý·Þ=å/ÚYâ/æ=âeè'â���ÚYØ�Þ Ø�Ö�ã�æü��må.×�Ö�ß Ý·Þ®Úkæ=Ø¡ÚYØ�ÙkÚ(ÙkØ�ÚZâtãHã�ä=×k×YØ�áQÝ·Þ ÚYæ=Ø¡Úk×aÖeÝ·Þ=Ý·Þ=å�áUÖeÚ�ÖDçtÖ�Þ=á®Ø��=ÖeßQÝ·Þ=ØZÛ8Ø�×���â.×Yß*Ö�Þ=ã�Ø¡è¡Ý·Úkæ=Ý·Þ/ØBÖeãaæQâ��JÚYæ=Ø�ÙkØÛ8Ö�×kÚkÝ·ÚYÝ´âjÞ=Ù�ñ��â.×YØ/ÙkÛUØ�ã�Ý��8ãBÖeÜ·Ü·àtçDÚkæ=Ø/ãH×kâ.ÙYÙ��mØ�Þ:Úk×Yâ.Û:à�â��¬Ö�Þ�ü��òåj×�Ö�ß ßQâ:á=Ø�Ü7*â��¬Ö ÚkØHÙkÚ�ÙYØ�Ú(� Ö�Ù�Ø��:Û=×YØ�ÙkÙYØ�áÝ·ÞQØ��:ä8Ö�ÚkÝ·â.Þùé@�.ú(ã�Ö�Þ �UØ!×kØ�è¡×YÝ·ÚkÚkØHÞ Ö�Ù

� é���ú ^*�ë� �

�� ��

�������� �øé-a oo m����Ob ú:Ü·âjå i *�é@a o j a o mObo m����Ob ú

è¡æ=Ø�×YØÚkæ=Ø�Ùkä=ß ×�Ö�Þ=å.ØHÙ�â��jØ�×ðÖ�ܷܬü��òåj×�Ö�ßQÙ/ÖeÞ=á � � é@a oo m����Ob ú!Ý·Ù�ÚYæ=ØQÞ:ä=ß��UØ�×/â���âtãHã�ä=×k×YØ�Þ=ã�ØHÙQâ���ÚYæ=Ø*ü��å.×aÖeß a oo m����Ob Ý·ÞQÚYæ=Ø/ÚYØ�ÙkÚqá8ÖeÚaÖ=ñ� mÞDÙkÚkØBÖeá�â��FÙkäDßQßQÝ·Þ=å!â��jØ�×/ÌeÔ�Ô?ü��må.×�Ö�ßQÙBç.ã�âjÞ=ÙkÝ·á=ØH×�ÙYä=ßQß�Ý·Þ=å!â.Þ=Ü·à â��.ØH×ü��må.×�Ö�ßQÙ?è¡Ý·ÚYæ*Ø���Ö�ã�ÚkÜ·à � ã�âjä=Þ:ÚkÙ¡Ý·ÞÚkæ=Ø!ÚY×�ÖeÝ·Þ=Ý·Þ=å®á8Ö�Ú�Ö=ç��sâ.סÙkâjßQØ � î ���Ð���ç.ãHâ.Þ=ÙYÝ´áDØ�×�ÚYæ=Ø��.ÖeÜ·ä=Ø� � �.é ��ú ^ � ë

� ��

� ��������� � � � � �� �������

� p � � �¡é-a oo m����Ob ú:Ü·â.å i *�é-a o j a o mDbo m����Ob ú é ���jú

û¡æ=Ø�ÞTç.è(جß�Ý·å.æ:Ú ã�â.ß�Û8Öe×YØ?ÚkæDØ �.Ö�Ü´äDØ�Ù)â�� � � � é���ú �UØ�Úmè(Ø�Ø�Þ�ßQâ:á=Ø�Ü·ÙV* ��â.×)Ø�Ö�ãaæ � Úkâ!à:Ý´ØHÜ´á®Ö�ß�â.×YØ?á=Ø�ÚaÖeÝ·Ü·Ø�áÛ=Ý·ã�ÚYä=×kØ/â��FÛUØ�×��sâ.×kßÖeÞ=ãHØ.ñô�âeè(Ø��.ØH×�ç(Úkæ=ØH×kØ�Öe×YØ*Úmè(â�âj×kÚkæDâ.å.âjÞ8ÖeÜ(ã�âjßQÛUâ.Þ=Ø�Þ:ÚYÙ�ÚYæ8ÖeÚ á=ØHÚkØ�×YßQÝ·Þ=ØQÚYæ=Ø �.ÖeÜ·ä=Ø�� � �.é���ú�ç¬Ö�Þ=á2ݷڮݷÙÝ·Þ���âj×kß*Ö�ÚkÝ �.ØqÚkâÙkØHÛ8Öe×aÖeÚkØ�Úkæ=ØHß�ñ �TÝ·×kÙkÚBç ÚkæDØ�×kØ�Ý´Ù!ÚYæ=Ø�ÚYâ.ÚaÖeÜ?Û=×Yâ �8Ö��=Ý·Ü·Ý´Úmà�ß*Ö�ÙkÙ�� � �:é ��úqÚkæUÖeÚ/Ö�ßQâ:á=Ø�ÜA*

� &

Page 44: Chen & Goodman - Peopleklein/cs294-5/chen_goodman.pdf · Úkâ!ü òåj× Ö ß ßQâ:á=Ø Ü·Ù ÖeÞDá/Ùkß âtâjÚkæ=Ý·Þ=åUç Ö Þ=á/ÙkäD× .ØHà/Úkæ=Ø(ßQâjÙkÚ

ä=ÙYØ�Ù�ÚYâ Û=×kØ�áDÝ´ãHÚ�ü��må.×�Ö�ßQÙ?è¡Ý·ÚYæ*Ø���Ö�ã�ÚkÜ·à � ã�â.äDÞtÚYÙ�åjÝ�jØ�ÞQÚYæ=Ø/æ=Ý·ÙYÚkâ.×YÝ·Ø�Ù¡Ý·ÞQÚkæDØ/ÚkØ�ÙYÚ�ÙYØ�Ú�ç ���Ð���ç:Úkæ=Ø��.Ö�Ü´äDØ� � �:é ��ú ^ �

� ��������� � � � � �� �������

� p � � �¡é-a o mObo m����Ob úh*Té-a o j a o mDbo m����Ob ú��Þ�Ý·ÞtÚYØ�×kÛD×kØ�ÚaÖeÚkÝ·âjÞ2â���ÚYæ=Ø �.Ö�Ü·ä=Ø � � �.é ��úÀÝ·Ù�ÚYæ=Ø�ÐN��=Ð�� �sÐaÓ �aÒjÏtÍ��/Ý·Þ2ÚYæ=ØQÚYØ�ÙkÚ®ÙkØ�Ú �¸â���ü��òåj×�Öeß�Ù!è¡Ý´ÚYæ� ã�â.äDÞtÚYÙ�ÖeãHã�â.×Yá=Ý·Þ=å�Úkâß�âtáDØ�Ü5*�çTå.Ý �.Ø�Þ�ÚkæDØ æ=Ý·ÙkÚkâj×kÝ·Ø�ٮݷÞ�ÚYæ=Ø ÚkØ�ÙYÚ�ÙYØ�Ú�ñ má=Ø�Ö�Ü·Ü´à:ç ÚYæ=Ø��.ÖeÜ·ä=Ø®â�� � � � é���úÙkæDâ.ä=Ü·á�ß*ÖeÚYãaæ*ÚYæ=ØQÖeãHÚkä8Ö�ÜFÞ:ä=ß��UØ�×qâ��øü��må.×aÖeßQÙqÝ·Þ�Úkæ=Ø®ÚkØHÙkÚ/ÙYØ�Ú�� ÚYæ8ÖeÚqæ8Ö��.Ø � ãHâ.ä=Þ:ÚkÙ!Ý·Þ�ÚYæ=Ø Úk×aÖeÝ·Þ=Ý·Þ=åá8Ö�Ú�Ö=ç � � é ��úHç=è¡æ=Ø�×YØ

� �.é ��ú ^ �� ��

������� � � � � �� �������� p � � �øé-a oo m����Ob ú

û¡æ=Ø��.ÖeÜ·ä=Ø � � �.é ��ú(Ý·Ù(Û=×kâjÛ8âj×kÚkÝ·âjÞ8ÖeÜ ÚYâ�ÚYæ=Ø/Ö��.Ø�×aÖeå.Ø!Û=×Yâ �8Ö��=Ý·Ü·Ý´Úmà ÖÀßQâ:á=Ø�Ü�**Ö�ÙkÙYÝ´åjÞ=Ù¡Úkâ ü��må.×�Ö�ßQÙ?è¡Ý·ÚYæ �ã�âjä=Þ:ÚkÙ�îUÖeÞ�ÖeÜ·åjâ.×kÝ·ÚYæ=߸è¡Ý´ÚYæ*Ö®Ü�Öe×Yå.Ø�× � � �:é ��ú(è¡Ý·Ü·Ü8ÚYØ�Þ=á�ÚYâ�æUÖ��.Ø/ܷ֮âeè¬Ø�× � � �.é ��úHñ��âeè/ç:ã�âjÞ=ÙkÝ·á=ØH×�Ö/ß�Ø�Úk×YÝ´ãqÙkÝ·ßQÝ·Ü�Öe×)ÚYâ � � � é���ú(è¡æ=Ø�×kØÀè¬Ø �òÖeã�ÚYâ.סâjä=Ú¬ÚYæ=Ø!ã�â.Þ:ÚY×kÝ �=ä=ÚYÝ´âjÞQâ�� � � � é���ú�ç:ÙYâÚkæUÖeÚ�Ö�Ü´åjâ.×YÝ´ÚYæ=ßQÙ¡è¡Ý·ÚYæ Ö�Ü�Öe×Yå.Ø�× � � � é���ú!è¡Ý·Ü·ÜFÞDâ.Ú/ÚYØ�Þ=áùÚkâ×YØ�ã�Ø�Ý �.ØÖ �UØ�ÚkÚYØ�×�ÙYã�â.×YØ.ñ�û¡æ8ÖeÚ!Ý·Ù�çTã�â.ÞDÙkÝ·á=Ø�×Ö ß�Ø�Úk×YÝ·ã�è¡æ=ØH×kØ è(Ø�ÙYã�ÖeÜ·Ø®Û=×kâ��8Ö��=Ý·Ü·Ý·ÚkÝ·Ø�ÙqÙkâQÚYæ8ÖeÚ/Ö�Ü´Ü?Ö�Ü´åjâ.×YÝ´ÚYæ=ßQÙ(á=Ø��jâ.ÚYØ Úkæ=Ø®Ù�Ö�ßQØ/ÚYâ.Ú�Ö�Ü)Û=×kâ��8Ö��=Ý·Ü·Ý·ÚmàQÚYâü��må.×�Ö�ßQÙ?è¡Ý·ÚYæ � ã�âjä=Þ:ÚkÙ���âjסØ�Öeãaæ � ñ mÞÛ8Öe×YÚkÝ·ã�ä=Ü�Öe×Bç:è¬Ø!ä=ÙYØ/ÚkæDØ �.Ö�Ü·ä=Ø

� � � � é ��ú(^ � ë���

�� ��

������� � � � � �� �������� p � � �¡é-a oo m����Ob ú:Ü·â.å i � �.é���ú

� � �té���ú *�é@a o j a o mDbo m����Ob úû¡æ=Ý·Ù¡Ý·Ù¡ÙkÝ·ßQÝ·Ü�Öe×)ÚYâ á=Ø/�8Þ=Ý·Þ=å ÖeÞùé Ý´ß�Û=×kâjÛ8ØH×�úZá=Ý·ÙkÚk×YÝ �=ä=ÚkÝ·âjÞ

* � é-a o j a o mObo m����Ob úd^ � � é ��ú� � �:é ��ú *Té-a o j a o mDbo m����Ob ú

è¡æ=Ø�×YØ�è(Ø�Ö�×kØ�Ö�ÙkÙkäD×kØ�á � � � � é ��úf^ � � é���ú�Ö�Ù¡Ý´ÙqÝ·á=Ø�ÖeÜmçUÖeÞ=áã�Ö�Ü´ãHä=Ü�ÖeÚkÝ·Þ=å ÚYæ=Ø/ÛUØ�×��sâ.×kßÖeÞ=ãHØ � � � � é���ú���âj×ÚkæDÝ´ÙqÞ=Ø�è ß�âtáDØ�Ümñ���ÙqÚkæ=ØÀßQØ�Ö�Ùkä=×YØ�� � � � é ��úqÖeÙkÙYä=×kØHÙ�ÚYæ8ÖeÚqØ�Öeãaæ�ß�â:á=Ø�Ü Û=×YØ�á=Ý·ã�ÚkÙ!Ø�Ö�ãaæ�ã�â.äDÞtÚ � è¡Ý·ÚkæÚkæ=ØÙ�Ö�ßQØ¡ÚYâ.Ú�Ö�Ü=ß*Ö�ÙkÙBç.ÚYæ=Ý·Ù��.ÖeÜ·ä=Ø �aäDÙkÚ?ß�Ø�ÖeÙYä=×kØ�Ù(æ=âeè'è(Ø�Ü·ÜJÖ!ß�â:á=Ø�Ü=á=Ý·ÙYÚk×kÝ �=äDÚkØ�Ù(Ý·ÚkÙ(Û=×kâ��8Ö��=Ý·Ü·Ý·Úmà/ß*Ö�ÙkÙ?Öeß�â.Þ=åü��må.×�Ö�ßQÙ?è¡Ý·ÚYæ*ÚYæ=Ø!Ù�Ö�ßQØ�ãHâ.ä=Þ:Ú�ñû)â�×YØ�ã�ÖeÛTç8è(Ø!ã�ÖeÞä=ÙYØ!Úkæ=Ø/ß�Ø�ÖeÙYä=×kØ � � �té���ú(Úkâ á=Ø�ÚYØ�×kß�Ý·Þ=Ø!æ=âeè è(Ø�Ü·Ü�Ö®ÙkßQâ:âjÚkæ=Ø�á�ßQâ:á=Ø�Ü�*�ÖeÙYÙkÝ·å.ÞDÙÛ=×Yâ �8Ö��=Ý·Ü´Ý·ÚYÝ´ØHÙ/â.Þ Ö��.ØH×�ÖeåjØQÚYâ ü��må.×aÖeßQÙÀè¡Ý´ÚYæ � ãHâ.ä=Þ:ÚkÙ�Ý·Þ2ÚkæDØ*ÚY×�Ö�Ý´ÞDÝ´ÞDå�á8ÖeÚaÖ=î(Ý·Þ2Û8Ö�×kÚYÝ´ãHä=Ü�Öe×�çZè¬Ø�èøÖ�Þ:Ú

� ��� � � �� � � � é â.סÚYæ=Ø�×aÖeÚkÝ·â �8ØHÚmè¬Ø�ØHÞ�Ø��:Û8ØHã�ÚkØ�á�ÖeÞ=áÖeã�ÚYä8ÖeÜ ã�âjä=Þ:ÚkÙ(Ý·ÞQÚkæDØ�ÚY×�Ö�Ý´ÞDÝ´ÞDå/á8ÖeÚaÖ.úZÚkâ �8Ø!Þ=ØBÖe×!ë ��âj×øÖ�Ü·Ü� ñqû¡æ=Ø �.Ö�Ü·ä=Ø�� � � � é ��ú�ç�è¡æ=Ý·ã�æ3è¬Ø/×YØ ��Ø�×ÀÚkâ*Ö�Ù�Í=Òjþ�Ñ®ÌeÔ ��ÐaÓ �BþkÒeÕaÕaýkÐBÍ ��þYÒ����Qâj×�Í=Òjþ�Ñ�Ì�Ô �BÐaÓ ��ÐBþ � Òjþ�Ñ®Ì.Í��aÐBçßQØBÖeÙkäD×kØ�Ù!æ=âeè è(Ø�Ü·ÜFÖMÙkßQâ:âjÚkæ=Ø�á3ßQâ:á=Ø�ÜA*�á=Ý·ÙkÚY×kÝ �=ä=ÚYØ�Ù!Û=×kâ��8Ö��DÝ´Ü·Ý·ÚkÝ·Ø�Ù �UØ�Úmè(Ø�Ø�Þ2ü��må.×aÖeßQÙ¡è¡Ý·ÚYæ�Úkæ=Ø®Ù�Ö�ßQØã�âjä=Þ:Ú�î8Ö�Ù¡è¡Ý·ÚkæQãH×kâ.ÙYÙ��mØ�Þ:Úk×Yâ.Û:àtçDÚkæ=ØÀÜ´âeè(Ø�×(Úkæ=Ø �8Ø�ÚYÚkØ�×Bñ

#ùØ�×aÖeÞ�Ø��:Û8ØH×kÝ·ßQØ�Þ:ÚYÙ�è¡Ý·ÚYæ�ã�âjä=Þ:Ú����:à �mã�âjä=Þ:Ú�Ö�Þ8ÖeÜ·à:ÙkÝ·Ù ��â.×!Úmè(â*ÚY×�Ö�Ý´ÞDÝ´ÞDåQÙkØHÚ/ÙkÝ���Ø�ÙBç%&jó=çyó.ójó®ÙkØ�Þ:ÚYØ�Þ=ã�Ø�Ùé�Ö��8âjä=Ú ���jó=çyó.ójó?è(â.×Yá=Ù�ú)ÖeÞDá &Dç �jó.óDç ójó.óZÙkØ�Þ:ÚYØ�Þ=ã�Ø�Ù!é�Ö��8âjä=Ú �]�qßQݷܷܴݲâ.Þqè¬âj×ká=Ùaú�çeâjÞ/Úkæ=Ø�#�÷�� � ����ï2ãHâ.×kÛDä=Ù�ñ#ùØ)ä=ÙkØHáðÖ�ÚkØ�ÙYÚ�ÙkØHÚFâ��8Ö��Uâ.ä=Ú(ë�ó(ßQÝ·Ü·Ü·Ý·â.Þ¡è(â.×káDÙ�î.Ö(Ü�Öe×Yå.Ø�×TÚkØ�ÙYÚ)ÙkØ�ÚTèøÖ�Ù�á=Ø�ÙYÝ·×�Ö��DÜ´Ø �8Ø�ãBÖeä=ÙYØ¡â��=Úkæ=ØZÙkÛ8Ö�×kÙkØHÞ=Ø�ÙkÙâ��?ü��òåj×�Ö�ßQÙ(è¡Ý´ÚYæQØ��=Ö�ã�ÚkÜ·à � ã�âjä=Þ:ÚkÙ���âjסܾÖ�×kåjØ�× � ñ������ ��� � �� '� �� �HÕ"� ��� '������ ��%(� *�' ) � !( � ���!� mÞ:�TÝ·å.ä=×YØ � &DçUè¬Ø/áDÝ´ÙYÛ=Ü�ÖBàQÚYæ=Ø�×aÖeÚYÝ´â â��¬Ø��:ÛUØ�ã�ÚkØHáùÚkâ*Ö�ã�ÚkäUÖeÜ�ãHâ.ä=Þ:ÚkÙ � ��� � � �� � � � �sâ.×��.Ö�×kÝ·â.äDÙ�ÖeÜ·å.âj×kÝ·Úkæ=ß�Ù¬âjÞÚkæDØ�Ü�Ö�×kå.ØHסÚk×�Ö�Ý·Þ=Ý·Þ=å�ÙYØ�Ú���âj× �=Ý·åj×�Öeß�ÖeÞ=áÚk×YÝ·å.×�Ö�߸ßQâ:á=Ø�Ü·Ù ��â.×(Ü·âeè ã�â.äDÞtÚYÙ � � �=ñ mÞ��TÝ·å.ä=×YØ ��8çjè¬Ø!æ8Ö��jØÚkæDØ�ÖeÞ8Ö�Ü·â.å.âjä=Ù¡å.×aÖeÛ=æDÙ ��âjסæ=Ý·å.æ=Ø�×qã�â.äDÞtÚYÙ � � � �>�:ó=ñ b ���Dâ.×�Ü·âeè»ã�â.äDÞtÚYÙ�çUè(Ø/ÙkØ�Ø®ÚkæUÖeÚ�ÚYæ=Ø�Ö�Ü´åjâ.×YÝ´ÚYæ=ßQÙ2�( � :�G�7�9;@ �T@4G�:&���4:�<;P?7��4J�=�@I> ��@!@ ���4K8<;X;@�7�9;:�=�@"� � Q�G�JIAU=�� !!$#�: 8�2 C :IG���9;5�L9 7�9;@ �T:�G�G�@4=�FO:�P;X;58P�Q9;58=�7�:�G�� � !*# 2!*#�: 8�2 9;J�=�P;:

�T:I<;P?7�=T>�� � ��� >�C :�G ��9;5�L9 x * �@? � � !*# 2!$#�: 8�2 �"!�%�� +;[

���

Page 45: Chen & Goodman - Peopleklein/cs294-5/chen_goodman.pdf · Úkâ!ü òåj× Ö ß ßQâ:á=Ø Ü·Ù ÖeÞDá/Ùkß âtâjÚkæ=Ý·Þ=åUç Ö Þ=á/ÙkäD× .ØHà/Úkæ=Ø(ßQâjÙkÚ

0.6

0.8

1

1.2

1.4

1.6

1.8

2

0 1 2 3 4 5

expe

cted

cou

nt /

actu

al c

ount

count

ratio of expected to actual counts, 2-gram, 75M words training

idealjelinek-mercer-baseline

jelinek-mercerwitten-bell-backoff

katzkneser-ney-mod

kneser-neyabs-disc-interp

0.6

0.8

1

1.2

1.4

1.6

1.8

2

2.2

2.4

0 1 2 3 4 5

expe

cted

cou

nt /

actu

al c

ount

count

ratio of expected to actual counts, 3-gram, 75M words training

idealjelinek-mercer-baseline

jelinek-mercerwitten-bell-backoff

katzkneser-ney-mod

kneser-neyabs-disc-interp

�TÝ·å.ä=×YØ � &F� ��Ö�ÚkÝ·â®â��¬Ø��:ÛUØ�ã�ÚYØ�á�Þ:ä=ß��UØ�סÚYâ*ÖeãHÚkä8Ö�Ü�Þ:ä=ß��UØ�סݷÞ�ÚkØ�ÙYÚ!ÙkØ�Úqâ��¬ü��òåj×�Ö�ßQÙ¡è¡Ý·Úkæ�Ö®å.Ý �jØ�Þ�ã�âjä=Þ:ÚÝ·Þ2ÚY×�ÖeÝ·Þ=Ý·Þ=å�á8Ö�Ú�Ö ��âj× �.Ö�×kÝ·â.ä=Ù ÙYßQâ:â.ÚYæ=Ý·Þ=å�Ö�Ü´åjâ.×YÝ´ÚYæ=ßQÙBç�Ü·âeè ãHâ.ä=Þ:ÚkÙBç�#�÷�� ����qï ã�âj×kÛ=äDÙ�ç��=Ý·å.×aÖeß Ö�Þ=áÚk×YÝ·å.×�Ö�ß ßQâ:á=ØHÜ´Ù

0.8

0.9

1

1.1

1.2

1.3

1.4

1.5

5 10 15 20 25 30 35

expe

cted

cou

nt /

actu

al c

ount

count

ratio of expected to actual counts, 2-gram, 75M words training

idealabs-disc-interp

kneser-neykneser-ney-mod

katzjelinek-mercer-baseline

jelinek-mercerwitten-bell-backoff

0.8

0.9

1

1.1

1.2

1.3

1.4

1.5

5 10 15 20 25 30 35

expe

cted

cou

nt /

actu

al c

ount

count

ratio of expected to actual counts, 3-gram, 75M words training

idealabs-disc-interp

kneser-neykneser-ney-mod

katzjelinek-mercer-baseline

jelinek-mercerwitten-bell-backoff

�TÝ·å.ä=×YØ � �A� ��Ö�ÚkÝ·â®â��¬Ø��:ÛUØ�ã�ÚYØ�á�Þ:ä=ß��UØ�סÚYâ*ÖeãHÚkä8Ö�Ü�Þ:ä=ß��UØ�סݷÞ�ÚkØ�ÙYÚ!ÙkØ�Úqâ��¬ü��òåj×�Ö�ßQÙ¡è¡Ý·Úkæ�Ö®å.Ý �jØ�Þ�ã�âjä=Þ:ÚÝ·ÞùÚk×aÖeÝ·Þ=Ý·Þ=å�á8Ö�Ú�Ö �sâ.×��.Ö�×kÝ·â.ä=ÙÀÙkßQâ:âjÚkæ=Ý·Þ=å�ÖeÜ·åjâ.×kÝ·ÚYæ=ßQÙBç8æDÝ´åjæùã�â.äDÞtÚYÙ�ç #�÷�� ����qï ãHâ.×kÛDä=Ù�ç �=Ý·å.×�Ö�ß Ö�Þ=áÚk×YÝ·å.×�Ö�ß ßQâ:á=ØHÜ´Ù

���

Page 46: Chen & Goodman - Peopleklein/cs294-5/chen_goodman.pdf · Úkâ!ü òåj× Ö ß ßQâ:á=Ø Ü·Ù ÖeÞDá/Ùkß âtâjÚkæ=Ý·Þ=åUç Ö Þ=á/ÙkäD× .ØHà/Úkæ=Ø(ßQâjÙkÚ

0

0.5

1

1.5

2

1 3 5 7 9 11 13

aver

age

corr

ect d

isco

unt

original count

1M words training

trigram

bigram

0

0.5

1

1.5

2

1 3 5 7 9 11 13

aver

age

corr

ect d

isco

unt

original count

200M words training

trigram

bigram

�TÝ·å.ä=×YØ �]�7� ê(â.×Y×kØ�ã�Ú(Ö��.Ø�×aÖeå.Ø(á=Ý·ÙkãHâ.ä=Þ:Ú �sâ.×?ü��òåj×�Ö�ßQÙ è¡Ý·Úkæ�Ö�å.Ý �.ØHÞ/ã�â.äDÞtÚ)Ý·Þ/ÚY×�ÖeÝ·Þ=Ý·Þ=å¡áUÖeÚ�ÖqâjÞ/Úmè¬âqÚk×aÖeÝ·Þ=Ý·Þ=åÙkØHÚ�ÙkÝ���ØHÙ�ç #»÷�� �����ï»ã�âj×kÛ=ä=ÙBç �=Ý·åj×�Öeß�ÖeÞ=áÚk×YÝ·å.×�Ö�ß ßQâ:á=ØHÜ´Ù

��*�� � ÖeÞDá ������������������� ��(��!ã�âjßQØ¡ã�Ü·âjÙkØ�ÙYÚ¡Úkâ®Úkæ=Ø!Ý·á=Ø�Ö�Ü �.Ö�Ü´äDØ�â��¬ëjñ)û¡æ=Ø��.Ö�Ü·ä=Ø�Ù �òÖe×YÚkæ=Ø�ÙYÚ���×kâj߸Úkæ=Ø!Ý·á=Ø�Ö�ÜÖe×YØ�ÖeÚkÚaÖeÝ·Þ=Ø�á �:àùÚkæDØ�ßQØ�ÚYæ=â:á=Ù �������1������ ����������������*�������� ��Uç �������1�� ��� ����������� çFÖ�Þ=á � �1��������������������*����(���� ñ?û¡æ=Ø�ÙYØðÖ�Ü·å.â.×YÝ·Úkæ=ß�ÙøÖ�ÙkÙkÝ·åjÞ�ÙkÝ·å.ÞDÝ �Uã�ÖeÞ:ÚkÜ·à ÚYâtâ�ß ä=ãaæÛ=×kâ��8Ö��=Ý·Ü·Ý·Úmà â.Þ�Ö��jØ�×�Ö�å.Ø!Úkâü��òåj×�Ö�ßQÙ(è¡Ý´ÚYæÜ·âeè ã�âjä=Þ:ÚkÙ�ñ��=âj׬æDÝ´åjæQã�âjä=Þ:ÚkÙBç���*�� � Ý·Ù¡Þ=ØBÖe×kØHÙkÚ�ÚYâ Úkæ=ØÀÝ´áDØ�ÖeÜmñû)â2Ø��:Û=Ü�ÖeÝ·Þ ÚYæ=Ø�ÙYØ��8Ø�æUÖ��tÝ·âj×kÙ�çqè(Ø�ã�Ö�Ü·ã�ä=Ü�ÖeÚYØ�ÚYæ=Ø Ó.ÐaÌeÔ/Ì �BÐBþkÌ�ÎjÐ2Ó�·Õ �aÒ.Ï:Í � ��â.×�Ø�Öeãaæ»ã�â.ä=Þ:ÚBñ û¡æ8Ö�Ú

Ý·Ù�ç¡ãHâ.Þ=ÙYÝ´áDØ�×�ÖeÜ·Ü�ü��må.×aÖeßQÙ�a oo m����Ob è¡Ý·Úkæ ã�âjä=Þ:Ú � ñ � Ø�Ú�ä=Ù�ÖeÙYÙkä=ß�Ø*ÚYæ8ÖeÚ�è¬Ø�ÛUØ�×���âj×kß ÙYßQâ:â.ÚYæ=Ý·Þ=å �:àÛ=×YØ�ÚkØ�ÞDá=Ý·Þ=å!Úkæ8Ö�Ú¦Ö�Ü·Ü.ÙkäDã�æ ü��må.×�Ö�ßQÙ�Ö�ã�Úkä8Ö�Ü·Ü´à!×YØ�ã�Ø�Ý �.Ø ��� ã�âjä=Þ:ÚkÙ�î����Ð���çBÝ´ÞDÙkÚkØBÖeá®â��8ÚYæ=جßÖ��:Ý·ß�äDß �òܲÝ!jØ�Ü·Ýwæ=â:â:áá=Ý·ÙkÚY×kÝ �=ä=ÚYÝ·â.Þ

*�� é@a o j a o mObo m����Ob ú(^ �� é@a o mDbo m����Ob ú

è(Ø�ÚaÖ�!jØ* � é@a o j a o mDbo m����Ob ú(^ ���

� é-a o mDbo m����Ob úû¡æ=Ø�ÞTç è¬Ø ãBÖeÞ�ã�ÖeÜ·ã�ä=Ü�Ö�ÚkØ®Úkæ=Ø �.ÖeÜ·ä=Ø®â�� ��� ÙYä=ãaæ�ÚYæ8ÖeÚ!ÚYæ=Ø Ý·á=Ø�ÖeÜ)Û=×Yâ �8Ö��=Ý·Ü·Ý´Úmà�ß*Ö�ÙkÙ�� �

� �.é���ú ^ � �jé ��úqÝ·ÙÖeãaæ=Ý·Ø��jØ�á�ñ�#ùØ!Ú�Ö�!.Ø � � ��� ��âjסÚkæ=ØÀÝ´áDØ�ÖeÜ ��� Úkâ �8Ø/ÚYæ=Ø �ÓjÐaÌeÔFÌ ��ÐBþkÌBÎ.Ð Ó�·Õ �aÒ.Ï:Í ����âjסã�â.äDÞtÚ � ñ?û¡æ=Ý·ÙqÝ´Ù�Ö�ÞØ�ÙYÚkÝ·ß*Ö�ÚkØ!â��)Úkæ=Ø/ãHâ.×k×YØ�ã�Ú!Þ:ä=ß��UØ�׬â��?ã�â.ä=Þ:ÚYÙ¡â.Þ�Ö��.Ø�×aÖeåjØ�ÚYâ Ú�Ö�!.Ø�ÖBè¡ÖBà ��×kâjß ÖeÜ·Ü�ü��må.×aÖeßQÙ(è¡Ý·Úkæ � ã�âjä=Þ:ÚkÙÝ·Þ�ÚYæ=Ø Úk×aÖeÝ·Þ=Ý·Þ=å�á8ÖeÚaÖ=ñ� mÞ �TÝ´åjä=×kØ �]�=ç è(Ø®å.×�Ö�Û=æ�Úkæ=Ø Ø�ß�Û=Ý·×kÝ·ã�Ö�ÜFØHÙkÚkÝ·ßÖeÚkØ®â��¡ÚkæDÝ´Ù��.Ö�Ü´äDØ���âj× � � ë & ��âj×�=Ý·å.×aÖeß ÖeÞDáQÚk×YÝ·å.×�Ö�ß ßQâ:á=ØHÜ´Ù ��â.סÖ/âjÞ=Ø!ßQÝ·Ü·Ü·Ý´âjÞ�ÖeÞDá �.ójó/ß�ݷܴܷݲâ.Þ®è¬âj×káQÚY×�Ö�Ý´ÞDÝ´ÞDå/ÙkØ�ÚBñ�é@�=âj× �.Ö�Ü´äDØ�ÙøÖ��8â��jØ� ^ ë�&=çDÚkæ=Ø!å.×aÖeÛ=æ �8Ø�ãHâ.ßQØHÙ �.Ø�×Yà*ÞDâ.Ý·Ùkà á=äDØ/Úkâ á8Ö�Ú�Ö®ÙYÛ8Öe×YÙkÝ·Úmàtñyú #ùØ!ã�Ö�Þ*ÙYØ�Ø®Úkæ8Ö�Ú���â.× �jØ�×kà�Ùkß*Ö�Ü·Ü � Úkæ=Øã�âj×k×kØHã�Ú!á=Ý·Ùkã�âjä=Þ:Ú¡×kÝ·ÙkØ�Ù��:ä=Ý·ã !:Ü·à:çtÖ�Þ=áQÚYæ=Ø�Þ�Ü·Ø��jØ�Ü·Ù¡â �?ñ

mÞQâjÚkæ=Ø�×Zè¬âj×ká=ÙBç:Ý´ÚZÙkØ�Ø�ß�Ù?ÚkæUÖeÚ¡Ö!Ùkãaæ=Ø�ß�Ø¡Úkæ8Ö�Ú?á=Ý·ÙkãHâ.ä=Þ:ÚkÙ(á=Ý�� Ø�×kØ�Þ:Ú � ä=Þ=Ý ��âj×kß�Ü´àqÝ·Ù¬ß�â.×kØ¡ÖeÛDÛ=×kâjÛ=×kÝ�ÖeÚYØÚkæUÖeÞùÖQÙYãaæ=Ø�ßQØ®ÚkæUÖeÚ/ÖeÙYÙkÝ·å.Þ=Ù!á=Ý·ÙYã�â.ä=Þ:ÚYÙ/Úkæ8Ö�Ú/Öe×kØ®Û=×Yâ.ÛUâ.×kÚYÝ·â.Þ8Ö�ÜFÚYâ � ñ���Ü·åjâ.×kÝ·ÚYæ=ßQÙ¡ÚYæ8ÖeÚ��òÖ�Ü´Ü)ä=ÞDá=Ø�×!Úkæ=Ø��âj×kßQØH×?ã�ÖeÚYØ�å.âj×kà�Ý´ÞDã�Ü·ä=á=Ø *�������� ��������������� % Ö�Þ=á �����������������Jî�Úkæ=Ø�ÙYØ/ÖeÜ·å.âj×kÝ·Úkæ=ß�Ù)ä=ÙkØ/Ö � �:Ø�áá=Ý·Ùkã�âjä=Þ:Ú� ��â��jØ�×�ÖeÜ·Ü)ã�âjä=Þ:ÚkÙ�ñ �qÜ´åjâ.×YÝ´ÚYæ=ßQÙqÚkæ8Ö�Ú��òÖeÜ·Ü)Ý·Þ�ÚYæ=Ø Ü�ÖeÚkÚYØ�×!ã�ÖeÚYØ�å.âj×kà�Ý·Þ=ã�Ü·ä=á=Ø ÖeÜ·Ü)Úkæ=×YØ�Ø*Ö�Ü·å.â.×YÝ·Úkæ=ß�Ù¡Úkæ8Ö�Ú�òÖ�×kØ�á�Û8â:â.×YÜ·à�Ý·ÞH�TÝ·å.ä=×YØ�Ù � &3ÖeÞ=á � �V� �������1�� ��� ������� ��������*��������1��=ç0��������� ��� �����������Jç Ö�Þ=á � ���������������������*����(���� ñ8û¡æDØ�ÙkØ ÖeÜ·å.âj×kÝ·ÚkæDßQÙ?Öe×YØ�ÖeÜ·ÜUâ��FÚYæ=Ø���âj×kß åjÝ �.Ø�Þ�Ý´ÞØ��:ä8Ö�ÚkÝ·â.Þ�ékë �.ú

* � ��������� é@a o j a o mObo m����Ob ú(^ � � ���� �������*�� é-a o j a o mDbo m����Ob ú �»éYë �� � � ���� �������

ú5* � ��������� é@a o j a o mObo m���� i ú

���

Page 47: Chen & Goodman - Peopleklein/cs294-5/chen_goodman.pdf · Úkâ!ü òåj× Ö ß ßQâ:á=Ø Ü·Ù ÖeÞDá/Ùkß âtâjÚkæ=Ý·Þ=åUç Ö Þ=á/ÙkäD× .ØHà/Úkæ=Ø(ßQâjÙkÚ

è¡æ=Ø�×YØÚkæ=Ø�á=Ý·Ùkã�âjä=Þ:Ú�â���ÖeÞ2ü��må.×�Ö�ß è¡Ý´ÚYæ2ã�âjä=Þ:Ú � Ý·Ù�Ö�Û=Û=×kâ��:Ý·ß*Ö�ÚkØ�Ü·à � � � ñ�ï¬ØHã�Öeä=ÙYØá=Ý·Ùkã�âjä=Þ:ÚkÙQÖe×YØÜ·Ý·Þ=Ø�Öe×¡Ý·Þ � è¡æ=Ø�Þ�Ý·á=Ø�Ö�Ü·Ü´à ÚYæ=Ø�àÙkæDâ.ä=Ü·á �8ØÀ×kâ.äDå.æ=Ü·àQãHâ.Þ=ÙYÚ�ÖeÞ:ÚBç8áDÝ´ÙYã�â.äDÞtÚYÙ ��âjסÚkæ=ØHÙkØ ÖeÜ·å.âj×kÝ·Úkæ=ß�Ù?è(Ø�×kØ/ÚYâ:âÜ·âeè ��âj׬ܷâeè ã�âjä=Þ:ÚkÙ!ÖeÞ=áÚkâ:â®æ=Ý·å.æ ��âj׬æ=Ý·åjæQã�âjä=Þ:ÚkÙ�ñõ/ÖeÚ��!ÙYßQâ:â.ÚYæ=Ý·Þ=å/ãaæ=â:â.ÙYØ�Ù�á=Ý·ÙYã�â.ä=Þ:ÚYÙ�Öeã�ã�âj×ká=Ý·Þ=å ÚYâ�ÚYæ=Ø/ö!â:â:á��òû)ä=×YÝ·Þ=å/á=Ý·ÙkãHâ.ä=Þ:Ú�çDè¡æ=Ý·ãaæQÚkæDØ�â.×YØ�ÚkÝ·ã�Ö�Ü´Ü·à

ÙkæDâ.ä=Ü·á2ØHÙkÚkÝ·ßÖeÚkØ�Úkæ=Ø3ã�â.×Y×kØ�ã�ÚÖ��.Ø�×aÖeåjØ*áDÝ´ÙYã�â.äDÞtÚ®è(Ø�Ü·Üòç(ÖeÞ=á'è(Ø��8ÞDá§ÚYæ=Ý·Ù Úkâ �8Ø3Úkæ=Øã�Ö�ÙkØØ�ßQÛDÝ´×YÝ·ã�ÖeÜ·Ü·àtñ# æ=Ý·Ü·Ø¡õ/ÖeÚ$��Ö�ÙkÙYÝ´åjÞ=Ù(Úkæ=Ø!ã�âj×k×kØHã�Ú¡ÚkâjÚ�ÖeÜ ßÖeÙYÙ?Úkâ ü��òåj×�Ö�ßQÙ)è¡Ý·Úkæ*ÖÀÛ8Ö�×kÚkÝ·ã�äDܾÖ�×?ã�âjä=Þ:Ú�ç:Ý·Ú¬áDâtØHÙ¡Þ=â.Ú(Û8ØH×���âj×kßÛ8Ö�×kÚkÝ·ã�äDܾÖ�×kÜ·àQè(Ø�Ü·Ü �UØ�ã�Ö�ä=Ùkخݷڡá=â:Ø�Ù�ÞDâ.Ú�áDÝ´ÙYÚk×YÝ�Dä=ÚkØ/ÛD×kâ �UÖ��=Ý·Ü·Ý·ÚkÝ·Ø�Ù¡è(Ø�Ü·Ü �8Ø�Úmè(Ø�Ø�Þùü��må.×�Ö�ßQÙ(è¡Ý·Úkæ�ÚYæ=Ø/Ù�Ö�ßQØã�âjä=Þ:Ú�ç8Ö�Ù¡è¬Ø!ÙYæ8ÖeÜ·Ü ÙkØHØ/è¡æ=Ø�Þè(Ø�Ø���Ö�ßQÝ·Þ=ØqÝ´ÚYÙ¡Þ=â.×Yß*Ö�Ü´Ý���ØHá ã�×kâjÙkÙ��mØ�Þ:Úk×Yâ.Û:à:ñû¡æ=Ø/ÖeÜ·å.âj×kÝ·ÚkæDß ������������������� ��(��!ä=ÙkØ�Ù!Ö/äDÞ=Ý ��â.×Yß áDÝ´ÙYã�â.äDÞtÚ�� � � k � ��âj×øÖ�Ü·Ü ã�â.ä=Þ:ÚYÙ¡Úkæ=×YØ�Ø/ÖeÞ=á�Ö��Uâ��.Øjç

�=ä=Ú!ÙYØ�Û8Öe×aÖeÚYØ�á=Ý·ÙYã�â.ä=Þ:ÚYÙ � � � b/ÖeÞDá � � � i �sâ.×�âjÞ=Ø ��Ö�Þ=á�Úmè(â��mã�â.ä=Þ:ÚYÙ�ñqû¡æ=Ý·Ù�ß�â:á=Ý��8ã�ÖeÚYÝ·â.ÞQâ��¬õ!Þ=Ø�ÙYØ�×�����Ø�àÙkß�â:â.ÚkæDÝ´ÞDå/èøÖ�Ù¬ß�â.ÚYÝ�.Ö�ÚkØ�á��:à�Úkæ=Ø!â �DÙkØ�×"�.ÖeÚkÝ·âjÞQÝ·Þ���Ý·åjä=×kØ ���ÀÚkæUÖeÚ(Ùkß*Ö�Ü·Ü´ØH׬ã�âjä=Þ:ÚkÙ¡æ8Ö��jØ/Ö/ÙYÝ´åjÞ=Ý��8ã�Ö�ÞtÚYÜ·àá=Ý�� Ø�×kØ�Þ:Ú¡Ý·á=Ø�Ö�Ü�Ö��.Ø�×aÖeåjØ�á=Ý·ÙkãHâ.ä=Þ:Ú¡ÚkæUÖeÞQÜ�Ö�×kå.ØH׬ã�âjä=Þ:ÚkÙBñ� mÞ=á=ØHØ�á�ç=Ý·Þ���Ý·åjä=×kØ � &Àè¬ØqÙkØ�Ø/ÚYæ8ÖeÚ ���������������������(��QÝ·Ù�ß ä=ãaæ�ã�Ü·â.ÙkØH×�ÚYâ Úkæ=خݷá=Ø�Ö�Ü�ÚkæUÖeÞ������������������ ��âjסܴâeè»ã�âjä=Þ:ÚkÙ�ñÀé�û¡æ=Ø®Û8ØH×���âj×kß*Ö�Þ=ã�Ø!åtÖ�Ý·Þ*Ý·Þä=ÙYÝ´ÞDåÙkØHÛ8Öe×aÖeÚkØÀá=Ý·Ùkã�âjä=Þ:ÚkÙ �sâ.×(ã�â.ä=Þ:ÚYÙ�Ü�Öe×Yå.Ø�×(Úkæ8Ö�ÞÚmè¬â Ý·Ù¡ß*Ö�×kåjÝ´ÞUÖeÜmñ ú

����� � ��%(� $&����) � �� � �� %(� $&��* � ) � !( � ����� mÞ��TÝ·å.ä=×YØ ���=ç�è¬Øqá=Ý·ÙkÛ=Ü�ÖBà/ÚYæ=Ø¡Þ=â.×Yß*Ö�Ü´Ý���ØHá�ã�×Yâ.ÙYÙ��mØ�Þ:Úk×kâjÛ:à�� � � � é ��ú)â�� �.Öe×kÝ·âjä=Ù?ÖeÜ·å.âj×kÝ·Úkæ=ß�Ù�×YØ�Ü�ÖeÚkÝ �jجÚYâ/Úkæ=ØÞ=âj×kß*Ö�Ü·Ý �HØ�á ã�×kâjÙkÙ��òØ�Þ:ÚY×kâ.Û:à�â��FÚYæ=Ø��8Ö�ÙkØ�Ü·Ý·Þ=Ø/ÖeÜ·å.âj×kÝ·ÚkæDß âjÞÚkæ=Ø��]�/ß�Ý·Ü´Ü·Ý·â.Þ®è(â.×ká�Úk×aÖeÝ·Þ=Ý·Þ=å®ÙkØ�Ú ��â.× �=Ý·åj×�ÖeßÖeÞDá�Úk×YÝ´åj×�Ö�ß ß�âtáDØ�Ü·Ù���â.×qÜ´âeè»ã�âjä=Þ:ÚkÙ � �0�=ñ mÞ:�TÝ´åjä=×kØ ���=çUè(Ø/æ8Ö��jØ/Úkæ=Ø®ÖeÞ8Ö�Ü´âjå.âjä=Ù¡å.×aÖeÛ=æ=Ù ��â.×qæ=Ý·å.æ=ØH×ã�âjä=Þ:ÚkÙ ��� � �+�tó=ñO�=âj×FÚYæ=Ø(Û8âjÝ´Þ:ÚYÙFâjÞ/ÚkæDØ¡å.×�Ö�Û=æ/è¡Ý·Úkæ Ö¡ãHâ.ä=Þ:Ú?â��Jó=çBè(جØ��:ã�Ü·ä=áDØ¡Úkæ=âjÙkØ�ü��må.×�Ö�ßQÙDa oo m����Ob��âj×�è¡æ=Ý·ãaæ�ÚkæDØ�ã�âj×k×YØ�ÙkÛUâ.Þ=áDÝ´ÞDå*æDÝ´ÙYÚkâj×kà�a o mDbo m����Ob æ8Ö�Ù�Þ=â�ã�â.ä=Þ:ÚYÙ�ç��� Ð ��ç ��â.×qè¡æ=Ý·ãaæ:x � � � é-a o

mDbo m����Ob a o úf^ óDñû¡æ=Ø/ÖeÙYÙkâ:ã�Ý�ÖeÚYØ�á �.Ö�Ü´äDØ�Ù���â.×(ÚkæDØ�ÙkØ/ãBÖeÙkØHÙ�Ö�×kØ!á=Ý·ÙkÛDܾÖBàjØ�áQäDÞ=á=Ø�×!Ö®ã�â.ä=Þ:Ú �.Ö�Ü´äDØ�â�� � ëjñ

#ùØ¡ÙkØ�Ø!ÚYæ8ÖeÚ �����������������/ÖeÞ=á ������������������� ��(��!ÙkÝ·å.Þ=Ý��8ãBÖeÞ:ÚkÜ·à/âjä=ÚkÛUØ�×��sâ.×kß�ÖeÜ·Ü=â.ÚYæ=Ø�סÖeÜ·å.âj×kÝ·ÚkæDßQÙ�âjÞÜ·âeè�ãHâ.ä=Þ:ÚkÙBçUØ�ÙkÛUØ�ã�Ý�ÖeÜ·Ü·à ��â.סÚYæ=Ø/ÛUâ.Ý·Þ:Ú¡è¡Ý·Úkæ�Ö®ã�âjä=Þ:Ú��.Ö�Ü´äDØ�â�� ��Ø�×kâUñ #ùØ�Ö�ÚkÚk×YÝ �=ä=ÚkØÀÚkæ=Ý·Ù�ÚYâ Úkæ=ØÀßQâ:á=Ý��8Ø�á�8Ö�ã !jâ � á=Ý·ÙkÚY×kÝ �=ä=ÚYÝ·â.Þ2ÚYæ8Öeڮݷ٠ä=ÙkØHá§Ý·Þ�õ�ÞDØ�ÙkØ�×����qØ�à'Ùkß�âtâjÚkæ=Ý·Þ=å�ÖeÙ®á=Ø�ÙkãH×kÝ �8ØHá Ý·Þ§÷:Ø�ãHÚkÝ·â.Þ �=ñ �Dñ���Ù®Úkæ=Ø×�Ö�ÚkÝ·â®â��FØ��tÛUØ�ã�ÚYØ�á�Úkâ Öeã�ÚYä8ÖeÜ ã�âjä=Þ:ÚkÙ ��â.×(Úkæ=ØHÙkØ�Ö�Ü´åjâ.×YÝ´ÚYæ=ßQÙ)Ý·Ù¡Þ=âjÚ¬ÙYÝ´åjÞ=Ý��8ã�Ö�ÞtÚYÜ·à Ùkä=ÛUØ�×kÝ·âjסÚkâ ÚkæDâ.ÙkØ���âj×øÖ�Ü·Üâ.ÚYæ=Ø�סÖeÜ·å.âj×kÝ·ÚkæDßQÙ�çeÖ�Þ=áQÖeÙ?ÚYæ=Ø�Ý·×(Þ=â.×Yß*ÖeÜ·Ý���Ø�á®ÛUØ�×���âj×kßÖeÞ=ã�Ø¡âjÞ æ=Ý·å.æ ã�âjä=Þ:ÚkÙ(Ý·Ù?å.â:â:á��=ä=Ú(Þ=â.ÚZ×kØ�ßÖe× !.Ö��=Ü·Ø.çè(Ø*ãHâ.Þ=ã�Ü·ä=áDØ�Úkæ8Ö�Ú Úkæ=ØHÝ´×�Ø��:ã�Ø�Ü·Ü·Ø�Þ:ÚQÞ=âj×kßÖeÜ·Ý���Ø�áùÛUØ�×���âj×kßÖeÞ=ã�Øâjާܷâeè�ã�â.äDÞtÚYÙ Ý·Ù Úkæ=Ø�×YØ�ÖeÙYâ.Þ �sâ.× ÚkæDØ�Ý·×ã�âjÞ=ÙkÝ·ÙkÚYØ�Þ:ÚkÜ·àQÙYä=ÛUØ�×kÝ·â.×qâ��.Ø�×aÖeÜ·Ü ÛUØ�×���âj×kßÖeÞ=ã�Øjñû¡æ=Ø�Ö�Ü´åjâ.×YÝ´ÚYæ=ßQÙ)è¡Ý·ÚkæÚYæ=Ø/è(â.×kÙYÚ¡Þ=â.×Yß*Ö�Ü´Ý���ØHá Û8Ø�×���â.×Yß*Ö�Þ=ã�Ø!â.ÞÜ·âeè é�ÞDâ.Þ7��ØH×kâtú�ã�â.äDÞtÚYÙ�Ö�×kØ ��*����QÖ�Þ=á

� �1���������������������*��1��(���� î?ÚYæ=Ø�ÙkØ�Öe×kØ�ÖeÜ·ÙkâùÚYæ=Øâ.Þ=Ü·à2Úmè(â2ÖeÜ·åjâ.×kÝ·ÚYæ=ßQÙ/ÙYæ=âeè¡Þ'Úkæ8Ö�Ú ä=ÙkØ �8Ö�ã !jâ ��Ý·Þ=ÙYÚkØ�Ö�áâ��!Ý·ÞtÚYØ�×kÛUâ.Ü�Ö�ÚkÝ·â.Þ�ñ û¡ætäDÙ�ç(Ý·Ú�ÙYØ�Ø�ßQÙ ÚYæ8ÖeÚ �sâ.׮ܴâeè1ã�â.ä=Þ:ÚYÙ Ü´âeè(Ø�×��òâj×ká=Ø�× áDÝ´ÙYÚk×YÝ�Dä=ÚkÝ·â.ÞDÙ Û=×kâ��:Ý·á=Ø �.Ö�Ü·ä8Ö��=Ü·ØÝ·Þ���âj×kß*Ö�ÚkÝ·â.ÞùÖ��Uâ.äDÚ�ÚYæ=Øã�â.×Y×kØ�ã�ÚÖeß�â.ä=Þ:Ú/ÚYâ�á=Ý·ÙYã�â.ä=Þ:ÚBç¬ÖeÞDá§ÚYæ:ä=Ù�Ý·Þ:ÚkØH×kÛUâ.Ü�ÖeÚYÝ´âjÞ2Ý·Ù®Ùkä=ÛUØ�×kÝ·âj× ��â.× ÚYæ=Ø�ÙkØÙkÝ·ÚYä8ÖeÚYÝ´âjÞ=Ù�ñTï¡Öeã !.â��ßQâ:á=Ø�Ü·Ù?áDâ�Þ=âjÚ¬äDÙkØ�Ü·âeè(Ø�×��mâ.×Yá=Ø�סá=Ý·ÙYÚk×kÝ �=äDÚkÝ·â.Þ=Ù(Úkâ®æ=Ø�Ü·Û�Ø�ÙkÚYÝ´ßÖeÚYØ¡Úkæ=Ø!Û=×Yâ �8Ö��=Ý·Ü´Ý·Úmà®â��ü��må.×�Ö�ßQÙ?è¡Ý·ÚYæ*Ü·âeè é Þ=â.ÞF��Ø�×kâ:ú¡ã�âjä=Þ:ÚkÙBñ

�=âj×QÜ�Öe×Yå.Øã�âjä=Þ:ÚkÙ�çqÚkæDØ�Úmè¬âùè(â.×YÙkÚ�Û8Ø�×���â.×YßQÝ·Þ=å2Ö�Ü´åjâ.×YÝ´ÚYæ=ßQÙ®Öe×kØ �������1������ �����������ùÖeÞ=á �������1�� �������������������*����������Uñ�#ùØ/æ:à:Û8âjÚkæ=Ø�ÙYÝ���Ø Úkæ8Ö�Ú�ÚYæ=Ý·Ù�Ý·Ùqá=ä=Ø®Úkâ�Ö ã�âjß��=Ý·Þ8ÖeÚYÝ·â.ÞQâ��¬Úmè(â��òÖ�ã�Úkâj×kÙ�ñ �TÝ·×kÙYÚ�ç �Uâ.ÚYæÖeÜ·åjâ.×kÝ·ÚYæ=ßQÙ!ä=ÙYØ*Ü·Ý·Þ=Ø�Ö�×�áDÝ´ÙYã�â.äDÞtÚYÝ·Þ=å8ç)è¡æ=Ý·ãaæ§Ö�Ù�ß�Ø�Þ:ÚkÝ·â.ÞDØ�áùÝ·Þ§÷:Ø�ãHÚkÝ·â.Þ>�=ñ �Dñ´ë®Ü·Ø�Ö�á=Ù�ÚYâ�Ü�Ö�×kå.Ø�á=Ý·Ùkã�âjä=Þ:ÚkÙ��âj×�Ü�Öe×Yå.Ø�ã�â.ä=Þ:ÚYÙ�ñ ÷:Ø�ãHâ.Þ=á�ç(ÚYæ=Ø�ÙkØ3ßQâ:á=Ø�Ü·Ù�Ö�×kØÝ·ÞtÚYØ�×kÛUâ.Ü�Ö�ÚkØ�á ÖeÙ®â.ÛDÛ8âjÙkØ�á ÚYâ �UÖeã !.â� ß�â:á=Ø�Ü·Ù�ç)ÙYâùÚkæ8Ö�ÚÚkæDØ�ÙkØ®á=Ý·Ùkã�âjä=Þ:ÚkÙ��.Öe×kàÖeã�ãHâ.×káDÝ´ÞDåQÚkâ Ü·âeè(Ø�×��mâ.×Yá=Ø�×qßQâ:á=Ø�Ü·Ù�ñZï¬ØHã�Öeä=ÙYØ�â��?Úkæ=Ø�ÙYØ�Úmè(â �òÖ�ã�Úkâj×kÙ�çUá=Ý·ÙYã�â.ä=Þ:ÚYÙ ��âj×ü��må.×�Ö�ßQÙTè¡Ý´ÚYæ/Ü�Öe×Yå.Ø(ã�â.ä=Þ:ÚYÙ?ã�ÖeÞ �.Öe×Yà/è¡Ý·á=Ø�Ü·à���×kâjß ü��òåj×�Ö�ß Úkâ/ü��må.×aÖeß�ñ ö!Ý �jØ�Þ/ÚkæUÖeÚ)Ùkß�âtâjÚkæ=Ý·Þ=å¡ß�Ø�ÚkæDâtáDÙÚkæUÖeÚ¡ÖeÙkÙYÝ·å.Þ ÚkæDØ�Ù�Ö�ßQØ¡Û=×Yâ �8Ö��=Ý·Ü·Ý´Úmà!ÚYâðü��må.×aÖeßQÙ)è¡Ý·ÚkæQÖ�å.Ý �.Ø�Þ ãHâ.ä=Þ:Ú¡Öeã�×Yâ.ÙkÙ(á=Ý�� Ø�×kØ�Þ:Ú¡á=Ý·ÙYÚk×kÝ �=äDÚkÝ·â.Þ=Ùqé�ÙkäDã�æÖeÙÀõ�Ö�Ú���ú�Û8Ø�×���â.×Yß è¬Ø�Ü·Ü?âjÞ�Ü�Ö�×kå.Ø®ã�âjä=Þ:ÚkÙ�ç)è(Ø æ:à:Û8âjÚkæ=Ø�ÙYÝ���Ø Úkæ8Ö�Ú/ÚkæDØ Ý´áDØ�ÖeÜ?áDÝ´ÙYã�â.äDÞtÚ ��â.×/ü��må.×�Ö�ßQÙqè¡Ý´ÚYæÖåjÝ�jØ�Þùæ=Ý·å.æ�ã�âjä=Þ:Ú � ÙkæDâ.ä=Ü·áùÞ=âjÚ��.Öe×Yà�ß ä=ãaæ�ñ�û¡æ=Ý·Ù/ßQÝ·ÙkßÖeÚYã�æ3Ý´Þ�ÚkæDØ �.Öe×YÝ�ÖeÚkÝ·âjÞ�â��øá=Ý·ÙYã�â.ä=Þ:ÚYÙ�ã�âjä=Ü·áØ��:Û=Ü�ÖeÝ·Þ®Úkæ=ØqÛ8â:âj×?Û8ØH×���âj×kß*Ö�Þ=ã�Øqâ�� �������1������ ������������Ö�Þ=á �������1�� ��������������������*�� ��������Ý´Þ®ÚkæDÝ´Ù(á=âjß*ÖeÝ·Þ�ñ��Ü·Ü:â�� ÚkæDØ¡â.ÚkæDØ�׬ÖeÜ·åjâ.×kÝ·ÚYæ=ßQÙ�Ö�×kØ �.ØH×kà®Þ=Ø�Öe×)ÚYâ/Ø�Öeãaæ®â.ÚYæ=Ø�×?Ý·Þ®ÚkØ�×YßQÙ)â�� Þ=â.×Yß*Ö�Ü´Ý���ØHá/Û8ØH×���âj×kß*Ö�Þ=ã�Ø(â.Þ®Ü�Öe×kåjØã�âjä=Þ:ÚkÙ�îDè¬Ø!åjä=Ø�ÙkÙ¡ÚYæ8ÖeÚ¡Ý·Ú(á=â:Ø�Ù�ÞDâ.Ú(ß*ÖeÚYÚkØ�×(ß ä=ãaæQæDâeè Ü�Öe×kåjØ�ã�âjä=Þ:ÚkÙ�Ö�×kØ!Ùkß�âtâjÚkæ=ØHá*ÖeÙ¡Ü·âjÞ=åðÖ�Ù¬ÚYæ=Ø�à�Öe×YØ

���

Page 48: Chen & Goodman - Peopleklein/cs294-5/chen_goodman.pdf · Úkâ!ü òåj× Ö ß ßQâ:á=Ø Ü·Ù ÖeÞDá/Ùkß âtâjÚkæ=Ý·Þ=åUç Ö Þ=á/ÙkäD× .ØHà/Úkæ=Ø(ßQâjÙkÚ

-0.8

-0.6

-0.4

-0.2

0

-1 0 1 2 3 4 5

diff

in te

st c

ross

-ent

ropy

fro

m b

asel

ine

(bits

/toke

n)

count

normalized performance for each count, 2-gram, 75M words training

katzwitten-bell-backoff

abs-disc-interpjelinek-mercer

kneser-neykneser-ney-mod

-0.5

-0.4

-0.3

-0.2

-0.1

0

0.1

0.2

0.3

-1 0 1 2 3 4 5di

ff in

test

cro

ss-e

ntro

py f

rom

bas

elin

e (b

its/to

ken)

count

normalized performance for each count, 3-gram, 75M words training

katzwitten-bell-backoff

abs-disc-interpjelinek-mercer

kneser-neykneser-ney-mod

�TÝ·å.ä=×YØ �]�7�f�qâ.×kßÖeÜ·Ý���Ø�áã�×Yâ.ÙkÙ��òØHÞtÚY×kâjÛtà ��âj×�ü��må.×�Ö�ßQÙ¡è¡Ý·Úkæ�Ö å.Ý �jØ�Þ�ãHâ.ä=Þ:Ú�Ý·Þ�Úk×aÖeÝ·Þ=Ý·Þ=å á8Ö�Ú�Ö �sâ.×��.Öe×YÝ´âjä=ÙÙkß�â:â.ÚkæDÝ´ÞDå�ÖeÜ·å.âj×kÝ·ÚkæDßQÙ�ç�Ü´âeè¶ã�â.ä=Þ:ÚYÙ�ç #»÷�� �����ï¶ã�â.×YÛ=ä=Ù�ç �=Ý·åj×�Öeß�ÖeÞ=á�Úk×kÝ·åj×�Öeß1ßQâ:á=Ø�Ü·Ù

-0.1

-0.08

-0.06

-0.04

-0.02

0

0.02

0.04

0.06

5 10 15 20 25 30 35

diff

in te

st c

ross

-ent

ropy

fro

m b

asel

ine

(bits

/toke

n)

count

normalized performance for each count, 2-gram, 75M words training

jelinek-mercerabs-disc-interp

witten-bell-backoffkneser-ney

kneser-ney-modkatz

-0.1

-0.08

-0.06

-0.04

-0.02

0

0.02

0.04

0.06

5 10 15 20 25 30 35

diff

in te

st c

ross

-ent

ropy

fro

m b

asel

ine

(bits

/toke

n)

count

normalized performance for each count, 3-gram, 75M words training

jelinek-mercerabs-disc-interp

witten-bell-backoffkneser-ney

kneser-ney-modkatz

�TÝ·å.ä=×YØ �]�7�f�qâ.×kßÖeÜ·Ý���Ø�áã�×Yâ.ÙkÙ��òØHÞtÚY×kâjÛtà ��âj×�ü��må.×�Ö�ßQÙ¡è¡Ý·Úkæ�Ö å.Ý �jØ�Þ�ãHâ.ä=Þ:Ú�Ý·Þ�Úk×aÖeÝ·Þ=Ý·Þ=å á8Ö�Ú�Ö �sâ.×��.Öe×YÝ´âjä=ÙÙkß�â:â.ÚkæDÝ´ÞDå�ÖeÜ·å.âj×kÝ·ÚkæDßQÙ�ç�æ=Ý·å.æQãHâ.ä=Þ:ÚkÙBç #�÷l� � ����ï»ã�â.×YÛ=ä=ÙBç �=Ý·å.×aÖeß Ö�Þ=áÚk×YÝ´åj×�Ö�ß ßQâ:á=Ø�Ü·Ù

�tí

Page 49: Chen & Goodman - Peopleklein/cs294-5/chen_goodman.pdf · Úkâ!ü òåj× Ö ß ßQâ:á=Ø Ü·Ù ÖeÞDá/Ùkß âtâjÚkæ=Ý·Þ=åUç Ö Þ=á/ÙkäD× .ØHà/Úkæ=Ø(ßQâjÙkÚ

0

0.2

0.4

0.6

0.8

1

100 1000 10000 100000 1e+06 1e+07

cum

ulat

ive

frac

tion

of c

ross

-ent

ropy

training set size (sentences)

bigram model

r=0

r<=1

r<=2r<=10

r<=infinity

0

0.2

0.4

0.6

0.8

1

100 1000 10000 100000 1e+06 1e+07

cum

ulat

ive

frac

tion

of c

ross

-ent

ropy

training set size (sentences)

trigram model

r=0

r<=1

r<=2 r<=10

r<=infinity

�TÝ·å.ä=×YØ �.í7�/ê(äDß ä=Ü�ÖeÚkÝ �jØ���×�Ö�ã�ÚkÝ·âjÞ�â��øã�×Yâ.ÙYÙ��mØ�Þ:Úk×kâjÛ:à2â.Þ�ÚkØHÙkÚ®ÙkØ�Ú®á=Ø��jâ.ÚkØHáùÚkâ�ü��må.×aÖeßQÙqè¡Ý·Úkæ � â.×���Ø�è(Ø�×ã�âjä=Þ:ÚkÙ?Ý·Þ®Úk×�Ö�Ý·Þ=Ý·Þ=å�á8Ö�Ú�Ö ��âj×%�.Ö�×kÝ·â.äDÙ � âjÞ #»÷�� �����ï�ã�â.×YÛ=ä=ÙBç���������� ��� ����������������*��������1��(Ùkß�â:â.ÚkæDÝ´ÞDå8ç�=Ý·å.×aÖeß Ö�Þ=áÚk×YÝ´åj×�Ö�ß ßQâ:á=Ø�Ü·Ù

Þ=âjÚ¡ßQâ:á=Ý��8Ø�á ÚYâtâ ß äDã�æTñ

������� � �� %(� $&��* � � ��� )���'�)�%(* � !( � � � � )!*�)�* + " ' "�) ��

ö!Ý �.ØHÞ�Úkæ=Ø®Û=×YØ�ã�Ø�á=Ý·Þ=å�ÖeÞ8Ö�Ü´à:ÙYÝ´ÙBç=Ý·Ú�Ý·Ù!×kØHÜ´Ø��.ÖeÞ:Ú�ÚYâ*ÞDâ.ÚkØ®è¡æ8Ö�Ú ��×aÖeã�ÚYÝ´âjÞ�â��(Úkæ=Ø®ÚkâjÚ�ÖeÜ)Ø�Þ:ÚY×kâ.Û:à�â��¬ÚkæDØ�ÚYØ�ÙkÚá8Ö�Ú�ÖÝ·Ù/ÖeÙYÙkâ:ã�Ý�ÖeÚYØ�á2è¡Ý·Úkæ2ü��må.×aÖeß�Ù�â��¡á=Ý�� Ø�×kØ�Þ:Ú®ã�â.äDÞtÚYÙ�ç)ÚYâ�á=Ø�ÚYØ�×kß�Ý´ÞDØ æ=âeè ÚYæ=ØQÛUØ�×��sâ.×kßÖeÞ=ãHØ ��â.×!Ø�Ö�ã�æã�âjä=Þ:Ú�Ö �JØHã�ÚkÙ!â��.ØH×�ÖeÜ·ÜTÛ8Ø�×���â.×Yß*Ö�Þ=ã�Ø.ñ� mÞ:�TÝ·å.äD×kØ �.í=çDè¬Ø®á=Ý·ÙkÛDܾÖBà�Úkæ=Ø®ã�ä=ß äDܾÖ�ÚkÝ �.Ø��.Ö�Ü´äDØ�Ù�â�� � ��� � � �� � � � � é ÙkØ�ØØ��:ä8Ö�ÚkÝ·â.Þ�é ���.úYú ��âj×?á=Ý��JØH×kØ�Þ:Ú(ã�â.ä=Þ:ÚYÙ � �sâ.×?ÚYæ=Ø �8ÖeÙYØ�Ü·Ý·Þ=Ø�Ö�Ü´åjâ.×YÝ´ÚYæ=ß â��jØ�׬Ö!×aÖeÞ=åjØ�â��JÚY×�ÖeÝ·Þ=Ý·Þ=åÀÙkØ�Ú(ÙkÝ���Ø�Ù ��âj×�=Ý·å.×aÖeß Ö�Þ=áQÚY×kÝ·å.×aÖeß ß�â:á=Ø�Ü·Ù¬âjÞÚkæ=Ø�#�÷�� � ����ï ã�âj×kÛ=äDÙ�ñ�� Ü·Ý·Þ=ØqܾÖ��8ØHÜ´ØHá � ����åj×�ÖeÛDæ=Ù¡Úkæ=Ø���×aÖeã�ÚYÝ·â.Þâ��ÚkæDØ�ØHÞtÚY×kâjÛtà áDØ��.âjÚkØ�áÚkâ ü��må.×�Ö�ßQÙ?è¡Ý·ÚYæQä=Û�Úkâ � ã�âjä=Þ:ÚkÙ�ç ��Ð � ç x �

�� � ��� � � �� � � � � ñ ��ã�ÚYä8ÖeÜ·Ü·àtçjÚkæDÝ´Ù(Ý·Ù¬ÞDâ.Ú��täDÝ´ÚYØ

ÖeãHã�ä=×�Ö�ÚkØ.ç)ÖeÙÀè¬Ø®Ø��:ã�Ü·ä=á=Ø ��×Yâ.ß�ÚYæ=Ý·Ù��.ÖeÜ·ä=Ø/ÚYæ=Ø ã�âjÞtÚY×kÝ �=ä=ÚYÝ·â.Þ ��×kâjß ÖeÜ·Ü?ü��òåj×�Öeß�Ù a oo m����Ob �sâ.×�è¡æDÝ´ãaæ�Úkæ=Øã�âj×k×kØHÙkÛUâ.Þ=á=Ý·Þ=åæ=Ý·ÙYÚkâ.×Yà�a o mDbo m����Ob æUÖeÙ�ÞDâ ã�â.ä=Þ:ÚYÙ�ñqû¡æ=Ø�ãHâ.Þ:Úk×YÝ�Dä=ÚkÝ·â.Þ ��×Yâ.ß�Úkæ=ØHÙkØQü��må.×�Ö�ßQÙ(×kØ�ÛD×kØ�ÙYØ�Þ:Ú/Úkæ=ØÖe×YØ�Ö Ö��Uâ��.Ø!ÚYæ=Ø � � � Ü·Ý·Þ=Ø.ñ��Ù è(â.ä=Ü·á �8ØØ��:ÛUØ�ã�ÚkØHá�ç¡ÚkæDØ�Û=×kâjÛ8âj×kÚYÝ´âjÞ2â���ÚkæDØ*ØHÞtÚY×kâjÛtà�á=Ø��jâ.ÚkØHá§ÚYâ ü��må.×aÖeß�Ù/è¡Ý·Úkæ2æDÝ´åjæ2ã�âjä=Þ:ÚkÙ

å.×Yâeè¡Ù�ÖeÙ¡ÚYæ=Ø/ÙkÝ���Ø!â��¦ÚYæ=Ø!Úk×aÖeÝ·Þ=Ý·Þ=å®ÙkØ�Úqå.×kâeè¡ÙBñ �â.×YØ/ÙkäD×kÛ=×YÝ´ÙYÝ·Þ=å Ý·Ù¡Úkæ=Ø��s×�ÖeãHÚkÝ·â.Þ�â��FÚYæ=Ø/Ø�Þ:ÚY×kâ.Û:à�á=Ø��.âjÚkØ�áÚkâ�Ü·âeè ã�â.ä=Þ:ÚYÙ�Ý·Þ�ÚY×kÝ·å.×aÖeß�ßQâ:á=Ø�Ü·ÙqØ��.Ø�Þ ��âj×��.ØH×kàÜ�Öe×kåjØ�ÚY×�Ö�Ý´ÞDÝ´ÞDå ÙkØ�ÚYÙ�î$��â.×!Ö Úk×aÖeÝ·Þ=Ý·Þ=å�ÙkØ�Ú!â��!ë�ó®ßQÝ·Ü·Ü·Ý·â.ÞÙkØHÞtÚYØ�Þ=ã�ØHÙQÖ��Uâ.ä=Ú �:ó���â��øÚYæ=ØQØ�Þ:ÚY×kâ.Û:à�ãHâ.ßQØHÙ���×kâjß ÚY×kÝ·å.×aÖeßQÙqè¡Ý·Úkæ`��Ø�×kâ3ã�â.ä=Þ:ÚYÙ�Ý·Þ�Úkæ=Ø ÚY×�ÖeÝ·Þ=Ý·Þ=åá8Ö�Ú�ÖDñû¡æ=Ý·Ù!Ø��:Û=Ü�ÖeÝ·Þ=Ù!ÚkæDØ�Ü�Öe×Yå.خݷßQÛ8Ö�ã�Ú�ÚYæ8ÖeÚ!ÛUØ�×���âj×kßÖeÞ=ã�Ø®â.Þ�Ü·âeè ã�â.äDÞtÚYÙ/æ8Ö�Ù�âjÞ�â��jØ�×�Ö�Ü·ÜFÛUØ�×���â.×Yß*ÖeÞDã�Ø.ç�Ö�Þ=áè¡æ:à/ßQâ:á=Ý��8ØHá/õ!Þ=Ø�ÙkØH×�����Ø�à ÙYßQâ:â.ÚYæ=Ý·Þ=å¡æ8ÖeÙZÚkæ=Ø��8ØHÙkÚ(â��.Ø�×aÖeÜ·Ü:Û8Ø�×���â.×Yß*Ö�Þ=ã�Ø(Ø��.Ø�Þ ÚYæ=â.äDå.æ®Ý´ÚTØ��:ã�Ø�Ü·Ù(ßQâ.ÙYÚkÜ·àâ.ÞÜ·âeè ã�âjä=Þ:ÚkÙ¡âjÞ=Ü·àtñ

mÞã�â.ß��=Ý·Þ8Ö�ÚkÝ·â.Þ®è¡Ý·ÚkæÚkæDØ�ÛD×kØ��:Ý·â.ä=Ù�Ö�Þ8ÖeÜ·à:ÙkÝ·ÙBç:Úkæ=Ý·Ù¡á8Ö�Ú�Ö®ÖeÜ·Ùkâ®Ø��:Û=Ü�ÖeÝ·Þ=Ù¡ÙYâ.ßQØ¡â��?Úkæ=Ø��.Öe×YÝ�ÖeÚkÝ·âjÞ Ý´Þ�Úkæ=Ø×kØHܾÖ�ÚkÝ �.Ø®ÛUØ�×���âj×kßÖeÞ=ã�Ø â��¬á=Ý�� Ø�×kØ�Þ:Ú ÖeÜ·å.âj×kÝ·ÚkæDßQÙ¡â��.ØH×�áDÝ � Ø�×YØ�Þ:Ú�ÚY×�ÖeÝ·Þ=Ý·Þ=å�ÙkØ�ÚÀÙkÝ���Ø�Ù ÖeÞ=á �UØ�Úmè¬ØHØ�Þ �=Ý·åj×�ÖeßÖeÞDá�Úk×YÝ´åj×�Ö�ß�ßQâ:á=Ø�Ü·Ù�ñ mÞ�Û8Öe×YÚkÝ·ã�ä=Ü�Ö�×�ç ÖeÜ·å.âj×kÝ·ÚkæDßQÙ(Úkæ8Ö�Ú�ÛUØ�×���âj×kß è¬Ø�Ü·ÜTâ.Þ�Ü·âeè ã�âjä=Þ:ÚkÙ�è¡Ý·Ü·Ü�ÛUØ�×���â.×Yß è(Ø�Ü·Üâ��.ØH×�ÖeÜ·Ü(è¡æ=Ø�Þ'Ü·âeè¸ã�â.ä=Þ:ÚYÙ ��â.×Yß Ö�Ü�Ö�×kå.ØH×���×aÖeã�ÚYÝ·â.Þ2â���Úkæ=ØÚYâ.Ú�Ö�Ü¡Ø�Þ:Úk×Yâ.Û:à�é"���Ð���ç)ÙkßÖeÜ·Ü?á8Ö�Ú�Ö3ÙkØ�ÚYÙ�ú�ç¡Ö�Þ=áã�âjÞ �jØ�×kÙYØ�Ü·àtç(ÖeÜ·å.âj×kÝ·ÚkæDßQÙ�ÚYæ8ÖeÚ®ÛUØ�×���âj×kß%è(Ø�Ü·Ü(â.Þùæ=Ý·å.æùãHâ.ä=Þ:ÚkÙ®è¡Ý·Ü·Ü¬ÛUØ�×��sâ.×kß �8Ø�ÚYÚkØ�× âjÞùÜ�Öe×kåjØQá8Ö�Ú�ÖÙYØ�ÚkÙBñ�Dâ.×®Ø��=ÖeßQÛDÜ´Øjç�ÚYæ=ØQâ��=ÙkØ�×"�.ÖeÚYÝ´âjÞ2ÚYæ8ÖeÚ �������1�� ��� ������� ���â.äDÚkÛUØ�×���âj×kß�Ù ��*�����â.Þ�Ùkß*Ö�Ü·Ü?á8ÖeÚaÖÙkØHÚkÙ è¡æ=Ý·Ü·Ø��*�� �Ý·Ù�ÙYä=ÛUØ�×kÝ·â.×Àâ.Þ�ܾÖ�×kåjØ/á8ÖeÚaÖ ÙYØ�ÚkÙ/Ý·Ù!Ø��:Û=Ü�ÖeÝ·Þ=ØHá �:à�Úkæ=Ø �òÖ�ã�Ú!Úkæ8Ö�Ú ��*����Ý´ÙqÙkä=ÛUØ�×YÝ´âj×/â.Þ3æ=Ý·å.æ�ã�âjä=Þ:ÚkÙè¡æ=Ý·Ü·Ø �������1�� ��� ������� ���Ý·Ù�ÙYä=ÛUØ�×kÝ·â.× âjÞ2Ü·âeè¸ã�â.äDÞtÚYÙ�ñù÷:Ý·ßQÝ·Ü�Öe×YÜ·àtçUÙkÝ·Þ=ãHØ �DÝ´åj×�Ö�ß ß�â:á=Ø�Ü·Ù!ã�â.Þ:Ú�Ö�Ý·Þ2ßQâj×kØ

�tì

Page 50: Chen & Goodman - Peopleklein/cs294-5/chen_goodman.pdf · Úkâ!ü òåj× Ö ß ßQâ:á=Ø Ü·Ù ÖeÞDá/Ùkß âtâjÚkæ=Ý·Þ=åUç Ö Þ=á/ÙkäD× .ØHà/Úkæ=Ø(ßQâjÙkÚ

æ=Ý·å.æ3ã�â.ä=Þ:ÚYÙ�ÚkæUÖeÞ�Úk×kÝ·åj×�Öeß�ßQâ:á=ØHÜ´Ù¡âjÞ�ÚkæDØ�ÙaÖeßQØ!ÙYÝ �HØ�á8Ö�Ú�ÖDç���*����QÛUØ�×��sâ.×kß�Ù��UØ�ÚkÚYØ�×/âjÞ �=Ý·å.×aÖeß�ßQâ:á=Ø�Ü·ÙÚkæUÖeÞâ.ÞÚk×YÝ·å.×�Ö�ß ßQâ:á=ØHÜ´ÙBñ

����� � � � �1-(% ��Õ"��� *�'� ��� % ����'�)!% * mÞ/ÚYæ=Ý·Ù�ÙkØHã�ÚkÝ·â.ÞTçeè¬Ø(Ø��=Öeß�Ý·Þ=Ø�ÚYæ=جãHâ.ä=Þ:Ú����:à��òã�âjä=Þ:Ú�ÛUØ�×��sâ.×kßÖeÞ=ãHØ?â��8ÚYæ=Ø��8Ö�ã !.â �QÖeÞDá/Ý·ÞtÚYØ�×kÛUâ.Ü�Ö�ÚkØ�á��jØ�×kÙYÝ·â.Þ=Ùâ�� ÙkØ��.Ø�×aÖeÜUÙkßQâ:âjÚkæ=Ý·Þ=å!ÖeÜ·å.âj×kÝ·Úkæ=ß�Ù�çHÞ8Öeß�Ø�Ü·à�ÚYæ=Ø�Ö�Ü·å.â.×YÝ·Úkæ=ß�Ù�� � �1��������������������1������ % ÖeÞDá � �1��������������������*����(���� ç�*��������0���������1������ % Ö�Þ=á *���� ���0����� ����*��1��(���� ç�Ö�Þ=á ������������������� ��(��!ÖeÞ=á ������ ������������ ��(������*����(���� ñ

mÞ �TÝ·å.äD×kØ�Ù �.ì�ÖeÞ=á &.ó=çUè(Ø/á=Ý·ÙkÛDܾÖBàÚYæ=Ø�ÞDâ.×kßÖeÜ·Ý���Ø�áÛUØ�×���âj×kßÖeÞ=ã�ØÀâ��¬ÚYæ=Ø �UÖeã !.â� Ö�Þ=á�Ý·Þ:ÚkØH×kÛUâ.Ü�ÖeÚYØ�á�.ØH×kÙkÝ·âjÞ=Ù?â�� # Ý·ÚkÚkØHÞ��òï(Ø�Ü·Ü8Ö�Þ=á/ßQâ:á=Ý��8ØHá/õ!Þ=Ø�ÙkØH×�����Ø�à ÙYßQâ:â.ÚYæ=Ý·Þ=å¡â��.Ø�×?Öq×�Ö�Þ=å.Ø(â�� ã�âjä=Þ:ÚkÙ ��â.× �Uâ.ÚYæ �=Ý·åj×�ÖeßÖeÞDá2Úk×YÝ·å.×�Ö�ß%ßQâ:á=ØHÜ´ÙBñ #ùØQã�Ö�Þ§ÙYØ�ØÚkæ8Ö�Ú Úkæ=ØÝ·Þ:ÚkØ�×YÛ8âjÜ�ÖeÚkØHá§ÖeÜ·åjâ.×kÝ·ÚYæ=ßQÙ!ÙkÝ·åjÞ=Ý��8ã�ÖeÞ:ÚYÜ´àùâjä=ÚkÛUØ�×���â.×Yß%Úkæ=Ø�8Ö�ã !jâ �*Ö�Ü´åjâ.×YÝ´ÚYæ=ßQÙ âjÞ�Ü·âeè»é�ÛUâ.ÙkÝ·ÚYÝ�jØ�úTã�â.äDÞtÚYÙ�ñ)û¡æ=âjä=å.æ®Þ=âjÚFÙYæ=âeè¡Þ�çeÚYæ=Ý·Ù?æ=âjÜ´áDÙ �sâ.×?Ö��=ÙYâ.Ü·ä=ÚYجá=Ý·ÙYã�â.ä=Þ:ÚYÝ´ÞDåÖeÙ)è(Ø�Ü·Ümñ �qÙFáDÝ´ÙYã�ä=ÙYÙkØ�á�Ý´Þ®÷:Ø�ã�ÚYÝ´âjÞ��=ñ �=ñ �Dç�Ý·Ú)ÙkØ�Ø�ß�Ù)Úkæ8Ö�Ú �sâ.×)Ü·âeèùã�â.ä=Þ:ÚYÙ?Ü·âeè¬Ø�×��òâj×ká=ØH×FáDÝ´ÙYÚk×YÝ�Dä=ÚkÝ·â.ÞDÙFÛD×kâ��:Ý·á=Ø�.ÖeÜ·ä8Ö��=Ü·Ø�Ý·Þ���âj×kßÖeÚkÝ·âjÞðÖ��8âjä=Ú¡Úkæ=ØÀã�â.×Y×kØ�ã�Ú/Ö�ßQâ.äDÞtÚZÚkâ á=Ý·ÙkãHâ.ä=Þ:Ú�çUÖeÞ=áÚYætäDÙ�Ý·Þ:ÚkØ�×YÛ8âjܾÖ�ÚkÝ·â.Þ�Ý·Ù¡Ùkä=ÛUØ�×kÝ·âj× ��âj×ÚkæDØ�ÙkØ/ÙYÝ·Úkä8Ö�ÚkÝ·â.Þ=ÙBñ

mÞ>��Ý·åjä=×kØ�Ù &Dë*Ö�Þ=á & �=çZè¬Øá=Ý·ÙkÛDܾÖBà�ÚkæDØ*×aÖeÚYÝ´â�â��!Ø��:Û8ØHã�ÚkØ�á»ÚkâùÖeãHÚkä8Ö�Ü�ã�âjä=Þ:ÚkÙ â��!Úkæ=Ø �8Ö�ã !.â ��Ö�Þ=áÝ·Þ:ÚkØ�×YÛ8âjܾÖ�ÚkØ�á �.ØH×kÙkÝ·âjÞ=Ù/â�� # Ý·ÚkÚYØ�Þ��mï¬ØHÜ´Ü(ÖeÞ=á�ßQâ:á=Ý��8Ø�á3õ�ÞDØ�ÙkØ�×����qØ�àùÙkß�â:â.ÚkæDÝ´ÞDåQâ��.ØH×�Ö�×aÖeÞ=åjØ â��¬ã�âjä=Þ:ÚkÙ��âj×��8âjÚkæ �=Ý·å.×�Ö�ß Ö�Þ=áQÚY×kÝ·å.×aÖe߸ßQâ:á=Ø�Ü·ÙBñD�=âj×?ßQâ:á=Ý��8ØHá�õ!Þ=Ø�ÙYØ�×�����ØHà*ÙYßQâ:â.ÚYæ=Ý·Þ=å8ç�è¬ØqÙkØ�ØqÚkæ8Ö�Ú¬ÚYæ=Ø��8Ö�ã !.â ��.ØH×kÙkÝ·âjާݷ٠åjØ�Þ=Ø�×aÖeÜ·Ü·à2ã�Ü·â.ÙYØ�×QÚYâ2ÚYæ=ØÝ´áDØ�ÖeÜ!Öeã�ã�âj×ká=Ý·Þ=åùÚYâùÚkæ=Ý·Ù�ã�×kÝ·ÚkØH×kÝ·â.Þ�ñ¶û¡æ=â.äDå.æ'Þ=â.Ú ÙYæ=âeè¡Þ�ç(è(Ø�ÙkØ�ØÙkÝ·ß�Ý´Ü�Ö�× �UØ�æ8Ö��:Ý·â.× �sâ.× Ö��=ÙYâ.Ü·ä=ÚkØá=Ý·ÙYã�â.ä=Þ:ÚYÝ´ÞDå8ñ+�=âj× # Ý·ÚYÚkØ�Þ��mï(Ø�Ü·Ü�Ùkß�â:â.ÚkæDÝ´ÞDå8çTè¬ØÙkØHØ�Úkæ8Ö�Ú Úkæ=Ø �8Ö�ã !.â ��.ØH×kÙkÝ·âjÞQÝ·Ù¬ãHÜ´âjÙkØ�×(Úkâ®ÚkæDØ�Ý·á=Ø�Ö�Ü ��â.×?ÙYß*Ö�Ü´ÜDã�â.ä=Þ:ÚYÙ�ç��=ä=Ú(Þ=âjÚ �:ä=Ý·ÚkØ!ÖeÙ(ã�Ü·â.ÙYØ ��âj×?Ü�Öe×kåjØ�ã�âjä=Þ:ÚkÙBñ)ô�âeè(Ø��.Ø�×Bç:Úkæ=ØÝ·Þ:ÚkØ�×YÛ8âjܾÖ�ÚkØ�á �jØ�×kÙYÝ´âjÞ�Ý·Ù¡ÙkÝ·å.ÞDÝ �Uã�ÖeÞ:ÚkÜ·à è(â.×YÙkØ���â.סÚYæ=Ø/ã�âjä=Þ:Ú¡â�� ��Ø�×Yâ8ç��8Ø�Ý·Þ=åÖ��mÖeã�ÚYâ.×�â��øëjñ � � �®ÖBèøÖBà �s×kâ.ßÚkæDØ�Ý·á=ØBÖeÜmñ #ùØqæ:àtÛUâ.ÚYæ=Ø�ÙYÝ �HØ/Úkæ8Ö�Ú¬ÚYæ=Ø��8ØHÚkÚkØH×�ÛUØ�×���âj×kßÖeÞ=ã�Ø!â��FÚkæDØ �UÖeã !.â��ß�â:á=Ø�ÜUâ.ÞQÜ·âeè ãHâ.ä=Þ:ÚkÙ¡âjÞQÚYæ=Ý·Ùã�×YÝ´ÚYØ�×kÝ·âjÞ*Ý·Ù¡ÚYæ=Ø/×kØBÖeÙkâjÞ ��â.סݷÚkÙ��UØ�ÚkÚYØ�×!â��.Ø�×aÖeÜ·Ü Û8ØH×���âj×kß*Ö�Þ=ã�Ø.ñû¡æ:ä=Ù�çUè(Ø�ÙYØ�Ø®Úkæ8Ö�Ú���â.סÚYæ=Ø�ÙkØ®ßQâ:á=ØHÜ´Ù¡ÚYæ=Ø/Ý·Þ:ÚkØ�×YÛ8âjÜ�ÖeÚkØHá �jØ�×kÙYÝ·â.Þ=Ùqå.Ø�Þ=ØH×�ÖeÜ·Ü·àQæUÖ��.Ø��UØ�ÚkÚYØ�×!Þ=â.×Yß*Ö�Ü´Ý���ØHá

ã�×Yâ.ÙkÙ��òØHÞtÚY×kâjÛ=Ý·Ø�Ù�ç(è¡æ=Ý·Ü·Ø Úkæ=Ø �8Ö�ã !.â � �.Ø�×YÙkÝ·â.ÞDÙ æ8Ö��.Ø ß�â.×kØ Ý·á=ØBÖeÜ(Ø��:Û8Ø�ãHÚkØ�á��mÚkâ��½Ö�ã�ÚkäUÖeÜ�ãHâ.ä=Þ:Ú®×�ÖeÚYÝ·â.Ù�ñ #ùØæ:à:Û8âjÚkæ=Ø�ÙYÝ���Ø�ÚYæ8ÖeÚqÚkæ=Ø®×kØHܾÖ�ÚkÝ �.ØÀÙkÚk×YØ�Þ=åjÚkæ�â��?Úkæ=ØHÙkØ Úmè(â Ý´Þl.8ä=Ø�Þ=ãHØ�Ù/á=Ø�ÚYØ�×kß�Ý·Þ=Ø/ÚkæDØ/×kØ�Ü�Ö�ÚkÝ �.Ø/ÛUØ�×���â.×Yß*ÖeÞDã�Øâ��!Úkæ=Ø �8Öeã !.â� ÖeÞDá2Ý·Þ:ÚkØ�×YÛ8âjܾÖ�ÚkØ�á �.Ø�×YÙkÝ·â.Þ=Ù â���Ö�Þ Ö�Ü·å.â.×YÝ·Úkæ=ß�ñ2÷:Ý·Þ=ã�ØÚkæDØ�×kØ�Ü�Ö�ÚkÝ �.ØÙkÚY×kØ�ÞDå.ÚkæDÙQâ��/ÚYæ=Ø�ÙkØ�òÖ�ã�Úkâj×kÙ��.Ö�×kà:ç è¡æ=Ø�ÚYæ=Ø�×/ÚYæ=Ø��8Öeã !jâ �§âj×!Ý´Þ:ÚYØ�×kÛUâ.Ü�ÖeÚYØ�á��.ØH×kÙkÝ·âjÞ�â���Ö�Þ2ÖeÜ·å.âj×kÝ·Úkæ=ß�Ý·Ù/ÙkäDÛ8Ø�×YÝ·â.×/á=ØHÛ8Ø�ÞDá=Ù�âjÞÚkæDØ�Ö�Ü·å.â.×YÝ·Úkæ=ß�ç.ÖeÙ¡è(Ø!æ8Ö��.Ø!ÙkØHØ�Þ�Ø�Ö�×kÜ·Ý·Ø�×�ñ

#�� �L�������/� � �

���& � �� &��-� *

� ���� � )�+ �� � � ���� � ü ��� � ��$ . % �� � �qä=Ø®ÚkâÚkæ=خݷÞ=ã�×YØ�ÖeÙYÝ´ÞDå*ÙYÛ8ØHØ�á2ÖeÞ=á�ßQØHßQâ.×Yà â��¬ãHâ.ßQÛDä=ÚkØ�×YÙ�ç ÚYæ=Ø�×YØ æ8ÖeÙ��UØ�Ø�ÞùÙkâjßQØ/äDÙkØ®â��¬æ=Ý·åjæ=Ø�×��mâ.×Yá=Ø�×ü��må.×�Ö�ß ßQâ:á=ØHÜ´ÙZÙkä=ãaæ�ÖeÙf���òåj×�Öeß�ÖeÞ=á����må.×�Ö�ß ßQâ:á=ØHÜ´ÙZÝ´Þ�ÙkÛUØ�Ø�ãaæ�×kØ�ã�âjå.Þ=Ý·ÚYÝ´âjÞQÝ·ÞQ×YØ�ã�Ø�Þ:Úqà.Ø�Ö�×kÙ/é�÷�Ø�à:ßQâ.×YØØ�Ú¡ÖeÜmñ·ç=ë�ìjì��Dî #ùØ�ÞDå8ç.÷:ÚYâ.Ü·ã !.Ø.ç:ÖeÞDá*÷=Ö�Þ !.Öe×Bç=ë�ìjì��.úHñ mÞ�Úkæ=Ý·Ù?ÙYØ�ã�ÚYÝ´âjÞ�ç:è(Ø�Ø��=Öeß�Ý·Þ=جæDâeè �.Ö�×kÝ·â.äDÙ?Ùkß�âtâjÚkæ=Ý·Þ=åÖeÜ·åjâ.×kÝ·ÚYæ=ßQÙ?ÛUØ�×���â.×Yß ��âj׬ÚYæ=Ø�ÙYØ/Ü�Öe×kåjØ�סßQâ:á=ØHÜ´ÙBñ

mÞ �TÝ·å.äD×kØ�& &=çUè(Ø á=Ý·ÙkÛ=Ü�ÖBà�Úkæ=Ø ÛUØ�×��sâ.×kßÖeÞ=ãHØ�â�� ���må.×aÖeß�ÚkæD×kâ.äDå.æ ���må.×�Ö�ß ß�â:á=Ø�Ü·Ù�×YØ�Ü�ÖeÚkÝ �jØ�ÚYâ�ÖMÚk×YÝ �å.×aÖeß�ßQâ:á=Ø�Ü?ésÖeÜ·Ü è¡Ý·Úkæ �������1�� ��������������������*�� �������!ÙYßQâ:â.ÚYæ=Ý·Þ=åtúZâ.Þ �.Ö�×kÝ·â.ä=Ù¡ÚY×�Ö�Ý´ÞDÝ´ÞDå�ÙYØ�Ú!ÙkÝ���Ø�Ùqâ.ÞÚkæ=Ø#�÷�� � ����ï ã�âj×kÛ=äDÙ�ñ��qÙ¡è¬âjä=Ü·á �UØ!Ø��:Û8Ø�ãHÚkØ�á�ç�Úkæ=Ø!Ü�Öe×Yå.Ø�סÚYæ=Ø!Úk×�Ö�Ý·Þ=Ý·Þ=å�ÙYØ�Ú�çDÚkæ=Ø!Ü�Öe×Yå.Ø�סÚYæ=Ø!åtÖ�Ý´Þ�Ý·ÞQä=ÙYÝ´ÞDåÖ æDÝ´åjæ=Ø�×��òâj×ká=Ø�×qßQâ:á=Ø�Ümñf�Dâ.×��jØ�×kàÜ�Öe×Yå.Ø/áUÖeÚ�ÖMÙkØ�ÚYÙ�ç ÚYæ=Ø/å:ÖeÝ·Þ�Ý·Þä=ÙkÝ·Þ=åÖ����må.×aÖeß�â.× � �òåj×�Öeß�ßQâ:á=ØHÜ�â��.ØH×Ö�Úk×YÝ´åj×�Ö�ß�ßQâ:á=Ø�ÜTã�ÖeÞ �8ØHã�â.ß�Ø �:ä=Ý·ÚkØÀÙkÝ·å.Þ=Ý��8ãBÖeÞ:Ú�ç â��jØ�×/ó=ñ � �=Ý·ÚkÙ �eè(â.×Yá�ñ �qâ.ÚkØ®ÚkæUÖeÚ/ÖeÜ·Ü)â��¬ÚYæ=Ø�ÙYØ ßQâ:á=Ø�Ü·Ùè(Ø�×kØ��Dä=Ý·Ü´Ú(è¡Ý·ÚkæÞ=â®ã�â.äDÞtÚ¡ãHä=Úkâ�JÙBîJê(æDØ�Þùékë�ìjì��jú?åjÝ�jØ�Ù�Ö®á=Ø�ÙYã�×kÝ·Û=ÚYÝ·â.Þâ��)â.ä=סݷßQÛDÜ´ØHßQØ�Þ:Ú�Ö�ÚkÝ·â.ÞTñ

mÞ0�TÝ·å.ä=×YØ &�8ç(è(Ø�á=Ý·ÙkÛ=Ü�ÖBàùÚYæ=Ø�×kØHܾÖ�ÚkÝ �.Ø3Û8Ø�×���â.×Yß*Ö�Þ=ã�Øâ����.Öe×YÝ·â.ä=Ù®Ùkß�âtâjÚkæ=Ý·Þ=åùÖeÜ·åjâ.×kÝ·ÚYæ=ßQÙ/×YØ�Ü�ÖeÚYÝ�jØÚkâ3Úkæ=Ø �8ÖeÙYØ�Ü·Ý´ÞDØQßQØHÚkæ=â:á ��â.× ���òåj×�Ö�ß ÖeÞDáH���må.×�Ö�ß ßQâ:á=Ø�Ü·Ù!â��.Ø�×®Ö×�Ö�Þ=å.Ø�â��¡Úk×�Ö�Ý·Þ=Ý·Þ=å�ÙkØHÚ�ÙYÝ �HØ�Ù�âjÞùÚkæ=Ø#�÷�� � ����ï ãHâ.×kÛDä=Ù�ñ ��å:ÖeÝ·Þ�çTè¬Ø®ÙkØ�Ø ������������������ÖeÞ=á ������������������� ��(���ã�â.ÞDÙkÝ·ÙkÚYØ�Þ:ÚkÜ·à�âjä=ÚkÛUØ�×���â.×YßQÝ·Þ=å

�.ó

Page 51: Chen & Goodman - Peopleklein/cs294-5/chen_goodman.pdf · Úkâ!ü òåj× Ö ß ßQâ:á=Ø Ü·Ù ÖeÞDá/Ùkß âtâjÚkæ=Ý·Þ=åUç Ö Þ=á/ÙkäD× .ØHà/Úkæ=Ø(ßQâjÙkÚ

-0.4

-0.3

-0.2

-0.1

0

0 5 10 15 20 25 30 35

diff

in te

st c

ross

-ent

ropy

fro

m b

asel

ine

(bits

/toke

n)

count

normalized performance for each count, 2-gram, 75M words training

jelinek-mercer-baseline

witten-bell-backoff

witten-bell-interp

-0.25

-0.2

-0.15

-0.1

-0.05

0

0.05

0.1

0.15

0.2

0 5 10 15 20 25 30 35di

ff in

test

cro

ss-e

ntro

py f

rom

bas

elin

e (b

its/to

ken)

count

normalized performance for each count, 3-gram, 75M words training

jelinek-mercer-baseline

witten-bell-backoff

witten-bell-interp

�TÝ·å.ä=×YØ �jì7�d�qâ.×kßÖeÜ·Ý���Ø�á ã�×Yâ.ÙYÙ��mØ�Þ:Úk×kâjÛ:à ��â.סü��må.×�Ö�ßQÙ(è¡Ý·Úkæ*Ö®åjÝ �.Ø�Þ�ã�â.ä=Þ:ÚqÝ´Þ�Úk×aÖeÝ·Þ=Ý·Þ=å®á8ÖeÚaÖ ��â.× � ���������������������*����(�����ÖeÞDá � �1��������������������1������ % ç�#�÷�� ����qï ã�â.×YÛ=ä=ÙBç �=Ý·å.×aÖeß Ö�Þ=áÚk×YÝ´åj×�Ö�ß ßQâ:á=Ø�Ü·Ù

-0.4

-0.3

-0.2

-0.1

0

0.1

0 5 10 15 20 25 30 35

diff

in te

st c

ross

-ent

ropy

fro

m b

asel

ine

(bits

/toke

n)

count

normalized performance for each count, 2-gram, 750k words training

jelinek-mercer-baseline

kneser-ney-mod

kneser-ney-mod-backoff

-0.3

-0.2

-0.1

0

0.1

0.2

0.3

0.4

0 5 10 15 20 25 30 35

diff

in te

st c

ross

-ent

ropy

fro

m b

asel

ine

(bits

/toke

n)

count

normalized performance for each count, 3-gram, 750k words training

jelinek-mercer-baseline

kneser-ney-mod

kneser-ney-mod-backoff

�TÝ·å.ä=×YØ &jó7�&�qâ.×kßÖeÜ·Ý���Ø�á ãH×kâ.ÙYÙ��mØ�Þ:Úk×Yâ.Û:à �sâ.קü��må.×aÖeß�Ù2è¡Ý·Úkæ Ö-åjÝ�jØ�Þ ã�âjä=Þ:Ú'Ý´Þ�Úk×aÖeÝ·Þ=Ý·Þ=å-á8ÖeÚaÖ ��âj×������������������� ��(��®ÖeÞ=á�������������������� ��(�������*��1��(���� ç�#�÷�� ����qï�ã�âj×kÛ=äDÙ�ç �DÝ´åj×�Ö�ß ÖeÞ=áÚY×kÝ·å.×aÖeß ß�âtáDØ�Ü·Ù

�=ë

Page 52: Chen & Goodman - Peopleklein/cs294-5/chen_goodman.pdf · Úkâ!ü òåj× Ö ß ßQâ:á=Ø Ü·Ù ÖeÞDá/Ùkß âtâjÚkæ=Ý·Þ=åUç Ö Þ=á/ÙkäD× .ØHà/Úkæ=Ø(ßQâjÙkÚ

0.6

0.8

1

1.2

1.4

1.6

1.8

0 5 10 15 20 25 30 35

expe

cted

cou

nt /

actu

al c

ount

count

ratio of expected to actual counts, 2-gram, 75M words training

ideal

witten-bell-backoff

witten-bell-interp

0.5

1

1.5

2

0 5 10 15 20 25 30 35

expe

cted

cou

nt /

actu

al c

ount

count

ratio of expected to actual counts, 3-gram, 75M words training

ideal

witten-bell-backoff

witten-bell-interp

�TÝ·å.ä=×YØ &=ë]� ��Ö�ÚkÝ·â®â��¬Ø��:ÛUØ�ã�ÚYØ�á�Þ:ä=ß��UØ�סÚYâ*ÖeãHÚkä8Ö�Ü�Þ:ä=ß��UØ�סݷÞ�ÚkØ�ÙYÚ!ÙkØ�Úqâ��¬ü��òåj×�Ö�ßQÙ¡è¡Ý·Úkæ�Ö®å.Ý �jØ�Þ�ã�âjä=Þ:ÚÝ·ÞQÚY×�ÖeÝ·Þ=Ý·Þ=å®á8Ö�Ú�Ö ��â.× � ����������������������*��1��(����/ÖeÞ=á � �1�������������������������� % ç�#�÷�� � ���qï ã�âj×kÛ=ä=ÙBç �=Ý·åj×�ÖeßÖeÞDá*ÚY×kÝ·å.×aÖeß ß�â:á=Ø�Ü·Ù

0.9

0.95

1

1.05

1.1

0 5 10 15 20 25 30 35

expe

cted

cou

nt /

actu

al c

ount

count

ratio of expected to actual counts, 2-gram, 750k words training

ideal

kneser-ney-mod

kneser-ney-mod-backoff

0.85

0.9

0.95

1

1.05

1.1

1.15

0 5 10 15 20 25 30 35

expe

cted

cou

nt /

actu

al c

ount

count

ratio of expected to actual counts, 3-gram, 750k words training

ideal

kneser-ney-mod

kneser-ney-mod-backoff

�TÝ·å.ä=×YØ & �F� ��Ö�ÚkÝ·â®â��¬Ø��:ÛUØ�ã�ÚYØ�á�Þ:ä=ß��UØ�סÚYâ*ÖeãHÚkä8Ö�Ü�Þ:ä=ß��UØ�סݷÞ�ÚkØ�ÙYÚ!ÙkØ�Úqâ��¬ü��òåj×�Ö�ßQÙ¡è¡Ý·Úkæ�Ö®å.Ý �jØ�Þ�ã�âjä=Þ:ÚÝ·Þ�Úk×aÖeÝ·Þ=Ý·Þ=å�á8ÖeÚaÖ��sâ.× ������������������� ��(��QÖeÞ=á ������������������� ��(�������*��1��(���� ç�#�÷�� � ���qï ã�â.×YÛ=ä=ÙBç �=Ý·åj×�ÖeßÖeÞDá*ÚY×kÝ·å.×aÖeß ß�â:á=Ø�Ü·Ù

� �

Page 53: Chen & Goodman - Peopleklein/cs294-5/chen_goodman.pdf · Úkâ!ü òåj× Ö ß ßQâ:á=Ø Ü·Ù ÖeÞDá/Ùkß âtâjÚkæ=Ý·Þ=åUç Ö Þ=á/ÙkäD× .ØHà/Úkæ=Ø(ßQâjÙkÚ

-0.4

-0.2

0

0.2

0.4

0.6

0.8

100 1000 10000 100000 1e+06diff

eren

ce in

test

cro

ss-e

ntro

py f

rom

trig

ram

(bi

ts/to

ken)

training set size (sentences)

relative performance of n-gram orders on WSJ/NAB corpus

2-gram

3-gram

4-gram

5-gram

�TÝ·å.ä=×YØ &�&7� �TØ�×���â.×Yß*ÖeÞDã�ج×YØ�Ü�ÖeÚYÝ�jجÚYâ!Úk×kÝ·åj×�Öeß ß�â:á=Ø�Ü:â��Jü��må.×aÖeß-ßQâ:á=Ø�Ü·Ù â�� �.Öe×Yà:Ý´ÞDå�â.×Yá=Ø�×?âjÞ #»÷�� �����ïã�âj×kÛ=ä=ÙBç���������� ��� ����������������*��������1��qÙYßQâ:â.ÚYæ=Ý·Þ=å

-0.3

-0.25

-0.2

-0.15

-0.1

-0.05

0

0.05

0.1

100 1000 10000 100000 1e+06

diff

in te

st c

ross

-ent

ropy

fro

m b

asel

ine

(bits

/toke

n)

training set size (sentences)

relative performance of algorithms on WSJ/NAB corpus, 4-gram

baseline

katz

kneser-ney

kneser-ney-mod

abs-disc-interp

jelinek-mercer

witten-bell-backoff

-0.3

-0.25

-0.2

-0.15

-0.1

-0.05

0

0.05

0.1

100 1000 10000 100000 1e+06

diff

in te

st c

ross

-ent

ropy

fro

m b

asel

ine

(bits

/toke

n)

training set size (sentences)

relative performance of algorithms on WSJ/NAB corpus, 5-gram

jelinek-mercer-baseline

katz

kneser-ney

kneser-ney-mod

abs-disc-interp

jelinek-mercer

w-b-b

�TÝ·å.ä=×YØ & �V���TØ�×��sâ.×kßÖeÞ=ãHØ ×kØ�Ü�ÖeÚYÝ �.Ø®Úkâ �8ÖeÙYØ�Ü·Ý·Þ=Ø â�� �.Öe×YÝ´âjä=Ù/ÖeÜ·å.âj×kÝ·ÚkæDßQÙ¡â.Þ #�÷�� � ����ï ãHâ.×kÛDä=Ù�çd���òåj×�ÖeßÖeÞDáw� �òåj×�Ö�ß ßQâ:á=Ø�Ü·Ù

� &

Page 54: Chen & Goodman - Peopleklein/cs294-5/chen_goodman.pdf · Úkâ!ü òåj× Ö ß ßQâ:á=Ø Ü·Ù ÖeÞDá/Ùkß âtâjÚkæ=Ý·Þ=åUç Ö Þ=á/ÙkäD× .ØHà/Úkæ=Ø(ßQâjÙkÚ

ÚkæDØ/â.ÚYæ=Ø�×�Ö�Ü·å.â.×YÝ·Úkæ=ß�Ù�ñ mÞ�Ö�á=á=Ý·ÚkÝ·âjÞ�ç:è¬ØÀÙkØ�Ø/ÚYæ8ÖeÚ�Ö�Ü·å.â.×YÝ·Úkæ=ß�Ù?Úkæ8Ö�Ú�á=â ÞDâ.Ú¡ÛUØ�×���âj×kß�è(Ø�Ü·Ü â.ÞÙkßÖeÜ·ÜUá8ÖeÚaÖÙkØHÚkÙ���âj× �=Ý·åj×�Öeß Ö�Þ=áQÚY×kÝ·å.×aÖe߸ßQâ:á=Ø�Ü·Ù?ÛUØ�×���â.×Yß ÙYâ.ßQØHè¡æ8ÖeÚ?è(â.×YÙkØqâ.ÞQÚYæ=Ø�ÙYØ/æ=Ý·å.æ=ØH×��mâ.×káDØ�סßQâ:á=Ø�Ü·ÙBç.ÖeÙ(Úkæ=Øä=ÙYØ�â��FÖ�ܾÖ�×kåjØ�×?ßQâ:á=ØHÜtØ���Ö�ã�Ø�×"�8ÖeÚYØ�Ù�ÚYæ=Ø�ÙYÛ8Öe×YÙkØ�áUÖeÚ�Ö�Û=×kâ��=Ü·Ø�ß�ñ û¡æDØ�ßQØHÚkæ=â:á=Ù ��*�� � ç�*��������0���������1������ % çÖeÞDá � �1���������������������*��1��(����!Û8ØH×���âj×kß Ö��8âjä=Ú�ÖeÙ(è¬ØHÜ´ÜUâ.×(è(â.×kÙYØ!Úkæ8Ö�ÞQÚkæDØ �UÖeÙkØHÜ´Ý·Þ=Ø!ÖeÜ·å.âj×kÝ·ÚkæDß Ø��tãHØ�Û=Ú���âj×ÚkæDØ�Ü�Öe×Yå.Ø�ÙYÚ�á8Ö�Ú�Ö®ÙYØ�ÚkÙBñ =�Þ3Úkæ=Ø/âjÚkæ=ØH×�æUÖeÞ=á�ç��������1�� ��� ������� ���®ã�â.ÞDÙkÝ·ÙkÚYØ�Þ:ÚkÜ·à�â.äDÚkÛUØ�×���âj×kß�Ù¡Úkæ=Ø �8ÖeÙYØ�Ü·Ý·Þ=ØÖeÜ·åjâ.×kÝ·ÚYæ=ß�ñ

� ��� � ��%(� *�' ��� '�% �Dâ.×�Ü�Ö�×kå.Ø)á8Ö�Ú�Ö�ÙkØ�ÚYÙ�ç ��ÒjÏ:Í � �BÏ���Ò�(ÕøÖe×YØ?â��sÚkØ�Þ®ä=ÙkØHá/Úkâq×kØ�ÙYÚk×kÝ·ã�ÚZÚkæ=Ø(ÙkÝ���Ø?â��8ÚkæDØøü��må.×aÖeß»ßQâ:á=Ø�Üeã�âjÞ=ÙkÚY×kä=ãHÚkØ�á�ñ# Ý·Úkæ ãHâ.ä=Þ:Ú¡ã�ä=ÚYâ � Ù�çUÖeÜ·Ü8ü��må.×�Ö�ßQÙ?â��FÖ/ãHØ�×kÚaÖeÝ·ÞÜ´ØHÞ=å.ÚYæQè¡Ý·Úkæ ��Ø�è(Ø�׬ÚYæ8ÖeÞ�Ö!åjÝ �.Ø�Þ�ÞtäDß��8Ø�×Zâ��Fâ:ã�ãHä=×k×YØ�Þ=ã�Ø�ÙÝ·ÞÚkæ=Ø®Úk×aÖeÝ·Þ=Ý·Þ=å á8Ö�Ú�Ö Öe×YØ/Ý·å.Þ=âj×kØ�á3Ý´ÞÙYâ.ßQØ��òÖ�Ùkæ=Ý·âjÞ�ñ(ô�âeè»ã�â.ä=Þ:ÚYÙ�Ö�×kØ � Ý·å.Þ=âj×kØ�á�� Ý·Ù!ÖeÜ·å.âj×kÝ·Úkæ=ß �òÙYÛ8ØHã�Ý��8ã.çÖeÞDá æ8ÖeÙ(Þ=â.Ú(å.ØHÞ=Ø�×�Ö�Ü·Ü´à �UØ�Ø�ÞQÙYÛ8ØHã�Ý��8Ø�á�Ý·Þ ÚkæDØ�â.×YÝ·å.Ý·Þ8ÖeÜDá=Ø�ÙkãH×kÝ·Û=ÚkÝ·âjÞ=Ù¬â���Û=×kØ��tÝ·âjä=Ù¬ÙYßQâ:â.ÚYæ=Ý·Þ=å/ÖeÜ·å.âj×kÝ·ÚkæDßQÙ�ñ mÞÚkæ=ØHÙkØ/Ø��:ÛUØ�×kÝ·ß�Ø�Þ:ÚkÙ�çDè¬Ø!Ý·ßQÛDÜ´ØHß Ø�Þ:ÚkØ�á è¡æ8Ö�Ú¡è¬Ø���ØHÜ´Ú(è¡ÖeÙ¡ÚkæDØ/ßQâjÙkÚ � Þ8ÖeÚYä=×�Ö�Ü �®è¡ÖBà ÚkâQÖeáDáQã�ä=ÚYâ � Ù�ÚYâ�.Öe×YÝ·â.ä=Ù¡ÖeÜ·å.âj×kÝ·ÚkæDßQÙ�ñUû¡æ=Ø!åjØ�Þ=Ø�×aÖeÜ�ÙYÚk×aÖeÚkØHå.àè¬ØqÚkâ:â !�èøÖ�Ù��$��â.×�ü��må.×aÖeß�Ù?è¡Ý·ÚkæQãHâ.ä=Þ:ÚkÙ �UØ�Ü·âeè ÚYæ=Ø!ã�ä=Úkâ�JÙBçè(Ø�Û=×YØ�ÚkØHÞ=á=Ø�á�Úkæ=Ø�à�â:ã�ã�ä=×Y×kØ�ág��Ø�×Yâ�ÚkÝ·ßQØHÙ�ÖeÞDá�ÖeÙYÙkÝ·å.Þ=ØHáùÛ=×kâ��8Ö��=Ý·Ü·Ý·ÚkÝ·Ø�ÙqÚkæ=×Yâ.ä=åjæ �8Ö�ã !.â � �eÝ·Þ:ÚkØH×kÛUâ.Ü�ÖeÚYÝ´âjÞ�î��âj×�ü��må.×aÖeß�Ù¡è¡Ý´ÚYæ�ãHâ.ä=Þ:ÚkÙ®Ö��Uâ��.Ø®Úkæ=Ø ã�äDÚkâ � Ù�çTè(ØðÖ�ÙkÙkÝ·åjÞ=Ø�áùÙkÝ·ß�Ý´Ü�Ö�סÛ=×kâ��8Ö��=Ý·Ü·Ý·ÚkÝ·Ø�Ù!ÖeÙ!Ý·Þ�ÚYæ=Ø Þ=â.Þ �òã�äDÚkâ �ã�Ö�ÙkØ.îUÖeÞ=á è(Ø�Ö�á �aä=ÙYÚkØ�á�Úkæ=Ø��8Ö�ã !jâ � �eÝ·Þ:ÚkØ�×YÛ8âjÜ�ÖeÚkÝ·âjÞ�ÙYã�ÖeÜ·Ý·Þ=å��òÖ�ã�Úkâj×kÙ(Ùkâ®Úkæ8Ö�Ú¬áDÝ´ÙYÚk×YÝ�Dä=ÚkÝ·â.ÞDÙ?è¬ØH×kØ!ã�â.×Y×kØ�ãHÚkÜ·àÞ=âj×kß*Ö�Ü·Ý �HØ�á�ñ

�=âj×?Ý·Þ=ÙkÚaÖeÞ=ãHØ.ç��sâ.×?õ/ÖeÚ$��ÙYßQâ:â.ÚYæ=Ý·Þ=å�és÷:Ø�ã�ÚYÝ´âjÞ �=ñ �túTè(Ø�ä=ÙYØ¡Úkæ=ØqÝ·á=Ø�Þ:ÚkÝ·ã�Ö�Ü � ��ÖeÙ?Ý·Þ ÚkæDØ¡Þ=â.Þ��mã�ä=ÚYâ �ã�ÖeÙYØ.ç�=ä=Ú¡Ý·Þ=ÙYÚkØ�Ö�áâ��?Ø��:ä8ÖeÚYÝ·â.Þ�éYë &jú(è¬Ø!ä=ÙYØ/Úkæ=Ø���âjÜ·Ü´âeè¡Ý·Þ=å!Ø��:ä8Ö�ÚkÝ·â.Þ

� � � � é@a oo mDb úd^ � � � � Ý � � � � � � ��(é@a o mOb ú5* � é@a o ú Ý � � � � � � �

è¡æ=Ø�×YØ � � � � Ý·Ù¡Úkæ=Ø!ã�âj×k×YØ�ÙkÛUâ.Þ=áDÝ´ÞDåQã�ä=ÚYâ �?ç8Ö�Þ=áQè¡æ=ØH×kØ �(é-a o mOb�ú(Ý·Ù¬ÙYÚkÝ·Ü·Ü ã�æDâ.ÙkØHÞ�Ùkâ ÚYæ8ÖeÚ(Úkæ=ØÀÚkâ.ÚaÖeÜ Þ:ä=ß��UØ�×â���ãHâ.ä=Þ:ÚkÙ Ý·ÞùÚYæ=ØQá=Ý·ÙYÚk×kÝ �=äDÚkÝ·â.ÞùÝ·Ù®ä=Þ=ãaæ8ÖeÞDå.Ø�á�ñ �TÖeÚkØH×�Ý·Þ2ÚYæ=Ý·Ù�ÙYØ�ã�ÚYÝ´âjÞ�ç)è(Ø �=×YÝ´ØZ.8àùá=Ø�ÙYã�×kÝ �UØ�â.ä=×®ã�âjä=Þ:Úã�ä=ÚYâ ��Ý·ß�Û=Ü·Ø�ßQØ�Þ:ÚaÖeÚkÝ·âjÞ=Ù ��â.× �.Ö�×kÝ·â.ä=Ù¡ÖeÜ·åjâ.×kÝ·ÚYæ=ßQÙBñû)â�Ý·Þ:Úk×kâ:á=äDã�جÚYæ=Ø¡ÚkØH×kßQÝ·Þ=âjÜ·â.å.à¡è(Ø(ä=ÙkØ(Úkâqá=Ø�ÙkãH×kÝ �8Øqã�ä=ÚYâ �QßQâ:á=ØHÜ´ÙBç�è(جäDÙkØ�ÖeÞÀØ��=ÖeßQÛDÜ´Ø]����ý��eý�� �BÏ���Ò�(Õ

��âj×øÖÀÚk×YÝ´åj×�Ö�ß ßQâ:á=Ø�ÜUÙkÝ·åjÞ8ÖeÜ·Ù(Úkæ8Ö�ÚøÖ�Ü´Ü äDÞ=Ý·å.×�Ö�ßQÙ)è¡Ý·Úkæ�óÀâ.× ��Ø�è(Ø�סã�â.äDÞtÚYÙ�Öe×YØ�Ý·åjÞ=â.×YØ�á�ç=ÖeÜ·Ü �=Ý·åj×�Öeß�Ù)è¡Ý´ÚYæó!âj×���ØHè¬Ø�×(ã�âjä=Þ:ÚkÙ¡Öe×kØqÝ·å.Þ=âj×kØ�á�ç=Ö�Þ=áQÖeÜ·ÜUÚk×YÝ´åj×�Ö�ßQÙ)è¡Ý·Úkæ�ë¡âj×���ØHè¬Ø�×(ã�âjä=Þ:ÚkÙ¡Öe×kØ!Ý·å.ÞDâ.×kØHá�ñ ��âtáDØ�Ü·Ù¬è¡Ý·Úkæ ÞDâã�ä=ÚYâ � Ù¡ã�ÖeÞ �8Ø!ÙaÖeÝ·áQÚYâ�æ8Ö��jØ�ó �½ó �½ó!ãHä=Úkâ�JÙBñ ��ÙYÝ·Þ=å�ãHä=Úkâ�JÙ¡â��Fâ.ÞDØ�â.×(Úmè(â���âj× �DÝ´åj×�Ö�ßQÙ?ÖeÞ=á�Úk×YÝ´åj×�Ö�ßQÙ?ã�Ö�Þå.×YØ�ÖeÚYÜ·àQá=Ø�ãH×kØ�Ö�ÙkØ®Úkæ=Ø!ÙkÝ���ØÀâ��¦Ö®ß�â:á=Ø�Ümç.è¡æDÝ´Ü·ØqàtÝ·Ø�Ü·á=Ý·Þ=å®â.ÞDÜ´àQÖÀÙkßÖeÜ·ÜUá=Ø�å.×aÖeá8Ö�ÚkÝ·â.Þ�Ý·Þ*ÛUØ�×���â.×Yß*ÖeÞDã�Ø.ñ

mÞ:�TÝ·å.ä=×YØ &��Dç:è¬Ø/áDÝ´ÙYÛ=Ü�ÖBàQÚYæ=Ø/ÛUØ�×���âj×kßÖeÞ=ã�ØÀâ����=Ý·å.×aÖeß Ö�Þ=á�Úk×YÝ·å.×�Ö�ß ß�â:á=Ø�Ü·Ù¬è¡Ý·ÚYæ*áDÝ � Ø�×YØ�Þ:Ú�ãHä=Úkâ�JÙ×kØHܾÖ�ÚkÝ �.Ø3ÚkâùÚkæDØ�ã�â.×Y×kØ�ÙYÛ8âjÞ=á=Ý·Þ=å'ßQâ:á=ØHÜ¡è¡Ý´ÚYæ Þ=âùã�äDÚkâ � Ù ��â.× �������1�� ��� ����������������*�� �����1��3Ùkß�âtâjÚkæ=Ý·Þ=åâ.Þ��.Ö�×kÝ·â.äDÙ�ÚY×�Ö�Ý´ÞDÝ´ÞDå*ÙYØ�Ú®ÙkÝ���Ø�Ù®â.Þ�Úkæ=Ø #�÷�� � ���qï ã�âj×kÛ=äDÙ�ñ��Dâ.×��=Ý·åj×�Öeß ßQâ:á=Ø�Ü·ÙBç è¬Ø ÙYØ�ØQÚYæ8ÖeÚÀßQâ:á=Ø�Ü·Ùè¡Ý·Úkæ'æ=Ý·å.æDØ�× ã�ä=ÚYâ � Ù*ÚYØ�Þ=á ÚYâùÛ8ØH×���âj×kß ßQâ.×YØÛ8â:â.×YÜ·à2ÖeÙQè(â.äDÜ´á �8Ø3Ø��:Û8Ø�ãHÚkØ�á�ç!ÚYæ=â.äDå.æ ��â.×��jØ�×kà�Ü�Öe×kåjØÚk×aÖeÝ·Þ=Ý·Þ=å®ÙkØ�ÚYÙ�ó � ë!ã�äDÚkâ � Ù�Öe×YØ/ã�âjßQÛ8Ö�×�Ö��DÜ´Ø¡è¡Ý·ÚYæ*ÞDâ ã�ä=Úkâ�JÙBñ?ôqâeè¬Ø��jØ�×�ç ��â.×(Úk×YÝ·å.×�Ö�ß ß�â:á=Ø�Ü·Ù¬è(Ø!ÙkØ�ØÀÚkæ8Ö�ÚßQâ:á=ØHÜ´ÙZè¡Ý´ÚYæQó��kó���ë(ã�ä=Úkâ�JÙ�Ö�ã�ÚkäUÖeÜ·Ü·à�âjä=ÚkÛUØ�×��sâ.×kß1ßQâ:á=Ø�Ü·Ù)è¡Ý·ÚkæQÞDâ/ã�ä=ÚYâ � Ù¡â��.Ø�×?ß�â.ÙYÚ?â���ÚYæ=Ø�ÚY×�ÖeÝ·Þ=Ý·Þ=åÀÙkØ�ÚÙkÝ���ØHÙ�ñ mÞ�âjÚkæ=ØH×/è¬âj×ká=ÙBç Ý·Ú�ÙYØ�Ø�ßQÙ!ÚYæ8ÖeÚ!ÚkæDØQÖeÜ·å.âj×kÝ·Úkæ=ß �������1�� ��������������������*��2�������ÀÙkß�âtâjÚkæ=ÙqÚk×YÝ´åj×�Ö�ßQÙè¡Ý·Úkæ�âjÞ=Ø®ã�â.ä=Þ:Ú!Ùkâ�Û8â:âj×kÜ·àÚkæ8Ö�Ú�äDÙkÝ·Þ=åQÚYæ=Ø�ÙYØ ã�â.ä=Þ:ÚYÙ�Ö�ã�ÚkäUÖeÜ·Ü·à*æ:ä=×YÚkÙ!ÛUØ�×���âj×kßÖeÞ=ã�Øjñ!ûFâ�Ùkæ=âeè ÚYæ8ÖeÚ!ÚYæ=Ý·Ù�UØ�æ8Ö��:Ý·â.×(á=â:Ø�Ù�Þ=âjÚ¬æDâ.Ü·á���âj×�ÖeÜ·ÜUÙkßQâ:âjÚkæ=Ý·Þ=å�Ö�Ü·å.â.×YÝ·Úkæ=ß�Ù�çeÝ·Þ!�TÝ·å.äD×kØ�&��Àè¬Ø!á=Ý·ÙYÛ=Ü�ÖBà�ÚYæ=Ø/å.×aÖeÛ=æÖeÞ8Ö�Ü·â.å.âjä=ÙÚkâ®ÚkæDØ�åj×�Ö�Û=æQâjÞQÚkæDØ�×YÝ·å.æ:Ú¬â�� �TÝ·å.ä=×YØ &]�/Ø��:ã�ØHÛ=Ú¡ä=ÙkÝ·Þ=å ������������������� ��(��ÀÝ´ÞDÙkÚkØBÖeáQâ�� ��������� ��� ���������������*�� �����1��/ÙYßQâ:â.ÚYæ=Ý·Þ=å8ñD�Dâ.× ������������������� ��(�� çBè(Ø�ÙYØ�Ø!Úkæ8Ö�Ú¡ßQâ:á=Ø�Ü·Ù?è¡Ý·ÚYæQã�ä=ÚYâ � Ù¡Ý·Þ=á=Ø�Ø�áÛUØ�×��sâ.×kß�ßQâj×kØÛUâtâj×kÜ·àùÚkæUÖeÞ2ß�â:á=Ø�Ü·Ù/è¡Ý·Úkæ=âjä=Ú®ã�ä=Úkâ�JÙBñ2û¡æDØ*áDØ�ã�×kØBÖeÙkØ�Ý·ÞùÛ8ØH×���âj×kß*Ö�Þ=ã�ØÝ·Ù�ß�â:á=Ø�×�Ö�ÚkØ ��â.×®Úkæ=ØHÙkØã�ä=ÚYâ ��.ÖeÜ·ä=ØHÙ�ç:ÚkæDâ.ä=åjæ�ç:Ø�ÙkÛUØ�ã�Ý�Ö�Ü´Ü·à ��â.סÜ�Öe×Yå.Ø�סáUÖeÚ�ÖÀÙkØHÚkÙ�ésÖ��Uâ.ä=Ú�óDñyó�� �=Ý·ÚkÙ���è¬âj×ká8úHñ

mÞ:�TÝ·å.ä=×YØ�Ù�&�� Ö�Þ=á &.í=çDè¬ØÀá=Ý·ÙkÛ=Ü�ÖBà ÚkæDØ/Û8ØH×���âj×kß*Ö�Þ=ã�Ø!â����.Ö�×kÝ·â.ä=Ù(Ùkß�â:â.ÚkæDÝ´ÞDåðÖ�Ü´åjâ.×YÝ´ÚYæ=ßQÙ ��â.× �=Ý·åj×�ÖeßÖeÞDá§ÚY×kÝ·å.×aÖeß%ß�â:á=Ø�Ü·Ù�ç)×YØ�ÙkÛUØ�ã�ÚYÝ�jØ�Ü·àtç ��â.× á=Ý�� Ø�×kØHÞtÚ ãHä=Úkâ�JÙ�â��.Ø�×QÖ�×aÖeÞ=åjØ*â���ÚY×�ÖeÝ·Þ=Ý·Þ=å�ÙkØHÚQÙkÝ���ØHÙQâ.Þ�Úkæ=Ø#�÷�� � ����ï�ã�â.×YÛ=ä=Ù�ñ =��jØ�×�Ö�Ü·Üòç(è(Ø�ÙkØHØ�ÚYæ8ÖeÚ ÚYæ=Ø�âj×ká=ØH×kÝ·Þ=åùâ���Ö�Ü´åjâ.×YÝ´ÚYæ=ßQÙ �:à2ÛUØ�×��sâ.×kßÖeÞ=ãHØ*Ý·Ù�ܾÖ�×kåjØ�Ü·à

� �

Page 55: Chen & Goodman - Peopleklein/cs294-5/chen_goodman.pdf · Úkâ!ü òåj× Ö ß ßQâ:á=Ø Ü·Ù ÖeÞDá/Ùkß âtâjÚkæ=Ý·Þ=åUç Ö Þ=á/ÙkäD× .ØHà/Úkæ=Ø(ßQâjÙkÚ

0

0.02

0.04

0.06

0.08

0.1

0.12

100 1000 10000 100000 1e+06

diff

eren

ce in

test

cro

ss-e

ntro

py f

rom

no

cuto

ffs

(bits

/toke

n)

training set size (sentences)

relative performance of cutoffs on WSJ/NAB corpus, bigram

no cutoffs

0-1 cutoffs

0-2 cutoffs

-0.1

-0.05

0

0.05

0.1

100 1000 10000 100000 1e+06di

ffer

ence

in te

st c

ross

-ent

ropy

fro

m n

o cu

toff

s (b

its/to

ken)

training set size (sentences)

relative performance of cutoffs on WSJ/NAB corpus, trigram

no cutoffs

0-0-1 cutoffs

0-0-2 cutoffs

0-1-1 cutoffs

�TÝ·å.ä=×YØ &]�7� �TØ�×���â.×Yß*Ö�Þ=ã�Ø)×kØ�Ü�Ö�ÚkÝ �.Ø)Úkâ¡ß�â:á=Ø�Üeè¡Ý·Úkæ!Þ=â¡ã�âjä=Þ:Ú�ã�äDÚkâ � Ù�â��=ßQâ:á=Ø�Ü·ÙUè¡Ý´ÚYæ!ã�ä=Úkâ�JÙTâ.Þ�#»÷�� �����ïã�âj×kÛ=ä=ÙBç���������� ��� ����������������*��������1��qÙYßQâ:â.ÚYæ=Ý·Þ=å8ç��=Ý·å.×aÖeß Ö�Þ=áQÚY×kÝ·å.×aÖeß�ßQâ:á=Ø�Ü·Ù

0

0.05

0.1

0.15

0.2

100 1000 10000 100000 1e+06

diff

eren

ce in

test

cro

ss-e

ntro

py f

rom

no

cuto

ffs

(bits

/toke

n)

training set size (sentences)

relative performance of cutoffs on WSJ/NAB corpus, trigram

no cutoffs

0-0-1 cutoffs

0-0-2 cutoffs

0-1-1 cutoffs

�TÝ·å.ä=×YØ &]�7� �TØ�×���â.×Yß*Ö�Þ=ã�Ø)×kØ�Ü�Ö�ÚkÝ �.Ø)Úkâ¡ß�â:á=Ø�Üeè¡Ý·Úkæ!Þ=â¡ã�âjä=Þ:Ú�ã�äDÚkâ � Ù�â��=ßQâ:á=Ø�Ü·ÙUè¡Ý´ÚYæ!ã�ä=Úkâ�JÙTâ.Þ�#»÷�� �����ïã�âj×kÛ=ä=ÙBç������� ������������ ��(��/Ùkß�âtâjÚkæ=Ý·Þ=åUç.ÚY×kÝ·å.×aÖeß ß�â:á=Ø�Ü

���

Page 56: Chen & Goodman - Peopleklein/cs294-5/chen_goodman.pdf · Úkâ!ü òåj× Ö ß ßQâ:á=Ø Ü·Ù ÖeÞDá/Ùkß âtâjÚkæ=Ý·Þ=åUç Ö Þ=á/ÙkäD× .ØHà/Úkæ=Ø(ßQâjÙkÚ

-0.1

-0.05

0

0.05

0.1

100 1000 10000 100000 1e+06

diff

in te

st c

ross

-ent

ropy

fro

m b

asel

ine

(bits

/toke

n)

training set size (sentences)

rel. perf. of algs. on WSJ/NAB corpus, 2-gram, 0-1 cutoffs

katz

kneser-neykneser-ney-mod

abs-disc-interp

jelinek-mercer

witten-bell-backoff

-0.08

-0.06

-0.04

-0.02

0

0.02

0.04

0.06

0.08

0.1

100 1000 10000 100000 1e+06di

ff in

test

cro

ss-e

ntro

py f

rom

bas

elin

e (b

its/to

ken)

training set size (sentences)

rel. perf. of algs. on WSJ/NAB corpus, 2-gram, 0-2 cutoffs

jelinek-mercer-baseline

katz

kneser-neykneser-ney-mod

abs-disc-interp

jelinek-mercer

witten-bell-backoff

�TÝ·å.ä=×YØ &��7���TØ�×��sâ.×kßÖeÞ=ãHØ ×kØ�Ü�ÖeÚYÝ �.Ø®Úkâ �8ÖeÙYØ�Ü·Ý·Þ=Ø â�� �.Öe×YÝ´âjä=Ù/ÖeÜ·å.âj×kÝ·ÚkæDßQÙ¡â.Þ #�÷�� � ����ï ãHâ.×kÛDä=Ù�ç �=Ý·åj×�ÖeßßQâ:á=ØHÜ8è¡Ý·Úkæ�ó � ë!ÖeÞ=á�ó � �Àã�ä=ÚYâ � Ù

-0.2

-0.15

-0.1

-0.05

0

0.05

0.1

100 1000 10000 100000 1e+06

diff

in te

st c

ross

-ent

ropy

fro

m b

asel

ine

(bits

/toke

n)

training set size (sentences)

rel. perf. of algs. on WSJ/NAB corpus, 3-gram, 0-0-1 cutoffs

jelinek-mercer-baseline

katz

kneser-ney

kneser-ney-mod

abs-disc-interp

jelinek-mercer

witten-bell-backoff

-0.1

-0.05

0

0.05

0.1

100 1000 10000 100000 1e+06

diff

in te

st c

ross

-ent

ropy

fro

m b

asel

ine

(bits

/toke

n)

training set size (sentences)

rel. perf. of algs. on WSJ/NAB corpus, 3-gram, 0-1-1 cutoffs

jelinek-mercer-baseline

katz

kneser-neykneser-ney-mod

abs-disc-interp

j-m

witten-bell-backoff

�TÝ·å.ä=×YØ &jí7� �TØ�×���â.×Yß*ÖeÞDã�Ø�×YØ�Ü�ÖeÚYÝ�jØ�ÚYâ �8Ö�ÙkØ�Ü·Ý·Þ=Ø®â�� �.Ö�×kÝ·â.äDÙ�Ö�Ü·å.â.×YÝ·Úkæ=ß�Ù¬âjÞ #�÷l� � ����ï ã�âj×kÛ=äDÙ�çTÚk×kÝ·åj×�ÖeßßQâ:á=ØHÜ8è¡Ý·Úkæ�ó �½ó � ë!ÖeÞ=áó���ë ��ë�ãHä=Úkâ�JÙ

���

Page 57: Chen & Goodman - Peopleklein/cs294-5/chen_goodman.pdf · Úkâ!ü òåj× Ö ß ßQâ:á=Ø Ü·Ù ÖeÞDá/Ùkß âtâjÚkæ=Ý·Þ=åUç Ö Þ=á/ÙkäD× .ØHà/Úkæ=Ø(ßQâjÙkÚ

ä=Þ=ãaæ8Ö�Þ=å.ØHá �s×kâ.ß ÚYæ=ØQÞ=âjÞ��mã�ä=Úkâ��ã�Ö�ÙkØ.î ������������������Ö�Þ=á$������������������� ��(��ÙkÚkÝ·Ü·Ü(àtÝ·Ø�Ü·áùÚYæ=Ø �8Ø�ÙYÚ Û8ØH×����âj×kß*Ö�Þ=ã�Ø.ñ)û¡æDØ�ß�â.ÙYÚ¬ÙYÝ´åjÞ=Ý��8ã�Ö�ÞtÚ¡áDÝ � Ø�×YØ�Þ=ã�خݷ١Úkæ8Ö�Ú¡â.ä=סݷßQÛDÜ´ØHßQØ�Þ:Ú�Ö�ÚkÝ·âeÞ *��������0���������1������ % ÛUØ�×���âj×kß�ÙßQâj×kØ!ÛUâtâj×kÜ·à×kØ�Ü�Ö�ÚkÝ �.Ø/ÚYâÚkæ=Ø®â.ÚYæ=Ø�×�Ö�Ü·å.â.×YÝ·Úkæ=ß�Ù�î=Ý·Úqå.Ø�Þ=ØH×�ÖeÜ·Ü·àÛ8ØH×���âj×kßQÙqè¬âj×kÙYØ�ÚYæ8ÖeÞ�ÚYæ=Ø �8ÖeÙYØ�Ü·Ý´ÞDØ�ÖeÜ·å.â��×kÝ·ÚYæ=ß�çeäDÞ=Ü·Ý!jØ¡Ý·ÞQÚkæDØ�Þ=âjÞ��òãHä=Úkâ��ãBÖeÙkØjñ� mÞ*Ö�á=á=Ý·ÚkÝ·âjÞ�çeÚkæDØ�ß*Ö�å.Þ=Ý·ÚYä=á=Ø�Ù?â���Úkæ=Ø!á=Ý�� Ø�×kØHÞ=ã�Ø�ÙqÝ´Þ ÛUØ�×���â.×Yß*ÖeÞDã�ØÙkØHØ�ß Úkâ �UØ�Ü·Ø�ÙkÙ(è¡æ=Ø�Þã�äDÚkâ � Ù¡Öe×kØqä=ÙkØHá�ñ �Dâ.×?Ø���Ö�ßQÛ=Ü·Ø.ç ��â.×?ÚY×kÝ·å.×aÖe߸ßQâ:á=ØHÜ´ÙZè¡Ý´ÚYæ ã�ä=ÚYâ � Ù�ç����������������������(���Û8ØH×���âj×kßQÙÀä=ÛùÚkâ�óDñ·ë�� �=Ý·ÚkÙ �eè(â.×ká��UØ�ÚYÚkØ�×®Úkæ8Ö�Þ �������1�� ��� ������� ��������*��������1��Uî���â.×/ß�â:á=Ø�Ü·Ù�è¡Ý·ÚkæùÞDâã�ä=ÚYâ � Ù�çDÚkæ=Ý·Ù �.ÖeÜ·ä=Ø!Ý·Ù¡Öe×kâjä=Þ=á�ó=ñ �]���=Ý·ÚYÙ��eè(â.×Yá�ñ

��� '�% � $ ���� $& *�'�� ' )!% * mÞ'ÚkæDÝ´Ù ÙYØ�ã�ÚYÝ´âjÞ�ç(è¬Ø �=×kÝ·Ø/.Uà2á=Ø�ÙYã�×kÝ �UØ�â.äD× Ý´ß�Û=Ü·Ø�ßQØHÞtÚaÖeÚYÝ´âeÞDÙ��sâ.× ã�âjä=Þ:Úã�ä=ÚYâ � Ù ��âj×��.Öe×YÝ´âjä=ÙFÖ�Ü·å.â.×YÝ·Úkæ=ß�Ù�ñ ��Ù?ß�Ø�Þ:ÚkÝ·â.ÞDØ�á�ØBÖe×kÜ·Ý·Ø�×Bç.ÚYæ=Ø¡å.Ø�ÞDØ�×�Ö�Ü=ÙkÚY×�ÖeÚYØ�å.à è(Ø(Úkâ:â !®èøÖ�Ù�� �sâ.׬ü��må.×aÖeßQÙè¡Ý·Úkæ�ãHâ.ä=Þ:ÚkÙ �8Ø�Ü·âeè-Úkæ=Ø®ã�ä=ÚYâ � Ù�çTè¬Ø®Û=×kØHÚkØ�Þ=áDØ�á2ÚYæ=Ø�à�â:ã�ã�äD×k×kØHáH��Ø�×YâÚkÝ·ßQØ�Ù!ÖeÞ=áùÖeÙYÙkÝ·å.ÞDØ�á�ÛD×kâ �UÖ��=Ý·Ü·Ý·ÚkÝ·Ø�ÙÚkæD×kâ.äDå.æ �8Ö�ã !.â � �eÝ·Þ:ÚkØH×kÛUâ.Ü�ÖeÚYÝ´âjÞ�î ��â.×ü��òåj×�Öeß�Ù è¡Ý·Úkæ ã�âjä=Þ:ÚkÙ�Ö��Uâ��.Ø3Úkæ=Ø�ã�ä=ÚYâ � Ù�çqè¬ØùÖeÙYÙkÝ·å.Þ=ØHá ÙkÝ·ßQÝ·Ü�Öe×Û=×Yâ �8Ö��=Ý·Ü´Ý·ÚYÝ´ØHÙ¦Ö�Ù¬Ý·Þ ÚYæ=Ø�Þ=âjÞ��mã�ä=Úkâ�*ã�Ö�ÙkØ.îUÖeÞ=á è(Ø�Ö�á �aä=ÙYÚkØ�á ÚYæ=Ø��UÖeã !.â� ��Ý´Þ:ÚYØ�×kÛUâ.Ü�ÖeÚYÝ·â.Þ®Ùkã�Ö�Ü´Ý·Þ=å �òÖeã�ÚYâ.×YÙ¬ÙYâÚkæUÖeÚ�áDÝ´ÙYÚk×YÝ�Dä=ÚkÝ·â.ÞDÙ�è(Ø�×kØ?ãHâ.×k×YØ�ã�ÚYÜ´àÀÞ=â.×Yß*ÖeÜ·Ý���Ø�áTñt�Dâ.×TÚkæ=ØZÝ´ß�Û=Ü·Ø�ßQØHÞtÚaÖeÚYÝ´âjÞ¬â��8ã�ä=ÚYâ � Ù ��âj×�õ/ÖeÚ$�?Ùkß�â:â.ÚkæDÝ´ÞDå8ç×kØ ��Ø�×�ÚYâ Úkæ=Ø��UØ�å.Ý·Þ=ÞDÝ´ÞDå�â��Z÷�Ø�ã�ÚkÝ·âjÞw�Dñ &=ñ �=ñ

�=âj× �������1�� ��� ������� ��� ÖeÞ=á ��������� ��� ����������������*��������1��Uçeè(Ø/ä=ÙYØ�ÖeÞØ��:ä8Ö�ÚkÝ·â.Þ�Ö�Þ8ÖeÜ·â.åjâ.ä=Ù¡ÚYâ Ø��:ä8Ö��ÚkÝ·âjÞ�ékë �.ú ��×Yâ.ß ÷�Ø�ã�ÚkÝ·âjÞ �Dñ &7�

* � ��������� é-a o j a o mDbo m����Ob ú ^ �� � ���� �������*�� � é-a o j a o mDbo m����Ob ú � ékë �� �� � ���� �������

úA* � ��������� é-a o j a o mDbo m���� i ú é �.íjú

è¡æ=Ø�×YØ*�� � é-a o j a o mDbo m����Ob ú ^ � � � � é@a oo m����Ob úx ��� � � � � é@a oo m����Ob ú

ÖeÞDá*è¡æDØ�×kØ� � � � é-a oo m����Ob úd^ � � é-a oo m����Ob ú Ý � � é@a oo m����Ob ú � � �ó â.ÚYæ=Ø�×Yè¡Ý´ÙYØ

è¡æ=Ø�×YØ � ��Ý´Ù¡ÚYæ=Ø/ã�âjä=Þ:Ú¡ã�ä=ÚYâ � ��âjסÚkæ8Ö�Ú�ü��òåj×�Ö�ß Ü·Ø��.Ø�Ümñd�=âj×$ �� � ���� �������ç:è¬Ø!ÚaÖ�!.Ø

�� � ���� �������^ x ��� � � � � é-a oo m����Ob ú

x�� � � é-a oo m����Ob ú � � ���� �������

û¡æ=Ø�ÞTç:Úkæ=Ø¡Ü·Ø ��ÚZÚkØ�×Yß â.Þ ÚYæ=Ø¡×kÝ·å.æ:Ú��òæ8Ö�Þ=á ÙkÝ·á=Ø¡â���Ø��:ä8ÖeÚYÝ·â.Þé �.íjú)Ý·Ù?Ø��:ä=Ý �.ÖeÜ·Ø�Þ:Ú?ÚYâ/ÚkæDØ¡ã�â.×Y×kØ�ÙYÛ8âjÞ=á=Ý·Þ=å ÚkØH×kßÝ·Þ�Ø��täUÖeÚkÝ·âjÞ§éYë �.úHî ��Ð � çJü��må.×aÖeß�Ù�è¡Ý·Úkæ�ã�â.äDÞtÚYÙ�Ö��Uâ��.Ø®ÚkæDØ ã�ä=Úkâ� Ö�×kØQÖeÙYÙkÝ·å.ÞDØ�á�ÙYÝ·ßQÝ·Ü�ÖeסÛ=×Yâ �8Ö��=Ý·Ü´Ý·ÚYÝ´ØHÙ�Ý·ÞÚkæDØ�ãHä=Úkâ� Ö�Þ=áÞ=â.Þ��mã�ä=ÚYâ ��ãBÖeÙkØHÙ�ñ

�=âj× # Ý·ÚkÚYØ�Þ��mï¬Ø�Ü·Ü ÙYßQâ:â.ÚYæ=Ý·Þ=å8çjÝ·Þ=ÙkÚYØ�Öeáâ��)Ø��:ä8ÖeÚYÝ·â.Þùékë��.ú(Ý·Þ*÷:ØHã�ÚkÝ·â.Þ �Dñ �Àè(Ø�ÚaÖ�!jØ

* ��� é@a o j a o mObo m����Ob ú ^ � �� � é-a oo m����Ob ú � � �bT� é-a o mObo m����Ob � úh* � � é-a o j a o mDbo m���� i ú

x � � � é-a oo m����Ob ú ��� bT� é-a o mDbo m����Ob � úè¡æ=Ø�×YØ � � � � é-a oo m����Ob ú¡Ý·Ù¡á=ØZ�8Þ=Ø�áùÖeÙ��8Ø �sâ.×kØ®ÖeÞ=á � �bT� é@a o mDbo m����Ob � ú¡Ý·Ù¡ãaæ=â.ÙYØ�Þ�Ùkâ ÚkæUÖeÚ�ÛD×kâ �UÖ��=Ý·Ü·Ý·ÚkÝ·Ø�Ù¡ÙkäDß ÚYâë.î ��Ð � ç:è¬Ø!Ú�Ö�!.Ø � �b � é@a o mDbo m����Ob�� ú ^�� bT� é@a o mDbo m����Ob<� ú � � ��� � é-a oo m����Ob ú�� � ��� � � � � é-a oo m����Ob ú

�=âj×�Ö��=ÙYâ.Ü·ä=ÚYØ�áDÝ´ÙYã�â.äDÞtÚYÝ·Þ=å8ç:è(Ø!ä=ÙkØ�Ö�ÞQØ��:ä8Ö�ÚkÝ·â.Þ�Ö�Þ8ÖeÜ·â.åjâ.ä=ÙZÚkâ Ø��:ä8Ö�ÚkÝ·â.ÞùékëBí.úZÝ·Þ�÷�Ø�ã�ÚkÝ·âjÞ �Dñ �

* ��� é@a o j a o mDbo m����Ob ú(^ß*Ö�� � � � � � é-a oo m����Ob ú���� ,�ó��x ��� � é-a oo m����Ob ú

�»éYë �� � � ���� �������ú5* � � é-a o j a o mDbo m���� i ú

���

Page 58: Chen & Goodman - Peopleklein/cs294-5/chen_goodman.pdf · Úkâ!ü òåj× Ö ß ßQâ:á=Ø Ü·Ù ÖeÞDá/Ùkß âtâjÚkæ=Ý·Þ=åUç Ö Þ=á/ÙkäD× .ØHà/Úkæ=Ø(ßQâjÙkÚ

7

7.5

8

8.5

9

9.5

10

1000 10000 100000 1e+06

cros

s-en

trop

y of

test

dat

a (b

its/to

ken)

training set size (sentences)

abs-disc-interpkatz

kneser-ney-fixkneser-ney-mod

34

36

38

40

42

44

46

48

50

52

1000 10000 100000 1e+06

wor

d-er

ror

rate

on

test

set

training set size (sentences)

abs-disc-interpkatz

kneser-ney-fixkneser-ney-mod

�TÝ·å.ä=×YØ &.ìF� =qÞ�Ü´Ø ��Ú�ç:ã�×Yâ.ÙYÙ��mØ�Þ:Úk×kâjÛ:àQâ�� �.Öe×YÝ´âjä=Ù¬Ö�Ü´åjâ.×YÝ´ÚYæ=ßQÙ)âjÞQï(×kâtÖ�á=ã�Ö�ÙkÚ���Ø�è¡Ù¡ÙYÛ8Ø�ØHã�æ3×kØ�ã�âjå.Þ=Ý·ÚYÝ´âjÞQÚYØ�ÙkÚÙkØHÚ�â��.ØH× �.Öe×kÝ·âjä=Ù¡Úk×aÖeÝ·Þ=Ý·Þ=å®ÙkØ�ÚqÙkÝ���Ø�ÙBç8ÚY×kÝ·å.×aÖeß�ßQâ:á=Ø�Ümîjâ.Þ×kÝ·åjætÚBç=ÙYÛ8Ø�ØHã�æ�×kØHã�â.åjÞ=Ý·ÚkÝ·â.Þè(â.×ká �òØ�×Y×kâj×�×�Ö�ÚkØ���âj×Ù�Ö�ßQØqßQâ:á=Ø�Ü·Ù(â.ÞQÙaÖeß�Ø�ÚkØHÙkÚ�ÙYØ�Ú

û)â�æUÖ��.Ø!Úkæ=Ý·Ù¡á=Ý·ÙYÚk×kÝ �=äDÚkÝ·â.Þ�Ùkä=ß�Úkâ�ëjç:Ý´ÞDÙkÚkØBÖeáâ��)Ø��:ä8ÖeÚYÝ´âjÞùékë�ìjú?è(Ø/ÚaÖ�!.Ø

ë �� � � ���� �������^ � � b � é-a o mObo m����Ob � ú � x � � � é-a oo m����Ob ú�� x � � � � � � é@a oo m����Ob ú

x � � � é-a oo m����Ob ú�Dâ.×(õ�ÞDØ�ÙkØ�×����qØ�à�ÙkßQâ:âjÚkæ=Ý·Þ=åUçeè¬Ø!ßÖ�!.ØqÚkæ=Ø!ÙaÖeßQØ!Öeá � ä=ÙkÚYßQØ�Þ:ÚkÙ¡ÖeÙ¡Ý·Þ�Ö��DÙkâ.Ü·ä=ÚYØ!á=Ý·Ùkã�âjä=Þ:ÚkÝ·Þ=å8ñ

� ����� ��� % � � *�'�� % � ����* � " � ���� � �� % +(*�)!'�)!%(*

mÞ�Úkæ=Ý·Ù�ÙYØ�ã�ÚYÝ´âjÞ�çTè¬Ø��D×kÝ·Ø/.8à�Ø���Ö�ßQÝ·Þ=Ø/æDâeè Úkæ=Ø®Û8ØH×���âj×kß*Ö�Þ=ã�Ø/â��øÖ�Ü�ÖeÞ=åjä8ÖeåjØ�ß�â:á=Ø�Ü�ß�Ø�ÖeÙYä=×kØHá�Ý·Þ�ÚYØ�×kß�Ùâ���ãH×kâ.ÙYÙ��mØ�Þ:Úk×Yâ.Û:àQã�âj×k×YØ�Ü�ÖeÚkØHÙ¡è¡Ý´ÚYæ ÙkÛUØ�Ø�ãaæ×kØ�ãHâ.å.ÞDÝ´ÚYÝ·â.ÞQÛUØ�×���â.×Yß*ÖeÞDã�Ø¡ä=ÙkÝ·Þ=å®ÚkæDØ�Ü�ÖeÞ=åjä8Öeåjجß�â:á=Ø�Ümñ�÷:ÛUØ�Ø�ãaæ×kØHã�â.åjÞ=Ý·ÚkÝ·â.Þ�Ý´ÙÀÛ8Ø�×Yæ8ÖeÛDÙ Úkæ=ØßQâjÙkÚ!Û=×YØ��.ÖeÜ·Ø�Þ:Ú ÖeÛ=Û=Ü·Ý·ã�Ö�ÚkÝ·â.Þùâ���ܾÖ�Þ=å.äUÖeå.Ø ß�â:á=Ø�Ü·Ù�ç)ÖeÞ=á�è¬Ø�Û8ØH×���âj×kß%ÚYæ=Ý·ÙÙkÚYä=á=à�ÚYâQåjÝ�jØ�ÖeÞ3Ø��=ÖeßQÛDÜ´Ø!â��¬æ=âeè ã�×Yâ.ÙkÙ��òØHÞtÚY×kâjÛtà3ã�â.×Y×kØ�Ü�ÖeÚYØ�Ù/è¡Ý·Úkæ�ÖeÞ�Ö�Û=Û=Ü·Ý·ã�ÖeÚYÝ´âjÞ��mÙkÛUØ�ã�Ý��8ã/ß�Ø�ÖeÙYä=×kØ®â��ÛUØ�×���âj×kßÖeÞ=ã�Øjñ/÷:Û8ØHØ�ãaæù×kØ�ã�âjå.Þ=Ý·ÚYÝ´âjÞ�ÛUØ�×���â.×Yß*ÖeÞDã�Ø/Ý·Ù!å.Ø�Þ=ØH×�ÖeÜ·Ü·àßQØ�Ö�Ùkä=×YØ�á�Ý´Þ3ÚkØ�×YßQÙ�â��øè(â.×Yá��mØ�×k×Yâ.×!×�Ö�ÚkØ.çè¡æ=Ý·ãaæ Ý·Ù?Úkæ=Ø¡Þ:ä=ß��UØ�×)â���è(â.×Yá�ØH×k×kâj×kÙ¡ßÖeá=Ø?áDÝ�:Ý·á=Ø�á��:à®Úkæ=Ø¡Þ:ä=ß��UØ�×)â���è(â.×Yá=Ù?Ý·Þ®Úkæ=Øqã�â.×Y×kØ�ã�Ú(Úk×aÖeÞ=ÙYã�×kÝ·Û=ÚBñ mÚ®æ8ÖeÙ �8ØHØ�Þ'Ùkæ=âeè¡Þ�Û=×kØ��:Ý·â.äDÙkÜ·à�ÚYæ8ÖeÚ®ÚkæDØ�×kØÝ·Ù�ÙYâ.ß�Ø Ü´Ý·Þ=ØBÖe×/ã�âj×k×YØ�Ü�ÖeÚkÝ·âjÞ �UØ�Úmè¬ØHØ�Þ'Úkæ=Øè(â.×ká �òØ�×Y×kâj×�×aÖeÚkØÛ=×YâtáDä=ã�Ø�á�ä=ÙkÝ·Þ=å�Ö Ü�Ö�Þ=å.ä8Ö�å.Ø®ßQâ:á=Ø�Ü?Ö�Þ=á�ÚYæ=Ø®ã�×kâjÙkÙ��mØ�Þ:Úk×Yâ.Û:àùâ��¡ÚkæDØ ßQâ:á=Ø�ÜTâ.Þ�Úkæ=Ø ã�âj×k×YØ�ÙkÛUâ.Þ=áDÝ´ÞDå�ÚkØ��:Úé�ê(æDØ�Þ�ç:ï(Ø�Ø ��Ø�×Yß*Ö�Þ�ç=ÖeÞ=á��¡âjÙkØ�Þ��sØ�Ü·á�ç8ëBì.ìjí.ú�ñTô�âeè(Ø��jØ�×�ç:ÚYæ=Ø!ÙkÚk×YØ�Þ=åjÚkæâ��)Úkæ=Øqã�â.×Y×kØ�Ü�ÖeÚYÝ·â.ÞQáDØ�Û8ØHÞ=á=Ù�âjÞ Úkæ=ØÞ8Ö�Úkä=×YØ/â��)Úkæ=Ø!ßQâ:á=ØHÜ´Ù��UØ�Ý·Þ=å ã�â.ß�Û8Öe×YØ�á�ñ

�=âj×!Úkæ=Ø�ÙYØ Ø��:Û8ØH×kÝ·ßQØ�Þ:ÚYÙ�çTè¬Ø®ä=ÙkØHáùï¬×YâtÖeáDã�ÖeÙYÚ ��Ø�è¡Ù!ÙYÛ8Ø�ØHã�æ�á8ÖeÚaÖ�é � � � � �®çFëBì.ìjí.ú�ñ�#ùØ®å.ØHÞ=Ø�×�Ö�ÚkØ�áÞ8Ö�×k×kâeè����UØ�Öeß�Ü�ÖeÚkÚYÝ·ã�Ø�Ù¡è¡Ý·ÚkæÚkæDØ�÷�Û=æ=Ý·Þ ��� " (ÙkÛUØ�Ø�ãaæ�×kØ�ã�âjå.Þ=Ý·ÚYÝ´âjÞÙkà:ÙkÚYØ�ß é��)Ü�Öeã�ØHèøÖBà�Ø�Ú�Ö�Üòñ·çUë�ìjì��.úZä=ÙYÝ´ÞDåÖ�õ/ÖeÚ�� �òÙYßQâ:â.ÚYæ=Ø�á�Úk×kÝ·åj×�Öeß ßQâ:á=Ø�Ü)ÚY×�ÖeÝ·Þ=ØHáùâ.Þ'ë &.óMßQÝ·Ü·Ü·Ý´âjÞQè(â.×Yá=Ù/â��¡ï(×kâtÖ�á=ã�Ö�ÙkÚ �qØ�è¡Ù/ÚkØ��tÚBî)Úk×YÝ´åj×�Ö�ßQÙâ:ã�ã�ä=×Y×kÝ·Þ=å âjÞ=Ü·à â.Þ=ã�Ø!Ý·ÞQÚYæ=Ø!Úk×aÖeÝ·Þ=Ý·Þ=å®á8ÖeÚaÖ/è(Ø�×kØ!Ø��:ã�Ü·ä=áDØ�á ��×kâjß Úkæ=Ø!ß�âtáDØ�Ümñ #ùØqã�ÖeÜ·ã�ä=Ü�Ö�ÚkØ�á�è¬âj×ká��mØ�×k×Yâ.××�Ö�ÚkØ�Ù ��â.×)ÚkæDءܾÖ�Þ=å.äUÖeå.ØZßQâ:á=Ø�Ü·Ù�Ý·Þ®Úkæ=Ý·Ù)Ø��:ÛUØ�×kÝ·ßQØHÞtÚ �:à/×YØ�Ùkã�âj×kÝ·Þ=å/ÚYæ=Ø�ÙYءܾÖ�ÚkÚYÝ´ãHØ�Ù?è¡Ý·Úkæ/ÚYæ=Ø¡å.Ý �jØ�Þ�Ü�Ö�Þ=å.ä8Ö�å.ØßQâ:á=ØHÜòñ

#ùجãHâ.Þ=ÙYÚk×käDã�ÚkØ�á�Úk×YÝ´åj×�Ö�ß Ü¾Ö�Þ=å.äUÖeå.ØZßQâ:á=Ø�Ü·Ù �sâ.×�ØBÖeãaæ â�� �sâ.ä=×)Ùkß�â:â.ÚkæDÝ´ÞDå�ÖeÜ·å.âj×kÝ·Úkæ=ß�Ù �sâ.×O� �.Ø(á=Ý�� Ø�×kØ�Þ:ÚÚk×aÖeÝ·Þ=Ý·Þ=å®ÙkØ�Ú!ÙYÝ �HØ�Ù�é ×�ÖeÞDå.Ý·Þ=å ��×Yâ.ß ëjç ójó.óÀÚkâí=ç &.ójó=çyó.ójó�ÙYØ�Þ:ÚkØ�ÞDã�Ø�Ù�úHñ ��Ý·ÙkÚkØHá ��×kâjß �UØ�ÙYÚ�Úkâ�è¬âj×kÙYÚ¡Ý´ÞÚYØ�×kß�Ùâ��¡ã�×Yâ.ÙkÙ��òØHÞtÚY×kâjÛtà:ç)ÚkæDØ�ÙkØ�ÖeÜ·åjâ.×kÝ·ÚYæ=ßQÙ�Ö�×kØ ������������������� ��(�� ç����������������������0��� ç���*���� ç�ÖeÞDá *��������0��������1������ % ñ ��Ü·Ü ßQâ:á=ØHÜ´Ù(è(Ø�×kØ��Dä=Ý·Ü´Ú¡è¡Ý·ÚYæ*ÞDâ ã�â.ä=Þ:Ú¡ã�äDÚkâ � Ù�Ø��tãHØ�Û=Ú���â.סÚYæ=Ø/Ü�Öe×Yå.Ø�ÙYÚ¡Úk×aÖeÝ·Þ=Ý·Þ=å®ÙkØ�ÚBç �sâ.סè¡æ=Ý·ãaæ

�.í

Page 59: Chen & Goodman - Peopleklein/cs294-5/chen_goodman.pdf · Úkâ!ü òåj× Ö ß ßQâ:á=Ø Ü·Ù ÖeÞDá/Ùkß âtâjÚkæ=Ý·Þ=åUç Ö Þ=á/ÙkäD× .ØHà/Úkæ=Ø(ßQâjÙkÚ

34

36

38

40

42

44

46

48

50

52

7 7.5 8 8.5 9 9.5 10 10.5

wor

d-er

ror

rate

on

test

set

cross-entropy of test set

abs-disc-interpkatz

kneser-ney-fixkneser-ney-mod

�TÝ·å.ä=×YØ �tóF� ��Ø�Ü�ÖeÚYÝ´âjÞ �8Ø�Úmè(Ø�Ø�ÞùÛUØ�×YÛ=Ü·Ø��:Ý´Úmà�Ö�Þ=á�ÙkÛUØ�Ø�ãaæù×YØ�ã�â.åjÞ=Ý·ÚkÝ·â.Þ3è¬âj×ká��mØ�×k×Yâ.×!×�Ö�ÚkØ/âjÞ�ÚkØHÙkÚ/ÙYØ�Ú���â.× �jóÜ�ÖeÞ=åjä8ÖeåjØ�ß�âtáDØ�Ü·Ù

Úk×YÝ·å.×�Ö�ßQÙqâtãHã�ä=×k×YÝ·Þ=å�âjÞ=Ü·àâ.Þ=ã�Ø�Ý·Þ�ÚYæ=Ø Úk×aÖeÝ·Þ=Ý·Þ=åá8ÖeÚaÖ�è¬Ø�×YØQØ��:ã�Ü·ä=áDØ�á�ñ�û¡æ=Ø ã�×kâjÙkÙ��òØ�Þ:ÚY×kâ.Û:àùâjÞùÚkæ=Ø ÚYØ�ÙkÚá8Ö�Ú�Ö®â��)Úkæ=ØHÙkØ �jó/ß�âtáDØ�Ü·ÙøÖ�×kØ/á=Ý·ÙYÛ=Ü�ÖBà.Ø�á�â.ÞQÚYæ=Ø/Ü·Ø ��Ú¡Ý·Þ���Ý·åjä=×kØ�&.ì �:àQÚY×�ÖeÝ·Þ=Ý·Þ=å®ÙkØHÚ�ÙkÝ���Øjñû¡æ=Ø�Þ�ç)è(Ø ã�Ö�Ü´ãHä=Ü�ÖeÚkØHáùè¬âj×ká��mØ�×k×Yâ.×/×aÖeÚYØ�Ù��sâ.×/Ø�Ö�ãaæùâ��¡Úkæ=Ø�ÙYØ �jóßQâ:á=Ø�Ü·Ùqâ.ÞùÚkæDØ ÚkØ�ÙYÚ�á8Ö�Ú�ÖäDÙkÝ·Þ=åÚkæ=Ø

Û=×YâtãHØ�á=ä=×YØQá=Ø�ÙYã�×kÝ �UØ�á2ØBÖe×kÜ·Ý·Ø�×Bñ�=qÞ�ÚYæ=Ø ×kÝ·å.æ:Ú!Ý·Þ �TÝ·å.äD×kØ�&.ì=ç�è¬Ø®Û=Ü·â.Ú!ÚkæDØ è¬âj×ká��mØ�×k×Yâ.×/×aÖeÚYØ�Ù/â��¡ÚkæDØ�ÙkØ �jóßQâ:á=ØHÜ´Ù �:à/ÚY×�ÖeÝ·Þ=Ý·Þ=å!ÙYØ�Ú¬ÙYÝ���Ø.ñ mÞ��TÝ·å.ä=×YØf�tó=çjè(Ø¡Û=Ü·â.Ú)Úkæ=Ø¡ãH×kâ.ÙYÙ��mØ�Þ:Úk×Yâ.Û:à �HÕ"�.ÚYæ=Ø�è(â.×Yá��òØH×k×kâj×?×�Ö�ÚkØ ��â.×)Ø�Ö�ã�æâ���ÚYæ=Ø �jóßQâ:á=ØHÜ´ÙBñ #ùØ ãBÖeÞùÙkØHØ*ÚYæ8ÖeÚÀÚkæ=Ø�Ü´Ý·Þ=ØBÖe×/ã�âj×k×YØ�Ü�ÖeÚkÝ·âjÞ �UØ�Úmè¬ØHØ�Þ2ã�×Yâ.ÙYÙ��mØ�Þ:Úk×kâjÛ:à§ÖeÞDáùè¬âj×ká��mØ�×k×Yâ.××�Ö�ÚkØ Ý·Ù��jØ�×kà�ÙYÚk×Yâ.Þ=å �sâ.×/ÚYæ=Ý·Ù�ÙYØ�Ú®â��¡ßQâ:á=Ø�Ü·Ù�ñ®û¡æ:ä=ÙBç�Ý·Ú!ÙkØ�ØHßQÙ/ÚYæ8ÖeÚ!Ùkß�â:â.ÚkæDÝ´ÞDå*ÖeÜ·åjâ.×kÝ·ÚYæ=ßQÙ¡è¡Ý·Úkæ�Ü·âeè¬ØH×ã�×Yâ.ÙkÙ��òØHÞtÚY×kâjÛ=Ý·Ø�Ù!è¡Ý´Ü·Ü åjØ�Þ=Ø�×aÖeÜ·Ü·àQÜ·Ø�ÖeáÚYâ Ü´âeè(Ø�×(è¬âj×ká��mØ�×Y×kâ.×q×�Ö�ÚkØ�Ùqè¡æ=Ø�Þ�Û=Ü·ä=åjå.Ø�áÝ·Þ:Úkâ®ÙkÛUØ�Ø�ãaæ�×kØ�ã�âjå.Þ=Ý·ÚYÝ´âjÞÙkà:ÙYÚkØ�ß�Ù�ñ �Dâ.×?âjä=׬ÛUÖe×kÚYÝ·ã�ä=Ü�Öe×(á8ÖeÚaÖ/ÙYØ�Ú�ç:è(Ø�ÙYØ�Ø/Ö/×YØ�á=ä=ãHÚkÝ·â.Þâ��FÖ��8âjä=Úf�=ñ ���-Ö��=ÙYâ.Ü·ä=ÚkØqÝ·ÞQè(â.×ká �òØ�×Y×kâj׬×aÖeÚkØ��âj×�Ø��jØ�×kà �=Ý·Ú�â��?×kØ�á=äDã�ÚkÝ·â.Þ�Ý·Þã�×kâjÙkÙ��mØ�Þ:Úk×Yâ.Û:à:ñ��qÙ�ÙkØHØ�ÞùÝ·Þ�÷�Ø�ã�ÚkÝ·âjÞ:�=ñ·ë.çDÚkæ=ØÀá=Ý��JØ�×YØ�Þ=ã�Ø Ý·Þ�ãH×kâ.ÙYÙ��mØ�Þ:Úk×Yâ.Û:à�UØ�Úmè¬ØHØ�Þ'Úkæ=Ø �UØ�ÙkÚ ÙYßQâ:â.ÚYæ=Ý·Þ=å�ÖeÜ·å.âj×kÝ·Úkæ=ß%Ö�Þ=á2Ö�ß�Ø�á=Ý·â:ã�×kØ�Ùkß�âtâjÚkæ=Ý·Þ=å�Ö�Ü´åjâ.×YÝ´ÚYæ=ß ãBÖeÞ �UØ�ó=ñ � �=Ý·ÚYÙ�âj×ßQâj×kØ.ç�ã�â.×Y×kØ�ÙYÛ8âjÞ=á=Ý·Þ=å�Úkâ�Ö��Uâ.ä=Ú®Ö�ë�� Ö��=ÙkâjÜ´äDÚkØ á=Ý�� Ø�×kØ�ÞDã�ØÝ´Þ�è(â.×ká �òØ�×Y×kâj×/×�Ö�ÚkØ.ñôqØ�Þ=ã�Ø.ç)ÚYæ=Ø ãaæ=â.Ý·ã�Ø�â��Ùkß�â:â.ÚkæDÝ´ÞDå�ÖeÜ·å.âj×kÝ·ÚkæDß ãBÖeÞß*Ö�!.Ø�ÖÀÙkÝ·åjÞ=Ý��8ã�ÖeÞ:Ú¡á=Ý�� Ø�×kØHÞ=ã�Ø/Ý·ÞÙkÛUØ�Ø�ãaæ�×kØ�ã�âjå.Þ=Ý·ÚYÝ´âjÞQÛUØ�×��sâ.×kßÖeÞ=ãHØ.ñ

� � Ê" )ÉqÈ� � )Ê�Æ Ã

÷:ß�âtâjÚkæ=Ý·Þ=å Ý·Ù�Ö ��äDÞ=á8Öeß�Ø�Þ:Ú�Ö�Ü�ÚkØHã�æDÞ=Ý �täDØ ��â.×/ÙYÚ�Ö�ÚkÝ·ÙkÚYÝ´ãBÖeÜ?ß�âtáDØ�Ü·Ý´ÞDå8ç=Ý·ß�Û8âj×kÚ�Ö�Þ:Ú�Þ=âjÚ�âjÞ=Ü·à ��âj×�Ü�Ö�Þ=å.ä8Ö�å.ØßQâ:á=ØHÜ´Ý·Þ=å��Dä=Ú���â.×qß*ÖeÞ:à�â.ÚkæDØ�×/ÖeÛ=Û=Ü·Ý·ã�Ö�ÚkÝ·â.Þ=Ù!ÖeÙ!è(Ø�Ü·Üòç)Ð��wÎ ��çUÛ=×kØ�ÛUâ.ÙYÝ·ÚkÝ·â.Þ8Ö�Ü)Û=æ=×�Ö�ÙkØQÖ�ÚkÚ�Ö�ãaæ=ßQØ�Þ:Ú®é�ê(â.Ü·Ü·Ý·Þ=ÙÖeÞDá§ï(×kâ:â�!tÙBç/ë�ìjì��jú�ç?ÛUÖe×kÚ��òâ�� �mÙkÛUØ�Ø�ãaæ�ÚaÖeåjå.Ý·Þ=å'é�ê(æ:ä=×kãaæ�çÀë�ì.íjí.úHç¬ÖeÞDá§ÙYÚkâ:ãaæ8ÖeÙYÚkÝ·ã�Û8Öe×YÙkÝ·Þ=å é-�3Öeå.ØH×kß*Ö�Þ�çë�ìjì �Uîtö!â:â:á=ßÖeÞ�ç:ë�ìjì��jú�ñ # æ=Ø�Þ=Ø��.Ø�סá8Ö�Ú�ÖÀÙkÛ8Ö�×kÙYÝ´Úmà Ý·Ù¡ÖeÞ�Ý´ÙYÙkä=Øjç:ÙkßQâ:âjÚkæ=Ý·Þ=å!ã�Ö�ÞQæ=Ø�Ü·ÛÛUØ�×���âj×kßÖeÞ=ã�ØjçtÖ�Þ=áá8Ö�Ú�ÖÀÙkÛ8Ö�×kÙkÝ·Úmà�Ý´Ù�Ö�Ü·ßQâ.ÙYÚ¬ÖeÜ·è¡ÖBà:ÙøÖ�ÞQÝ·ÙkÙYä=Ø/Ý·ÞQÙYÚ�ÖeÚYÝ·ÙkÚkÝ·ã�Ö�Ü ßQâ:á=Ø�Ü·Ý·Þ=åUñ mÞÚkæ=Ø!Ø��:Úk×YØ�ßQØ!ã�Ö�ÙkØ/è¡æDØ�×kØ/ÚYæ=Ø�×YØ/Ý·ÙÙkâ�ß ä=ãaæQÚY×�ÖeÝ·Þ=Ý·Þ=å áUÖeÚ�ÖMÚkæ8Ö�Ú�Ö�Ü´Ü ÛUÖe×�Ö�ßQØ�ÚYØ�×kÙqã�ÖeÞ �8Ø�Ö�ã�ã�ä=×aÖeÚYØ�Ü·à�Úk×aÖeÝ·Þ=Ø�á�è¡Ý·ÚYæ=â.ä=Ú¡ÙYßQâ:â.ÚYæ=Ý·Þ=å8ç:âjÞ=Ø/ã�Ö�ÞÖeÜ·ß�â.ÙkÚ¡ÖeÜ·è¡ÖBà:Ù�Ø��:Û8Ö�Þ=á�ÚkæDØ�ß�âtáDØ�Ümç=ÙkäDã�æùÖeÙ��:àßQâ��:Ý·Þ=å®Úkâ*ÖMæ=Ý·å.æ=ØH×��mâ.×káDØ�×/ü��òåj×�Öeß�ß�â:á=Ø�Ümç:Úkâ�Öeãaæ=Ý·Ø��jØÝ·ßQÛ=×Yâ��.Ø�á�ÛUØ�×���âj×kßÖeÞ=ã�Øjñ #¶Ý´ÚYæ2ß�â.×kØ ÛUÖe×�Ö�ßQØ�ÚYØ�×kÙ®á8Ö�Ú�ÖÙYÛ8Öe×YÙkÝ·Úmà��8ØHã�â.ß�Ø�ÙðÖ�Þ2Ý·ÙkÙYä=Ø�Öeå:ÖeÝ·Þ�ç �=ä=Ú®è¡Ý´ÚYæÛ=×Yâ.ÛUØ�׬ÙYßQâ:â.ÚYæ=Ý·Þ=å�ÚYæ=Ø¡ßQâ:á=ØHÜ´Ù)Öe×YØ�ä=ÙYä8ÖeÜ·Ü·à!ßQâ.×YØøÖ�ã�ã�ä=×aÖeÚYØ�ÚkæUÖeÞ ÚkæDØ¡â.×kÝ·åjÝ´ÞUÖeÜ:ßQâ:á=Ø�Ü·ÙBñ û¡æ:ä=Ù�çjÞ=â/ßÖeÚkÚYØ�×æ=âeè'ß ä=ãaæ®á8ÖeÚaÖ!â.Þ=Øqæ8ÖeÙBç.ÙYßQâ:â.ÚYæ=Ý·Þ=å!ã�ÖeÞQÖ�Ü·ßQâ.ÙYÚ?ÖeÜ·èøÖBà:Ù)æ=Ø�Ü·Û ÛUØ�×��sâ.×kßÖeÞ=ãHØ.çtÖ�Þ=á��sâ.׬Ö!×YØ�Ü�ÖeÚYÝ�jØ�Ü·à/ÙkßÖeÜ·ÜØ/� â.×YÚ�ñ

mÞùÚkæ=Ý·Ù!è(â.× ! çTè¬Ø®æ8Ö��jØ ßQØ�Ö�Ùkä=×YØ�á�ÚYæ=Ø ÛUØ�×���âj×kßÖeÞ=ã�Ø®â��¡Ùkß�â:â.ÚkæDÝ´ÞDå*ÖeÜ·åjâ.×kÝ·ÚYæ=ßQÙ¡Û=×YÝ·ß*Öe×YÝ·Ü´à�Úkæ=×Yâ.ä=åjæÚkæDØ�ã�×Yâ.ÙYÙ��mØ�Þ:Úk×kâjÛ:à�â���ÚkØ�ÙYÚá8ÖeÚaÖ=ç�Ö�Þ=á�è(Ø�æ8Ö��jØ�ÖeÜ·ÙYâ2ÛUØ�×���âj×kß�Ø�á Ø��:ÛUØ�×kÝ·ßQØHÞtÚYÙßQØ�Ö�Ùkä=×YÝ´ÞDåùÚkæ=Ø�è¬âj×ká��Ø�×Y×kâ.×�×�Ö�ÚkØâ��!ÙkÛUØ�Ø�ãaæ�×YØ�ã�âjå.Þ=Ý·ÚkÝ·âjÞ�ñ§ê(×Yâ.ÙYÙ��mØ�Þ:Úk×kâjÛ:à2á=â:Ø�Ù�Þ=â.Ú ÖeÜ·è¡ÖBàtÙ®ã�âj×k×kØHܾÖ�ÚkØ�è(Ø�Ü·Ü¡è¡Ý·Úkæ�è¬âj×ká��mØ�×k×Yâ.×

�.ì

Page 60: Chen & Goodman - Peopleklein/cs294-5/chen_goodman.pdf · Úkâ!ü òåj× Ö ß ßQâ:á=Ø Ü·Ù ÖeÞDá/Ùkß âtâjÚkæ=Ý·Þ=åUç Ö Þ=á/ÙkäD× .ØHà/Úkæ=Ø(ßQâjÙkÚ

×�Ö�ÚkØ.ç�Ø�ÙkÛUØ�ã�Ý�ÖeÜ·Ü·à'è¡æ=Ø�Þ»Úkæ=Ø3ßQâ:á=Ø�Ü·Ù ã�âjßQÛ8Ö�×kØ�á Öe×YØ�ãH×kØ�Ö�ÚkØ�á»ä=ÙkÝ·Þ=å �.Ø�×Yà'á=Ý��JØ�×YØ�Þ:ÚÚkØ�ãaæ=Þ=Ý �:ä=Ø�Ùùésê(æ=Ø�Þ�çï(Ø�Ø ��Ø�×Yß*Ö�Þ�ç¡ÖeÞ=á �¡âjÙkØ�Þ ��Ø�Ü·á�ç!ë�ìjì.í.úHñ'ô�âeè(Ø��.ØH×�ç¡Ý·Þ'â.ä=× Ø��tÛUØ�×YÝ´ß�Ø�Þ:ÚkÙ�è¬Ø ��âjä=Þ=á'Úkæ8Ö�Ú è¡æ=Ø�Þ ÚYæ=Ø�âjÞ=Ü·àá=Ý�� Ø�×kØ�ÞDã�Ø��UØ�Úmè¬ØHØ�ÞßQâ:á=Ø�Ü·Ù?Ý·Ù(ÙkßQâ:âjÚkæ=Ý·Þ=åUçeÚkæ=Ø!ã�âj×k×YØ�Ü�ÖeÚkÝ·âjÞ �UØ�Úmè¬ØHØ�ÞÚkæ=Ø!Úmè(â�ß�Ø�ÖeÙYä=×kØ�Ù(Ý·Ù �:ä=Ý·ÚYØ�ÙkÚY×kâjÞ=å8ñ mÚ�Ý·Ù¡ã�ØH×kÚ�Ö�Ý·Þ=Ü·à*ÛUâ.ÙYÙkÝ �=Ü·Ø/ÚYæ8ÖeÚqÝ´ÞâjÚkæ=Ø�×qá=â.ßÖeÝ·Þ=ÙBç:Ý´ß�Û=×kâ��jØ�á ã�×Yâ.ÙkÙ��òØHÞtÚY×kâjÛtà ��×kâjß �UØ�ÚkÚYØ�×/ÙYßQâ:â.ÚYæ=Ý·Þ=å/è¡Ý·Ü·ÜÞ=âjÚ?ã�â.×Y×kØ�Ü�Ö�ÚkØ�è¡Ý·ÚYæ Ý´ß�Û=×kâ��jØ�á ÖeÛ=Û=Ü·Ý·ã�Ö�ÚkÝ·â.Þ/ÛUØ�×���â.×Yß*ÖeÞDã�Ø.ç��=ä=Ú(è¬Ø¡Ø��:ÛUØ�ã�Ú¡ÚYæ8ÖeÚ?Ý·Þ ß�â.ÙkÚ)ã�Ö�ÙkØ�Ù¡Ý·Ú)è¡Ý·Ü·ÜòñO�=âj×ÙkÛUØ�Ø�ãaæ�×YØ�ã�âjå.Þ=Ý·ÚkÝ·âjÞ�ç��8ØHÚkÚkØHסÙkßQâ:âjÚkæ=Ý·Þ=å�Ö�Ü·å.â.×YÝ·Úkæ=ß�ÙFßÖBà/Ü·Ø�Öeá�Úkâ®ä=ÛQÚYâðÖ�ë��1Ö��=ÙYâ.Ü·ä=ÚkØqÝ·ßQÛ=×Yâ��.Ø�ß�Ø�Þ:Ú�Ý·Þè(â.×ká �òØ�×Y×kâj×�×�Ö�ÚkØ.ñû)âQâ.äD×�!:Þ=âeè¡Ü·Ø�á=åjØ.ç ÚkæDÝ´ÙqÝ·Ù�ÚYæ=Ø �8×kÙYÚ�ØHßQÛ=Ý·×kÝ·ã�Ö�Ü�ã�âjßQÛ8Ö�×kÝ·ÙkâjÞâ��?Ùkß�âtâjÚkæ=Ý·Þ=å ÚYØ�ãaæ=Þ=Ý �:ä=Ø�Ù/Ý·Þ�Ü�Ö�Þ=å.ä8Ö�å.Ø

ßQâ:á=ØHÜ´Ý·Þ=åÀâ��?Ùkä=ãaæ�ÙYã�â.ÛUØ��(Þ=â âjÚkæ=Ø�סÙYÚkä=áDà*æUÖeÙ�ÙYà:ÙkÚkØHß*ÖeÚYÝ·ã�ÖeÜ·Ü·à�Ø���Ö�ßQÝ·Þ=Ø�á�ß ä=Ü·ÚkÝ·Û=Ü·Ø¡Úk×aÖeÝ·Þ=Ý·Þ=å®á8ÖeÚaÖ®ÙkÝ���Ø�ÙBçá=Ý�� Ø�×kØ�Þ:Ú ã�âj×kÛUâ.×aÖ=ç?âj×�æUÖeÙ®Û8Ø�×���â.×YßQØ�á'Öeä=ÚYâ.ßÖeÚkÝ·ã®Û8Öe×aÖeß�Ø�ÚkØ�×®â.ÛDÚkÝ·ßQÝ���Ö�ÚkÝ·â.Þ�ñ #ùØ ÙYæ=âeè ÚYæ8ÖeÚ Ý·Þùâ.×Yá=Ø�×Úkâ�ã�â.ß�Û=Ü·Ø�ÚkØHÜ´à�ãaæ8Öe×aÖeã�ÚYØ�×kÝ���Ø ÚYæ=Ø�×YØ�Ü�ÖeÚYÝ�jØ/ÛUØ�×���âj×kßÖeÞ=ã�ØÀâ��¬Úmè(â ÚkØ�ãaæ=ÞDÝ�:ä=ØHÙ�çTÝ´ÚqÝ·Ù�Þ=Ø�ãHØ�ÙkÙaÖe×kà�Úkâ�ã�â.ÞDÙkÝ·á=Ø�×ß ä=Ü·ÚkÝ·Û=Ü·Ø(Úk×aÖeÝ·Þ=Ý·Þ=å/ÙYØ�Ú¡ÙkÝ���Ø�Ù�Ö�Þ=á Úkâ®Úk×Yà��8âjÚkæ �=Ý·å.×�Ö�ß ÖeÞ=á�Úk×kÝ·åj×�Öe߸ß�âtáDØ�Ü·Ù�ñ #ùØ¡Ùkæ=âeè ÚYæ8ÖeÚ(Ùkä����òâjÛ=ÚkÝ·ßÖeÜÛ8Ö�×�Öeß�Ø�ÚkØHסÙkØ�Ü·Ø�ã�ÚYÝ·â.Þ�ã�ÖeÞ�ÙYÝ·å.Þ=Ý��8ã�Ö�Þ:ÚkÜ·àQÖ�� Ø�ã�Ú!×kØHܾÖ�ÚkÝ �.ØÀÛ8Ø�×���â.×Yß*Ö�Þ=ã�Ø.ñ�#ùØ!æ8Ö��.Ø®ÖeÜ·Ùkâ á=Ø��.Ø�Ü·â.ÛUØ�á�ÖMÞ=â��.ØHÜÙkß�â:â.ÚkæDÝ´ÞDå�ÖeÜ·å.âj×kÝ·ÚkæDß Úkæ8Ö�Ú�âjä=ÚkÛUØ�×��sâ.×kß�ÙøÖ�Ü·Ü Û=×kØ��:Ý·â.äDÙ�ÚkØHã�æDÞ=Ý �täDØ�Ù�ç �:à*Ö�Û=Û=Ü·à:Ý´ÞDå�Ý·Þ=ÙYÝ´åjæ:ÚkÙ¡å.Ü·Ø�Ö�Þ=Ø�á �s×kâ.ßä=ÙYÝ´ÞDå Úkæ=Ø!Úkâ:âjÜ´Ù¡ÚYæ8ÖeÚ¡è(Ø!æ8Ö��.Øqã�×kØBÖeÚkØHá ��âj׬ÚYæ=Ø/á=ØHÚ�ÖeÝ·Ü·Ø�á�ÖeÞUÖeÜ·à:ÙkÝ·Ù¬â��FÙYßQâ:â.ÚYæ=Ý·Þ=å�ÖeÜ·åjâ.×kÝ·ÚYæ=ßQÙBñ

�ä=Ü·ÚkÝ·Û=Ü·Ø(×kä=ÞDÙ¬ÙYæ=â.ä=Ü·á �8Ø¡ÛUØ�×���â.×YßQØ�á®è¡æ=Ø�Þ=Ø��.Ø�×(Û8âjÙkÙYÝ�DÜ´Ø¡ÚYâ/á=Ý·ÙkãHâ��.Ø�×?è¡æDØ�Úkæ=ØH×øÖ�ÞtàÀã�ÖeÜ·ã�ä=Ü�Ö�ÚkØ�á á=Ý�� Ø�×��Ø�Þ=ãHØ�Ù/Öe×kØÀÙkÚ�Ö�ÚkÝ·ÙkÚYÝ·ã�ÖeÜ·Ü·àQÙYÝ´åjÞ=Ý��8ã�Ö�ÞtÚBî:Ý·Ú¡Ý´Ùqä=Þ=ã�Ü·Ø�Ö�×�è¡æ=ØHÚkæ=Ø�×qß*Ö�Þtà â��?Úkæ=Ø/ÛD×kØ��:Ý·â.ä=ÙYÜ·àQ×kØHÛ8âj×kÚkØHá�×YØ�Ùkä=Ü·ÚYÙ�Ý·ÞÚkæDØ¡Ü´Ý·ÚYØ�×�Ö�Úkä=×YØ�Öe×YØ¡ã�â.ÞDã�Ü·ä=ÙkÝ �.Ø¡åjÝ �.Ø�Þ®Úkæ8Ö�Ú?ÚkæDØ�àðÖ�×kØ �8Ö�ÙkØ�á�â.Þ®ÙkÝ·Þ=åjÜ´Ø¡×Yä=Þ=Ù¬Ö�Þ=á å.Ý �jØ�Þ�ÚYæ=Ø �.Öe×YÝ�ÖeÞ=ã�ØHÙ ��â.äDÞ=áÝ·ÞÚkæ=Ý·Ù�è(â.×"! ñ �=âjסØ��=Öeß�Û=Ü·Ø.ç=è(Ø/Ø�ÙYÚkÝ·ß*Ö�ÚkØ�áÚkæUÖeÚ�ÚYæ=Ø/ÙYÚ�ÖeÞDá8Öe×Yá�á=Ø��tÝ�Ö�ÚkÝ·â.Þâ��?ÚYæ=Ø/ÛUØ�×���âj×kßÖeÞ=ã�ØÀâ��?õ/ÖeÚ��Ùkß�â:â.ÚkæDÝ´ÞDå/×kØ�Ü�Ö�ÚkÝ �.ØqÚkâ®Úkæ=Ø��8Ö�ÙkØ�Ü·Ý·Þ=Ø!ßQØ�ÚYæ=â:á���âj×øÖÀÙkÝ·Þ=åjÜ·Ø�×käDÞ*Ý·Ù¡Ö��Uâ.ä=Ú¡ó7;yóDë����=Ý·ÚYÙ�ç:è¡æ=Ý·ãaæÚk×�Ö�Þ=ÙkÜ�Ö�ÚkØ�Ù¡ÚYâÖ��Uâ.äDÚøÖ�ë��-á=Ý�� Ø�×kØ�ÞDã�Ø/Ý·Þ Û8ØH×kÛ=Ü·Ø��:Ý·Úmàtñ)û¡æDÝ´Ù(ÙkÚaÖeÞ=áUÖe×ká�á=Ø��:Ý�ÖeÚYÝ´âjÞ Ý·Ù¬ã�âjßQÛ8Ö�×�Ö��=Ü·Ø¡Úkâ®Û=×kØ��:Ý·â.äDÙkÜ·à�×YØ�ÛUâ.×kÚYØ�áá=Ý�� Ø�×kØ�ÞDã�Ø�Ù/Ý·ÞÛ8ØH×���âj×kß*Ö�Þ=ã�Ø.ñf�Dâ.×qÝ´ÞDÙkÚ�Ö�Þ=ã�Ø.çUÝ·ÞÚkæ=Ø<� �Ö�á8ÖeÙ�Ö�Þ=á�õ/ÖeÚ$�/Û8Ö�Û8Ø�×YÙ�ç áDÝ � Ø�×YØ�Þ=ã�Ø�Ù!Ý·Þ�ÛUØ�×kÛDÜ´Ø��tÝ·Úmà�UØ�Úmè¬ØHØ�Þ Ö�Ü·å.â.×YÝ·Úkæ=ß�Ù¬â��ZÖ��8âjä=Ú�ë���Öe×YØ/×kØ�ÛUâ.×YÚkØ�á �sâ.×�Ö ÙYÝ·Þ=å.Ü·Ø/ÚYØ�ÙkÚ!ÙkØHÚ�â���ë�ó.ó®ÙYØ�Þ:ÚkØ�ÞDã�Ø�Ù�ñ<��ÖeãHõ�ÖBà�Ö�Þ=á�TØ�Úkâ ÛD×kØ�ÙYØ�Þ:Ú�ÛUØ�×YÛ=Ü·Ø��:Ý´Úmà�á=Ý��JØH×kØ�Þ=ãHØ�Ù��8Ø�Úmè(Ø�Ø�Þ�ÖeÜ·å.âj×kÝ·Úkæ=ß�Ù?â��)ÙkÝ·å.ÞDÝ �Uã�ÖeÞ:ÚkÜ·à Ü·Ø�ÙYÙ�ÚkæUÖeÞ�ë��ñ

#ùØ Û8âjÝ·ÞtÚ!âjä=Ú/ÚkæUÖeÚ��8ØHã�Öeä=ÙYØâ��¡Úkæ=Ø �.Öe×kÝ�Ö�ÚkÝ·â.Þ�Ý·Þ�Úkæ=Ø ÛUØ�×���â.×Yß*ÖeÞDã�Ø â��¡á=Ý��JØH×kØ�Þ:Ú®ÙkßQâ:âjÚkæ=Ý·Þ=å�ßQØ�ÚYæ��â:á=Ù*Ö�Þ=á ÚYæ=Ø �.Öe×YÝ�ÖeÚkÝ·âjÞ2Ý·Þ'Úkæ=Ø�Û8ØH×���âj×kß*Ö�Þ=ã�Øâ��/á=Ý�� Ø�×kØHÞtÚÝ·ßQÛDÜ´ØHßQØ�Þ:Ú�Ö�ÚkÝ·âeÞ=Ù®â��/ÚkæDØ�Ù�Ö�ßQØÙkß�âtâjÚkæ=Ý·Þ=åßQØHÚkæ=â:á'ékÐ��wÎ � ç ��×kâjß Û8Ö�×�Öeß�Ø�ÚkØH×/ÙkØ�ÚYÚkÝ·Þ=å:ú�ç?Ý·Ú!Ý·Ù �:Ý·Ú�Ö�Ü?Úkâ3ÙkÛUØ�ã�Ý ��àùÚkæDØQØ��=ÖeãHÚ�ÙYßQâ:â.ÚYæ=Ý·Þ=åQÚYØ�ãaæ=Þ=Ý �:ä=Ø*Ö�Þ=áÝ·ßQÛ=Ü·Ø�ß�Ø�Þ:Ú�Ö�ÚkÝ·âeÞ�â���ÚYæ8ÖeÚ®ÚkØ�ãaæ=ÞDÝ�:ä=Ø3ä=ÙkØ�á'è¡æ=ØHÞ§×YØ ��Ø�×YØ�Þ=ã�Ý·Þ=å�Úkæ=ØÛUØ�×��sâ.×kßÖeÞ=ãHØQâ��/ÖeÞ'ü��òåj×�Öeß ßQâ:á=Ø�Ümñ�Dâ.סØ��=Öeß�Û=Ü·Ø.çjÚkæ=Ø/õ/Ö�Ú���Ö�Þ=á�� �ÖeáUÖeÙ¡Û8Ö�Û8Ø�×YÙ!á=Ø�ÙkãH×kÝ �8Ø®ã�âjßQÛ8Ö�×kÝ·ÙkâjÞ=Ù¬â��?Úkæ=Ø�Ý·×�Ö�Ü´åjâ.×YÝ´ÚYæ=ßQÙZè¡Ý´ÚYæ � �.ØHÜ´Ý·Þ=Ø�! ��Ø�×Yã�Ø�× �QÙkß�â:â.ÚkæDÝ´ÞDå8ç��=ä=Ú(Úkæ=Ø�àá=â®Þ=âjÚ¬ÙYÛ8Ø�ãHÝ �sà*ÚYæ=Ø��=ä=ã !.ØHÚkÝ·Þ=å Ùkãaæ=ØHßQØ�äDÙkØ�á�âj׬ÚYæ=Ø/åj×�ÖeÞ:ä=Ü�Ö�×kÝ·Úmà�äDÙkØ�áÝ·Þá=Ø�Ü·Ø�ÚYØ�á�Ý·Þ:ÚkØ�×YÛ8âjÜ�ÖeÚkÝ·âjÞ�ñ�# Ý·ÚYæ=â.ä=Ú¡ÚYæ=Ý·Ù¡Ý·Þ���â.×Yß*Ö�ÚkÝ·â.Þ�ç�Ý´Ú¡Ý·ÙqÝ´ß�Û8âjÙkÙYÝ�DÜ´Ø¡ÚYâQá=ØHÚkØ�×YßQÝ·Þ=Ø!Úkæ=ØÀÝ´ß�Û8âj×kÚ(â��?ÚkæDØ�Ý·×ã�âjßQÛ8Ö�×kÝ·ÙkâjÞ=Ù�ñ��â.×YØQåjØ�Þ=Ø�×aÖeÜ·Ü·àtç ÚYæ=Ø�×YØ*æUÖeÙ��UØ�Ø�Þ'ß ä=ãaæ�è¬âj× !�ã�â.ß�Û8Öe×YÝ´ÞDåQÚkæDØQÛUØ�×���âj×kßÖeÞ=ã�Ø â����.Öe×YÝ´âjä=ÙßQâ:á=ØHÜ´ÙÀè¡Ý´ÚYæùÚkæ8Ö�Ú�â���ü��òåj×�Ö�ß ß�â:á=Ø�Ü·Ù/è¡æ=Ø�×YØÚkæ=Ø�ÚmàtÛUØâ���ÙYßQâ:â.ÚYæ=Ý·Þ=åä=ÙkØ�á�Ý·Ù�Þ=âjÚ�ÙYÛ8ØHã�Ý��8Ø�á�ñ��qåtÖ�Ý´ÞTçè¡Ý·Úkæ=âjä=Ú¡ÚkæDÝ´Ù(Ý·Þ���âj×kß*Ö�ÚkÝ·â.Þ®è(Ø/ã�ÖeÞDÞ=â.Ú¡ÚYØ�Ü·Ü Ý �)Úkæ=ØÀã�â.ß�Û8Öe×YÝ´ÙYâ.Þ=Ù(Öe×kØÀÙkÝ·å.Þ=Ý��8ãBÖeÞ:Ú�ñ

= ��Úkæ=Ø ÚYØ�ãaæ=Þ=Ý �:ä=Ø�Ù ÙkÚYä=á=Ý·Ø�á�çTè(Ø æ8Ö��.Ø ��âjä=Þ=áùÚYæ8ÖeÚ!õ!Þ=Ø�ÙYØ�×�����Ø�à�Ùkß�âtâjÚkæ=Ý·Þ=åÖeÞ=á��.Ö�×kÝ�ÖeÚYÝ·â.Þ=Ù!ã�âjÞ=ÙkÝ·Ù��ÚkØHÞtÚYÜ·à�â.ä=ÚYÛ8ØH×���âj×kß Ö�Ü·Ü�â.ÚYæ=Ø�×�Ö�Ü·å.â.×YÝ·Úkæ=ß�Ù�ñ mÞ�Û8Öe×YÚkÝ·ã�ä=Ü�Ö�×�çUâ.ä=×!Þ=â��jØ�Ü?ÖeÜ·å.âj×kÝ·ÚkæDß������� ������������ ��(�� ã�â.Þ��ÙkÝ·ÙYÚkØ�Þ:ÚkÜ·à�æ8ÖeáÚkæDØ��8ØHÙkÚ�ÛUØ�×���â.×Yß*ÖeÞDã�Ø.ñ)û¡æ=Ý·Ù¡ÖeÜ·å.âj×kÝ·Úkæ=ß1á=Ý��JØ�×YÙ¡Ý·Þ*ÙYØ��.ØH×�ÖeÜTèøÖBà:Ù���×Yâ.ß õ!Þ=ØHÙkØ�×/ÖeÞDá!�qØ�à � Ùâ.×YÝ·å.Ý·Þ8ÖeÜ?Ö�Ü´åjâ.×YÝ´ÚYæ=ß:�!Ý·Þ:ÚkØH×kÛUâ.Ü�ÖeÚYÝ´âjÞ�Ý·Ù/äDÙkØ�á�Ý´ÞDÙkÚkØBÖeá2â����8Öeã !jâ �?ç�è(ØQä=ÙYØ*ÖÙYØ�Û8Ö�×�ÖeÚYØQá=Ý·ÙYã�â.ä=Þ:Ú ��â.×Àâ.Þ=Ø �ÖeÞDá�Úmè¬â��òãHâ.ä=Þ:ÚkÙqÝ·Þ=ÙkÚYØ�Öeá�â��¬Ö®ÙkÝ·Þ=å.Ü·Ø/áDÝ´ÙYã�â.äDÞtÚ ��â.×�Ö�Ü·Ü�ã�âjä=Þ:ÚkÙ�ç Ö�Þ=á�è(Ø/Ø�ÙkÚYÝ·ß*ÖeÚYØ!á=Ý·Ùkã�âjä=Þ:ÚkÙ!â.Þæ=Ø�Ü·á��mâ.äDÚá8Ö�Ú�Ö!Ý·Þ=ÙYÚkØ�Ö�á â���ä=ÙYÝ´ÞDå�Ö ��â.×Yß ä=Ü�Ö �8Ö�ÙkØ�á âjÞ Úk×�Ö�Ý·Þ=Ý·Þ=å!á8ÖeÚaÖ!ã�â.äDÞtÚYÙ�ñ =qä=×(Ø��:Û8ØH×kÝ·ßQØ�Þ:ÚaÖeÜ=×YØ�Ùkä=Ü·ÚYÙ¬ÙYæ=âeè'Úkæ8Ö�ÚÖeÜ·Ü?ÚYæ=×kØHØ*â���Úkæ=ØHÙkØãaæ=â.Ý·ã�Ø�ٮݷßQÛ=×Yâ��.Ø®Û8ØH×���âj×kß*Ö�Þ=ã�Ø.ñ �TØ�×���âj×kß�Ý´ÞDå � ä=ÙkÚ®ÙkÜ·Ý·å.æ:ÚkÜ·à�è(â.×YÙkØ�Ý´ÙÀÚkæ=Ø�ÖeÜ·åjâ.×kÝ·ÚYæ=ß������������������� ��(������0��� îBÚkæ=Ý·Ù¡ÖeÜ·å.âj×kÝ·ÚkæDß áDÝ � Ø�×YÙ���×kâjß ������������������� ��(��/Ý·Þ Úkæ8Ö�Ú¡á=Ý·Ùkã�âjä=Þ:ÚkÙ¡Öe×YØ�ÙYØ�Ú¡ä=ÙYÝ´ÞDåÖ ��âj×kß ä=Ü�Ö �8ÖeÙYØ�á âjÞ§ÚY×�Ö�Ý´ÞDÝ´ÞDå�á8Ö�Ú�Ö3ã�â.äDÞtÚYÙ�ñ¶û¡æ=Ý·ÙQÖeÜ·å.âj×kÝ·Úkæ=ß æ8Ö�ÙQÚYæ=ØÛ=×�Ö�ã�ÚkÝ·ã�Ö�Ü�Öeá��.ÖeÞ:Ú�Ö�å.ØQÚYæ8ÖeÚ ÞDâØ��:ÚkØH×kÞ8Ö�Ü�Û8Ö�×�Öeß�Ø�ÚkØH×kÙ¡Þ=Ø�ØHá�Úkâ��UØ!â.Û=ÚYÝ´ß�Ý���Ø�áQâjÞQæ=ØHÜ´á �òâjä=Ú¡á8ÖeÚaÖ=ñ

#ùØQÛ=×Yâ��:Ý´áDØQÚkØHã�æDÞ=Ý �täDØ�Ù ��â.× ÖeÞUÖeÜ·à���Ý·Þ=å�ÚkæDØQã�âjä=Þ:Ú����tà��mã�â.äDÞtÚ®ÛUØ�×���âj×kßÖeÞ=ã�Ø�â��!á=Ý��JØ�×YØ�Þ:Ú Ùkß�âtâjÚkæ=Ý·Þ=åÚkØHã�æDÞ=Ý �täDØ�Ù�ñ3û¡æ=Ý·Ù/á=Ø�ÚaÖeÝ·Ü·Ø�á2ÖeÞ8Ö�Ü·àtÙYÝ·Ù/æ=Ø�Ü·Û=Ù/Ø��tÛDܾÖ�Ý·ÞùÚkæ=Ø�×kØ�Ü�ÖeÚYÝ �.Ø ÛUØ�×���âj×kßÖeÞ=ã�Ø â�� �.Ö�×kÝ·â.äDÙ�ÖeÜ·å.âj×kÝ·ÚkæDßQÙ�çÖeÞDá�ã�Ö�Þ æ=Ø�Ü·Û®Û=×kØ�áDÝ´ãHÚ¬æ=âeè�á=Ý��JØH×kØ�Þ:Ú¬Ö�Ü´åjâ.×YÝ´ÚYæ=ßQÙ è¡Ý·Ü·Ü:Û8ØH×���âj×kß Ý·Þ®Þ=â��.ØHÜ=ÙkÝ·ÚkäUÖeÚkÝ·âjÞ=Ù�ñTû¡æ=Ø�ÙYØ�ÖeÞUÖeÜ·à:ÙkÝ·Ù�ÚYâtâjÜ·Ùæ=Ø�Ü·ÛUØ�á�ä=Ù¡áDØ�ÙkÝ·å.Þâjä=סßQâ:á=Ý��8ã�Ö�ÚkÝ·â.ÞDÙ?Úkâ õ!Þ=Ø�ÙYØ�×�����ØHà�Ùkß�âtâjÚkæ=Ý·Þ=åUñ

�.ó

Page 61: Chen & Goodman - Peopleklein/cs294-5/chen_goodman.pdf · Úkâ!ü òåj× Ö ß ßQâ:á=Ø Ü·Ù ÖeÞDá/Ùkß âtâjÚkæ=Ý·Þ=åUç Ö Þ=á/ÙkäD× .ØHà/Úkæ=Ø(ßQâjÙkÚ

�=×Yâ.ß-â.ä=×?Ø��tÛUØ�×YÝ´ß�Ø�Þ:ÚkÙ¡ÖeÞ=á ÖeÞUÖeÜ·à:ÙkÝ·Ù�çjè¬Ø��sâ.ä=Þ=á®ÙkØ��.Ø�×aÖeÜ �òÖ�ã�Úkâj×kÙ?ÚYæ8ÖeÚ?æUÖeáQÖ!ã�âjÞ=ÙkÝ·ÙYÚkØ�Þ:Ú(Ø/�JØHã�Ú¡â.Þ®Úkæ=ØÛUØ�×���âj×kßÖeÞ=ã�Ø!â��FÙkß�â:â.ÚkæDÝ´ÞDå�ÖeÜ·å.âj×kÝ·ÚkæDßQÙ�ñ

� û¡æ=Ø��mÖeã�ÚYâ.×�è¡Ý·ÚYæ�ÚYæ=جÜ�Ö�×kå.ØHÙkÚ)Ý·Þ�.8ä=Ø�ÞDã�جݷÙ)ÚkæDجä=ÙYجâ��JÖqßQâ:á=Ý��8Ø�á��8Ö�ã !.â � á=Ý·ÙkÚY×kÝ �=ä=ÚYÝ·â.Þ�Ö�ÙFÝ·Þ/õ!Þ=ØHÙkØ�×����Ø�à�Ùkß�âtâjÚkæ=Ý·Þ=åUñ û¡æ=Ý·Ù/ÙYØ�Ø�ßQØHá2Úkâ �8Ø�Úkæ=Ø Û=×YÝ·ß*Öe×Yà�×kØBÖeÙkâjÞùÚkæ8Ö�Ú�ÚYæ=Ø��.Öe×YÝ�ÖeÚkÝ·âjÞ=Ù!â���õ!Þ=Ø�ÙYØ�×�����Ø�àÙkßQâ:âjÚkæ=Ý·Þ=å/ÛUØ�×���â.×YßQØ�á�Ùkâ è(Ø�Ü·Ü�×kØHܾÖ�ÚkÝ �.ØqÚkâ ÚYæ=Ø!×kØ�ßÖeÝ·Þ=Ý·Þ=å�Ö�Ü´åjâ.×YÝ´ÚYæ=ßQÙBñ

� ���=ÙYâ.Ü·ä=ÚkØZá=Ý·Ùkã�âjä=Þ:ÚkÝ·Þ=å�Ý·ÙTÙkä=ÛUØ�×kÝ·âj×FÚYâ�Ü·Ý·Þ=Ø�Ö�×�á=Ý·ÙkãHâ.ä=Þ:ÚkÝ·Þ=åUñ ��Ù)è¡ÖeÙTÙkæ=âeè¡Þ/ØBÖe×kÜ·Ý·Ø�×BçeÚkæ=Ø(Ý·á=Ø�Ö�ÜtÖ��.ØH×�ÖeåjØá=Ý·Ùkã�âjä=Þ:Ú���â.×!ã�âjä=Þ:ÚkÙ/×YÝ·ÙkØ�Ù��:ä=Ý·ã !:Ü·à ��â.×��jØ�×kà�Ü·âeè ã�âjä=Þ:ÚkÙ��=äDÚ/Ý·Ù �UÖeÙkÝ·ã�Ö�Ü·Ü´àw.JÖeÚ���âj×�Ü�Ö�×kå.ØH×/ã�â.äDÞtÚYÙ�ñô�âeè(Ø��.Ø�×Bç:Úkæ=Ø!ö!â:â:á��òû)ä=×YÝ·Þ=å!Ø�ÙkÚYÝ´ßÖeÚYØ¡ã�ÖeÞ �8Øqä=ÙkØ�á�Úkâ®Û=×kØHá=Ý·ã�Ú¬ÚYæ=Ý·ÙøÖ��jØ�×�Ö�å.Ø¡á=Ý·ÙYã�â.ä=Þ:Ú(Ø��.ØHÞ �UØ�ÚkÚYØ�×Úkæ8Ö�Þ�Ö��=ÙkâjÜ·ä=ÚkØ!á=Ý·ÙkãHâ.ä=Þ:ÚkÝ·Þ=åUç=ÖeÙ¡è¡ÖeÙ(á=Ø�ß�â.Þ=ÙYÚk×�Ö�ÚkØ�á �:àQõ/Ö�Ú��!Ùkß�âtâjÚkæ=Ý·Þ=åUñ

� mÞ*ÚYØ�×kß�Ù�â��¦ÞDâ.×kßÖeÜ·Ý���Ø�á�Û8Ø�×���â.×Yß*Ö�Þ=ã�Ø.çDÝ´Þ:ÚYØ�×kÛUâ.Ü�ÖeÚYØ�á�ß�âtáDØ�Ü·ÙøÖ�×kØ®ÙkÝ·å.Þ=Ý��8ãBÖeÞ:ÚkÜ·à ÙkäDÛ8Ø�×YÝ·â.×!Úkâ��8Ö�ã ! �â �§ß�â:á=Ø�Ü·Ù���âj×/Ü·âeè é Þ=â.ÞF��Ø�×kâ:ú/ãHâ.ä=Þ:ÚkÙBñ�û¡æ=Ý·Ù�Ý·Ù��UØ�ã�Ö�ä=ÙkØÜ·âeè¬ØH×��mâ.×káDØ�×�ß�â:á=Ø�Ü·Ù/Û=×Yâ��tÝ·á=Ø��.Ö�Ü·ä8Ö��=Ü·ØÝ´Þ ��â.×Yß*ÖeÚYÝ·â.ޮݴÞ�á=Ø�ÚYØ�×kß�Ý´ÞDÝ´ÞDå�ÚYæ=Ø!ã�â.×Y×kØ�ã�Ú!á=Ý·ÙYã�â.ä=Þ:Ú���âj×�ü��òåj×�Ö�ßQÙ?è¡Ý·ÚkæÜ·âeè'ã�â.äDÞtÚYÙ�ñ

� ��á=á=Ý·Þ=å ��×kØHØ�Û8Ö�×�Ö�ßQØ�ÚYØ�×kÙqÚkâ�ÖeÞ�Ö�Ü·å.â.×YÝ·Úkæ=ß�ÖeÞ=á3â.Û=ÚYÝ´ß�Ý���Ý·Þ=å�ÚYæ=Ø�ÙYØ�Û8Ö�×�Ö�ßQØ�ÚYØ�×kÙ!â.Þ3æ=Ø�Ü·á��mâ.ä=Úqá8ÖeÚaÖã�ÖeÞ�Ý·ßQÛ=×Yâ��.Ø!Úkæ=Ø®ÛUØ�×���âj×kßÖeÞ=ã�Ø®â��¡ÖeÞ�Ö�Ü´åjâ.×YÝ´ÚYæ=ß�ç Ð��wÎ ��ç������� ������������ ��(�� ��Õ"�������� ������������ ��(����� ��� ñ

=qä=×/ÖeÜ·å.âj×kÝ·ÚkæDß������� ������������ ��(���åjØ�ÚkÙ/Ý·ÚYÙ�ÙkäDÛ8Ø�×YÝ·â.×!Û8ØH×���âj×kß*Ö�Þ=ã�Ø ��×kâjß Ö�ã�âjß��=Ý·Þ8ÖeÚYÝ·â.ÞQâ��¬ÖeÜ·Ü)â��¬ÚYæ=Ø�ÙkØ�òÖ�ã�Úkâj×kÙ�ñ

# æ=Ý·Ü·Ø�è(Ø®æ8Ö��.Ø®Ùkà:ÙkÚYØ�ß*Ö�ÚkÝ·ã�Ö�Ü´Ü·àØ��:Û=Ü·â.×YØ�áùÙkß�â:â.ÚkæDÝ´ÞDå ��â.×/ü��må.×�Ö�ß�Ü�ÖeÞ=åjä8ÖeåjØ�ß�âtáDØ�Ü·Ù�çUÚkæ=ØH×kØ ×kØHß*ÖeÝ·Þß*Ö�Þ:à�á=Ý·×YØ�ã�ÚkÝ·âjÞ=Ù�ÚYæ8ÖeÚ¡Þ=ØHØ�á�Úkâ��UØ/Ø��:Û=Ü·âj×kØ�á�ñ ��Ü·ßQâjÙkÚ¡ÖeÞ:àQÙYÚ�Ö�ÚkÝ·ÙkÚYÝ´ãBÖeÜ�ß�â:á=Ø�Ümç.ÞDâ.Ú �aä=ÙYÚ�ü��òåj×�Ö�ß ß�âtáDØ�Ü·Ù�çã�Ö�ÞðÖ�Þ=á�ÙYæ=â.äDÜ´á �UجÙYßQâ:â.ÚYæ=Ø�á�ç.Ö�Þ=á ��ä=×kÚYæ=Ø�×)è(â.× !Àè¡Ý´Ü·Ü��UجÞ=ØHØ�á=Ø�á�Úkâ�áDØ�ÚkØ�×YßQÝ·Þ=Ø(æ=âeè2è(Ø�Ü·Ü:Úkæ=Ø¡ÚYØ�ãaæ=Þ=Ý �:ä=Ø�Ùá=Ø�ÙYã�×kÝ �UØ�á2æDØ�×kØ�Úk×�Ö�Þ=Ù��sØ�×/Úkâ3â.ÚkæDØ�×/á=âjß*ÖeÝ·Þ=ÙBñ/ôqâeè¬Ø��jØ�×�çTÚkæDØ ÚkØ�ãaæ=Þ=Ý �:ä=Ø�Ù®è(Ø æ8Ö��.Ø®á=Ø��jØ�Ü·â.ÛUØ�á�ç �Uâ.Úkæ ��âj×Ùkß�â:â.ÚkæDÝ´ÞDåQÖeÞ=á �sâ.×�Ö�Þ8ÖeÜ·à���Ý·Þ=å�ÙkßQâ:âjÚkæ=Ý·Þ=å ÖeÜ·å.âj×kÝ·ÚkæDß ÛUØ�×��sâ.×kßÖeÞ=ãHØ.çUÙkæ=âjä=Ü·á�Û=×Yâ��.Ø/äDÙkØ ��äDÜ?Þ=â.Ú!âjÞ=Ü·à���âj×Ü�ÖeÞ=åjä8ÖeåjØ�ß�âtáDØ�Ü·Ý´ÞDå/×kØ�ÙYØ�Öe×Yãaæ �=ä=Ú ��â.×(â.ÚYæ=Ø�×�ÚaÖeÙ"!tÙ�Ö�Ù¡è¬ØHÜ´Ümñ

� É �ÃMÆ�� "�Ç �� !Ã/Ä�

û¡æ=Ø/ÖeäDÚkæ=âj×kÙ¡è(â.ä=Ü·áQÜ·Ý !.ØqÚkâ®Úkæ8Ö�Þ !*÷�Úkä8Ö�×kÚ�÷:æ=Ý·Ø��UØ�×�Ö�Þ=áÚkæ=Ø/ÖeÞDâ.Þ:à:ßQâ.äDÙF×YØ��:Ý·Ø�è¬ØH×kÙ �sâ.סÚkæDØ�ݷסã�â.ß�ßQØ�Þ:ÚkÙâ.Þ3Û=×kØ��:Ý·â.äDÙ �jØ�×kÙYÝ·â.Þ=Ù/â��¬ÚkæDÝ´ÙqÛ8ÖeÛUØ�×Bñ/û¡æ=Ý·Ù!×kØ�ÙYØ�Öe×YãaæùèøÖ�Ù�ÙYä=Û=ÛUâ.×YÚkØ�áùÝ·Þ�Û8Ö�×kÚ��:àÚkæ=Ø<��Ö�ÚkÝ·â.Þ8Ö�Ü?÷:ã�Ý·Ø�Þ=ã�Ø�Dâ.ä=Þ=áUÖeÚkÝ·âjÞ ä=Þ=á=Ø�×�ö�×�ÖeÞ:Ú���âUñ� � �kì &����.óDë�ì ��Ö�Þ=á*ö�×�ÖeÞ:Ú���âUñtê � � �kì ���kó=ëBó ��8ñ û¡æ=ØqÙkØ�ãHâ.Þ=á�Ö�ä=ÚkæDâ.×(èøÖ�ÙÖeÜ·ÙYâ Ùkä=Û=ÛUâ.×YÚkØ�á �:à�ö!×�Ö�ÞtÚf�qâ8ñ � �kì�� � ë �.ó]�.í/Ö�Þ=á�Ö<��Ö�ÚkÝ·â.ÞUÖeÜ�÷:ã�Ý·Ø�ÞDã�Ø��=âjä=Þ=á8Ö�ÚkÝ·â.Þö!×�Ö�á=ä8Ö�ÚkØ�÷:ÚYä=á=Ø�Þ:Ú�DØ�Ü·Ü´âeè¡ÙYæ=Ý·Û�ñ

� �� ¡Å!ÃQÉ�

ï¡Öeæ=Ümç!��ÖeÜ·Ý·Ú �/ñ·ç �TØ�ÚYØ�×y�(ñ ï(×kâeè¡ÞTç���ØHÚkØ�×���ñ áDØ*÷:âjä7��Ö=ç)ÖeÞDá ��â �UØ�×kÚ �?ñD��Ø�×kã�ØH×�ñùë�ìjí.ìDñ�� Úk×YØ�Ø ���8ÖeÙYØ�áÙkÚaÖeÚkÝ·ÙYÚkÝ·ã�ÖeÜ!Ü�ÖeÞDå.ä8Ö�å.ØßQâ:á=Ø�Ü��sâ.×QÞUÖeÚkäD×�ÖeÜqÜ�ÖeÞ=åjä8ÖeåjØ*ÙYÛ8ØHØ�ãaæ ×kØ�ã�âjå.Þ=Ý·ÚYÝ´âjÞ�ñ����� UþkÌjÍ:Õ�Ì���� Ò.Í:Õ�Ò.Í� �aÒjÏ.Õ�� �HÕ�� � ��ÐaÐ�� ��Ì.ÍDÓ � wÎ.ÍDÌeÔ���þkÒ ��ÐHÕaÕ��Í.Îjç &��7�·ëBó.ó=ë �JëBó.ó.íDç��.ä=Ü·à:ñ

ï¡Öeæ=Ümç���Ö�Ü´Ý·Ú �Àñ´ç5�D×kØ�áDØ�×kÝ·ã !��.ØHÜ´Ý·Þ=Ø�!Jç Ö�Þ=á �¡â��8ØH×kÚ �?ñ5�Ø�×Yã�Ø�×BñQë�ìjí &Dñ��-ß*Ö��:Ý·ß®ä=ß¸Ü´Ý !jØ�Ü·Ý´æDâtâ:á�ÖeÛDÛ=×kâ:ÖeãaæÚkâ ã�âjÞ:ÚkÝ·Þ:ä=â.ä=Ù¡ÙYÛ8ØHØ�ãaæ�×kØ�ãHâ.å.ÞDÝ´ÚYÝ·â.Þ�ñ������ UþkÌjÍ:Õ�Ì���� Ò.Í:Õ/Ò.Í��¡Ì�� �sÐ�þHÍ � ÍDÌeÔ �BÕ�·Õ/ÌjÍ=Ó���Ì�� ���Í=Ð���Í �sÐHÔwýÔwÎjÐBÍ��aÐ�ç � � � ���=é �.úU�·ë��.ì� ë�ìjó=ç ��Öe×Yãaæ�ñ

ï¡Öeä=ß�ç0�?ñ ¡ñ/ëBì�� �Dñ���Þ�Ý·Þ=Ø��:ä8Ö�Ü·Ý´ÚmàÖeÞ=á�ÖeÙkÙYâ:ã�Ý�ÖeÚkØHá�ß*Ö��tÝ·ß�Ý ��Ö�ÚkÝ·â.Þ ÚYØ�ãaæ=Þ=Ý �:ä=Ø�Ý·ÞÙkÚaÖeÚYÝ´ÙYÚkÝ·ã�Ö�ÜFØHÙkÚkÝ·ßÖeÚkÝ·âjÞâ��?Û=×Yâ �8Ö��=Ý·Ü´Ý·ÙYÚkÝ·ã���ä=Þ=ãHÚkÝ·â.Þ=Ù¡â��¬Ö���Ö�× !jâ�� Û=×kâ:ã�Ø�ÙYÙ�ñ���ÍDÐ��BÏ:ÌeÔ � Ð�Õ�ç &7�·ë ��í=ñ

�=ë

Page 62: Chen & Goodman - Peopleklein/cs294-5/chen_goodman.pdf · Úkâ!ü òåj× Ö ß ßQâ:á=Ø Ü·Ù ÖeÞDá/Ùkß âtâjÚkæ=Ý·Þ=åUç Ö Þ=á/ÙkäD× .ØHà/Úkæ=Ø(ßQâjÙkÚ

ï(Ø�Ü·Üòç�û¡Ý´ß�â.ÚYætàê!ñ·ç5�.âjæ=Þ2ö ñ ê(Ü·Ø�Öe×Yàtç�Ö�Þ=á kÖeÞ�ô�ñ # Ý·ÚYÚkØ�Þ�ñëBì.ì.óDñ UÐN � � Ò.Ñ �JþkÐHÕaÕ��Ò.Í=ñ �)×YØ�Þ:ÚkÝ·ã�Ø�ô�ÖeÜ·Ümç)Þ=åjÜ´ØHè¬â:â:á�ê(Ü´Ý�� Ù�ç��®ñ �Uñ

ï(×kâeè¡Þ�ç��TØ�ÚYØ�× �(ñ·ç��jâ.æ=Þ�ê(â:ã !.Ø.ç=÷�ÚkØ�Û=æDØ�Þ ��ñ�qØ�Ü·Ü�Ö��)Ý·Ø�Úk×aÖ=ç ��Ý·Þ=ã�Ø�Þ:Úf�Uñ��ØHÜ´Ü�Ö��¦Ý´ØHÚk×�ÖDç7�=×YØ�á=Ø�×YÝ·ã !Y�.Ø�Ü·Ý·Þ=Ø�! ç�.âjæ=Þ ��ñ!��Ö �JØH×kÚmà:ç �¡â��8ØH×kÚ6�?ñ ��Ø�×kã�ØH×�ç�Ö�Þ=á �)ÖeäDÜø÷ ñ��â:â.ÙkÙYÝ·Þ�ñ ë�ìjì.óDñ ��ÙYÚ�Ö�ÚkÝ·ÙkÚYÝ´ãBÖeÜ�ÖeÛDÛ=×kâ:Öeãaæ2ÚYâß*Ö�ã�æDÝ´ÞDØ�Úk×aÖeÞ=ÙYÜ�ÖeÚkÝ·âjÞ�ñ � ÒjÑ � Ï���Ì�� �ÒjÍ=ÌeÔ Ë��ÍjÎ.Ï�·Õ�� ��Õ�ç ë��=é �júU� �.ì ��í]�=ç]�.ä=Þ=Øjñ

ï(×kâeè¡Þ�ç��TØ�ÚYØ�× �(ñ·çt÷�ÚkØ�Û=æDØ�Þ ��ñ��qØ�Ü·Ü�Ö �)Ý·Ø�ÚY×�ÖDç ��Ý·Þ=ã�Ø�Þ:Úf�Uñ��ØHÜ´Ü�Ö��¦Ý´ØHÚk×�ÖDç��.Ø�ÞDÞ=Ý ��Ø�×�ê!ñ0��Ö�ÝmçtÖ�Þ=á ��â �UØ�×kÚ �Zñ�Ø�×Yã�Ø�×�ñ¶ë�ì.ì �.ÖDñ �qÞ2Ø�ÙYÚkÝ·ß*Ö�ÚkØ â���ÖeÞ�ä=Û=ÛUØ�× �8âjä=Þ=á��sâ.×/ÚYæ=ØQØ�Þ:ÚY×kâ.Û:àùâ�� )Þ=å.Ü·Ý·ÙkæTñ � Ò.Ñ �JÏ���Ì�� Ò.Í=Ì�ÔË��ÍjÎ.Ï�·Õ�� ��Õ�ç ëBí=ékëBúU� &=ë ���:ó=ç���Öe×Yã�æTñ

ï(×kâeè¡Þ�ç��TØ�ÚkØ�×��¬ñ·ç �qÝ·Þ=ã�Ø�Þ:Ú �Uñ �qØ�Ü·Ü¾Ö �)Ý·Ø�Úk×aÖ=ç��TØ�ÚYØ�×���ñeá=ØB÷:â.ä7�BÖ=ç �jØ�Þ=Þ=Ý ��Ø�×(ê!ñZ��Ö�ÝòçeÖ�Þ=á ��â �UØ�×kÚ �?ñ��ØH×kã�Ø�×Bñë�ìjì ���TñFê(Ü�ÖeÙYÙ����8ÖeÙYØ�áQÞ �òåj×�Öe߸ß�âtáDØ�Ü·Ù?â���Þ8Ö�Úkä=×aÖeÜUÜ�ÖeÞ=åjä8ÖeåjØ.ñ � ÒjÑ � Ï���Ì�� �ÒjÍ=ÌeÔ8Ë �Í.ÎjÏ�·Õ�� �HÕ�ç8ëBí=é3�túU� ���������jì=ç�qØ�ã�Ø�ß��UØ�×Bñ

ê(æ=Ø�ÞTçt÷:ÚaÖeÞ=Ü·Ø�à��(ñ¬ëBì.ì]�=ñ Ï�·Ô´Ó��Í.Î �¡þkÒ]_aÌ�_�·Ô·Õ�� � ��ÒBÓ.ÐHÔwÕ � Òjþ � Ì���Ï:þkÌ�ÔtËTÌ.Í.ÎjÏ:Ì�ÎjÐ�ñ��)æ�ñ �®ñeÚkæ=ØHÙkÝ·Ù�çjô�Ö�× �.Öe×Yá��Þ=Ý �jØ�×kÙYÝ´Úmà:ç��.äDÞ=Ø.ñê(æ=Ø�ÞTç�÷:Ú�Ö�Þ=Ü·Ø�à:�(ñ·ç ��âjä=å.Ü�Ö�Ù�ï(Ø�Ø ��Ø�×Yß*Ö�Þ�ç�ÖeÞDá �¡âjÞ8ÖeÜ·á ��â.ÙkØHÞ���Ø�Ü·á�ñ ëBì.ì.íDñ �.ÖeÜ·ä8Ö�ÚkÝ·â.Þß�Ø�Úk×YÝ´ãHÙ ��âj×�Ü�Ö�Þ��å.ä8Ö�å.Ø!ßQâ:á=ØHÜ´ÙBñ mÞ�� ��� � � þkÒBÌ.Ó��aÌ�Õ � � Ð��)Õ� 8þYÌ.Í:Õ �Bþ� � � �ÒjÍÌ.Í=Ó��FÍDÓ.ÐBþaÕ���ÌjÍ=Ó �ÍjÎ���Ò.þT��Õ �=Ò�� ñ

ê(æ=Ø�ÞTç?÷:Ú�Ö�Þ=Ü·Ø�à �(ñ�Ö�Þ=á �.âjÙkæ:ä8Öû/ñTö!â:âtáDß*ÖeÞTñ*ëBì.ì]�=ñ ��ÞùØ�ß�Û=Ý·×kÝ·ã�ÖeÜ)ÙYÚkä=á=à�â���ÙYßQâ:â.ÚYæ=Ý·Þ=åQÚYØ�ãaæ=Þ=Ý �:ä=Ø�Ù��â.×(Ü�ÖeÞ=åjä8ÖeåjØ¡ßQâ:á=Ø�Ü·Ý·Þ=åUñ mÞ �¡þYÒ �aÐaÐaÓ �ÍjÎeÕ!Ò � � �=Ð�� � � � Í=ÍDÏtÌ�Ô ��Ð�Ð�� �Í.Î�Ò � ��DÐ � � Ë?ç:ÛUÖeå.ØHÙ &Dë�ó� &=ëBí=ç÷=ÖeÞ:ÚaÖ ê(×kä7�.çUê¡ÖeÜ·Ý ��â.×YÞ=Ý�Ö=ç �jä=Þ=Ø.ñ

ê(æ:ä=×kãaæ�ç(õ!Ø�Þ=ÞDØ�Úkæ�ñ¸ëBì.í.íDñ ��ÙkÚYâtãaæ8Ö�ÙkÚYÝ´ã3Û8Öe×YÚkÙQÛD×kâ.åj×�Ö�ß ÖeÞ=á'Þ=âjä=Þ'Û=æ=×aÖeÙkØ3Û8Öe×YÙkØ�× ��â.× ä=ÞD×kØ�ÙYÚk×kÝ·ã�ÚYØ�áÚkØ��:ÚBñ mÞ �¡þYÒ �aÐaÐaÓ �ÍjÎeÕ/Ò � ��DÐ � Ð���ÒjÍ=Ó � Ò.Í � Ð�þYÐ�Í��aЮÒ.Í � ���8Ô Ð�Ó � Ì���Ï:þkÌ�ÔJËTÌ.Í.ÎjÏ:Ì�ÎjÐ �¡þkÒ �aÐ�ÕaÕ��Í.Îjç=ÛUÖeå.ØHÙë &]��JëW� &Dñ

ê(æ:ä=×kãaæ�çjõ!Ø�Þ=Þ=ØHÚkæ #-ñ.ÖeÞ=á # ݷܷܷݾÖ�ß �®ñ.ö/Ö�Ü´Øjñ¬ëBì.ì=ëjñ �'ã�â.ß�Û8Öe×YÝ·Ùkâ.Þ®â�� ÚkæDØ¡Ø�Þ=æ8Ö�Þ=ã�Ø�áö!â:âtá �òû¡ä=×YÝ·Þ=å�Ö�Þ=áá=Ø�Ü·Ø�ÚYØ�á�ØHÙkÚkÝ·ßÖeÚkÝ·âjÞQßQØHÚkæ=â:á=Ù���âj×�Ø�ÙYÚkÝ·ß*Ö�ÚkÝ·Þ=å®Û=×kâ��8Ö��DÝ´Ü·Ý·ÚkÝ·Ø�Ù¡â�� )Þ=å.Ü·Ý·Ùkæ �=Ý·åj×�Öeß�Ù�ñ � Ò.Ñ �JÏ���ÐBþ � �=ÐaÐ�� �Ì.Í=Ó ËTÌ.Í.ÎjÏ:Ì�ÎjÐ�ç5�F�´ëBì�7� �8ñ

ê(Ü�Öe×"!tÙYâ.Þ�ç �)ñ�ÖeÞ=á �Àñ �¡â.ÙYØ�Þ���ØHÜ´áTñ�ë�ìjì��=ñ ÷:ÚaÖeÚYÝ´ÙYÚkÝ·ã�Ö�Ü?Ü�ÖeÞ=åjä8ÖeåjØ�ß�âtáDØ�Ü·Ý´ÞDå ä=ÙkÝ·Þ=å�ÚYæ=ØQêf� � �½ê¡Ö�ß��=×kÝ·á=åjØÚkâ:â.Ü !:Ý·Ú�ñ mÞ �¡þkÒ �aÐ�ÐaÓ��Í.Î�Õ�Ò � ¡Ï:þkÒ�Õ���ÐaÐ�� ��� ���Hñ

ê(â.Ü·Ü·Ý·Þ=Ù�ç7��Ý´ãaæ8Ö�Ø�ÜFÖ�Þ=á��:ÖeßQØHÙ¡ï¬×Yâtâ�!:Ù�ñ/ëBì.ì��Dñ��)×YØ�ÛUâ.ÙkÝ·ÚYÝ´âjÞ8ÖeÜTÛ=æ=×aÖeÙkØ ÖeÚYÚ�Ö�ã�æDßQØ�Þ:Ú¡ÚkæD×kâ.äDå.æ�Ö��8Ö�ã !.Ø�á��mâ �ßQâ:á=Ø�Ümñ mÞ ��Ö��:Ý·á��øÖe×Yâeè¡Ù !:à*Ö�Þ=á�õ!Ø�Þ=ÞDØ�Úkæ2ê(æ:ä=×Yã�æTç8ØHá=Ý·Úkâ.×YÙ�ç ��þkÒ ��ÐaÐaÓ Í.ÎeÕ®Ò � ��DÐ � �þYÓ��QÒjþT��Õ��DÒ��Ò.Í��=ÐBþ���ËTÌ.þsÎ.Ð � Ò.þ ��ÒjþkÌ.çjÛ8Ö�å.Ø�Ù �]�� &jí=ç=ê¡Ö�ß��=×kÝ·á=åjØ.ç�� �®ç7�.äDÞ=Ø.ñ

ê(â��.ØH×�ç:û¡æ=âjß*ÖeÙf�ùñ=Ö�Þ=á��.âeà �®ñ:û¡æ=â.ßÖeÙBñ¬ëBì.ì=ëjñ (Ô·Ð�Ñ®Ð�Í���Õ/Ò � ��Í � Òjþ�Ñ®Ì � �Ò.Í �DÐaÒ.þ��eñd�jâ.æ=Þ # Ý·Ü·Ø�à:ñ� � � � �®ñ¬ëBì.ì.íDñ�� ��� � � þkÒBÌ.Ó���Ì�Õ�� � Ð��)Õ� UþkÌ.Í�Õ �Bþ� � � Ò.ÍÌ.Í=Ó��)Í=Ó.ÐBþaÕ���ÌjÍ=Ó Í.Î �QÒjþT�eÕ �DÒ��Jñö/Ö�Ü´Øjç # Ý·Ü·Ü·Ý�Öeß ��ñ�Ö�Þ=áùõ!Ø�Þ=Þ=Ø�ÚYæ # ñ�ê(æ:ä=×kãaæ�ñùëBì.ìjó=ñ�)ÙYÚkÝ·ß*Ö�ÚkÝ·â.Þ�Û=×YâtãHØ�á=ä=×YØ�Ù ��â.×ÀܾÖ�Þ=å.äUÖeå.Ø®ã�âjÞtÚYØ��:Ú��Û8â:âj׬Ø�ÙYÚkÝ·ß*Ö�ÚkØ�Ù(Öe×kØqè¬âj×kÙYØ�ÚYæ8ÖeÞ ÞDâ.Þ=Ø.ñ mÞ ��� � � � � � �¡þkÒ �aÐaÐ�Ó��Í.Î�Õ �Í � ÒjÑ � Ï �sÌ � �ÒjÍ=ÌeÔ � �sÌ � ·Õ�� ��Õ �� � � � �eÑ �=ÒeÕ��Ï:Ñ�çDÛ8ÖeåjØ�Ù �jì�7� �8ç��qä �=×Yâ��tÞDÝ! ç��¬ä=åjâ.ÙkÜ�Ö��:Ý�Ö=ç:÷:Ø�Û=ÚYØ�ß��UØ�×�ñ

ö/Ö�Ü´Øjç # Ý·Ü·Ü·Ý�Öeß ��ñ:ÖeÞDáQõ!Ø�Þ=Þ=ØHÚkæ # ñ:ê(ætäD×kãaæ�ñ�ëBì.ì�8ñ # æUÖeÚ � Ù?è¡×Yâ.Þ=å®è¡Ý·ÚkæÖeá=á=Ý·Þ=åÀâ.Þ=Ø�� mÞ���ñ�=qâ.ÙYÚká=Ý � !ÖeÞ=á��)ñ:á=Ø!ô!Ö.ÖeÞTç=Ø�á=Ý·ÚYâ.×kÙBç � Òjþ��JÏjÕaý Ì�Õ�Ð�Ó � ÐHÕ ÐaÌjþ�� � �Í �sÒ�ËTÌ.ÍjÎ.Ï:Ì�ÎjÐBñ��¡â:á=âjÜ·Û=Ýmç �qßQÙkÚYØ�×káUÖeß�ñ

ö/Ö�Ü´Øjç�# Ý·Ü´Ü·Ý�Öeß �®ñ8Ö�Þ=á*ö!ØHâ � ×kØ�à÷=Öeß�Û=ÙkâjÞ�ñ¬ëBì.ì]�=ñ)ö!â:âtá �òû¡ä=×YÝ·Þ=å���×YØ��:ä=Ø�Þ=ã�àØ�ÙYÚkÝ·ß*Ö�ÚkÝ·â.Þ è¡Ý·ÚYæ=â.ä=Ú(ÚkØBÖe×kÙBñ� Ò.Ï:þ�Í=Ì�ÔFÒ ��� Ï:ÌjÍ � ��Ì�� ��BÐ!Ë��Í.ÎjÏ�·Õ�� ��Õ�ç �=é &.úHñ�û)âQÖeÛDÛ8Ø�Ö�×�ñ

� �

Page 63: Chen & Goodman - Peopleklein/cs294-5/chen_goodman.pdf · Úkâ!ü òåj× Ö ß ßQâ:á=Ø Ü·Ù ÖeÞDá/Ùkß âtâjÚkæ=Ý·Þ=åUç Ö Þ=á/ÙkäD× .ØHà/Úkæ=Ø(ßQâjÙkÚ

ö!â:á���×YØ�à:ç �8ñ �8ñ·ç�¡ñyê!ñeô�âjÜ·Ü´Ý·ßÖeÞ�çBÖeÞ=á��Uñ��ã ��Ö�Þ=Ý·Ø�Ümñ?ë�ìjì �DñF÷�# mû�ê(ô�ïf= � � �<�eû)Ø�Ü·Ø�Û=æ=âjÞ=Ø¡ÙkÛUØ�Ø�ãaæã�â.×YÛ=ä=Ù��â.ס×YØ�ÙkØBÖe×kãaæùÖeÞ=á�á=Ø��jØ�Ü·â.Û=ß�Ø�Þ:Ú�ñ mÞ ��þkÒ ��ÐaÐaÓ Í.ÎeÕ/Ò � � ��� ��� �(ý ���tç �jâ.Ü·ä=ß�Ø �ç:Û8ÖeåjØ�Ù �=ë���l� �.óDñ

ö!â:â:á�ç� �ñ �8ñqë�ì���&=ñTû¡æ=Ø/ÛUâ.Û=äDܾÖ�ÚkÝ·â.Þ ��×kØ��täDØ�Þ=ã�Ý·Ø�Ùqâ��?ÙkÛUØ�ã�Ý·Ø�Ù/ÖeÞDá*ÚYæ=Ø!Ø�ÙkÚYÝ·ß*ÖeÚYÝ·â.ÞQâ��FÛUâ.Û=äDܾÖ�ÚkÝ·â.Þ�Û8Öe×aÖeß�Ø �ÚkØ�×YÙ�ñ �ÒjÑ�Ð��sþ� �jÌ.ç��tóDé & Ö�Þ=á��:úU� � &]�� �]� �Uñ

ö!â:â:á=ß*Ö�Þ�çO�.â.ÙYæ:ä8Ö=ñ ëBì.ì��Dñ �¦×kâ �UÖ��=Ý·Ü·Ý·ÙkÚkÝ·ã ��Ø�ÖeÚYä=×kØåj×�Öeß�ß*Ö�×kÙ�ñ mÞ �¡þYÒ �aÐaÐaÓ �Í.Î�Õ*Ò � ��DÐ �aÍ ��ÐBþ�Í=Ì�� Ò.Í=Ì�Ô�QÒjþT�eÕ �DÒ��2Ò.Í ��Ì.þaÕ��Í.Î UÐ�� �DÍ=ÒeÔ·Ò�Î��ÐHÕ ��� � ��ñ

ô�äDÜ´Ümç(�.â.ÞUÖeÚkæDâ.Þ�ñ ëBì.ì �Dñ ê(â.ß��=Ý·Þ=Ý·Þ=åÙYàtÞ:ÚaÖeã�ÚYÝ´ã !tÞDâeè¡Ü´ØHá=å.Ø�ÖeÞDá �:Ý·ÙkäUÖeÜ¡ÚkØ��tÚ ×YØ�ã�âjå.Þ=Ý·ÚkÝ·âjÞD� ��æ=Ý·á=áDØ�Þ��Öe×"!.â��!ßQâ:á=ØHÜ���âj×�Û8Ö�×kÚ)â��8ÙYÛ8ØHØ�ãaæ Ú�Öeåjå.Ý·Þ=åqÝ´Þ®Ö¡è(â.×káÀ×kØ�ã�âjå.Þ=Ý·ÚYÝ´âjÞðÖ�Ü·å.â.×YÝ·Úkæ=ß�ñ mÞ � �� � � �eÑ �=ÒeÕ��Ï:Ñ���¡þkÒ]_aÌ�_�·Ô·Õ�� � � ���JþYÒ�Ì�� �DÐ�Õ��sÒ � Ì �sÏtþYÌeÔ8ËTÌ.Í.ÎjÏ:Ì�ÎjÐ�çUÛ8Ö�å.Ø�Ù �]��=í &=ñ

�.ØZ�J×YØ�à:Ù�çUô�ñ¡ëBì �tíDñ �DÐaÒ.þ�� Ò � �¡þkÒ]_aÌ�_�·Ô ���eñ)ê(ܾÖ�×kØ�ÞDá=â.Þ��)×YØ�ÙkÙBçt=�����âj×ká�ç:ÙYØ�ã�â.ÞDá�Ø�á=Ý·ÚkÝ·âjÞ�ñ�.ØHÜ´Ý·Þ=Ø�!JçA�=×YØ�á=Ø�×YÝ·ã !�Ö�Þ=á ��â �UØ�×kÚ �?ñ7�Ø�×Yã�Ø�×Bñ�ëBì.íjó=ñ mÞ:ÚkØ�×YÛ8âjÜ�ÖeÚkØHá*ØHÙkÚkÝ·ßÖeÚkÝ·âjÞQâ�� ��Öe×"!.â�� ÙYâ.ä=×Yã�Ø�ÛUÖe×�Ö�ß��Ø�ÚkØH×kÙ ��×Yâ.ß ÙYÛ8Öe×YÙkØá8Ö�Ú�Ö=ñ mÞ �¡þYÒ �aÐaÐaÓ �Í.Î�ÕQÒ � � �=Ð ��Ò.þT��Õ �=Ò���ÒjÍ �¡Ì�� �sÐBþ�Í � Ð��aÒaÎ.Í � �ÒjÍ �Í �¡þkÌ�� � �aÐBç��ß�ÙkÚkØH×ká8Ö�ß�çjû¡æ=Ø[��Ø�ÚYæ=Ø�×kÜ�Ö�Þ=á=Ù����qâ.×kÚYæ��mô�â.Ü·Ü�ÖeÞDá�ç��3ÖBàtñ

�.âjæ=Þ=ÙYâ.Þ�ç�# ñ ¡ñ¬ëBì & �=ñ �)×kâ��8Ö��=Ý·Ü·Ý·Úmà5��á=ØHá=ä=ã�ÚYÝ�jØ�ÖeÞDáQÝ·Þ=á=ä=ãHÚkÝ �.Ø!Û=×Yâ �=Ü·Ø�ß�Ù�ñ � Í=Ó.çF�8ë�� � �=ë ��� ��&=ñõ/ÖeÚ$�.ç�÷:Ü�Ö��.Ö��ùñ�ë�ì.í]�=ñ[)ÙkÚYÝ·ß*ÖeÚYÝ·â.Þâ��¬ÛD×kâ �UÖ��=Ý·Ü·Ý·ÚkÝ·Ø�Ù �s×kâ.ß�ÙYÛ8Öe×YÙkØ®á8ÖeÚaÖ ��â.×qÚkæ=Ø®Ü�ÖeÞ=åjä8ÖeåjØ/ßQâ:á=Ø�ÜTã�â.ß �Û8âjÞ=Ø�Þ:Ú¡â��FÖ�ÙkÛUØ�Ø�ãaæ�×kØHã�â.åjÞ=Ý���Ø�×�ñ ��� UþYÌ.Í:Õ�Ì���� �Ò.Í:Õ!Ò.Í � �aÒ.ÏjÕ�� ��Õ � � ��ÐaÐ�� �3Ì.Í=Ó � wÎ.ÍDÌeÔ���þkÒ ��ÐHÕaÕ��Í.Îjç��÷=÷ � ��&]�=é &.úU� �:ó.ó���tóDë.ç���Ö�×kãaæ�ñ

õ!Ø�×kÞDÝ´åjæ8ÖeÞTçV�ùñ �®ñ·ç.õ ñ # ñ=ê(æ:ä=×kãaæ�çUÖeÞ=á # ñ ��ñ=ö/Ö�Ü·Ø.ñ¬ëBì.ìjó=ñ � ÙkÛUØ�Ü·Ü´Ý·Þ=å ãHâ.×k×YØ�ã�ÚYÝ´âjÞ�Û=×Yâ.å.×aÖeß �UÖeÙkØHá�â.ÞÖÞ=â.Ý·ÙYà*ãaæ8Ö�Þ=Þ=Ø�ÜTßQâ:á=Ø�Ümñ mÞ �¡þkÒ �aÐaÐ�Ó��Í.Î�Õ/Ò � ��DÐ ���þ��sÐ�ÐBÍ � ���aÍ ��ÐBþ�Í=Ì�� Ò.Í=Ì�Ô � ÒjÍ � ÐBþkÐBÍ��aÐ Ò.Í � Ò.Ñ �JÏ��sÌeý� Ò.Í=Ì�ÔJË� Í.Î.Ï�·Õ�� �HÕ ç:ÛUÖeå.ØHÙ �.ó�� � �Dë�ó=ñ

õ!Þ=Ø�ÙYØ�×�ç��¡ØHÝ´ÞDæ8Öe×Yá2ÖeÞ=á�ô�Ø�×Yß*ÖeÞDÞ:�qØ�àtñ�ë�ìjì��=ñ mß�Û=×kâ��jØ�á��8Ö�ã !:Ý·Þ=å��òâ����â.×®ß��må.×aÖeß�Ü�ÖeÞ=åjä8ÖeåjØ ßQâ:á=Ø�Ü �Ý·Þ=å8ñ mÞ �¡þYÒ �aÐaÐaÓ �Í.Î�Õ�Ò � � �=Ð ��� ��Í���ÐBþ�Í=Ì�� �ÒjÍ=ÌeÔ � Ò.Í � Ð�þYÐ�Í��aÐ�ÒjÍ � ��ÒjÏjÕ � �HÕ � � �=ÐaÐ�� �¶Ì.Í=Ó � wÎjÍ=Ì�Ô�¡þkÒ �aÐ�ÕaÕ��Í.Îjç��.âjÜ·ä=ßQØ/ëjç=Û8Ö�å.Ø�Ù/ëBí=ë � ë�í�8ñ

õ!ä=ã�Ø�×aÖ=çTô�ñ ÖeÞDá # ñ �®ñV�D×�ÖeÞDã�Ý·Ù�ñQëBì��]�=ñ � Ò.Ñ �JÏ���Ì�� Ò.Í=Ì�Ô � Í=ÌeÔ �BÕ�·Õ�Ò � �¡þYÐ�Õ�ÐBÍ ��ý �ÀÌZ� � Ñ®Ð�þ� ��ÌjÍ �Í.ÎeÔ ·Õ �=ñï¬×Yâeè¡Þ ��Þ=Ý �.ØH×kÙkÝ·Úmà �)×kØ�ÙYÙ�ç �)×Yâ��tÝ·á=ØHÞ=ã�Ø��Àñ �ñ

� Ý·á=ÙYÚkâjÞ=Ø.ç?ö ñ �8ñ�ë�ì �.óDñ��qâ.ÚkØ âjÞùÚkæ=Ø�å.Ø�ÞDØ�×�Ö�ܬã�Ö�ÙkØ�â���ÚkæDØQï¡ÖBà.Ø�Ù�� �TÖeÛ=Ü�ÖeãHØ ��â.×Yß ä=Ü�Ö ��âj×/Ý·Þ=á=ä=ã�ÚYÝ �.Ø â.×�Ì��Ò�Õ���ÐBþ��Òjþ�)Û=×kâ��8Ö��DÝ´Ü·Ý·ÚkÝ·Ø�ÙBñ UþYÌ.Í:Õ�Ì���� �Ò.Í:Õ/Ò � ��DÐ��TÌ��BÏjÔ����Ò �� � �sÏ:Ì.þ��ÐHÕ�ç=í7�·ë�í �� ë�ì �Dñ

��Ö�ã�õ/ÖBàtç�!Ö��:Ý·á��8ñUê!ñ8Ö�Þ=á � Ý·Þ=á8Ö ê!ñ��TØ�ÚYâ8ñ!ë�ìjì��=ñ � æDÝ´ØH×�Öe×Yãaæ=Ý·ã�ÖeÜ ��Ý·×YÝ´ãaæ=Ü·Ø�Ú¡Ü�Ö�Þ=å.ä8Ö�å.ØqßQâ:á=Ø�Ümñ � Ì���Ï:þYÌeÔË�ÌjÍ.ÎjÏtÌBÎ.Ð �Í.Î Í=ÐaÐ�þ� Í.Î.çTë.é &.úU�·ë �Jë�ìDñ

��Ö�å.Ø�×Yß*ÖeÞTç �!Ö��:Ý´á��ùñÀë�ì.ì�8ñ � Ì �sÏ:þkÌeÔ Ë�ÌjÍ.ÎjÏtÌBÎ.Ð��¡ÌjþaÕ��Í.ÎÌ�Õ � �sÌ � ·Õ�� �aÌ�Ô��¡Ì�� �sÐ�þHÍ � Ð��aÒaÎ.Í � �ÒjÍ=ñ��)æ�ñ �®ñÚkæ=ØHÙkÝ·Ù�ç ÷:ÚaÖeÞ���âj×ká ��Þ=Ý �.ØH×kÙkÝ·Úmà:ç7�=Ø��=×kä8Ö�×kà:ñ

��Ö�×kã�ä=ÙBçf�ùñ·ç?ï!ñ?÷=ÖeÞ:Úkâj×kÝ·Þ=Ýmç?ÖeÞDá �ùñ ��Ö�×kã�Ý·Þ !:Ý·Ø�è¡Ý·ãU�.ñ»ë�ìjì &Dñùï¬äDÝ´Ü·á=Ý·Þ=å�Ö�Ü�Öe×Yå.Ø�ÖeÞDÞ=â.ÚaÖeÚkØHá2ã�âj×kÛ=ä=Ù�â��)Þ=åjÜ´Ý·ÙYæD�)Úkæ=Ø��)ØHÞ=Þ�û¡×kØHØ��8Öeã ! ñ � ÒjÑ � Ï���Ì�� �ÒjÍ=ÌeÔ Ë��ÍjÎ.Ï�·Õ�� ��Õ�ç ëBì=é �jú�ñ

��Ö�× !.â�� ç �®ñ ��ñ ëBì=ë &Dñ ��Þ¶Ø��=ÖeßQÛDÜ´Øâ���ÙkÚaÖeÚkÝ·ÙYÚkÝ·ã�ÖeÜqÝ·Þ �jØ�ÙkÚYÝ·åtÖeÚYÝ·â.Þ'Ý·Þ Úkæ=Ø�ÚkØ��tÚ�â���� )äDå.Ø�Þ=Ø =qÞ:à.Ø�åjÝ´Þ �Ý·Ü´Ü·ä=ÙYÚk×aÖeÚkÝ·Þ=å®ã�âjä=Û=Ü·Ý·Þ=å�â��FÚYØ�ÙkÚYÙ�Ý·Þ�ã�æUÖeÝ·Þ=Ù�ñ��¡þkÒ �aÐaÐ�Ó��Í.Î�Õ/Ò � � �=Ð � �aÌjÓ.ÐBÑ#� Ò � � ���Ð�Í ��Ð � � � � �¡Ð��sÐ�þaÕU_BÏ:þ�Îjç�7�·ë���&� ë�� �Dñ

� &

Page 64: Chen & Goodman - Peopleklein/cs294-5/chen_goodman.pdf · Úkâ!ü òåj× Ö ß ßQâ:á=Ø Ü·Ù ÖeÞDá/Ùkß âtâjÚkæ=Ý·Þ=åUç Ö Þ=á/ÙkäD× .ØHà/Úkæ=Ø(ßQâjÙkÚ

��Ö�á8ÖeÙBç��q×kÚYætäD×�ñ ëBì.í�8ñ )ÙkÚYÝ´ßÖeÚYÝ´âjÞ'â���Û=×Yâ �8Ö��=Ý·Ü·Ý´ÚYÝ·Ø�ÙQÝ·Þ ÚYæ=ØùÜ�ÖeÞ=åjä8ÖeåjØ*ß�â:á=Ø�Ü!â���ÚYæ=Ø mï � ÙkÛUØ�Ø�ãaæ×kØ�ãHâ.å.ÞDÝ´ÚYÝ·â.Þ2ÙYà:ÙkÚkØHß�ñ ���� UþkÌ.Í�Õ Ì�� � �ÒjÍ:Õ*ÒjÍ � �aÒ.ÏjÕ�� ��Õ � � �=ÐaÐ�� �'ÌjÍ=Ó � ²Î.Í=Ì�Ô �¡þkÒ �aÐ�ÕaÕ��Í.Îjç��!÷=÷�� �& �Déh�túW�yí��.ì ��í]�=ë.ç���ä=åjä=ÙkÚBñ

��ØHàtç:ôqØ�×kßÖeÞ=Þ�ç �qÚkØ�¦ÙkÙkØHÞ�ç ÖeÞ=á��¡Ø�Ý·Þ=æ8Ö�×káõ!Þ=Ø�ÙYØ�×�ñ!ë�ìjì �Uñ =qÞÙkÚY×kä=ã�ÚYä=×kÝ·Þ=å�Û=×kâ��8Ö��DÝ´Ü·Ý·ÙkÚYÝ·ã�á=Ø�ÛUØ�Þ=áDØ�Þ=ã�Ø�ÙÝ·Þ*ÙYÚkâ:ãaæ8ÖeÙYÚkÝ·ã/Ü�ÖeÞDå.ä8Ö�å.Ø�ß�â:á=Ø�Ü·Ý·Þ=å8ñ � Ò.Ñ �JÏ��sÐ�þ � � �=Ð�Ð�� � �¬ÌjÍ=Ó Ë�ÌjÍ.ÎjÏtÌBÎ.ÐBç8íF�·ë � &jí=ñ

�)Ü�ÖeãHØ�èøÖBà:ç �)ñ·ç�÷ ñ ê(æ=ØHÞ�ç � ñD)Ù !jØ�Þ8Ö��Ýmç �®ñ5�tÖ�Ý´ÞTç ��ñ �)Ö�×kÝ !:æ�ç ï!ñ��qÖ��eç5�ùñ �qÖ��tÝ·ÙYæ8ÖeÞ !.Ö�×�ç �/ñ �¡â.ÙYØ�Þ���ØHÜ´áTçõ ñ8÷:Ø�à:ß�â.×kØjç7�ùñ8÷:Ý·Ø�åjÜ·Ø�×�ç �/ñ=÷:ÚYØ�×kÞ�çUÖeÞ=á�¡ñDû¡æ8ÖBà.ØH×�ñ�ëBì.ì]�=ñ)û¡æ=Ø ë�ìjì��Àô�ä � ���Q÷:ÛDæ=Ý·Þ ����&ÀÙkà:ÙkÚYØ�ß�ñ mÞ�¡þkÒ �aÐaÐ�Ó��Í.Î�Õ/Ò � � �=Ð� � � � � � ��ÐaÐ�� � � Ð��aÒ�ÎjÍ � �ÒjÍ ��Ò.þT��Õ �=Ò�� çV�DØ��=×Yä8Öe×Yàtñ

�)×YØ�ÙkÙBç #-ñ ô®ñ·ç:ï�ñ�)ñ7�TÜ�ÖeÞ=Þ=ØH×kà:ç8÷ ñ ��ñ:û)Ø�ä�!.â.Ü·Ù"!tà:ç=ÖeÞDá #-ñ û/ñ �?Ø�ÚYÚkØ�×YÜ·Ý´ÞDå8ñ�ëBì.íjí=ñ � Ï:Ñ®Ð�þ� �aÌeÔ � Ð��� ��ÐHÕ �Í � ñê¡Öeß��=×YÝ·á=å.Ø��qÞ=Ý �.Ø�×YÙkÝ·Úmà��)×YØ�ÙkÙBç ê¡Öeß��=×YÝ´áDå.Ø.ñ

�¡Ý·Ø�ÙBç:õ!ܾÖ�ä=Ù�ñ¡ëBì.ì]�=ñTÛ8Ø�×YÙkâjÞ8ÖeÜTã�â.ß�ß ä=Þ=Ý·ã�ÖeÚYÝ·â.Þ�ñ�¡âjå.Ý·Þ8ÖDç ��:Ý·ã�Ö®ÖeÞ=á ��Ü·Ø�� #2ÖeÝ �UØ�Ümñ?ë�ìjì��=ñTû¡æ=Ø �:ÖeÞ:ä=Ù¡ÙYÛ8Ø�ØHã�æ�×kØHã�â.åjÞ=Ý���Ø�×�ñ mÞ � � � � � Ë� ��Ò.þT��Õ �=Ò �Jñ�¡âjÙkØ�Þ ��Ø�Ü·á�ç���â.Þ8Ö�Ü·á�ñ¡ë�ìjì��=ñZû¡æ=Ø�êf� �-ÙkÚaÖeÚkÝ·ÙYÚkÝ·ã�ÖeÜTÜ�ÖeÞ=åjä8ÖeåjØ�ßQâ:á=ØHÜ´Ý·Þ=å®Úkâ:âjÜ!:Ý·Ú¡ÖeÞ=áÝ·ÚkÙqä=ÙkØ/Ý·ÞÚkæDØQë�ìjì �

� � � ��ê¡÷ �'Ø��.Ö�Ü·ä8ÖeÚYÝ´âjÞ�ñ mÞ �¡þYÒ �aÐaÐaÓ �ÍjÎeÕ!Ò � � �=Ð � ��Ò��.ÐBÍ Ë�ÌjÍ.ÎjÏtÌBÎ.Ð � �BÕ��sÐ�ÑÀÕ UÐ�� �DÍ=ÒeÔ·Ò�ÎO� �QÒ.þ4�eÕ �=Ò �JçÛ8ÖeåjØ�Ù ����7�.ó=ç���äDÙkÚkÝ·Þ�ç:û)Ø��=Ö�Ù�ç7�:ÖeÞ:ä8Ö�×kà:ñ

�¡äDá=Þ=Ý·ã !tà:ç ��ñ �ñùë�ìjì��=ñôqä �H�A�®ï¬ä=ÙYÝ·Þ=Ø�ÙkÙ ï(×kâ:Öeá=ãBÖeÙkÚ��qØ�è¡Ù�ñ mÞ �¡þYÒ �aÐaÐaÓ �ÍjÎeÕQÒ � � �=Ð � ��� � � � �=ÐaÐ�� �� Ð��aÒ�ÎjÍ � �Ò.Í �QÒjþT��Õ��DÒ�� ç=Û8Ö�å.Ø�Ù�í �Jë.ëjñ

÷:Ø�à:ß�â.×kØjç8õ ñ·ç ÷ ñ ê(æ=Ø�Þ�çO�ùñV)Ù"!.Ø�ÞUÖ ��Ýmç�Ö�Þ=á �Àñ���â.ÙkØHÞ���Ø�Ü·á�ñ®ë�ìjì��=ñ ��Ö�Þ=å.äUÖeå.Ø®ÖeÞ=á�ÛD×kâ.Þ:ä=ÞDã�Ý�ÖeÚkÝ·âjÞ�ßQâ:á��Ø�Ü·Ý·Þ=åÝ´ÞùÚYæ=ØQêf� � ëBì.ì]�Qôqä � �Ø��.ÖeÜ·ä8Ö�ÚkÝ·â.ÞTñ mÞ ��þkÒ ��ÐaÐaÓ Í.ÎeÕQÒ � ��DÐ � � � � � � �=ÐaÐ�� � � Ð��aÒaÎ.Í � �ÒjÍ�QÒjþT�eÕ �DÒ��Jç #2Ö�Ùkæ=Ý·Þ=åjÚkâ.ÞTç �®ñyê!ñ·ç��DØ��=×Yä8Öe×Yàtñ

÷:×YÝ´æUÖe×kÝmç ��â.æ=Ý·Þ=Ý!ÖeÞ=á ê(æ8Ö�×kÜ·â.ÚYÚkØ�ï¡ÖeÜ·ÚkäDÙ�ñ�ë�ìjì �Dñ ê(âjß��=Ý·Þ=Ý·Þ=å�ÙYÚ�Ö�ÚkÝ·ÙkÚYÝ´ãBÖeÜ/ÖeÞ=á¶Ùkà:Þ:Ú�ÖeãHÚkÝ·ã�ß�Ø�ÚkæDâtáDÙQÝ·Þ×kØ�ãHâ.å.ÞDÝ �HÝ´ÞDåQæ8Ö�Þ=á=è¡×kÝ·ÚYÚkØ�Þ�ÙYØ�Þ:ÚkØ�ÞDã�Ø�Ù�ñ� mÞ �� � � � �eÑ �=ÒeÕ��Ï:Ñ�� �¡þYÒ�_aÌ�_�·Ô ·Õ�� � � ��� þkÒBÌ�� �=ÐHÕ���Ò � Ì���Ï:þYÌeÔË�ÌjÍ.ÎjÏtÌBÎ.ÐBçUÛ8ÖeåjØ�Ù/ë �Dë � ë ���Dñ

÷:ÚYØ�×kÞ�ç �¡Ý·ãaæ8Öe×Yá!�ùñ¡ëBì.ì]�=ñ�÷:ÛUØ�ã�Ý��8ãBÖeÚkÝ·âjÞ*â��FÚYæ=Ø ë�ì.ì]��� � � ��æ:ä � &ÀØ��.ÖeÜ·ä8Ö�ÚkÝ·â.ÞO����Þ=Ü·Ý·ßQÝ·ÚYØ�á��.â:ã�Ö��=ä=Ü�Öe×Yà���qï�Þ=ØHè¡Ù �8ÖeÙYØ�Ü·Ý´ÞDØ.ñ� mÞ �¡þYÒ �aÐaÐaÓ �Í.Î�Õ�Ò � � �=Ð� � � � � � ��ÐaÐ�� � � Ð��aÒaÎ.Í � �ÒjÍ �QÒjþT��Õ��DÒ�� ç=Û8Ö�å.Ø�Ù � �l�=ñ

#ùØ�Þ=åUç �=ä=Ü·Ý�ÖeÞDå8ç��qÞ=á=×YØ�ÖeÙ?÷:ÚYâ.Ü·ã !.Ø.ç.Ö�Þ=á��qÞ8ÖeÞ:Úkæ®÷=ÖeÞ !.Ö�×�ñ(ë�ìjì��=ñUôqä �7�!Ü�ÖeÞ=åjä8ÖeåjØFß�â:á=Ø�Ü·Ý·Þ=å¬äDÙkÝ·Þ=å�áDâ.ß*Ö�Ý·ÞÝ·ÞtÚYØ�×kÛUâ.Ü�Ö�ÚkÝ·â.Þ ÖeÞ=á áUÖeÚ�Ö�ã�Ü·ä=ÙkÚYØ�×kÝ·Þ=åUñ mÞ �¡þkÒ �aÐ�ÐaÓ��Í.Î�Õ�Ò � � �=Ð�� ��� � � � �=ÐaÐ�� � � Ð��aÒaÎ.Í � �ÒjÍ �QÒ.þ4�eÕ �=Ò �Jç#2ÖeÙYæ=Ý·Þ=å.ÚYâ.Þ�ç��®ñ ê!ñ·ç��=Ø��=×kä8Ö�×kà:ñ

# Ý·ÚkÚYØ�Þ�ç� kÖeÞ ô®ñ.ÖeÞ=á û¡Ý·ß�â.Úkæ:à/ê!ñjï¬Ø�Ü·Ümñ(ë�ì.ìDë.ñ û¡æDØ ��Ø�×Yâ�� ��×kØ��täDØ�Þ=ã�à�Û=×kâ��=Ü·Ø�ß:�5)ÙYÚkÝ·ß*Ö�ÚkÝ·Þ=å�ÚYæ=Ø�ÛD×kâ �UÖ��=Ý·Ü �Ý·ÚkÝ·Ø�Ù¡â��)Þ=â��.ØHÜ8Ø��jØ�Þ:ÚkÙqÝ´ÞÖeá8Ö�Û=ÚkÝ �jØ�ÚkØ��tÚ¡ãHâ.ßQÛD×kØ�ÙYÙkÝ·â.Þ�ñ����� UþkÌjÍ:Õ�Ì���� �ÒjÍ:Õ�ÒjÍ���Í � Ò.þ�Ñ®Ì � �ÒjÍ �=ÐaÒ.þI�eç&��Déh�túW�·ë�ó.í]�� ë�ó.ì�8ç �jä=Ü·àtñ

� �