26

The Search for a Good Basis Gilbert Strang Department of

Embed Size (px)

Citation preview

Page 1: The Search for a Good Basis Gilbert Strang Department of

����� ��������� ����� ������� ���������

���! !"$#&%('*)�'+%-,/.10

2 #&34,5%6'879#&.:'<;>=�?@,>'8A4#B7C,>'8�!D&E

?@,5E-E-,5D+A�F4E-#G'-'8E�HI.4E6'8�J'8FK'8#L;>=�M�#&D+A4.4;5 N;50>O

P&Q-R(SGTVU-W4XYS[Z\U�X^]-_6`W�U8UVaKb^c+ced+d8d�f(SGTVU-W4XYS[Z\U�X^]-_6`gc8hBP&Q

i

Page 2: The Search for a Good Basis Gilbert Strang Department of

����������� ������������ ���������� �!�"#�$�� ��&%��')(+*+�) -,/.�01��.2(�01"#�$(��&� "��� �!�()3�45��06��� �#"�!���*+.���"7� "#�$�� ��

"8%�(�, �8%�����9�� ��( 9$��!�� 9 :;�< )'-�)9$'��< �= ���- ���(�� *+� "80>��!�(��7?�3 @A%�(�,�8%�����9$��=)�$')(B=)�������).�.�0>�DC��<*+� "#�$�� E"#�/.��$(�!�(�FG�$�#(H�8*B���)"8%I�J�� �!�"����� ���3&45��0� ���*B(�01�$!�� 9�#"8�)���$9$�$"K,L"8%�(G��� �#�$�M���� �!�"#�$�� ��N*B�$=�%-"N��(6��0>"8%��)=)�� ��O9P3�Q;�R"8%�(�,S�)0>(T�O9����BU8V�W X�Y;ZKW;[�\�]-^8W;])[�Y`_� "69�(��O�#"a�< E��9���!�b)��_2"8%�(&!�� 9$!���9<� "#�$�� ���!��) E���#(��#�<*+.�9$(B!��� )'-�)9<��"#�$�� dc�9$"#(�01��3

@e�H�#(�(Bf�����!�b-9�,E"8%�(+b (�,/.��-�g -"#��_5!��� ��#�$��(�0h�P����0�01� FG�G�O�N"8%�(&�< -ci ��$"#(j*+�O"801�$!�(��hk�) ��/k+l�:`@m��(�.�9$�$"#n+�) ��/��9$��!�b�@m��(�.�9$�$"#n�?�o

kqprssssssst

u v w xu v w x

u v w xu v w x

y{zzzzzzz|

k+lMprssssssst

u v w}x~ x w ~ v}u

u v w}x~ x w ~ v}u

y{zzzzzzz|

k�01(�.�01(��#(� -"#�B�� �(Hc�9$"#(�0LFa%�(�01(�� ��Y;V������$�������R���>�i�$W�Y;�/k+ld^K�>�i^1��U���[5Y;Uj]B���$Y`�^j�#]-[��D3@G%�(h0>�DFA�N� ��kq!��- � ��)"G��(���01"7%��)=)�� �� 9`_-(��8.�(�!��<� 9$9$,�01� FG�����) ��j�53�����01�#(�"8%��) d"8%�� "�_k�!��) � ��-"S%��')(j�E���) ���(����< -')(�01�#()3�k+l��O!�%��$(�')(��B���)"8%�.�01��.2(�01"#�$(��&���hx�v6��w�u/p���3@G%�� "�*d�)b (��G01� F�����01"7%��)=)�� �� 9�"��S01� F �j:;�$"6�$�a�)��"#��*+� "#�$!�� 9$9$,+��01"7%��)=)�� �� 95"#�S0>�DFA��¡�) ��j��?�3M@G%�(��< )')(�0>�#(��$�G"8%�(�"80#�) ��8.2�)�#()_��#"#�$9$9����) ���(��e36@G%��$�G�$�6"8%�(�!��� ��#"70#��!�"#�$�� H"8%�� "9�(��E¢&�)����(�!�%��$(���"#�B��01"8%��-=)�� �� 9R!���*+.��O!�"#9$,j�8��.�.2��01"#(��EFG��'-(�9�(�"���3

��(G���$�#!����#�£c�9$"#(�06*+� "701�$!�(����) ��+"7%�(aFG�')(�9$(�"N��� �#�$��3N¤���0£.�01�< �!��<.�� 9��).�.�9$�$!�� "#�$�� d�$�"#�+!���*+.�0>(��#�#�$�� ��O���<*+� =-(���3N45��06"8%��O"a.���0#.��-�#(+�B�#,�*+*B(�"801�$!¥c�9�"�(�0S:;FA��"7%�x+p u��) ��w&p¦v�?�F6����9$�§�2(I�2(�"#"#(�0�3+¨6��"�"8%�(� §��01"8%��)=-�� �� 9$�$"K,E�$�&9$�)�#"�©m"8%�(+!��� ���"80#��!�"#�$�� �*B���#"!�%��) �=-(&"#��*+� �< -"8� �< ��j���) ���(����< -')(�01�#()3�@G%�(+� 9$=)(���0#�d��(�� 9$��FG�$"8%E"8%�(S01�< �=�� ��¡«ª�¡*+� "801�$C�.��)9$,� ���*B�<� 9$��_R�) ���"8%�(B�).�.�9$��!��O"#�$�� ��&�)01(�01(�*+�)0�b��)��9$,�FG�$��(��8.�01(��O�e3

¬£­/®�¯A°�±³²³´�®GµD°E­¶�·R¸P¹Bº-»8¼7¸P½¾;¿j¸`¹&º-ÀeÁ�ÂR¼j½Á�Ã�ÄR»8¿)¹7¹#¸;ÅRÆ/Ç�¿)½¼8Á�»�¹1ÈÉÃ�º)Ê5¸�ÅRÆ�¼7·i¿ Ã˹�·RÁ�»7¼7¿D» Ìj¶�·RÁ�¹#¿�Ç�¿)½¼7Á�»�¹�¼#Í5Ä5θP½ º-¾�¾;Í�½Á�Ã�¿«Ï�»8Á�Ã˸;Ã�º)Æ�¿)¹�Ì+ÐAº�½�·Ñ½Á�Ã�ÄeÁ�ÅR¿ Å�¼&Æ�¸;Ç�¿O¹¥¼8·R¿�Æ�»�ºOÍÒ¹8½ º-¾�¿�Á-ÏaÁ�Åi¿�ÄR¸;Ó�¿ ¾1Ô�º-ÅÖÕ×¼8·R¿Ç�¿)½�¼7Á�»+Ã�¸�Æ�·�¼B·eº Ç�¿�ØÚÙ�ÛKÜ i Ý�Þ#ß ½Á�Ã�ÄmÁ�ÅR¿ Å�¼�¹�Ûà¼8»7¸�ÄR¾;¿�Ï�Á�»I½Á�¾�Á�» Þ Ì�áàÏ&Í�Á�ÂÒ·eº Ç�¿Eâhº-¸;¼8¿)Õ×Ï�Á�»

Ý

Page 3: The Search for a Good Basis Gilbert Strang Department of

¸�Ã�º-Æ�¿)¹�Á�Å�¼7·R¿Iá>Å�¼7¿D»7ÅR¿ ¼DÔ5Í�Á�Â�Ê�ÅRÁ)â¦â�·5Í�½Á�Ã�ÄR»8¿)¹7¹#¸;Á�Å�¸P¹LÕ5¿O¹�¸;»�º-ÀR¾�¿�Ì�áàÏ�Í�Á�³º)»7¿Iº »�º�Õ5¸�Á�¾;Á)ÎÆ�¸`¹�¼DÔ�â�¸;¼7·/Ã�¿ Æ º-À�Í5¼8¿)¹MÁ-ÏNÕiº-¼�ºBÏ�»7Á�à ¿ Ç�¿ »7Í����ɺ)ÅeÕ��a¶�¹7½ º)ÅMÔR½�Á�Ã�ÄR»8¿)¹7¹#¸;Á�ÅH¸`¹���ÂR¸;¼8¿�ÂR»7Æ�¿ Å�¼ÛKº-ÅeÕ³º)¾`¹�Á�·eº-»�Õ5¿ » Þ ÌqÕ5Á�½¼8Á�»+½Dº-ų¼7»�º-Åe¹1Ï�Á�»8óÔmÀiÂR¼LÃ/Âe¹#¼�ÅRÁ�¼B¾�Á�¹#¿�Ôm¼8·R¿�¹#Ã�º-¾�¾MÄR¸;¿O½¿+Á-ÏG¼8·R¿Ç�¿)½�¼7Á�»a¼7·eº)¼L¸P¹�½¾;¸�ÅR¸`½Dº-¾;¾�Í/½»7ÂÖ½¸`º)¾1Ì

� ÅR¿HÄÖº-»7¼SÁ-Ïa¼7·R¸P¹¥Äi»7Á�Ài¾;¿ Ã�¸`¹�ÄRÂR»8¿H¾�¸;ÅR¿)º)»Bº)¾;Æ�¿ ÀR»�º ��������������� ��������� �"!$#%�'&)(*&+(,��-/.�̶�·R¿&¹#¼�º)ÅeÕRº-»�Õ ÀÖº�¹�¸P¹Ô�Ã�º)¼�½�·R¸;ÅRÆ&½�Á�Ã�ÄeÁ�Åi¿ Å5¼�¹£¼7ÁSÄR¸;Ó�¿ ¾`¹�Ô-¸P¹6¹�Âi»7¿ ¾�ÍdÅiÁ�¼G¼7·R¿�Àe¿)¹#¼ Ì�áKÏ�º0��Âeº)»7¼7¿D»Á)ÏG¼7·R¿+¸�Ã�º-Æ�¿B¸`¹&½Á�Ã�ÄR¾;¿ ¼8¿ ¾;Íjâ�·R¸;¼8¿�ÔRâ�¿j¹#·RÁ�ÂR¾PÕ5Å21{¼LÂe¹#¿�Ø2354�½Á�Ã�ÄeÁ�ÅR¿ Å�¼�¹�¼7Á/»7¿DÄR»7¿)¹#¿ Å�¼�¼7·Öº-¼Äeº)»7¼DÌ�á1¼+¸`¹+º-Å º)»7¼8¸`½¾�¿�Á-Ï�ÏKº)¸;¼8· ¸�Å�¹#¸;Æ�ÅÖº-¾GÄR»7Á�½�¿)¹7¹#¸;ÅRÆ�¼7·eº)¼�º�6RÁ�ÂR»8¸;¿ »+Àeº�¹�¸`¹+¸`¹LÀe¿ ¼8¼7¿ »DÌ/7Ò¿½ º)Å Ê�¿D¿ Ä�¼8·R¿�¾`º)»7Æ�¿O¹�¼�6RÁ�ÂR»8¸;¿ »+½�Á�¿98�½�¸;¿ Å�¼�¹+Û1º)ÅeÕ Õ�¿)¹�¼8»7Á)ͳº)¾;¾G¼7·R¿/¹#Ã�º-¾�¾£Á�ÅR¿)¹ Þ Ì�¶�·eº)¼+¼�Í�Äe¿Á)Ï+½Á�Ã�ÄR»8¿)¹7¹#¸;Á�Å ¸P¹�½ º-¾�¾;¿)Õ ·Öº-»�Õ ¼7·R»8¿)¹�·iÁ�¾`Õ�¸;ÅRÆiÌ;:�Ã�Á�Á�¼8· Ç�º)»7¸Pº-¼7¸�Á�Åe¹�¸;Å ¸�Å5¼8¿ Åe¹�¸�¼#ÍÒº-»7¿�âa¿ ¾;¾»8¿ ÄR»7¿O¹�¿ Å�¼7¿)Õ³À�Í ¼8·R¿�¾;Á)âqÏ�»8¿<�2Âi¿ Åe½ÍÒ¼7¿ »8Ã�¹Ì�=�ÂR¼j¿)Õ5Æ�¿O¹d¼7·Öº-¼�â�¿D»7¿�¿)º�¹�ÍÒ¸;Å�¼8·R¿�¹�¼�º-ÅeÕRº)»�ÕÀeº�¹�¸P¹E·eº Ç�¿�Àe¿)½Á�Ã�¿�¿ Ó�¼7»7¿DÃ�¿ ¾;ÍÒ¿ Ó�Äe¿ Åe¹�¸�Ç�¿ÈÉÀe¿)½Dº-Âe¹#¿�Á)Ïj¼7·R¿ ¹�¾;Á)â i 3?> Õ�¿)½ º Í�Á-Ï+6RÁ�Âi»7¸;¿D»½Á�¿"8�½¸�¿ Å�¼�¹Ô º-ÅeÕ�¼7·i¿B»7¸�ÄRÄR¾;¿O¹�Ï�»8Á�à ¼7·R¿�@L¸�ÀRÀe¹GÄR·R¿ ÅRÁ�Ã�¿ ÅRÁ�ÅEâ�·i¿ Å�¼7·i¿+¹�¿ »8¸;¿)¹G¸`¹6¼7»8ÂRÅe½ º)¼7¿)Õ�̶�·R¿O¹�¿j¹�·eº�Õ5Á)â&¹LÅR¿)º)»&ºEÕ�¸`¹7½�Á�Å�¼7¸;Å�ÂR¸�¼�Í/º)»7¿j½ º)¾;¾;¿OÕ�A9(,�B��(,����Ì

ÃEÂÖ½�·5ÎKÂe¹#¿)Õ º)¾;¼8¿ »7Åeº)¼7¸�Ç�¿�¸`¹+¼7ÁÑÕ5¸;Ç�¸`Õ5¿/¼7·i¿�¸�Ã�º-Æ�¿�¸;Å�¼7ÁDCFEGC³ÀR¾;Á�½�ÊR¹�Ì�¶�·R¿�Õ5¸P¹7½»8¿ ¼7¿6RÁ�Âi»7¸;¿D»d¼8»�º)Åe¹>Ï�Á�»7à ÛàÁ�»HÀe¿ ¼8¼7¿ »DÔ ¼8·R¿�Õ5¸`¹8½»7¿ ¼8¿�½�Á�¹�¸�ÅR¿�¼7»�º-Åe¹1Ï�Á�»8Ã Þ ¸`¹+º-ÄRÄi¾;¸;¿OÕ×¼8Á�¿)º�½�·³ÀR¾�Á�½�ʹ#¿ Äeº-»�º-¼8¿ ¾;Í�Ì�¶�·R¸P¹E¹#¼�º-ÅÖÕRº-»�Õ ¸`¹�·R¿)º Ç5¸�¾;Íѽ»7¸�¼7¸P½¸IH ¿OÕ×Àe¿)½ º)Âe¹�¿�¸;¼�ÄR»8Á�Õ5Âe½¿O¹KJ8ÀR¾;Á�½�Ê5¸�ÅRÆ�LÒº-¼§º·R¸�Æ�·�½Á�Ã�ÄR»7¿O¹7¹�¸�Á�ÅÒ»�º)¼7¸;Á)Èɼ8·R¿�CMEGC�ÄR¸�¿)½¿)¹+Õ5Á�Å21�¼ONÖ¼/¹�Ã�Á�Á�¼7·R¾�ͳâ�·R¿ ÅQP�Ü�R�Á-ÏS¼7·R¿�Àeº�¹#¸`¹Ç�¿)½�¼7Á�»�¹�º-»8¿³¾;¿Ï�¼�Á�ÂR¼ ÌTS�������!U�M!V���W�X(*&M�Y#%�'&)(*&��[ZM��\'�"A%]^�9_�_`(,���bac]^�<�%��]edM\'�f�9�g��Ah&�Ì ¶�·R¿½�·eº-ÅiÆ�¿HÁ)ÏGÀeº�¹�¸`¹&â�¸;¾;¾MÀe¿+ÏKº�¹�¼Sâ�·R¿ ųº)¾;¾NÃ�º-¼8»7¸P½¿)¹A·ÖºOÇ�¿Iº+NÖÓ5¿)Õ�Å5ÂiÃEÀe¿ »aÁ-ÏaÅRÁ�Å�H ¿ »7Á/¿ Å�¼7»8¸;¿)¹¸�Å�¿Oº�½�·�»7Á)â+ÌG¶�·R¿+¿9i�¿)½¼�Á)ÏGº)Å�¿)Õ�Æ�¿B¸P¹�½Á�Å�¼7»8Á�¾;¾�¿)Õ�Ôiº-ÅeÕ�¼7·i¿dÁ)Ç�¿ »8¾`º)ÄRÄR¸;ÅiÆH»7¿OÕ5Âe½¿)¹�º)»7¼8¸*N�½¸Pº-¾ÀR¾�Á�½�Ê�¸;ÅiÆRÌj7É·i¿ »7¿jºH¹#¼7¿ Ä�Ï�ÂRÅÖ½¼7¸�Á�Å�¸P¹�Õ5¸`¹8º�¹�¼8»7Á�Âe¹¥¸�Å�¼7·i¿k6RÁ�ÂR»8¸;¿ »aÀeº�¹#¸`¹ÔR¸�¼�¹G¸;ÅWleÂi¿ Åe½¿B¸P¹Aâa¿ ¾;¾½Á�Åe½¿ Å�¼7»�º-¼8¿)ÕE¸;Å�º�¾;Á�½ º)¾MÀeº�¹#¸`¹�Ì

¹�¿)½Á�ÅeÕ/Õ5¿)¹�¸�»�º)ÀR¾;¿&ÄR»7Á�Äe¿ »7¼#Í�¸`¹G¹#·R¸ Ï�¼#Î1¸�Å5Ç�º-»8¸`º)Åe½¿�Á�»kJ�¹�¼�º)¼7¸�Á�Åeº)»7¸;¼#Í�LdÁ)ÏN¼7·R¿�Àeº�¹�¸P¹ÌGáàÏM¼8·R¿¸�ÅRÄRÂR¼a¸`¹�¹�·i¸ Ï�¼7¿OÕ�Ûà¸�Å�¼7·R¿nmOoqp�ÄR¾`º)ÅR¿LÏ�Á�»�¸;Ã�º)Æ�¿)¹aº-ÅeÕ�¸;Å�¼7¸;Ã�¿�Ï�Á�»&º-ÂÖÕ5¸;Á/¹#¸;Æ�ÅÖº-¾`¹ Þ ÔR¼8·R¿ Å�¼8·R¿Á�ÂR¼7ÄRÂi¼Hâ�Á�ÂR¾`Õ³Àe¿�¿<��Âeº-¾�¾;Í ¹�·R¸<Ï�¼7¿)Õ�ÌX6RÁ�»j¼7·R¿�½�·eº-ÅRÆ�¿EÁ)Ï&Àeº�¹#¸`¹BÃ�º)¼7»7¸�Ó�Ô�¼7·R¸P¹«Ã�¿)º-Åe¹B¼8·eº-¼Iº¹#·R¸ Ï�¼+¼7Á�¼7·R¿/»7¸�Æ�·�¼H¸P¹«¸PÕ5¿ Å�¼7¸P½ º-¾6¼8Á�º�¹�·i¸ Ï�¼HÂiÄMÌ�L¾;¾�»7Á)â&¹dÁ)Ï&¼7·R¿/Ã�º-¼8»7¸�Ósr º)»7¿/¼7»�º-Åe¹#¾`º-¼8¿)¹Á)ÏG¼7·R¿�H ¿ »8Á�¼7·�»7Á)â+Ì&¶�·R¿�¼7»�º-Åe¹1Ï�Á�»8à ¸P¹¥»8¿ ÄR»8¿)¹�¿ Å�¼7¿OÕ§À�Í�ºt������_u]^(I�,vXw����gA9(*x�rky{zBÙ}|MÛg~�o�� Þ Ôâ�¸�¼7·�º�½Á�Åe¹�¼�º-Å�¼�½Á�¿"8�½¸�¿ Å�¼�|MÛg> Þ Õ5Á)â�Å�¼7·i¿O��¼7·�Õ5¸Pº-Æ�Á�Åeº)¾1Ì�Û��&Á�¼7¿S¼7·eº)¼&ºd¼#â�Á)Î#Õ5¸�Ã�¿ Åe¹#¸;Á�Åeº-¾

Page 4: The Search for a Good Basis Gilbert Strang Department of

½Á�Å5Ç�Á�¾;ÂR¼8¸;Á�ų·eº�¹+Õ5Á�ÂRÀR¾;¿�¸�ÅeÕ5¸P½¿)¹+Û�~�� � ~ ß Þ º)ÅeÕ Û ��� � � ß Þ Ì� NeÅR¸�¼7¿�¸�Ã�º-Æ�¿�¹�¼8Á�Äe¹+º)¼HØ�ÄR¸�Ó5¿D¾`¹Ì Þ� ÂR»�Ã�Á�Õ�¿ ¾�â�¸�¾;¾�Àe¿jÁ�ÅR¿Î>Õ5¸�Ã�¿ Åe¹#¸;Á�ÅÖº-¾1Ô�¿ Ó�¼7¿DÅeÕ5¿)ÕE¼8ÁE¼8·R¿+â�·RÁ�¾�¿+¾;¸;Åi¿��V~�����º-ÅÖÕ/�����hÌ

�¶ Á�¿DÄR¾;¸�¼ HBÃ�º)¼7»8¸;Ó r˸`¹�º/½Á�Å5Ç�Á�¾;ÂR¼8¸;Á�Å�Á�Äe¿ »�º)¼7Á�»LÁ�ÅDß Û�� Þ ÔRÊ�ÅRÁ)â�Å�¹�¸;Ã�ÄR¾;Í/º�¹Lº���] �[�"A��

r�Ùrsssssssst

|MÛ ��Þ |MÛ Ý2Þ | Û i-Þ |MÛ�� Þ

|MÛ �2Þ | Û Ý2Þ |MÛ i-Þ |MÛ�� Þ

y{zzzzzzzz|

¶�·R¿/»7Á)â&¹BÁ)Ç�¿ »7¾Pº-Ä º-ÅeÕÒº-»8¿E¾�Á�½ º-¾&ÛàÁ�ÅR¾;Í�Ï�Á�ÂR»+ÅRÁ�Å�H ¿ »8Á�¹B¸;ų¼8·R¸`¹B¿ Óiº-Ã�ÄR¾;¿ Þ Ì+á1ų¼7·R¿X6RÁ�Âi»7¸;¿D»Àeº�¹�¸P¹Ô2r ¸P¹LÕ5¸Pº-Æ�Á�Åeº)¾���ÐGº�½�·�ÄiÂR»7¿j¿ Ó5ÄeÁ�ÅR¿ Å�¼7¸`º)¾��mÛKØ Þ Ù�� y .�� ¸`¹AÏ�Á�»8Ã�º-¾�¾;Í�º-ų¿ ¸�Æ�¿ Å�Ç�¿)½¼8Á�»aÁ-Ïr Ôeº-ÅeÕ�¼7·R¿+¿ ¸�Æ�¿ Å�Ç�º-¾;Âi¿B¸`¹�¼8·R¿ Z)A��������"����� A�� & _���� &<�kr³Û�� Þ �

r��EÙ! |MÛ�� Þ#" | Û i-Þ �%$ y � " & � " |MÛ�' Þ �($ y*) �,+ ��Ù$r³Û�� Þ �.- Û i)Þá1Å ¼7·R¿�6RÁ�Âi»7¸;¿D»HÀeº�¹�¸`¹�ÔA¼8·R¸`¹�½�·eº)ÅRÆ�¿)¹Xp Ù r�m ¸;Å�¼7ÁÒº)Å Á�»�Õ5¸�Åeº-»8Í�ÃEÂi¾;¼7¸�ÄR¾;¸P½º)¼7¸�Á�Å0/EÛ1� Þ Ùr Û1� Þ�2 Û1� Þ �

áàÏ�mMÛKØ Þ Ù4365$ 52 Û1� Þ � y .��87%� ¼8·R¿ Å�pmÛKØ Þ Ù93:5$ 5

r Û1� Þ�2 Û�� Þ � y .;�<7%�=- Û Ý�Þ

=�Í�½�·RÁ�Á�¹#¸;ÅRÆ�¹�Âi¸;¼�º)ÀR¾;¿�Å5ÂiÃEÀe¿ »�¹�| Û�� Þ Ô |MÛ i-Þ ÔjÌLÌ&ÌBÔ|MÛ�' Þ Ô�â�¿ ½ º-Å Õ5¿O¹�¸;Æ�Åɼ7·R¿FNÖ¾;¼7¿D»E¼8Á¹#¼7Á�Ä º ÀÖº-ÅeÕ�Á-Ï6Ï�»8¿<�2Âi¿ Åe½¸�¿)¹Ì�6£¸�Æ�ÂR»8¿ i ¹�·RÁ)â&¹L¼8·R¿BÏ�»7¿<��ÂR¿ Åe½�ÍE»8¿)¹�ÄeÁ�ÅÖ¹�¿�Á-ÏTº�]^��! _��'&%&���] � �"A?>r Û1� Þ�@ �Hº)¼A·i¸;Æ�·/Ï�»7¿<��ÂR¿ Åe½�¸;¿)¹�A �BA @DC Ì6Ð6Ç�¿ Å�¼7ÂÖº-¾;¾�ÍHâa¿Lâ�¸�¾;¾e½Á�Åe¹�¼8»7Âe½�¼�ºdÀÖº-ÅRÊ/Á-Ï2Ne¾�¼7¿ »�¹>ÈÅRÁ�¼FE7ÂÖ¹�¼�Á�Åi¿�Ì

4

Page 5: The Search for a Good Basis Gilbert Strang Department of

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1−0.2

0

0.2

0.4

0.6

0.8

1

1.2

f=ω/π

equiripple filterDaubechies filter

6£¸�Æ�ÂR»8¿ i �a¶�â�Á�¾;Á)â�Äeº�¹7¹�Ne¾;¼8¿ »�¹�ÔRâ�¸;¼8·�ÄÖº�¹7¹#Àeº-ÅÖÕ³º-ÅeÕ�¹�¼7Á�ÄRÀeº)ÅeÕ�Ì

Ü

Page 6: The Search for a Good Basis Gilbert Strang Department of

�n���[��� 7 ¿�·ÖºOÇ�¿�¿DÓ5ÄR»8¿)¹7¹#¿)Õ³¼7·R¿/NÖ¾;¼7¿D»Hº�¹Hº�Ã�º-¼8»7¸;Ó�Ô�Àe¿ ¾�¸;¿ Ç�¸;ÅRÆ�¼7·eº)¼H»7¿Oº�Õ5¿ »�¹dâ�¸�¾;¾G¹#¿ ¿��ÂR¸`½�Ê�¾;ÍH·iÁ-âɸ�¼�Á�Äm¿D»�º-¼8¿)¹ÌGá1Å�¼8·R¿B¼8¸;Ã�¿&Õ5Á�Ã�º-¸�ÅE¼8·R¿+º�½¼7¸�Á�Å�Á)Ï�r�¸`¹�ºjÕ5¸`¹8½»7¿D¼7¿S½Á�Å�Ç�Á�¾�ÂR¼7¸�Á�Å2�

pmÛKØ Þ Ù )������

|MÛ�> Þ mMÛ1Ø oG> Þ - Û ��Þá1Å�¼7·i¿�Ï�»7¿<��ÂR¿ Åe½�ÍHÕ�Á�Ã�º)¸;Å�¼7·i¸`¹£¼8»�º-ÅÖ¹>Ï�Á�»8Ã�¹£¼8Ád¼8·R¿&º-¾�¾ ¸;Ã�ÄeÁ�»8¼�º)Å5¼�%����\5��] ����(,����A;� ]I�.//Û1� Þ Ùr Û1� Þ�2 Û1� Þ Ì ÐAº�½�· ¼8¿ »7à peÛ1Ø Þ � $ y .;� ½Á�Ã�¿O¹ Ï�»8Á�à |MÛ�> Þ � $ y � � ¼7¸;Ã�¿)¹mMÛ1Ø�o > Þ � $ y�� . $ �� � ÔG¹�ÂRÃ�Ã�¿)Õ�Á�ÅQ>�ÔGº)ÅeÕ�¼7·R¸P¹H»7¿)½�Á-Ç�¿D»�¹�Û ��Þ ÌÒÐ6Ç�¿ Å ¹�¸�Ã�ÄR¾�¿ »B¸`¹+¼7Á³Âe¹#¿EÏ�Á�»#ÎÃ�º)¾�ÄeÁ)â�¿ »&¹#¿ »7¸�¿)¹</EÛ�� Þ Ù$r Û�� Þ�2 Û�� Þ �

� peÛ1Ø Þ � $ .�Ù � | Ûg> Þ � $ � + � mMÛ� Þ � $�� + -¶�·R¿&Ê�¿ ÍjÄmÁ�¸;Å�¼�¸P¹U> " B٠أÌG¶�·eº)¼�º)ÄRÄR¾;¸�¿)¹6¼7Á+ÄeÁ)â�¿ »�¹AÁ-Ï���º-ÅeÕ�ÄeÁ)â�¿ »�¹AÁ-Ï � y � ÌG¶�·R¿&¸;ÅeÕ5¸P½¿)¹¸�ų¼7·R¿/½Á�Å5Ç�Á�¾;ÂR¼8¸;Á�ÅÒº�ÕRÕ³¼7Á�> " ÛKØFoQ> Þ Ù Ø£ÌI¶�·R¸`¹B»7¿DÄR»7¿)¹#¿ Å�¼�º-¼8¸;Á�Å�Á-Ï r}À5Í�¸;¼�¹&¼7»�º)Åe¹>Ï�¿D»Ï�ÂRÅÖ½¼7¸�Á�Å�r³Û�� Þ Ã�º-Ê�¿)¹G¼7·R¿jº)¾;Æ�¿DÀR»�º�Ç�¿ »7Í�½Á�Å5Ç�¿ Åi¸;¿ Å�¼ Ì

á1Åjº-¾;¾ ½ º�¹#¿)¹M¼7·R¿a½»8Âe½¸`º)¾�¸�Å5Ï�Á�»8Ã�º-¼8¸;Á�ÅS¸`¹M½ º)»7»7¸�¿)ÕLÀ�ÍB¼7·i¿jNe¾;¼8¿ »N½Á�¿98§½¸�¿ Å5¼�¹u| Û�� Þ � -�-�- � | Û ' Þ Ì¶�·R¸P¹£Ç�¿)½¼8Á�»�|�¸`¹N¼7·R¿Yag(,w _ � ]{&<�A�� & _���� &<�Bd�Ì6á1¼6¸`¹N¼7·R¿�Á�ÂR¼7ÄRÂi¼LÛ�Á�ÅR¿&½�Á�¾;ÂiÃ�ÅHÁ)ÏM¼7·i¿�Ã�º-¼8»7¸;Ó�r Þâ�·R¿DÅ�¼7·R¿S¸;ÅRÄRÂi¼ m�¸`¹aºHÂRÅR¸;¼a¸;Ã�ÄiÂR¾`¹#¿���¸ Ï mMÛKØ Þ Ù��5ÛKØ Þ ¼7·i¿ Å�peÛ1Ø Þ Ù |MÛKØ Þ ÌGá1Å�¼8·R¿��-Î>Õ5Á�çº-¸;Å2 Û�� Þ��@i Í�¸;¿ ¾PÕR¹ //Û�� Þ�� r³Û�� Þ Ìa¶�·R¿jÕ5¿)¹�¸�Æ�Å�Á-ÏT¹�ÂR¸�¼�º-Ài¾;¿0Ne¾;¼8¿ »�¹�¸P¹¥¼8Á�¼�º-¾;¾�ÍEÏ�ÂRÅeÕiº-Ã�¿ Å�¼�º)¾�¼8Á¹#¸;Æ�ÅÖº-¾MÄR»8Á�½¿)¹7¹#¸;ÅRÆiÌ

¶�·R¿�Ã�º)¼7»8¸;ÓBÏ�Á�»8ÃqÀe¿ Æ�¸�Åe¹6¼7ÁjÕ5Á�Ã�¸;Åeº)¼7¿aâ�·R¿ Å�¼7·i¿&¹�¸;Æ�Åeº-¾e¾�¿ ÅRÆ�¼8·�¸`¹�NÖÅR¸;¼8¿+Ûà¼7·i¿�¸;Ã�º)Æ�¿�·Öº�¹ÀeÁ�ÂiÅeÕRº-»8¸;¿)¹ Þ Ì ¶MÁ�¿ ÄR¾�¸;¼fH ·i¸;Ã�¹#¿ ¾ Ï ¹�¼7ÂÖÕ5¸;¿)Õ ¼8·eº-¼ ÄR»7Á�ÀR¾;¿DÃ�� ¼8·R¿ ¼7»8ÂR¿J�¶ Á�¿ Äi¾;¸;¼fHLçº-¼7»8¸`½¿O¹ L+º-»8¿B¹#¿)½¼7¸�Á�Åe¹GÁ-ÏNÁ�ÂR»�Õ5Á�ÂRÀR¾�Í2ÎK¸;ÅWNÖÅR¸;¼8¿ r Ì�=�ÂR¼ E7Âe¹�¼aÀm¿D·R¿)º�Õ�¸;ÅRÆj¼7·R¿BçºOμ8»7¸;ÓSÆ�¸;Ç�¿O¹£º)Å�ÂRÅ5âa¿ ¾`½�Á�Ã�¿�Õ5¸`¹8½Á�Å�¼7¸�Å5Âi¸;¼#Í�Ô)º-ÅÖÕHÀmÁ�ÂRÅeÕRº)»7ÍkNe¾;¼8¿ »�¹Nº-»8¿�ÅR¿ ¿OÕ5¿)Õd¸�ÅH¼8·R¿�ÀeÁ�ÂiÅeÕRº-»8Í»8Á-â&¹�Ì���¿Ï�¿ »8¿ Åe½¿O¹Aº)»7¿j¸;Å��G·eº-Äi¼7¿ »C�Á-Ï�� :�Î ���KÌ�! #"�$&%�')(+*-,-.0/

¶�·R¿�¾�Á)â�Äeº�¹8¹ NÖ¾;¼7¿D»6»7¿)Õ�Âe½¿)¹£¼8·R¿�·R¸�Æ�·HÏ�»7¿?�2ÂR¿DÅe½Í+ÅRÁ�¸P¹�¿jÛàÆ�Á�Á�Õ Þ Ìaá1¼Gº-¾P¹�Á+ÀR¾;Âi»�¹£¼8·R¿�¿)Õ5Æ�¿)¹�ÛàÅiÁ�¼Æ�Á�Á�Õ Þ Ì�&Å�¸`Õ�¿)º-¾2Ne¾;¼8¿ »BâaÁ�ÂR¾PÕ E7ÂRÃ�Ä�Ï�»7Á�à i ¼8Á��E¸;ų¸�¼�¹�Ï�»7¿<��ÂR¿ ÅÖ½Í�»7¿)¹#ÄmÁ�Åe¹�¿ ÌH¶�·eº)¼�E7ÂRÃ�ÄÅR¿D¿)ÕR¹£¸�ÅWNeÅR¸�¼7¿ ¾�Ídçº-Å�ÍH½�Á�¿98�½�¸;¿ Å�¼�¹V|MÛKØ Þ ��¼8»7ÂRÅe½Dº-¼7¸�Á�Å/Á-Ï�¼7·i¿B¹#¿ »7¸�¿)¹£ÄR»8Á�Õ5Âe½¿)¹�@&¸;ÀiÀe¹6»7¸;ÅiÆ�¸;ÅiÆ

1

Page 7: The Search for a Good Basis Gilbert Strang Department of

0.3 0.35 0.4 0.45 0.5 0.55 0.6 0.65−0.2

0

0.2

0.4

0.6

0.8

1

f=ω/π

31 terms61 terms

6N¸;Æ�Âi»7¿ Ý � @&¸;ÀiÀe¹¥Äi·R¿ ÅRÁ�Ã�¿ ÅRÁ�Å�½»7¿Oº-¼7¿O¹�»7¸;ÅiÆ�¸;ÅiÆ/º-»7Á�ÂRÅeÕ�¼8·R¿+¿)Õ5Æ�¿O¹Ì¸�Å�6£¸�Æ�ÂR»8¿ Ý Ôeâ�·R¸P½�·�ÅRÁ�ÀeÁ�Õ5ͳâhº-Å�¼�¹Ì&¶�·R¿/¹#Ã�Á�Á�¼8·R¸;ÅiÆEÀ�Í�ºE¾;Á)â�Äeº�¹7¹ Ne¾�¼7¿ »0r ¸`¹�Âe¹�¿Ï�Âi¾£ÀRÂi¼¼8·R¿�»7¿)½�Á�Åe¹#¼7»7ÂÖ½¼7¸�Á�ųÀ�ÍKr $ � ¸P¹L¼7¿D»7»7¸�ÀR¾;¿ � i 3Br³Û1� Þ ¸P¹LÅRÁ�¼Hº/ÄmÁ�¾;Í�ÅRÁ�Ã�¸`º-¾�º-ÅÖÕ r $ � ¸`¹LÅRÁ�¼jºÀeº)ÅeÕ5¿)Õ³Ã�º)¼7»7¸�Ó�Ì+á1ÅÒ¹#¸;Æ�ÅÖº-¾GÄR»7Á�½�¿)¹7¹#¸;ÅRÆ�¾`º)ÅRÆ�ÂÖº-Æ�¿ Ô6º-ÅG66á � NÖ¾;¼7¿D»�Û1º NÖÅR¸;¼8¿/¹�¿<��ÂR¿ Åe½�¿X| ÛKØ Þ8Þ·eº�¹Lº)ųá8á[�ɸ;Å�Ç�¿ »�¹�¿�Û�¸;ÅWNeÅi¸;¼7¿D¾;Í�¾;Á�ÅRÆ Þ Ì

6RÁ�»�ÏKº�¹#¼B½Á�Ã�ÄRÂR¼�º-¼8¸;Á�ÅÖ¹Ôeâ�¿+â�º)Å5¼+��#%�����W����w�����A"(*x !V(I�,����#%�����W����(,��\<�"Ah&<��ÌL¶�·i¿ Å�¼8·R¿½�·eº-ÅiÆ�¿�Á-Ï+ÀÖº�¹�¸P¹ â�¸�¾;¾aÀm¿�ÏKº�¹#¼EÀeÁ�¼8· âhºOÍi¹Ì�¶�·R¿�º-ÅÖº-¾;Íi¹�¸P¹E¹#¼7¿ Ä r�m ¸`¹dÏ�»7Á�à Á�¾PÕ Àeº�¹�¸P¹ ¼8ÁÅR¿Dâ+Ô�º)ÅeÕ×¼8·R¿�¹#Í5Å�¼7·i¿)¹�¸P¹L¹#¼7¿ ij»8¿)½Á�ÅÖ¹�¼7»8Âe½¼�¹ m³Ù r $ � Û r�m Þ Ï�»8Á�Ã˼7·R¿jÀeº�¹#¸`¹LÇ�¿)½�¼7Á�»�¹¥¸�Å�¼8·R¿½Á�¾;ÂRÃ�Åe¹�Á-Ïr $ � ÌB¶�·R¸P¹LÆ�Á º-¾6Á)Ï�º/Àeº-ÅeÕ�¿)Õ�¸;Å�Ç�¿ »�¹#¿+½ º)ųÀm¿/º�½�·i¸;¿ Ç�¿)Õ�Ô5ÀRÂR¼SÁ�ÅR¿kNe¾;¼8¿ »L¸P¹¥ÅiÁ�¼¿ ÅiÁ�ÂRÆ�·MÌ

6R»7Á�à º)¾;¾�Õ5¸;»8¿)½¼8¸;Á�ÅÖ¹ÔRâ�¿Iº-»8¿HÀe¿ ¸;ÅiÆEÄRÂÖ¹�·R¿)Õ�¼8Á)â�º-»�Õ�¼#â�Á�ÛàÁ�»BÃ�Á�»7¿ Þ Ne¾�¼7¿ »�¹Ì r � â�¸�¾;¾MÀe¿¾�Á-â�ÄÖº�¹7¹/º-ÅÖÕ r � â�¸�¾;¾�Àe¿�·R¸;Æ�·RÄeº�¹8¹Ì�¶�·R¿�Á�ÂR¼7ÄiÂR¼�¹Xp � Ù r � m º)ÅeÕ;p � Ù r � m â�¸;¾�¾�¹#ÄR¾;¸�¼¼8·R¿BÏ�»7¿<��ÂR¿ Åe½�Í�¹#Äm¿O½¼7»8ÂRà ¸;Å�¼7Á�¾�Á)â�º-ÅeÕ�·R¸;Æ�·MÔRâ�¸;¼8·�¹�Á�Ã�¿dÁ)Ç�¿ »8¾`º)ÄMÌ�6RÁ�»&º-Å (,��\'�"A%�g(,#9]I�ONe¾�¼7¿ »Àeº)ÅRÊ�Ô6â�¿�Á�ÅR¾;ͳâhº-Å�¼�·eº-¾<Ï&Á-Ï&¿)º�½�·�Á�ÂR¼7ÄiÂR¼�Û�Àm¿O½ º-Âe¹#¿�¼�âaÁ Ne¾�¼7¿ »�¹+Õ5Á�ÂRÀi¾;¿�¼8·R¿�ÕRº)¼�º Þ ÌÒ¶�·R¿ÅR¿Oº-¼�¸`Õ�¿)ºHÁ-Ïa¹#¸;Æ�Åeº-¾MÄR»8Á�½¿)¹8¹�¸;ÅiÆE¿ ÅiÆ�¸;Åi¿ ¿ »�¹G¸`¹�¼8Á�Õ5Á)â�Åe¹8º-Ã�Äi¾;¿B¼8·R¿+¼�âaÁ�Á�ÂR¼8ÄRÂR¼�¹¥À�Í�Ê�¿ ¿ Äi¸;ÅRÆÁ�ÅR¾;Í�¼7·i¿ ¸;»&¿ Ç�¿ Å�½Á�Ã�ÄeÁ�ÅR¿ Å�¼�¹p � Û Ý Ø Þ º)ÅeÕ�p � Û Ý Ø Þ ÌB¶�·R¸P¹¥Äi»7Á�Õ5Âe½�¿)¹Bº Ne¾�¼7¿ »&Àeº)ÅRÊ�â�¸�¼7·�¼#âaÁ·eº)¾ Ï`ÎK¾;¿ ÅiÆ�¼7·�Á�ÂR¼7ÄRÂi¼�¹�� � º-ÅÖÕ�� � Ô5Ï�»8Á�à ¼8·R¿0Ne¾;¼8¿ »�¹ r � º-ÅeÕ�r � �

Page 8: The Search for a Good Basis Gilbert Strang Department of

¸�ÅRÄRÂR¼m r �

r �p �

p �� Ý� Ý

� � Ù�Û � Ý5Þ r � m�Ù��$| � Û�> Þ mMÛ Ý Ø oY> Þ� � Ù�Û � Ý5Þ r � m�Ù��$| � Û�> Þ mMÛ Ý Ø oY> Þ -

á1ų¿)º�½�·Ñ½�·Öº-ÅRÅR¿D¾1Ô�âa¿ONe¾;¼8¿ »+º-ÅÖÕ�Õ5Á)â�Åe¹7º)Ã�ÄR¾�¿�� �MÛ1Ø Þ Ù pmÛ Ý Ø Þ Ì/¶�·R¿EÄi»7Á�Õ5Âe½�¼�Û � Ý5Þ r ¸P¹+º¶MÁ�¿ ÄR¾�¸;¼ H�çº-¼7»8¸;Ó+â�¸;¼8·E¿DÇ�¿ »7Íj¹�¿O½Á�ÅeÕ�»7Á)â�»7¿ Ã�Á)Ç�¿)Õ�Ì6Û��LÁ)â r »8¿ ÄR»8¿)¹�¿ Å�¼�¹�r � Á�» r ��Ì Þ ¶�·R¿ »8¿¸P¹�ºEÕ5Á�ÂRÀR¾�¿H¹#·R¸ Ï�¼�Àe¿ ¼#âa¿ ¿ Å�»8Á-â&¹"�

Û � Ý2Þ r�Ùrsssssssst

| Û �2Þ |MÛ Ý2Þ |MÛ i)Þ |MÛ�� Þ

|MÛ ��Þ |MÛ Ý�Þ |MÛ i-Þ | Û�� Þ

y zzzzzzzz|-

¶�·R¸P¹¥¸P¹¥¼8·R¿HÊ�¿DÍ�Á�Äe¿ »�º-¼7Á�»+¸;Å�âhº Ç�¿ ¾;¿ ¼a¼7·R¿DÁ�»7Í Ì �Ï�¼7¿ »&¼7·R¿I½Á�Å�Ç�Á�¾�ÂR¼7¸�Á�Å�Ï�»7Á�à r Ô�Õ5Á)â�Åe¹8º-ÃEÎÄR¾�¸;ÅRÆ�»7¿ Äi¾`º�½�¿)¹+Ø À�Í Ý Øj� �MÛ1Ø Þ Ù��$|MÛ�> Þ mMÛ Ý ØKo > Þ Ì�á1¼8¿ »�º)¼7¸;Á�Å â�¸�¾;¾GÄR»8Á�Õ5Âe½¿�Ã�Á�»7¿/¼7¸�Ã�¿¹8½ º-¾�¿)¹ Ý z Ø£Ì/á1Å ¼8·R¿/¾;¸;Ã�¸;¼�Á-Ïh¼7·R¿/¸;¼8¿ »�º)¼7¸�Á�Åe¹HÛK¹�ÂR¸�¼�º)ÀR¾;ͳÅRÁ�»7Ã�º)¾;¸ H ¿)Õ Þ Ôm¼8·R¿ »7¿�â�¸�¾;¾6Àe¿�º�Àeº�¹#¸`¹Á)Ï�â�º Ç�¿ ¾�¿ ¼�¹&º-¼Iº-¾�¾G¹7½ º)¾;¿)¹ Ý z�� Ì/¶�·R¸P¹d¹#¼7¿ ijÏ�»7Á�Ã}Õ5¸`¹8½»7¿D¼7¿�¼7Á�½Á�Å5¼8¸;Å�ÂRÁ�ÂÖ¹«¼8¸;Ã�¿+¸P¹dÕ�¸`¹7½�Âe¹7¹#¿)ÕÀe¿ ¾�Á-â+Ì

¶�·R¿jÕ5Á)â�Åe¹8º-Ã�ÄR¾�¸;ÅRÆjÁ�Äe¿ »�º-¼7Á�»HÛ � Ý�Þ ÄR»7Á�Õ5ÂÖ½¿)¹�¼7·R¿B¿DÇ�¿ Å�Äeº)»7¼�¸;Å�¼8·R¿B»7¿DÄR»7¿)¹#¿ Å�¼�º-¼8¸;Á�Å�À5ÍÄeÁ)â�¿ »&¹#¿ »7¸�¿)¹BÛà¼8·R¿ �-Î#Õ�Á�Ã�º)¸;Å Þ �

�jÛ�� ß Þ Ù iÝ Û r³Û�� Þ�2 Û�� Þ#" r³Û o � Þ�2 Û o � Þ8Þ -¶�·eº)¼Bº)ÄRÄe¿)º-»�º-Åe½�¿HÁ-Ï o �/¹�¸;Æ�Åeº-¾P¹O��] (,�'&)(,����Ì 6R»7¿?�2ÂR¿DÅe½¸;¿O¹ � º-ÅeÕ�� " C º)»7¿HÃ�¸;Ó�¿)Õ ¼8Á�Æ�¿ ¼7·R¿D» o �«¸P¹ � y � ��� 5 + Ìa¶�·R¸`¹&º-¾�¸`º�¹�¸;ÅiÆ�â�¸;¾;¾MÀe¿I½ º-Åe½�¿ ¾;¾�¿)Õ ¸�Å�¿<��Âeº)¼7¸;Á�ÅÒÛe4 Þ À�Í�Á�ÄRÄeÁ ¹�¸;¼8¿/º-¾�¸`º�¹#¸;ÅRÆ�¸�ż8·R¿+·R¸;Æ�·RÄeº�¹8¹L½�·eº)ÅRÅR¿ ¾KÌ

C

Page 9: The Search for a Good Basis Gilbert Strang Department of

¶MÁH¹#¿ ¿�¼8·R¿&½Á�Ã�ÄR¾;¿D¼7¿VNe¾;¼8¿ »NÀeº-ÅRÊ�ÔeÛ � Ý5Þ r � E7Á�¸;ÅR¿)ÕHâ�¸�¼7·�Û � Ý5Þ r ��Ô�¸;Å�¼7¿D»7â�¿OºOÇ�¿G¼8·R¿ ¸;»N»7Á)â&¹"�

4M�$9$"#(�0����) �bHk+lMp

rssssssssssssssssssst

� �

� �

� � :`�)?�� � :`¡)?�� � :1��?�� � :J�)?� � :`�)?�� � :`¡)?�� � :1��?�� � :J�)?

� � :`�)?�� � :J¡)?�� � :>��?�� � :`�)?� � :`�)?�� � :J¡)?�� � :>��?�� � :`�)?

� �

� �

y zzzzzzzzzzzzzzzzzzz|

¶�·eº)¼Eçº-¼7»8¸;ÓYr l ¸P¹�#9]^�<��� ¶MÁ�¿ ÄR¾�¸;¼fH�Ì��LÁ)â�Å ¸�¼�¹/Õ5¸`º)Æ�Á�ÅÖº-¾`¹/º-»8¿ Ý E Ý Ài¾;Á�½�ÊR¹�ÔA¸�Åe¹�¼8¿)º�Õ Á-Ϲ8½ º-¾Pº-»�¹�Ì ¶�·R¸`¹H¸P¹d¼8·R¿�½�·eº)ÅRÆ�¿�Á)ÏBÀeº�¹�¸P¹ Ã�º)¼7»8¸;Ó�̳¶�·R¿�¼7»�º-Åe¹1Ï�Á�»7à � Ù r l m ÄR»7Á�Õ�Âe½¿)¹H¼8·R¿¼#â�Á/·eº)¾ Ï`ÎK¾;¿ ÅRÆ�¼7·�Ç�¿)½¼7Á�»�¹�� � º-ÅeÕ � � Ô�¸;Å�¼7¿ »8â�Á)Ç�¿ ÅMÌ�7Ò¿dÏ�¿ »8Ç�¿ Å5¼8¾;Í/·RÁ�Äe¿�¼8·eº-¼Bçº-Å�Í�Á-Ïa¼7·i¿ ¸;»½Á�Ã�ÄeÁ�ÅR¿DÅ5¼�¹�º-»8¿�¹#Ã�º-¾�¾£Û�¿)¹�Äe¿)½�¸`º-¾�¾;Í/¸;Å�¼7·i¿d·i¸;Æ�·�Äeº�¹7¹�Á�ÂR¼8ÄRÂR¼ � � Þ Ì�7Ò¿B·eº Ç�¿jºHÀm¿D¼7¼7¿D»�Àeº�¹#¸`¹â�·R¿DÅFm�¸`¹�âa¿ ¾;¾�»7¿ ÄR»8¿)¹�¿DÅ5¼8¿)ÕEÀ�Í�ºIÏ�¿Dâ Àeº�¹�¸P¹�Ç�¿)½¼7Á�»�¹�Ì�n���[�� qÀeº�¹#¸`¹+½ º)ųÀm¿�J8Æ�Á�Á�Õ�L�Ï�Á�»+º�¹�Äe¿)½¸^N�½H½�¾`º�¹8¹BÁ-Ïa¸;ÅRÄiÂR¼�¹�ÌHáàÏGâa¿�·eº Ç�¿HÅRÁ�¸;Å�Ï�Á�»�ÎÃ�º)¼7¸�Á�ųº)ÀeÁ�ÂR¼�mMÔ�â�¿�·ÖºOÇ�¿jÅRÁ�â�º Í�¼8Á�½�·RÁ�Á�¹#¿�Ì�á1Å�ÄR»�º�½¼8¸`½¿ ÔMºE¾;Á�¼BÁ-Ï¥¹�¸�Æ�Åeº)¾`¹Bº)»7¿/¹�Ã�Á�Á�¼7·�̶�·R¿D»7¿H¸P¹B½Á�»7»7¿D¾`º-¼8¸;Á�Å�Àe¿ ¼#â�¿ ¿DÅ�¼7·i¿�¹7º)Ã�ÄR¾�¿OmMÛKØ Þ º)ÅeÕ�¸;¼�¹¥ÅR¿D¸;Æ�·�ÀeÁ�»kmMÛKØ " i)Þ Ì+¶�·R¿�ÄR»8Á�Àeº ÎÀR¸�¾;¸�¼�ÍIÕ5¸`¹#¼7»8¸;ÀRÂR¼8¸;Á�Å Ï�Á�» m�â�¸;¾�¾R¸;ÅeÕ�Âe½¿SºHÄR»7Á�Àeº-ÀR¸�¾;¸�¼�ÍIÕ5¸`¹#¼7»8¸;ÀRÂR¼8¸;Á�ÅEÏ�Á�»a¸;¼�¹6¼8»�º-ÅÖ¹>Ï�Á�»8à �5È º)ÅeÕ¼8·R¸`¹�Æ�Á-Ç�¿D»7Åe¹�¼8·R¿j½Á�Ã�Äi»7¿)¹8¹�¸;Á�ÅMÌ

áHÀe¿ ¾;¸�¿ Ç�¿�¼7·eº)¼�º-Åɸ�Ã�ÄeÁ�»8¼�º-Å�¼/ÄR»7Á�ÀR¾;¿ à Ô�ÅRÁ�¼�¼7»7Âi¾;Í�¹�Á�¾;Ç�¿)Õ�Ôa¸`¹E¼8ÁY�2ÂÖº-Å�¼7¸ Ï�ÍѼ7·R¿³Æ�Á�Á�ÕÄR»8Á�Äe¿ »8¼7¸;¿O¹HÁ-Ï«º�Àeº�¹#¸`¹ÌѶ�·R¿�ÄR»7Á�ÀR¾;¿Dà Àe¿)½Á�Ã�¿)¹B·eº)»�Õ5¿ »�â�·i¿ Å â�¿�º)Àeº-ÅeÕ�Á�Å ¼8·R¿� ß ÅiÁ�»7ÃÛ�â�·R¸`½�·H¸P¹Aº&ÄmÁ�Á�»�Ã�¿Oº�¹�Âi»7¿�Á)ÏM¼8·R¿�Ç5¸P¹�Âeº)¾R¿ »8»7Á�»�¹£¼7·Öº-¼Gâ�¿�»8¿)º-¾�¾;Í+Á�À E7¿)½�¼6¼7Á Þ Ì6¶�·i¿L»8¿)¹�ÄeÁ�ÅÖ¹�¿&Á-ϼ8·R¿L·�ÂRÃ�º)ÅE¿DÍ�¿&º-ÅeÕE¿Oº-»�º)¼�Õ5¸^i�¿ »7¿ Å�¼6Ï�»7¿<��ÂR¿ ÅÖ½¸;¿)¹�Ô�º)ÅeÕ�¼7·R¿&Ã�º�¹�Ê�¸;ÅRÆBÁ)ÏNÅR¿)º)»7À�Í Ï�»8¿<�2Âi¿ Åe½¸�¿)¹À�Í�º�¹�¼8»7Á�ÅRÆ�¹�¸�Æ�Åeº)¾1ÔR¾�¿)º�Õ�¼7Á�Åi¿ â ¿D»7»7Á�»LÃ�¿)º�¹#ÂR»7¿)¹�Ì

�¼dÄi»7¿)¹#¿ Å5¼+âa¿EÃ�Á ¹�¼8¾;Í E7ÂÖÕ5Æ�¿���Âeº)¾;¸;¼#ͳÀ�ͳ¾;Á�Á�Ê5¸�ÅRƳº)¼�¹�¼�º-ÅeÕiº-»�Õ�¸�Ã�º-Æ�¿)¹Ì�ÐTÓ�Äe¿ »7¼j¿ Í�¿)¹Õ5¿D¼7¿)½¼�¼7·R¿G¿9i�¿)½�¼�¹�Á-ÏÖ½Á�Ã�ÄR»7¿O¹7¹�¸�Á�ÅMÌ`7 ¿Gâ�¸;¾�¾�Ã�¿DÅ5¼8¸;Á�ÅSº-¼N¼7·i¿6¿ ÅeÕ+¹�Á�Ã�¿6ÂRÅÖÕ5¿)¹�¸�»�º)ÀR¾;¿aº-»8¼7¸<ÏKº�½¼�¹¼8·eº-¼&¼7·R¿+ÄR»8Á-Ï�¿)¹8¹�¸�Á�Åeº)¾`¹�¾;Á�Á�Ê/Ï�Á�» Ì

P

Page 10: The Search for a Good Basis Gilbert Strang Department of

��� *�� %���� % ' /

¶M»�º)Åe¹>Ï�Á�»7Ã�¸�ÅRÆXm�¼8Á ��ÛK½�·eº)ÅRÆ�¿+Á)ÏGÀeº�¹#¸`¹ Þ ¸P¹�¼7·R¿0Ne»�¹�¼S¹�¼7¿DÄ�¸;Å�½Á�Ã�ÄR»8¿)¹7¹#¸;ÅRÆIº-Å�¸�Ã�º-Æ�¿�ÌG¶�·R¸P¹¸P¹LºE¾�Á�¹8¹�¾;¿O¹7¹B¹#¼7¿ Ä �eâ�¿I½ º-ų¸�Å5Ç�¿D»7¼ Ì ��Á�¹�¼SÁ-ÏGÁ�ÂR»BÄeº)Äm¿D»Bâ�¸;¾�¾£Àe¿�º)ÀeÁ�ÂR¼+¼7·i¿�½Á�Åe¹�¼8»7Âe½¼8¸;Á�ųÁ-Ïr � º-ÅeÕ�r � Ì�=�ÂR¼�¼7·i¸`¹�¸`¹�Á�ÅR¾;Í�Äeº)»7¼+Û�¼7·R¿+¾;¸�ÅR¿)º)»�Äeº-»8¼ Þ Á-ÏT¼7·R¿+â�·RÁ�¾;¿j½Á�Õ5¿ »)�

m � ¶M»�º-ÅÖ¹>Ï�Á�»8þ;Á ¹7¹#¾;¿)¹8¹

»7¿)º)¾`¹� Âeº-Å�¼7¸ H ¿ »¾�Á�¹8¹�Í

� i â�Á�»�ÕR¹Ð6Å5¼8»7Á�Ä5Í�GÁ�Õ5¿D»¾;Á�¹8¹�¾�¿)¹7¹

½Á�Õ5¿OÕ¹�¸;Æ�Åeº-¾

¶�·R¿+�2Âeº)Å5¼8¸IH ¿D»�¼�º)Ê�¿)¹�»7¿Oº-¾NÅ5ÂRÃ/Àe¿ »�¹ �MÛ1Ø Þ ¼8ÁEÀi¸;Åeº)»7Í�Å5ÂiÃEÀe¿ »�¹ Û1Ø Þ Á)ÏGÇ�º-»8¸`º-Ài¾;¿H¾�¿ ÅRÆ�¼7·MÌá1¼H¸P¹�º³¹�Á�ÄR·R¸`¹#¼7¸P½ º-¼8¿)Õ Ï�Á�»7à Á-ÏS»7Á�ÂiÅeÕ5Á'i�ÌQ��Á�¹#¼�¿ ÅRÆ�¸�ÅR¿ ¿ »�¹dâ�¸�¾;¾�¹8º Í�¼7·eº)¼ ��� ���W��(*v)���g(,��� (*&�,�u��w��'&"� (,w _���A%�����W��&"�[�g_���¶�·i¿�º-¾�¾;Á�½ º)¼7¸�Á�Å�Á)ÏGÀR¸�¼�¹�¼7Á/¾;Á)â�º-ÅÖÕ�·R¸�Æ�·³½�·eº)ÅRÅR¿ ¾P¹¥Æ�Á-Ç�¿D»7Åe¹�¼8·R¿ÄR¸P½¼7Âi»7¿k��Âeº-¾�¸;¼#Í�Ì

¶�·R¿�NeÅeº-¾&Ã�¿)¹8¹7º)Æ�¿�¼7Á�¼8·R¿�»8¿)½¿ ¸�Ç�¿ »jÕ5Á�¿)¹EÅiÁ�¼�½Á�Ã�¿�Á�ÅR¿�âaÁ�»�Õ ÛàÁ�ÅR¿Ò½Á�Ã�ÄmÁ�ÅR¿ Å�¼ Þ º)¼º�¼7¸;Ã�¿�Ì �³º)Å5ÍѽÁ�Ã�ÄmÁ�ÅR¿ Å�¼�¹BÁ-Ï º-»8¿ H ¿ »8Á�¹ �6¼7·R¿ ÍѺ-»8¿�¾;¸�¼7¿ »�º-¾�¾;Í�»8Á�ÂRÅÖÕ5¿)Õ Á<i<�Òá1Åe¹�¼8¿)º�ÕÒÁ-ϼ8»�º-ÅÖ¹�Ã�¸�¼7¼7¸�ÅRÆ i � � ½Á�Åe¹�¿O½ÂR¼7¸�Ç�¿/HD¿ »7Á ¹Ô6¼7·i¿�¿ Å�¼7»7Á�Ä5ÍѽÁ�Õ5¿D»�Ã�¸;Æ�·5¼+»7¿DÄR¾`º�½¿�� � -�-�-;� ��À5ÍÒ¸;¼�¹»8ÂRÅR¾;¿DÅRÆ�¼8·MÌ 6R»7¿<��ÂR¿ Å�¼7¾�Í�»7¿ Äe¿)º)¼7¿)Õ�¹�Í�ÃEÀeÁ�¾`¹�º-»8¿H»8¿ ÄR¾`º�½¿)Õ�À�Í�¹�·RÁ�»7¼8¿ »B¹#Í5Ã/ÀeÁ�¾P¹>Èɼ8·R¿ J��LÂWieÎÃ�º)ÅÒ¶£º)ÀR¾;¿?L�¹#¼7Á�»7¿)¹+¼7·R¿�Ã�¿Oº-ÅR¸�ÅRÆ�¹�Ì�ÛKá1¼B¸`¹B¾;¸�Ê�¿�º�Àm¿D¼7¼7¿D»k��Á�»�¹�¿�½Á�Õ5¿�ÔNÅR¿ â�¾;Í ½Á�ÅÖ¹�¼7»8Âe½¼8¿)ÕÏ�Á�»�¿)º�½�·/Ã�¿)¹8¹7º-Æ�¿�Ì Þ ¶�·R¸`¹a¹�¼8¿ Ä�¸`¹6¾�Á�¹7¹#¾;¿)¹8¹Ôiº-ÅeÕE¸�¼�»8¿)Õ5Âe½¿O¹Aº+¼#Í5ÄR¸P½ º-¾eÃ�¿O¹7¹7º)Æ�¿&À5Í Ý � i Á�» � � i Ìá1Å��0�Bá�� Í�Á�Â�ÂÖ¹�¿+¸;Åe¹#¼7»8Âe½¼7¸�Á�Åe¹�¾�¸;Ê�¿ �'v)( _Òº-ÅÖÕq�%��w _`A��f&%&�Ì

6RÁ�»+Õ�¿)½Á�Õ5¸�ÅRÆRÔ �,� � v)( _ º)ÅeÕ � ���%��w _`A%� &%&�»7¿O½Á)Ç�¿ »�¼7·R¿�Ài¸;Åeº)»7Í�âaÁ�»�ÕR¹ ÛKØ Þ Ì��GÁ�ÂR»S¿ Ã�º-¸�¾Ne¾�¿�¸`¹B»7¿DÄR»7Á�Õ5ÂÖ½¿)Õ³¿ ÓRº�½¼7¾�Í�Ìj¶�·R¿ ųÏ�Á�»+¸;Ã�º)Æ�¿/½Á�Ã�ÄR»8¿)¹7¹#¸;Á�ų¼8·R¿�¾;Á ¹7¹#ÍD�2Âeº)Å5¼8¸IH)º)¼7¸�Á�ÅÒ¸`¹Bº)Ä5ÎÄR»8Á)Ó5¸�Ã�º-¼8¿ ¾;Íj»7¿ Ç�¿ »�¹�¿)Õ`����MÛKØ Þ ¸P¹A¼8·R¿+½¿ Å�¼7¿D»AÁ)Ï6¼8·R¿BÀR¸�Å�Á-ÏNÅ�ÂRÃ/Àe¿ »�¹6¼7·Öº-¼�º)»7¿+»7Á�ÂRÅeÕ5¿OÕEÁ'iÒ¼8Á Û1Ø Þ Ì6¶�·i¿BÀeº�¹#¸`¹GÇ�¿)½¼7Á�»�¹6¸;Å/¼7·i¿L¸�Å5Ç�¿ »�¹�¿�Ã�º)¼7»8¸;Ó�Ô-¼8¸;Ã�¿)¹N¼7·R¿)¹#¿���MÛKØ Þ Ô�º�ÕRÕEÂRÄ�¼8ÁH¼8·R¿L»8¿)½¿ ¸�Ç�¿)ÕÃ�¿O¹7¹7º)Æ�¿��m ÛKØ Þ ÌO¥Ï�¼8¿ »B¼8·eº-¼+¹#Í5Å�¼7·i¿)¹�¸P¹B¹�¼8¿ ÄMÔ�¼8·R¿�»7¿)½�Á�Åe¹#¼7»7ÂÖ½¼7¿)Õ�¸�Ã�º-Æ�¿H¸P¹BÕ5¸`¹#ÄR¾`º Í�¿)Õ�È º)ÅeÕâa¿ E7ÂÖÕ5Æ�¿+¸;¼�¹ �2ÂÖº-¾;¸�¼#Í�Ì

i �

Page 11: The Search for a Good Basis Gilbert Strang Department of

��� % ��,�� % ' / %�� * $�' �� * , $ � %�� ,�$ � % / #/��! #" $&% ' /

6RÁ�»aÁ�ÅR¿Ne¾;¼8¿ » Ô�¼8·R¿B¸�Å5Ç�¿ »�¹�¿�Ã�º)¼7»8¸;ÓH¸P¹6ÅRÁ�¼aÀeº-ÅeÕ�¿)Õ�Ìa¶�·R¿L¸�ÅWNeÅR¸�¼7¿S½Á�¿98§½¸;¿DÅ5¼G¹#¿<��ÂR¿ Åe½¿� £Û�� Þ Ô NÛ i-Þ ÔMÌMÌMÌR¸;Å�¼7·i¿d¸�Å5Ç�¿D»�¹�¿&Ã�º)¼7»7¸�Ó�½�Á�Ã�¿)¹6Ï�»7Á�à i 3Br³Û1� Þ �

�Or Ù�� â�·R¿ Å � £Û�� Þ�" £Û i-Þ �%$ y � " & � + f|MÛ�� Þ " � � " |MÛ�' Þ �($ y*) � + Ù i -á1¼�¸P¹A¸�Ã�ÄeÁ�¹7¹#¸;ÀR¾�¿�Ï�Á�»�ÀeÁ�¼8·�ÏKº�½¼8Á�»�¹G¼7Á�Àe¿BÅRÁ�Å5¼8»7¸�Ç5¸Pº-¾eÄeÁ�¾;Í�ÅRÁ�Ã�¸`º)¾`¹Ì =�ÂR¼AÏ�Á�»UNe¾�¼7¿ »aÀeº-ÅiÊR¹aº-ÅeÕÀR¾�Á�½�ÊI¶ Á�¿DÄR¾;¸�¼ H&Ã�º-¼8»7¸`½�¿)¹Ô�ºdÀeº)ÅeÕ5¿)Õ rT�%���E·eº Ç�¿BºBÀeº)ÅeÕ5¿)Õ/¸;Å�Ç�¿ »�¹#¿�Ì��LÁ)âɽDº-Å/¼7·R¿&ÄR»7Á�Õ�Âe½¼Á)Ï6¼#â�Á/Ã�º)¼7»7¸�Ó�ÄeÁ�¾;Í�ÅRÁ�Ã�¸`º)¾`¹AÀe¿j¼7·R¿+¸`Õ�¿ Å5¼8¸;¼#Í�Ã�º)¼7»7¸�Ó��

Û�� � y � "���Þ Û�� "�� �%$ y � Þ Ù�� -¶�·R¿+Ê�¿ Í/¸`¹�¼8·eº-¼����¦ÙD��º-ÅÖÕ ��� ÙD��º)»7¿+ÄeÁ�¹7¹#¸;ÀR¾�¿+â�¸;¼7·�ÅRÁ�Å�H ¿ »8Á�Ã�º-¼8»7¸P½¿)¹Ì 6RÁ�»&¹7½Dº-¾`º)»�¹�Ô� Á�» �ÉÃ/Âe¹�¼NÀe¿ H ¿ »7Á«º-ÅeÕ � Á�» � ¸P¹jH ¿ »8ÁRÌ6¶�·i¿B¹8½ º-¾Pº-»6ÄeÁ�¾�Í5ÅiÁ�Ã�¸Pº-¾`¹MÃ/Âe¹�¼N»7¿)Õ�Âe½¿�¼7ÁS¼7»7¸�Ç5¸Pº-¾Ã�Á�ÅRÁ�Ã�¸`º-¾P¹ÌN¶�·R¿+Ã�º)¼7»7¸�ÓE¿DÓRº)Ã�ÄR¾;¿&Àe¿ ¾;Á)â ¹�Âe½D½¿ ¿)ÕR¹�Àe¿)½Dº-Âe¹#¿

rst i i� �

y{z|rst � o io � i

y{z| Ù

rst � o �i o i

y{z|rst o i �o i �

y{z| Ù

rst � �� �

y{z| -

¶�·R¿+¼8¿)¹�¼�Ï�Á�»BºHÄeÁ�¾�Í5ÅiÁ�Ã�¸Pº-¾�¸�Å5Ç�¿D»�¹�¿Sâ�¸;¾;¾�Àe¿H½�Á�Å�Ç�¿ »7¼8¿)ÕE¸;Å�¼7Á�¿?�2Âeº)¼7¸�Á�Åe¹+Ûe4 Þ º-ÅeÕÒÛ1Ü Þ Ì7Ò¿HÕ�¿ Ã�Á�ÅÖ¹�¼7»�º-¼8¿Bâ�¸;¼8·³º-Å�¿ Óiº-Ã�ÄR¾;¿&Á-Ï!� l ¼8¸;Ã�¿O¹ r l ÔRÁ�»0r $ � ¼8¸;Ã�¿O¹ rM�

rssssssssssssssst

i i

� �� o � i ii o i � �

� o � i o i

y zzzzzzzzzzzzzzz|

rssssssssssssssst

o i � � o io i � o � i

o i � � o io i � o � i

y zzzzzzzzzzzzzzz|

Ù i 1 �8-

¶�·R¿�ÅR¿ â Àeº�¹�¸`¹+Ç�¿)½¼8Á�»�¹+º)»7¿�¼8·R¿�½Á�¾;ÂRÃ�ÅÖ¹LÁ�Å ¼7·i¿E¾�¿Ï�¼ ÔMÏ�»7Á�Ã}¼7·i¿�¹#Í5Å�¼7·R¿O¹�¸`¹+Ã�º-¼8»7¸�Ó�Ì�¶�·R¿½�·eº-ÅiÆ�¿&Á-ÏMÀÖº�¹�¸P¹�Ûà¼7·i¸`¹6¸`¹6ºB¼8»7¸`½�Ê�Íd¾�¿)½¼8ÂR»7¿�¸�Å�¼7¿)º�½�·R¸�ÅRÆB¾�¸;ÅR¿)º)»Gº-¾�Æ�¿ Ài»�º Þ ¸P¹TÀÖº�¹�¿OÕ Á�Å r $ � r�Ù�iÌG¶ Á/Õ�ÁE¸�¼�2ÂR¸P½�Ê�¾;Í Ô�ÃEÂi¾;¼7¸�ÄR¾;ÍXr $ � r�m�Ù m�º�¹&ºE¹#ÂRà Á-Ï �%��] �Ww���&O�g(,w/� &+A ��!2&(>

� ÛK½Á�¾�ÂRÃ�Å�Ø�Á)Ï r $ � Þ Ûà»8Á-â Ø�Á-Ï r Þ m�Ù � ÛàÅR¿Dâ Àeº�¹�¸P¹ Þ ÛàÅi¿ ⦽�Á�¿98�½�¸;¿ Å�¼ Þ Ù mB-¶�·R¿SÅR¿ âɽ�Á�¿98�½�¸;¿ Å�¼�¹Gº-»8¿L¸�ÅFr�m�Ûà¼7·i¿+º-Åeº)¾;Íi¹�¸P¹�¹�¼8¿ Ä Þ Ì6¶�·R¿B»8¿)½Á�Åe¹�¼8»7Âe½¼8¸;Á�Å�¸`¹�r $ � r�m³Ûà¼8·R¿¹#Í5Å�¼7·R¿O¹�¸`¹�¹#¼7¿ Ä Þ ÌG¶�·R¿)¹#¿+Ã�º-¼8»7¸`½�¿)¹Gº-»7¿+ÀR¾�Á�½�ʧ¶ Á�¿ Äi¾;¸;¼fH+º-ÅÖÕ�Àeº)ÅeÕ5¿)Õ�¹�Á�ÀeÁ�¼8·³¹�¼8¿ Äe¹&º-»8¿«ÏKº�¹�¼DÌ

i8i

Page 12: The Search for a Good Basis Gilbert Strang Department of

á1Åe¹�¼8¿)º�Õ/Á-Ï�ÄRÂR»7¿S¼7¸;Ã�¿Î1¸�Å5Ç�º)»7¸`º)Åe½¿+ÛKº-Å�Á�»�Õ5¸;Åeº)»7Í�¶ Á�¿DÄR¾;¸�¼ HBÃ�º)¼7»8¸;Ó Þ âa¿L·ÖºOÇ�¿SÀR¾;Á�½�ÊE¼8¸;Ã�¿�θ�Å5Ç�º-»8¸`º)Åe½¿�Ì LÅeÕɼ7·i¿�¹#¸;Æ�ÅÖº-¾H¸P¹�¹�¿ Äeº)»�º)¼7¿)Õɸ;Å�¼7Á ¾;Á)â º-ÅeÕ ·i¸;Æ�· Ï�»7¿<��ÂR¿ Åe½�¸;¿)¹�ÔhÏ�Á�»�Àm¿D¼7¼7¿D»½Á�Ã�ÄR»8¿)¹7¹#¸;Á�Å�Ì

�LÁj¹�¿D¾ Ï`ÎK»7¿)¹#Äm¿O½¼7¸�ÅRÆB¿ ÅRÆ�¸;ÅR¿D¿ »6â�Á�ÂR¾`Õ�Ã/ÂR¾;¼8¸;ÄR¾�ÍB¼7·RÁ ¹�¿SÕ5Á�ÂiÀR¾;Í�¸�ÅWNeÅR¸�¼7¿�Ã�º)¼7»7¸P½¿)¹;�£¶�·i¿LÁ�ÅR¿¼8Á�Á�¾�¼8·eº-¼a¸`¹aÕ5»7¸�¾;¾;¿OÕH¸;Å�¼7Á�º)¾;¾�Ne¾�¼7¿ »aÕ5¿)¹#¸;Æ�ÅR¿ »�¹G¸`¹6¼7·i¿k6RÁ�ÂR»8¸;¿ »G¼7»�º-Åe¹1Ï�Á�»8óÌ6á1Åe¹#¼7¿)º�ÕEÁ-ÏNâaÁ�»7Ê�¸;ÅiÆâ�¸�¼7·�¸�ÅWNeÅR¸�¼7¿&ÀR¾;Á�½�Ê�Ã�º-¼8»7¸P½¿)¹Ô�â�¿S½ º-Å�Ã/ÂR¾�¼7¸;Äi¾;Í+¼7·R¿SÀR¾;Á�½�ÊHÏ�»7¿<��ÂR¿ ÅÖ½Í�»7¿)¹#ÄeÁ�Åe¹#¿)¹ � l Û1� Þ º-ÅeÕr l Û�� Þ Ù � Ûg>5¼7·�ÀR¾;Á�½�Ê Þ � $ y � � �

rst � � $

y � " i o � � $ y � " i� $ y � "Y� o � $ y � " �

y{z|rst oB� $

y � " � � � $ y � o io � $ y � o � � � $ y � " i

y{z| Ù

rst i 1 � $

y � �� i 1 � $ y �

y{z| -

¶�·R¸P¹A¸�¾;¾;ÂÖ¹�¼7»�º-¼8¿)¹A¼8·R¿BÊ�¿ Í�ÄeÁ�¸�Å5¼)��� �u� �W�%� �"A"w�(,�����W� �[Z r l Û1� Þ &%���,� ] � #9�k� w�������w�(,��]�Ì��L¿ »7¿¸�¼£¸P¹ i 1 � $ y � Ì6¶�·eº)¼G¸`¹M¼7·R¿a»7¿<��ÂR¸;»8¿ Ã�¿ Å�¼RÏ�Á�»Gº&ÄmÁ�¾;Í�ÅRÁ�Ã�¸`º-¾�¸�Å5Ç�¿D»�¹�¿&ÛK¹�¸;ÅÖ½¿�âa¿�Õ5¸�Ç5¸PÕ5¿a½Á-ÏKº�½¼7Á�»�¹À�Í�¼7·i¿HÕ�¿ ¼7¿ »8Ã�¸;ÅÖº-Å�¼ Þ ÌN¶�·R¿DÅKr˺)ÅeÕKr $ � º)»7¿+ÀeÁ�¼7·�Àeº-ÅÖÕ5¿)Õ�º�¹Lº)ÀeÁ-Ç�¿ Ì

¶MÁ�»7¿ Ã�Á-Ç�¿/¼7·i¿ i 1 Ô&Õ5¸;Ç�¸`Õ5¿�¿)º�½�· ¿ Å�¼7»8Í�¸;Å r l º)ÅeÕ � l À�Íq4iÌ ¶�·i¿�ÄR»8¿)¹�¿ ÅÖ½¿�Á-Ï6� $ y �¸�ÅeÕ5¸`½Dº-¼7¿O¹L¼7·eº)¼H¼8·R¿E»8¿)½Á�Åe¹�¼8»7Âe½¼8¿)Õ �m Ù � l r l m³¸`¹+º�¹#·R¸ Ï�¼/Û1º�Õ5¿D¾`º Í Þ Á-Ï&¼7·i¿�¸;ÅRÄRÂi¼OmMÌ�¶�·R¿Õ5¿D¾`º Í�Àm¿O½Á�Ã�¿O¹ �mMÛ1Ø Þ Ù mMÛKØ o ��Þ â�·R¿ ųâa¿�¾;¸�ÅR¿HÂRÄÒ¼7·i¿�Ã�º-¼8»7¸`½�¿)¹�½Á�»8»7¿)½�¼7¾;Í Ô�º)ÅeÕ׸PÕ5¿ Å�¼7¸<Ï�ͼ8·R¿j¹�Í�Å5¼8·R¿)¹�¸P¹�Àeº-ÅiÊ �

mr �

r �������] �5&)(*& NeÅÖÕR¹L½�Á�¿98�½�¸;¿ Å�¼�¹� � � � � ¸;Å�¼7·R¿+ÅR¿Dâ¦Àeº�¹#¸`¹�̶�·RÁ�¹#¿�º)»7¿j½Á�Ã�ÄR»7¿)¹8¹�¿)Õ�Ì

� Ý� Ý

� �

� ����������

� Ý� Ý

&&��� � �u� &)(*&I½Á�ÃEÀR¸�ÅR¿)¹ÅR¿ â Àeº�¹�¸`¹�¼7¸�Ã�¿)¹ � �º-ÅÖÕ�� � Û1º Ï�¼7¿ »S½Á�Ã�ÄR»7¿)¹8¹�¸�Á�Å Þ Ì

� �

� � �m"

�LÄÖ¹7º-Ã�ÄR¾;¸�ÅRƳÀ5Í � Ý ¸�Åe¹�¿ »8¼�¹�H ¿ »8Á�¹�Àm¿D¼�âa¿ ¿ Å�¼7·R¿ ½Á�Ã�ÄeÁ�ÅR¿ Å�¼�¹HÁ-Ï � � º)ÅeÕ � � ̦¶�·i¿ Å ¼8·R¿Ï�ÂR¾�¾ ÎK¾;¿ ÅiÆ�¼7·�Ç�¿)½�¼7Á�»�¹�º)»7¿ NÖ¾;¼7¿D»7¿)Õ�À�Í�¶ Á�¿DÄR¾;¸�¼ H+Ã�º-¼8»7¸P½¿)¹ � � º-ÅeÕ � � Ì� �"AIZ<�f�9� A��f�%��� &"�gA�� �9�g(,���Ã�¿Oº-Åe¹�¼7·eº)¼�¼7·i¿�Á�Âi¼7ÄRÂR¼ Ûàâ�¸;¼8·ÉÅRÁ ½Á�Ã�ÄR»8¿)¹7¹#¸;Á�Å Þ ¸P¹ ¼8·R¿³¸;ÅRÄiÂR¼�º Ï�¼7¿ »6³Õ�¿ ¾`º Íi¹9� �mMÛ1Ø Þ ÙmMÛ1Ø�o4 Þ Ì � ÅR¿�¼7¿O¹�¼�¸`¹�¼7ÁÒÃ/ÂR¾;¼8¸;ÄR¾�Í � l Û�� Þ r l Û�� Þ º�¹�º)ÀeÁ-Ç�¿ Ì ¶�·R¿O¹�¿�º-»8¿�¼7·i¿ a^_���] �%_����'&<�w����gA9(,�9�f&�dBÁ-ÏTÃEÂR¾�¼7¸�»�º-¼8¿&¹�¸�Æ�Åeº)¾£ÄR»8Á�½¿)¹8¹�¸;ÅiÆ������KÔ5â�¸;¼8·�¼7·R¿j½Á�¾;ÂRÃ�ÅÖ¹A»7¿DÇ�¿ »�¹#¿)Õ�Ì

Õ5¸;»8¿)½¼B¼8¿)¹�¼BÏ�Á�»jÄe¿ »�Ï�¿)½�¼d»8¿)½Á�Åe¹�¼8»7Âe½¼8¸;Á�Å×Ï�Á�¾;¾;Á)â&¹B¼7·i¿E¸�ÅRÄRÂR¼+¼7·i»7Á�ÂiÆ�· ÀeÁ�¼7· ½�·eº)ÅRÅR¿ ¾P¹Ôº)ÅeÕHº�ÕRÕR¹ÌGá1Åj¼7·R¿ �-Î>Õ5Á�Ã�º)¸;Å+â�¿aâ�º)Å5¼��2 Û�� Þ Ù � $�� 2 Û�� Þ Ì6¶�·R¿aÁ�Äe¿ »�º)¼7¸�Á�Åe¹£Á)ÏNÛ � Ý2Þ º-ÅeÕ�Û � Ý�Þ

iDÝ

Page 13: The Search for a Good Basis Gilbert Strang Department of

ÄR»8Á�Õ5Âe½¿�¼8·R¿�¿ Ç�¿ ųÄÖº-»7¼ �ß Û r y Û�� Þ�2 Û�� ÞF" r y Û o � Þ�2 Û o � Þ8Þ Ì+¶�·R¿�¹�Í�Å�¼7·R¿)¹#¸`¹�Ne¾;¼8¿ »�¹&ÃEÂR¾�¼7¸�ÄR¾;ÍÀ�Í � y Û�� Þ ÌG¶�·R¿�º)¾;¸Pº�¹�¼7¿D»7à 2 Û o � Þ Ã/Âe¹#¼�Õ5¸P¹7º-ÄiÄm¿Oº-»�Ï�Á�»�Äe¿ »�Ï�¿O½¼�»7¿)½�Á�Åe¹#¼7»7ÂÖ½¼7¸�Á�Å2�

� � Û�� Þ r � Û o � Þ " �F��Û�� Þ r ��Û o � Þ Ù � ÛàÅRÁ/º)¾;¸`º�¹�¸�ÅRÆ Þ Ûe4 Þ� � Û�� Þ r � Û�� Þ " � � Û�� Þ r � Û�� Þ Ù Ý � $ � ÛàÅRÁ/Õ5¸P¹�¼8Á�»7¼8¸;Á�Å Þ - Û1Ü Þ

¶�·R¿&º)¾;Æ�¿ ÀR»�º&¸`¹£¸�Å � �0�eº-ÅeÕ�� :�Î ���Rº)ÅeÕ�Ã�º-Å�Í+¿)º-»8¾;¸;¿D»6¹#Á�ÂR»�½¿)¹Ô�¸;Åe½¾�ÂeÕ5¸�ÅRÆL¼8·R¿0:�Ã�¸�¼7·5Î =�º-»8Å5âa¿ ¾;¾Äeº)Äe¿ »LÁ)Ï i P � 1 Ì �L¿D»7¿Bâa¿d¿DÃ�ÄR·eº�¹�¸IHD¿L¼8·R¿j½Á�Åe½�¾;Âe¹#¸;Á�ÅÖ¹9���� ¶�·i¿H½�Á�¿98�½�¸;¿ Å�¼�¹6Á-Ï�� � º-ÅeÕ �F�aº)ÄRÄe¿)º-»&¸;Å�¼7·R¿ �%��] � w�� &jÁ-Ï�� l ÌG¶�·R¿ Í�º-»8¿ �� Û i � � � � � i-Þº)ÅeÕ �

�Û i � � � o � � o i-Þ Ì

��� ¶�·iÁ�¹�¿S½Á�¾;ÂRÃ�ÅÖ¹6º-»8¿L¼8·R¿LÅi¿ â Àeº�¹�¸P¹TÇ�¿O½¼7Á�»�¹Ô�º)ÅeÕ � l Û[r l m Þ ¿ Ó�ÄR»7¿O¹7¹�¿O¹T¼8·R¿&Á�ÂR¼8ÄRÂR¼&Ûà¼8·R¿»8¿)½Á�Åe¹�¼8»7Âe½¼8¸;Á�Å �m Þ º�¹Lº�½Á�ÃEÀi¸;Åeº)¼7¸;Á�Å�Á-ÏA½Á�¾�ÂRÃ�Åe¹�Ì

��� 7É·i¿ Å � � º-ÅeÕ � � º-»8¿X�2ÂÖº-Å�¼7¸IHD¿)Õ�Ô �m×Âe¹#¿)¹Bº�¹#ÂRÀe¹#¿ ¼BÁ-Ïh¼7·R¿jÀeº�¹#¸`¹�Ûàâ�¸�¼7· ¹�·RÁ�»7¼+ÀR¸;ÅÖº-»7ͽ�Á�¿98�½�¸;¿ Å�¼�¹ Þ Ìj7Ò¿+·RÁ�Äe¿+¼7·i¸`¹�»7¿)½Á�Åe¹�¼8»7Âe½�¼7¸;Á�Å�¸`¹AÏKº�¹#¼ Ôeº)ÅeÕ�½¾�Á�¹#¿d¼8ÁXmM̶�·R¿�·i¸;Æ�·iÄeº�¹8¹H¹�Í�Å�¼7·R¿)¹#¸`¹�Ne¾;¼8¿ » � � ½Á�Ã�¿)¹AÏ�»8Á�Ã�¼7·i¿�¾;Á)â�Äeº�¹8¹+º-Åeº)¾;Íi¹�¸`¹ Ne¾;¼8¿ »Or � Ìj¶�·R¿E»8ÂR¾;¿¸P¹L¼7Á�º-¾�¼7¿ »8Åeº-¼8¿/¹�¸�Æ�Åe¹�Ô6¹�Á�¼8·eº-¼�� � Û�� Þ Ù okr � Û o � Þ Ì�¶�·R¿�Àeº�¹�¸P¹«Ç�¿O½¼7Á�» i � � � o � � o i ½Á�Ã�¿)¹Ï�»8Á�à o i � � � � � o i Ì

:�¸�Ã�¸;¾Pº-»7¾�Í�Ô ¼7·i¿�¾;Á)â�Äeº�¹8¹ i � � � � � i ½Á�Ã�¿)¹�Ï�»7Á�à ¼7·R¿�·R¸�Æ�·RÄÖº�¹7¹�r � À5Í � ÛKØ Þ Ù�Ûfo i-Þ . | � ÛKØ Þ Ì¶�·R¿DÅ � � Û�� Þ Ù r � Û o � Þ Ìj¶�·R¿)¹�¿/¹#¸;Æ�Å »8¿ Ç�¿ »�¹8º-¾P¹¥Ã�¿Oº-ų¼7·Öº-¼�Ûc4 Þ ¸`¹Bº)ÂR¼7Á�Ã�º-¼8¸`½ º)¾;¾�Í�¹8º-¼8¸`¹ NÖ¿)ÕÛ�ÅRÁ�º)¾;¸Pº�¹�¸�ÅRÆ Þ Ì��LÁ)â âa¿+·eº Ç�¿B¼7Á�¹�¿ ¿+â�·eº)¼LÄi»7Á�Äe¿ »8¼7¸�¿)¹�Ã�º-Ê�¿S¹�ÂÖ½�·�º�Àeº�¹#¸`¹�Æ�Á�Á�Õ�Á�»&Àeº�Õ�Ì

á1¼Gâ�¸;¾;¾i¼7ÂR»8ÅEÁ�ÂR¼�¼8·eº-¼GÁ�Âi» | � Ù ��Û o i � � � � � o i-Þ ¸P¹6ÅRÁ�¼a¹�ÁjÆ�»8¿)º-¼DÌGá>¼�¹jl�º âɺ-ÄiÄm¿Oº-»�¹�â�·i¿ Å

âa¿A¸�¼7¿ »�º-¼8¿6¼7·R¿aÀeº�¹#¸`¹N½�·Öº-ÅRÆ�¿�Ô)º-¸�Ã�¸;ÅRÆ�Ï�Á�»MÃ�Á�»8¿G½Á�Ã�ÄR»7¿O¹7¹�¸�Á�ÅMÌk� ��(*& (I� �"A ���g(,���O(*& �,�u� ag!V��\<�%]I�%�( �W�f� d�Èɼ8ÁE»8¿ ÄR¾Pº�½¿ � � À�Í���Âeº-»8¼7¿ »#Î1¾�¿ ÅRÆ�¼7·�Ç�¿)½¼8Á�»�¹.� � º-ÅÖÕ � � Ô�º)ÅeÕ�¹#ÁEÁ�ų»7¿)½�ÂR»�¹#¸;Ç�¿ ¾�Í�ÌV6RÁ�Âi»Á�» NÖÇ�¿�¾;¿ Ç�¿ ¾P¹£º)»7¿&¼#Í5ÄR¸P½ º-¾KÌ � Âi»AÄÖº-»7¼8¸`½Âi¾`º-»a½�·RÁ�¸P½¿�Àe¿)½Á�Ã�¿)¹MÂRÅe¹�¼�º-ÀR¾�¿�Ô�º-ÅeÕ/¼7·R¿S½Á�Ã�ÄmÁ�ÅR¿ Å�¼�¹Æ�»7Á)â�º�¹�¼7·i¿d»8¿)½ÂR»�¹�¸�Á�Å�½Á�Å�¼7¸�Å5Âi¿)¹Ì 7 ¿+ÅR¿ ¿OÕ�ºH¼8¿)¹�¼�Ï�Á�»B¹#¼�º)ÀR¸;¾�¸;¼#Í�Ì

i)�

Page 14: The Search for a Good Basis Gilbert Strang Department of

� � ' % % ���!� "�$&%�' /���������' � * � $ ��� * � % "#%�$&/

mr �

r �� Ý� Ý

� �

� �

r �

r �� Ý� Ý

� �� �

Ì�ÌMÌÌ�ÌMÌ

¶�·R¸P¹A¼8»7¿ ¿SÕ5¸`¹#ÄR¾`º Íi¹0w ��] �g(,A�� &)��] ���g(,���5Ì�¶�·i¿B¾;Á)â�Äeº�¹7¹�Á�Âi¼7ÄRÂR¼ � � ¸`¹A¼8»�º)Åe¹>Ï�Á�»7Ã�¿)Õ/º-Æ º-¸�Å ���Ï�¼7¿ »¼8·R¿j¹�¿)½Á�ÅeÕ�½�·eº)ÅRÆ�¿+Á-Ï�Àeº�¹�¸`¹�Ôm¼8·R¿+¾;Á)â�ÎK¾;Á)â ÄÖº-»7¼ � � ½Á�Å5¼�º-¸;ÅÖ¹k��\'�"A �5� � &+�[Z���\'�"Af�5�W� &�Ìaá�Õ�¿)º-¾�¾;ͼ8·R¿)¹�¿j·eº Ç�¿HÏ�»7¿<��ÂR¿ ÅÖ½¸;¿)¹�¸�Å�¼8·R¿X�2ÂÖº-»7¼8¿ »�ÎKÀeº)ÅeÕ A �BA� 5 � Ìkq¼#Í�ÄR¸`½ º)¾N¹�¸�Æ�Åeº)¾6¸`¹LÃ�Á�¹�¼8¾;Í�¸�Å � � ÔÄeº)»7¼8¾;ÍH¸�Å�¼7·R¿&½�Á�º-»�¹�¿SÕ5¿ ¼�º-¸;¾P¹#� � Ô�º-ÅÖÕEºB¾;¸�¼7¼8¾;¿GÀR¸;¼�¸;Å�¼7·i¿�NeÅR¿&Õ5¿ ¼�º-¸�¾`¹ � � Ì6¶�·i¿�»7¿)½Á�Åe¹�¼8»7Âe½�¼7¸;Á�ÅÆ�Á�¿)¹HÀeº�½�ÊÑÕ5Á)â�Å�¼7·R¿�¼7»7¿D¿�Ô£Âe¹#¸;ÅRÆÑÛ � Ý�Þ Ï�Á�¾;¾�Á)â�¿)Õ³À5ÍÒ¹#Í5Å�¼7·i¿)¹�¸P¹nNe¾�¼7¿ »�¹ � º-ÅeÕ � Ì�¶�·RÁ ¹�¿Ã/ÂR¾;¼8¸;ÄR¾�Í/½Á�Á�»�Õ5¸;ÅÖº-¼7¿O¹�� � Ô � � Ô � � ÔeÀ5Í�Àeº�¹#¸`¹�Ç�¿)½¼7Á�»�¹�¼8Á�½»8¿)º-¼8¿�¹#¸;Æ�ÅÖº-¾`¹�� � Ô �� � Ô��� � Ì BÕiÕ5¸;¼8¸;Á�ÅÀR»8¸;ÅRÆ ¹�Àeº�½�Ê �m�Ù m Ô�â�¸;¼8·�Äe¿ »#Ï�¿)½¼�»8¿)½Á�ÅÖ¹�¼7»8Âe½¼8¸;Á�Å�Ì

i 4

Page 15: The Search for a Good Basis Gilbert Strang Department of

900

1000

1100

1200

v0

−40

−20

0

20

40

v1

200 400 600 800 1000 1200 1400 1600 1800 2000

−5

0

5

u1

900

1000

1100

1200

x

6N¸;Æ�Âi»7¿ � �a¶�â�Á)Î1¾�¿ Ç�¿ ¾MÕ�¿)½Á�Ã�ÄmÁ ¹�¸�¼7¸;Á�Å�Á-ÏAº i �¥Î>¹�¸�Æ�Åeº)¾���ÅRÁ�¼7¿+¼7·i¿H¹8½ º-¾�¿)¹Ì¶�·R¸P¹TÃ/ÂR¾�¼7¸;»8¿)¹�Á�¾;ÂR¼8¸;Á�ÅdÄ�Í�»�º-Ã�¸`ÕEÛg6£¸;Æ�ÂR»7¿ � ¹�·RÁ)â&¹G¼�âaÁ+¹�¼8¿ Äe¹ Þ ½Dº-Å/Àm¿&Ç�¸;¿ âa¿)ÕH¸;Å�¼8¿ »7Ã�¹NÁ-Ï

&&� #�& _����9� &�Ì ¶�·R¿ ¿ Ç�¿ Å ½�Á�¾;ÂiÃ�Åe¹ Á-Ï � º-»7¿ Õ5Á�ÂiÀR¾;¿ ¹�·R¸<Ï�¼�¹ Á-Ï � Ù �

�Û i � � � � � i-Þ º-ÅeÕ ¼7·R¿ Íѹ�ÄÖº-Åɺ³¹#ÂRÀe¹#Äeº�½¿�� � Ì�¶�·i¿�Á�ÕiÕ ½Á�¾;ÂRÃ�ÅÖ¹dº)»7¿�Õ5Á�ÂRÀR¾;¿�¹#·R¸ Ï�¼�¹

Á)Ï� � Ù ��Û i � � � o � � o i)Þ º-ÅeÕ�¼8·R¿ Íѹ�Äeº)Åɺ³½Á�Ã�ÄR¾;¿DÃE¿ Å�¼�º)»7ÍQJ7·R¸�Æ�·RÄeº�¹7¹fL ¹#Äeº�½¿�� � ÌÒ¶�·R¿Õ5¸�»7¿)½�¼�¹�Âià ¸`¹�� ��� � � Ù ß Û � Þ ÌG¶�·i¿H½�Á�Ã�ÄeÁ�Åi¿ Å5¼�¹�Á-Ï � � º)ÅeÕ � � º-»8¿+¼7·R¿j½Á�¿98§½¸�¿ Å5¼�¹AÁ)Ï�mÂe¹#¸;ÅRÆ/¼7·i¿)¹�¿BÀÖº�¹�¿O¹Ì

¶�·R¿+¹#¿)½Á�ÅeÕ�¹�¼7¿DÄ�Á-Ï�ÃEÂi¾;¼7¸�»7¿)¹#Á�¾�ÂR¼7¸�Á�Å/¹�Äi¾;¸;¼�¹�� � ¸;Å�¼7Á�� � � � � Ì�:�Áj¼7·R¿+¸;Å�Ç�¿ »�¹�¿�Ä�Í5»�º-Ã�¸PÕ�Ôâ�·R¸P½�·�»7¿)½Á�Åe¹�¼8»7Âe½�¼�¹ �mMÔR½Á�ÃEÀi¸;ÅR¿)¹�� � º-ÅeÕ�� � º-ÅeÕ�º�ÕRÕR¹�¸;Å�¼7·R¿NeÅR¿jÕ5¿ ¼�º-¸;¾P¹TÏ�»8Á�Ã� � Ì�Ûe7Ò¿º)»7¿/Âe¹�¸�ÅRÆ�¼7·R¿ �Bº-ÂiÀm¿O½�·R¸�¿)¹+½Á�Å�Ç�¿ Å�¼7¸�Á�ÅMÔ�â�¸�¼7·� � NeÅR¿D»d¼8·eº-Å� � Ì Þ =�¿)½ º-ÂÖ¹�¿/Á�ÅR¾�Ís����] Z ¼8·R¿Àeº�¹�¸P¹£¸`¹N½�·Öº-ÅRÆ�¿)ÕHº)¼6¿)º�½�·j¹�¼8¿ ÄMÔ�¼8·R¿�â�·RÁ�¾;¿aÃEÂR¾�¼7¸�»7¿)¹#Á�¾;Âi¼7¸;Á�Å+½Á ¹�¼�¹MÁ�Åi¾;Í '�ØNÛ i " �ß " �� " � � Þ ÙÝ '�سÁ�Äe¿ »�º)¼7¸�Á�Åe¹�Ì�¶�·R¸P¹¥¸P¹�¼7·R¿�J#ÏKº�¹�¼&â�º Ç�¿ ¾�¿ ¼G¼7»�º-Åe¹1Ï�Á�»7Ã�LH¸;Å��jÛ1Ø Þ ¹�¼8¿ Äe¹�Ì

¶MÁ³¸;¾;¾�Âe¹�¼8»�º)¼7¿�¼8·R¸`¹+ÃEÂR¾�¼7¸�»7¿)¹#Á�¾;Âi¼7¸;Á�ÅMÔmÏ�Á�¾;¾;Á)â ¼#â�Á³¹#¼7¿ ÄÖ¹dÏ�Á�»H¼8·R¿��Bº�º)» Ne¾�¼7¿ »jÀeº-ÅiÊ�Ì��L¸`¹¾�Á-â�ÄÖº�¹7¹�º)ÅeÕ�·R¸;Æ�·RÄeº�¹7¹/½Á�¿98§½¸;¿ Å�¼�¹+º)»7¿�ÃEÂi¾;¼7¸�ÄR¾;¿D¹LÁ)Ï i Ô i º-ÅeÕ i Ôo i ÌÒ¶�·R¿��Bº�º)» Ne¾�¼7¿ »�¹¼�º-Ê�¿+º Ç�¿ »�º-Æ�¿O¹�º-ÅÖÕ�Õ�¸*i�¿ »7¿DÅe½¿)¹�Ì6¶�·R¿+Àeº�¹�¸`¹�Ç�¿O½¼7Á�»�¹TÏ�»8Á�à ¼7·R¿0Ne»�¹�¼h¹�¼7¿DÄ Û�ÅRÁ�¼8¸`½¿S¼7·R¿+Õ�Á�ÂRÀR¾�¿

i Ü

Page 16: The Search for a Good Basis Gilbert Strang Department of

¹#·R¸ Ï�¼&� Þ º-»8¿jº-¾;¾M¼8·R¿+¼7»�º-Åe¹#¾`º-¼8¿)¹�À5Í/¼#â�Á��

á1Å � � �rsssssssst

ii��

y{zzzzzzzz|�rsssssssst

��ii

y{zzzzzzzz|� -�-�- á1Å � � �

rsssssssst

io i��

y{zzzzzzzz|�rsssssssst

��i

o i

y{zzzzzzzz|� -�-�-

¶�·R¿/¹#¿)½Á�ÅeÕ�¹#¼7¿ ÄÒ½�·eº-ÅiÆ�¿)¹LÁ�ÅR¾;Í�¼8·R¿�Àeº�¹#¸`¹¥Ï�Á�» � � Ì+¶�·R¿�¹#ÂRÃ�º)ÅeÕ³Õ5¸^i�¿D»7¿ Åe½�¿HÁ-Ïa¼8·RÁ�¹#¿ONe»�¹#¼¼#â�Á�Ç�¿O½¼7Á�»�¹�Í�¸;¿ ¾PÕR¹

á1Å � � �rsssssssst

iiii

y{zzzzzzzz|� -&-�- á1Å � � �

rsssssssst

ii

o io i

y{zzzzzzzz|� -�-�-

�LÁ)⦼8·R¿jÕ5Á�¼�¹L»7¿DÄR»7¿)¹#¿ Å�¼&º-¾;¾M¼8»�º)Åe¹�¾Pº-¼7¿O¹¥À�Í�Ï�Á�ÂR»DÔeº-ÅeÕ � � � � � � � � Ù ß Û�� Þ Ì�¶�·R¸P¹¥¸P¹�º-ÅÁ�»7¼7·iÁ�Æ�Á�Åeº-¾a¹#ÂRà Ï�Á�» �Bº�º)» �e¸;Å�Æ�¿ ÅR¿ »�º-¾M¸�¼L¸P¹Lº/Õ5¸;»8¿)½¼&¹#ÂRÃ³Ì �Bº�º)»51$¹&Àeº�¹#¸`¹�Ã�º-¼8»7¸;Ó � º-¼&¼7·R¸P¹¹#¼�º-Æ�¿H·eº�¹ 4 E�4/ÀR¾�Á�½�Êi¹9�

� ������� Ùrsssssssst

i i i �i i o i �i o i � ii o i � o i

y{zzzzzzzz|-

��Á ¹�¼&¿)º-»8¾;Í�âhºOÇ�¿D¾;¿ ¼�¹Aâ�¿D»7¿+Á�»8¼7·RÁ�Æ�Á�ÅÖº-¾1Ô � Ù}r��£ÔRÀiÂR¼LÀi¸;Á�»8¼7·RÁ�Æ�Á�Åeº-¾�¸;¼#Í�·eº�¹LÀe¿)½�Á�Ã�¿BÃ�Á�»7¿½Á�Ã�Ã�Á�ÅE¸�Å�Äi»�º�½�¼7¸`½�¿�� �¦Ù r $ � Ì�n���[�� 6RÁ�»a¾;Á�ÅRÆ�¿ »VNe¾�¼7¿ »�¹6â�¸;¼7·�Ã�Á�»8¿&½Á�¿98§½¸;¿ Å�¼�¹�Ô�¼7·i¿ »7¿&¸`¹aº«Ç�¿D»7Í�Âe¹#¿Ï�ÂR¾RÏKº�½¼8Á�»8¸IH)º)¼7¸;Á�ÅÁ)ÏN¼7·R¿&ÀR¾;Á�½�Ê/¶MÁ�¿ ÄR¾;¸�¼ H&Ã�º-¼8»7¸P½¿)¹Vr l º-ÅeÕ � l ÌG¶�·R¸P¹T¸P¹�½ º)¾;¾�¿)Õ ]^( Z"�g(,����Ôeº-ÅÖÕE¸;¼GÀR»8¿)º-Êi¹6¼7·R¿+¹#¼7¿ ÄÖ¹¸�Å5¼8Á�º/¹�¿<��ÂR¿ ÅÖ½¿+Á-Ïh¹�·RÁ�»7¼8¿ » NÖ¾;¼7¿D»�¹ � :�â �KÌ�¶�·R¿/½ º)¾`½ÂR¾Pº-¼8¸;Á�ÅÖ¹�º-»7¿/Õ�Á�ÅR¿j¼�â�¸P½¿jº�¹¥ÏKº�¹�¼Sº-ÅeÕ�¸�ÅÄR¾Pº�½¿/Û�ÄmÁ ¹7¹#¸;ÀR¾�Í�º-¾P¹�Á/¸;Å�Äeº-»�º-¾�¾;¿ ¾ Þ Ì

¶�·R¿�Ê�¿ Í�¸`¹Bº�ÏKº�½¼8Á�»7¸ H)º-¼8¸;Á�Å Á)Ï�¼8·R¿ Ý E Ý ÄmÁ�¾;Í�ÄR·eº�¹�¿/Ã�º-¼8»7¸`½�¿)¹nr��Û�� Þ º-ÅÖÕ ��OÛ�� Þ Ì��LÁ-μ8¸`½¿�·iÁ-â ¼7·i¿�ÀR¾;Á�½�Ê ¶MÁ�¿ ÄR¾�¸;¼ H�Ã�º-¼8»7¸;Ó³¸�Å Á�ÂR»/º)Àe¹�¼8»�º�½�¼/½ º-Å Àe¿�»7¿ ÄR»8¿)¹�¿DÅ5¼8¿)Õ À�Í�º³Ã�º-¼8»7¸�Ó

i 1

Page 17: The Search for a Good Basis Gilbert Strang Department of

ÄeÁ�¾�Í5ÅiÁ�Ã�¸Pº-¾��r� Û�� Þ Ù rs

t � "�� � $� " 7 � $ �

7 " � $ � o � o � � $ �y{z| Ù

rst r ��� ¿ Ç�¿ Å r ��� Á�ÕRÕr � � ¿ Ç�¿ Å r � � Á�ÕRÕ

y{z| -

�e¸<Ï�¼7¸;ÅiÆ�º�ÕRÕi¹dÁ�Âi¼7ÄRÂR¼�¹LÏ�»7Á�Ã�Á�ÅR¿/½�·eº-ÅRÅi¿ ¾�Ûà¾�Á)â Ù ��Á�»+·R¸�Æ�· Ù i�Þ ¼8Á�¼8·R¿�Á�¼8·R¿ »j½�·eº-ÅRÅi¿ ¾1̶�·R¿BÏKº�½¼7Á�»�¹�Á-Ï r�+·eº Ç�¿+¹�·iÁ�»7¼ Ne¾�¼7¿ »�¹���º-ÅeÕ ���

rst i ��a�� �i

y{z| º)ÅeÕ rs

t i �M�� � i

y{z| -

á1Ã�º)Æ�¿6ÀeÁ�ÂiÅeÕRº-»8¸;¿)¹Nº-ÅÖÕ«¸�»7»8¿ Æ�ÂR¾Pº-»MÆ�»7¸`Õi¹Mº-ÅeÕ+¸;Å�¼7¿ Æ�¿ »�ÎK¼7Á)Î1¸�Å5¼8¿ Æ�¿ »�Ã�º-ÄÖ¹�Àm¿O½Á�Ã�¿NÃ/Âe½�·S¹�¸�Ã�ÄR¾�¿ »Ï�Á�»&¹�·RÁ�»7¼ Ne¾;¼8¿ »�¹�ÌG¶�·R¸`¹�¾�¸ Ï�¼7¸�ÅRÆ�¸`Õ�¿)ºH¸`¹�Õ5¿DÇ�¿ ¾;Á�ÄR¸;ÅRÆj»�º)ÄR¸`Õ5¾�Í�Ì

á1Ã�º-Æ�¿)¹&º-»7¿/º)¾;Ã�Á ¹�¼Sº-¾�â�º ÍR¹&ÄR»7Á�½¿O¹7¹�¿OÕ�À5Í�»7Á)â&¹�Ûàâ�¸�¼7·ÒºEÁ�ÅR¿Î>Õ5¸;Ã�¿ Åe¹�¸�Á�Åeº)¾ Ne¾;¼8¿ »BÀeº)ÅRÊ Þº)ÅeÕ�¼7·R¿ ÅÑÀ5ÍÒ½Á�¾;ÂRÃ�Åe¹�Ûàâ�¸;¼8·�¼7·i¿�¹7º)Ã�¿ NÖ¾;¼7¿D»�¹ Þ Ì�¶�·i¿�¶ Á�¿DÄR¾;¸�¼ H�Ã�º)¼7»8¸`½¿)¹&Àm¿O½Á�Ã�¿/¼7¿DÅe¹�Á�»ÄR»8Á�Õ5Âe½¼�¹Ì}¥Ï�¼8¿ »�Õ5Á)â�Åe¹7º)Ã�ÄR¾;¸�ÅRÆÒâ�¿�·ÖºOÇ�¿XZ)�,�WA ��� ��A�� �"A���]I�"���B� � \'�f�"����A &�Ô�� �#� â�¸�¼7·ÉÃ�Á ¹�¼¸�Å5Ï�Á�»8Ã�º-¼8¸;Á�Å�º)ÅeÕ�� � � Ô � � � Ô � � � â�¸;¼7· Õ5¿ ¼�º-¸;¾P¹Ìa¶�·R¿H¾�Á)â ¾;Á)â�¹#¸;Æ�Åeº-¾ � � � Æ�Á�¿O¹LÀeº�½�Ê�¸;Å�¼7Á�¼8·R¿Ne¾�¼7¿ »GÀeº)ÅRÊ�¼8ÁHÄR»8Á�Õ5Âe½¿BÏ�Á�Âi».�'y z�ÌV7Ò¿B·eº Ç�¿+º��2ÂÖº�Õ�¼7»8¿ ¿L¸�Åe¹�¼8¿)º�Õ�Á)Ï�ºHÀR¸;Åeº)»7Í/¼7»8¿ ¿�Ì6¶�·i¿BÊ�¿ ͼ8Á/½Á�Ã�Äi»7¿)¹8¹�¸;Á�Å�¸`¹ v<��A �����gA��%�n�%� ��(,�B� � :�· �1ÔRâ�·R¸P½�·�¿DÓ5Äe¿)½¼�¹AÅR¿Oº-»�ÎgH ¿ »8Á�½�Á�¿98�½�¸;¿ Å�¼�¹6¼7Á�º-ÄiÄm¿Oº-»¸�Å�¼8·R¿j¹7º)Ã�¿BÄR¾Pº�½¿)¹�º)¼BÕ�¸*i�¿ »7¿DÅ5¼h¹7½ º)¾;¿)¹�Ì�n���[� � S���\'�%]I�h�0� �u�f��A;� (*& � &&� ��]I] ����#%�,��� Z&� ���9�g(,��� &�ÌX=�ÂR¼B¼7·i¿ONe¾;¼8¿ »�¹Bº�½¼BÁ�Å�Õ5¸P¹7½»8¿ ¼7¿½Á�¿"8�½¸�¿ Å�¼�¹ÔRâ�·i¿ ųº Ï�ÂiÅe½¼7¸�Á�Å�¸`¹�¿ Ó5ÄÖº-ÅeÕ5¿OÕ�¸;Å�¼7·R¿jÁ�¾PÕ³º-ÅeÕ�ÅR¿Dâ¦Àeº�¹#¿)¹Ìk:�¼��¿DÄR·eº-Åi¿��³º-¾�¾`º)¼»8¿)½Á�Æ�ÅR¸IHD¿)Õ ¼7·Öº-¼/¼7·R¸P¹Eº�½¼7¸�Á�Å ¸`¹HÀ�Í�¼7·i¿K&)��w/� � ] �[��Ah&�r ����� ��ÌÉÛgL¾`¹#ÁÒÐ6¿ »7ÁY:�¸;Ã�Á�Åe½¿D¾;¾;¸º)ÅeÕ³á1ÅRÆ�»8¸`Õ �Bº)ÂRÀe¿)½�·i¸;¿)¹Bº)ÅeÕ �BÇ�¿)¹��¿ Í�¿ »&¹8º âq¼7·i¸`¹�»7¿ ¾Pº-¼7¸�Á�ÅMÔ�¼7·eº)¼B¼7·R¿HÏKº�¹�¼BÄ�Í�»�º-Ã�¸`Õ�º-¾P¹�ÁÁ�Äm¿D»�º-¼8¿)¹£Á�ÅE¼8·R¿�½Á�¿"8�½¸�¿ Å�¼�¹MÁ-ÏeÏ�ÂRÅe½¼8¸;Á�Åe¹Ì Þ ¶�·R¿&½Á�ÅRÅR¿)½�¼7¸;Á�ÅHÀe¿ ¼#â�¿D¿ ÅdÏ�ÂRÅÖ½¼7¸�Á�Åe¹6º)ÅeÕ Ne¾�¼7¿ »�¹¸P¹�¸;Å�¼7·R¿ ��(I]^���g(,���s����� ����(,����Û�»7¿9NeÅi¿ Ã�¿ Å�¼G¿<�2ÂÖº-¼7¸�Á�Å Þ º)ÅeÕ�¼7·R¿�!V��\'�%] �%�0����� ����(,���2�

� Û � Þ Ù��� � Û�> Þ � Û Ý � oG> Þ � Ø 7 �+Û � Þ Ù � � Û�> Þ � Û Ý � oY> Þ - Û 1�Þ¶�·R¿+ÅR¿Dâ Àeº�¹�¸P¹�½Á�Å�¼�º)¸;Åe¹�¼8·R¿j¹7½ º)¾;¸;ÅiÆdÏ�ÂRÅe½�¼7¸;Á�Åe¹ � Û � oq> Þ º)ÅeÕ�¼8·R¿Bâ�º Ç�¿ ¾�¿ ¼�¹��dÛ � oq> Þ ÌG¶�·R¿Á�¾`Õ³Àeº�¹#¸`¹d¸P¹d¼8·R¿E¼8»�º)Åe¹�¾Pº-¼7¿O¹dÁ-Ï NÖÅR¿ »j¹7½ º)¾;¿�Ï�ÂRÅe½¼8¸;Á�Åe¹ � Û Ý � o > Þ Ì�Ð��2Âeº)¼7¸�Á�ÅÉÛ 12Þ ¹8º ÍR¹B¼7·Öº-¼¼8·RÁ�¹#¿�ÀÖº�¹�¿O¹Eº)»7¿�»7¿ ¾Pº-¼8¿)Õ � xB���"�e] ��º�¹ ¼8·R¿ ÍÒâ�¿ »8¿EÏ�Á�»/Ç�¿)½¼8Á�»�¹Ô£À�Í�¼8·R¿�Å�ÂRÃEÀe¿ »�¹ � Û�> Þ º-ÅeÕ

i �

Page 18: The Search for a Good Basis Gilbert Strang Department of

,��Û�> Þ ¸;Å � l Ì�:�ÁH¼8·R¿BÅR¿DâɽÁ�¿98§½¸�¿ Å5¼�¹£Ã/Âe¹�¼G½�Á�Ã�¿�À�Í�¼7·R¿S¹7º)Ã�¿�Ne¾�¼7¿ »�¹U| � Ô | �6¸�ÅE¼8·R¿B¸;Å�Ç�¿ »�¹�¿Ã�º)¼7»8¸;Ó r l ÌGáàÏ�mMÛ1Ø Þ º-»8¿d¼8·R¿j½Á�¿98§½¸;¿DÅ5¼�¹TÁ)Ï!��Û � Þ ¸;Å�Á�ÅR¿jÀeº�¹#¸`¹ÔR¼8·R¿ Å � � ÛKØ Þ º-ÅeÕ � ��Û1Ø Þ Æ�¸;Ç�¿¼8·R¿�½Á�¿"8�½¸�¿ Å�¼�¹�¸;Å�¼8·R¿�ÅR¿ â�Àeº�¹�¸P¹Ì+¶�·R¿�Ç�¸;»8¼7ÂR¿jÁ-Ïa¼7·R¿jÅR¿ â�Àeº�¹�¸`¹&¸`¹L¼8Á�¹�¿ ÄÖº-»�º)¼7¿/º Ç�¿ »�º-Æ�¿O¹Ï�»8Á�Ã�Õ5¿D¼�º-¸�¾`¹�Ô2Ï�Á�»&Àe¿ ¼7¼8¿ »&½Á�Ã�ÄR»7¿O¹7¹�¸�Á�ÅMÌ

¶MÁE»8¿ Äe¿)º-¼)�G¶�·R¿j½Á�Å�¼7¸�Å5ÂRÁ�Âe¹AÀÖº�¹�¿O¹dÛ�Á�¾`Õ�º)ÅeÕ�ÅR¿Dâ Þ º-»8¿+»7¿ ¾Pº-¼7¿OÕ§À�Í/¼7·R¿j¹7º)Ã�¿� � Û�> Þ º-ÅeÕ � Û�> Þ º�¹�¼7·i¿HÕ�¸`¹7½�»7¿ ¼8¿LÀeº�¹�¿)¹�Ì : Á�¼7·R¿B¿DÓ5Äeº)Åe¹�¸�Á�Å�½Á�¿98§½¸�¿ Å5¼�¹6ÃEÂe¹#¼GÀm¿+»8¿ ¾`º)¼7¿)ÕEÀ�Í/¼7·R¿+¹8º-Ã�¿| � Û�> Þ º-ÅeÕ�| � Ûg> Þ Ì

¶�·R¿ Ý � ·eº�¹G¼7·R¿&¹8º-Ã�¿&¹#Á�ÂR»�½¿&º�¹ Ý Ø Û1Õ�Á-â�ÅÖ¹7º-Ã�ÄR¾;¸�ÅRÆ Þ Ì£¶�·i¿¥Ï�ÂRÅÖ½¼7¸�Á�Åe¹ � º)ÅeÕ �ɺ)»7¿�]^�<�%��]ÛK½Á�Ã�ÄÖº�½¼S¹�ÂRÄiÄmÁ�»7¼ Þ ¾�¸;Ê�¿j¼7·R¿ONe¾�¼7¿ »�¹Ì+¶�·R¿/â�·RÁ�¾;¿�Á�À E7¿O½¼BÁ-ÏaâhºOÇ�¿D¾;¿ ¼&¼7·R¿DÁ�»7Í�¸`¹L¼8Á�Õ5¸P¹7½Á)Ç�¿ »¼8·R¿LÄi»7Á�Äe¿ »8¼7¸�¿)¹6Á-Ï � º)ÅeÕ ��ÈÉâ�·i¸`½�·�ÅRÁ�»8Ã�º-¾�¾;ÍH·ÖºOÇ�¿�ÅiÁH¹#¸;Ã�Äi¾;¿AÏ�Á�»7Ã/ÂR¾`º�¹ÌN¶�·RÁ ¹�¿BÄR»8Á�Äe¿ »8¼7¸;¿O¹Ã/Âe¹�¼GÀe¿B·R¸PÕRÕ5¿ Å�¸;Å�¼8·R¿ Ne¾�¼7¿ »h½Á�¿98§½¸;¿ Å�¼�¹�Ì27 ¿+½�·RÁ�Á ¹�¿+¼7·R¿Ne¾;¼8¿ »�¹aº-ÅeÕ�¼7·i¿ Í/º�½¼�Á�Å�Ç�¿)½¼7Á�»�¹Á)ÏG½Á�¿"8�½¸�¿ Å�¼�¹>ÈÚº-¾�¾;Á)â�¸;ÅRÆjÂe¹�¼7Á/ÄR»8¿ ¼7¿ ÅÖÕ§¼8·eº-¼&¼7·i¿d¸�ÅRÄRÂR¼�âhº�¹�»8¿)º-¾�¾;Í�ºdÏ�ÂRÅÖ½¼7¸�Á�ÅMÌ�n���[� � á>¼M¸P¹�ÅRÁ�¼N¹#ÁL¿Oº�¹�Í+¼8Á&¹�Á�¾�Ç�¿&Û 12Þ Ï�Á�»£¼8·R¿GÀeº�¹#¸`¹�Ï�ÂRÅe½¼8¸;Á�Å � Û � Þ ÌNá1¼�¹26RÁ�ÂR»7¸�¿ »�¼8»�º-ÅÖ¹>Ï�Á�»8øP¹�º-Å�¸�ÅWNeÅR¸�¼7¿BÄi»7Á�Õ5Âe½�¼¥Ï�»8Á�à ¼8·R¿+¸;ÅWNeÅi¸;¼7¿S¸;¼7¿D»�º-¼8¸;Á�Å Û�â�¸;¼8·�»8¿)¹7½Dº-¾;¸�ÅRÆ Þ �

�� Û1� Þ Ù���z � � � � � 3 Ý

z + -¶�·R¸P¹6¹7½Dº-¾;¸�ÅRÆBÏ�ÂRÅe½¼8¸;Á�Å�¸`¹6½¿DÅ5¼8»�º-¾i¼7Á+¼7·R¿&¹#ÂRÀ E7¿)½¼DÔ�ÀRÂR¼Tº-¾;¾Ö½Á�Ã�ÄiÂR¼�º)¼7¸;Á�Åe¹6º)»7¿&Àeº�¹#¿)Õ Á�ÅEÂÖ¹�¸;ÅiƼ8·R¿j½Á�¿98§½¸;¿ Å�¼�¹GÁ-Ï�¼7·R¿0Ne¾�¼7¿ »�¹Ì

Ð6ÓR½�¿ ÄR¼7¸�Á�Åeº)¾;¾�Í�Ô � Ù ��Û i � � � � � i)Þ Õ5Á�¿)¹H¾�¿)º�Õ³¼7ÁÒº�¹�¸�Ã�ÄR¾;¿ � Û � Þ Ì�á1¼H¸`¹B¼8·R¿�½Á�Å5Ç�Á�¾;ÂR¼8¸;Á�Å

��� ��� � Á-Ïa¼7·R»8¿ ¿HÀeÁ)Ó�Ï�ÂRÅe½¼8¸;Á�Åe¹Ì+¶�·R¿jÂRÅR¸�¼LÀeÁ)Ó�Á�Å � � � i ��¹�Á�¾�Ç�¿)¹L¼8·R¿�Õ5¸�¾`º)¼7¸;Á�Å�¿<��Âeº)¼7¸;Á�Å� Û � Þ Ù � Û Ý � Þ "�� Û Ý � o i-Þ Ù�¹#ÂRà Á)Ï6¼#âaÁH·eº)¾ Ï`ÎKÀmÁ)Ó�¿)¹ÌGá1¼�¹ Ne¾�¼7¿ »h½Á�¿98§½¸;¿ Å�¼�¹Gº)»7¿�Û i � i)Þ º-ÅeÕ¸�¼�¹«Ï�»8¿<��ÂR¿ Åe½Í³»8¿)¹�ÄeÁ�Åe¹�¿�¸`¹�� � Û1� Þ Ù�Û i " � $ y � Þ Ì�LÄiÄR¾;Í�¸;ÅRÆ�¼7·R¸P¹��Bº�º-»kNe¾;¼8¿ »H¼8·R»7¿ ¿�¼7¸;Ã�¿)¹¾�¿)º�ÕR¹�¼7Á Û i � � � � � i-Þ ¸�Å�¼8·R¿0Ne¾;¼8¿ » Ì&¶�·eº)¼BÄR»7Á�Õ�Âe½¿)¹+Û i<" � $ y � Þ� ¸;Å�¼8·R¿dÏ�»8¿<��ÂR¿ Åe½Í�»7¿)¹#ÄmÁ�Åe¹�¿ Ôº)ÅeÕ �������� ¸;Å�¼7·R¿j¹8½ º-¾�¸;ÅRÆHÏ�ÂRÅÖ½¼7¸�Á�ÅMÌ

6RÁ�»�º)Å5ÍYNe¾;¼8¿ » Ôa¿)º�½�· ÏKº�½¼8Á�» i " � $ y � Ã�¿)º)Åe¹Eº)Å º�ÕRÕ�¸;¼7¸�Á�Åeº)¾0H ¿ »8Á º-¼6��Ù C ¸�Å ¼8·R¿Ï�»8¿<�2Âi¿ Åe½Í+»7¿O¹�ÄeÁ�Åe¹#¿�Ìa¶�·R¿&¹7½ º)¾;¸�ÅRÆBÏ�ÂRÅe½¼8¸;Á�Å/¸`¹G½Á�Å5Ç�Á�¾;Ç�¿)Õ+â�¸;¼8·E¼8·R¿�ÀeÁ-Ó � Û � Þ Ô�â�·R¸P½�·/Ã�º)Ê�¿)¹¸�¼LÁ�ÅR¿HÁ�»�Õ5¿ »S¹�Ã�Á�Á�¼7·i¿ » Ì&¶�·R¿jÅ5ÂRÃ/Àe¿ » ��Á-Ï�J H ¿D»7Á�¹&º-¼ C L ¸�Å � � Û1� Þ ¸`¹&½»7¸�¼7¸P½ º-¾�¼7Á�¼8·R¿HÆ�Á�Á�ÕÄR»8Á�Äe¿ »8¼7¸;¿O¹�Á-Ï � Û � Þ ÌG¶�·R¿j½¿ ¾;¿DÀR»�º)¼7¿)Õ �Sº-ÂRÀe¿)½�·R¸;¿O¹UNe¾;¼8¿ »�¹G·eº Ç�¿d¼8·R¿+¾`º)»7Æ�¿O¹�¼�ÄeÁ�¹8¹�¸;Ài¾;¿���â�·i¸;¾;¿

i C

Page 19: The Search for a Good Basis Gilbert Strang Department of

»8¿ ¼�º)¸;ÅR¸�ÅRÆ�º)Å ��A%�,����� ������] #%�'&)(*&�Ì+¶�·R¿ Í�·eº Ç�¿ Ý �Ò½Á�¿98§½¸;¿ Å�¼�¹�Ì&¶�·R¿/¹�ÄR¾�¸;ÅR¿kNe¾;¼8¿ »�¹+Û i � i-Þ º-ÅeÕ�ß Û i � Ý � i-Þ º-ÅeÕ ��Û i � � � � � i)Þ ·eº Ç�¿�¼8·R¿�¾`º)»7Æ�¿O¹�¼ �³â�¸;¼8·RÁ�Âi¼Hº)Å5ͳ»8¿)¹�¼8»7¸P½¼7¸�Á�Å�¼8Á�Á�»7¼8·RÁ�Æ�Á�Åeº)¾;¸�¼�Í Ì

� l º)ÅeÕsr l º-»7¿�Á�»7¼8·RÁ�Æ�Á�Åeº)¾�Ã�º)¼7»7¸P½¿)¹AÏ�Á�» �Bº-ÂiÀm¿O½�·R¸�¿)¹Ô�ÀRÂR¼+ÅRÁ�¼&Ï�Á�»/Û i � � � � � i-Þ Ì � ÂR»SÀeº�¹#¸`¹Ï�ÂRÅÖ½¼7¸�Á�Åe¹ � Û � oY> Þ º-ÅeÕ �dÛ � oq> Þ º)»7¿+ÄR¸;¿O½¿ â�¸`¹#¿BÄeÁ�¾�Í5ÅRÁ�Ã�¸`º)¾M¹#ÄR¾;¸�ÅR¿)¹AÁ)ÏaÕ5¿ Æ�»7¿ ¿���o i Ôeº-ÅeÕÅRÁ�¼LÁ�»7¼8·RÁ�Æ�Á�Åeº)¾1Ô�¹�Á �� ÃEÂe¹#¼�Àe¿jÕ5¸*i�¿ »8¿ Å�¼�Ï�»7Á�à � Ì�n���[��� 7 ¿�º-»8¿�Õ5¿O¹7½»8¸;ÀR¸�ÅRÆ�¼7·i¿�½¾Pº�¹8¹�¸`½Dº-¾a½Á�ÅÖ¹�¼7»8Âe½¼8¸;Á�ÅÒÁ-Ï&âhº Ç�¿ ¾;¿ ¼&Àeº�¹�¿)¹�Ì�¶�·R¿EÃ�Á�»7¿Æ�¿ ÅR¿ »�º-¾�¸PÕ5¿)º+Á-Ï !V��\'�%]I�h�V_����%���%�,&+¸`¹A¼8Á/º-¾�¾;Á)âɸ;¼8¿ »�º)¼7¸;Á�Å�Á-ÏhÛ � Ý5Þ r � º�¹�â�¿D¾;¾�º�¹BÛ � Ý2Þ r � Èɼ8·R¿Àe¿)¹#¼6Àeº�¹#¸`¹0� 7 �i¸`¹6º�ÕRº-ÄR¼8¿)Õ�¼7ÁB¼8·R¿&¹�¸�Æ�Åeº)¾1Ì�LÅeÕHÆ�Á�Á�ÕEÀeº�¹�¿)¹G½Á�Ã�¿6Ï�»7Á�à çº-Å�ÍBÁ�¼8·R¿ »a¹�Á�ÂR»�½¿O¹¼8Á�ÁRÌ

� ÅR¿�ÅR¿Oº-¼/½Á�Åe¹�¼8»7Âe½¼8¸;Á�Å À�ÍG�³º-¾;Ç�º)» � � �&º)ÅeÕ;�GÁ�¸<Ï�Ã�º-Å5Î ��¿ Í�¿ » � �6Î ����Âe¹�¿)¹�º�â�¸�ÅeÕ5Á)ââ�¸�¼7·Ñ½Á�¹#¸;ÅR¿)¹+¸;Åe¹#¸`Õ5¿/¸;¼DÌ�¶�·R¿�Àeº�¹#¸`¹H½�Á�Å�¼�º-¸�Åe¹O|MÛ � Þ ½Á�¹�> C � ¸;ÅÒ¼7·R¿�½Á�Å5¼8¸;Å�ÂRÁ�Âe¹j½ º�¹#¿�Ì 7ɸ;¼8·º�½ º)»7¿Ï�ÂR¾T½�·RÁ�¸`½¿�Á)Ï|MÔ£¼8·R¿�¼7»�º-Åe¹#¾`º)¼7¿)¹+Á-Ï�¼8·RÁ�¹#¿EÃ�Á�Õ5ÂR¾`º)¼7¿)Õ�â�¸�ÅeÕ5Á)â&¹dÆ�¸;Ç�¿/º)Å Á�»7¼7·iÁ�Æ�Á�Åeº-¾Àeº�¹�¸P¹«Ï�Á�» � ß Ì�¶�·R¿�â�¸;ÅeÕ5Á)â&¹�| Û � Þ º)ÅeÕq|MÛ1Ø Þ Ï�Á�»�º-ÂÖÕ5¸;ÁÒ¹#¸;Æ�ÅÖº-¾`¹jº-»8¿�º-Ã�º<H ¸;ÅiÆ�¾;Í�¾;Á�ÅRÆRÔ�º-ÅeÕÁ)Ç�¿ »8¾`º-Ä�¼8·R¿ ¸�»6¼7»�º-Åe¹#¾`º-¼8¿)¹6À5ÍIºB¾;Á�¼DÌ6¶�·R¿&â�¸;ÅÖÕ5Á)â&¹A½Dº-Å�º-¾`¹#Á+·eº Ç�¿�ÂRÅR¿<��Âeº-¾i¾;¿ ÅRÆ�¼7·e¹�Ô�¿)¹7½ º)ÄR¸;ÅiÆÏ�»8Á�à ¼8·R¿+»7¿ Æ�ÂR¾`º)»�Ã�¿)¹�·�¼7·eº)¼L¸P¹�º�¹7¹#Á�½¸`º)¼7¿)Õ�â�¸;¼8·�âhº Ç�¿ ¾;¿ ¼�¹Ì

7ɸ;¼8·HÅRÁSÁ-Ç�¿D»7¾`º)Ä/Û1ºLâ�¸�ÅeÕ5Á)â�ÀeÁ)ÓO|�Ù i-Þ âa¿aº-»7¿�ÀÖº�½�ÊB¼7ÁB¼8·R¿�Õ�¸`¹7½�»7¿ ¼8¿�½�Á�¹�¸�ÅR¿�¼8»�º)Åe¹>Ï�Á�»7óÌÐGº�½�·�Àeº�¹�¸`¹£Ï�ÂRÅÖ½¼7¸�Á�Å�·eº�¹�� ½�Á�Ã�ÄeÁ�Åi¿ Å5¼�¹6½Á ¹ �Û�> " �ß Þ Û1Ø " �ß Þ 5� + Ô�º-ÅÖÕIÏ�»8¿<�2Âi¿ Å5¼8¾;Í�� Ù C�̶�·R¿O¹�¿�� Àeº�¹#¸`¹LÇ�¿O½¼7Á�»�¹�º-»8¿H¼8·R¿�½Á�¾;ÂRÃ�Åe¹AÁ)Ï�¼8·R¿ � �a¶¦Ã�º-¼8»7¸�Ó � � . Ì�¶�·R¿I½�·Öº-ÅRÆ�¿HÁ-ÏTÀeº�¹#¸`¹Ã�º)¼7»8¸;Ó�¸`¹�#"]^�<��� ��(,�5� ������]MÛàâ�¸�¼7·���¸�Åd¿Oº�½�·dÀi¾;Á�½�Ê Þ Ì£¶�·i¸`¹�¸`¹�¿DÓ5¼8»7¿ Ã�¿D¾;ÍAÏKº�¹�¼DÔ�ÀRÂR¼N½Á�Ã�ÄR»8¿)¹7¹#¸;Á�ÅÄR»8Á�Õ5Âe½¿O¹Lº�¹#¿ Ç�¿ »7¿SÀR¾;Á�½�Ê5¸�ÅRÆ/º-»8¼7¸<ÏKº�½¼�¸�Å�¼8·R¿+¸;Ã�º)Æ�¿�Ì

LÅRÁ�¼7·R¿D»HÄeº)»7¼HÁ)Ï&¼7·R¸P¹H¹#ÂRÀ E7¿)½¼DÔ£Õ�¸*i�¿ »7¿DÅ5¼BÏ�»7Á�à ½�Á�Ã�ÄR»8¿)¹7¹#¸;Á�ÅMÔM¸`¹H¹#¸;Æ�Åeº-¾n( �W�"�W�g( � �%����(,���2�¼8Á/NeÅeÕ�¼7·R¿j¸;Ã�ÄeÁ�»8¼�º)Å5¼�Ï�¿)º)¼7ÂR»8¿)¹LÁ)Ï mMÛ1Ø Þ Ì&¶�·R¿X6RÁ�ÂR»8¸;¿ »�¼8»�º-ÅÖ¹>Ï�Á�»8Ã�Õ5¸P¹�ÄR¾Pº ÍR¹�¼7·R¿IÕ5Á�Ã�¸;Åeº)Å5¼Ï�»8¿<�2Âi¿ Åe½¸�¿)¹ÌN¶�·R¿+¹#Äe¿)½¼7»8ÂRà ·R¸`ÕRÕ�¿ Å�¸;Å�m ÛKØ Þ Àm¿O½Á�Ã�¿O¹A½�¾;¿)º)»�¸;Å 2 Û1� Þ Ì�=�ÂR¼hÕ5¸`¹8½Á�Å�¼7¸�Å5ÂR¸�¼7¸�¿)¹º)ÅeÕFJ�½�·R¸;»8ÄuL&¹�¸;Æ�Åeº-¾P¹ â�¸�¼7·j¼7¸;Ã�¿Î1Ç�º)»7Í�¸;ÅRÆ�Ï�»8¿<�2Âi¿ Åe½¸�¿)¹�º)»7¿�ÅiÁ�¼G¹#Á+½¾;¿Oº-» Ì �â�º Ç�¿ ¾�¿ ¼MÀeº�¹�¸`¹MÃ�º ÍÀe¿HÀe¿ ¼8¼7¿ »DÌ�6RÁ�»L¸PÕ5¿ Å�¼7¸*Nm½ º-¼8¸;Á�ŧº-ÅeÕ³Õ5¿DÅRÁ�¸P¹�¸;ÅiÆRÔRâ�¿+»8¿Ï�¿ »�¼7Á �³º-¾�¾`º)¼ �{�³º ��º-ÅÖÕ �LÁ�ÅRÁ�·RÁ � �LÁ �º)Ã�Á�ÅRÆjÃ�º-Å�Í�Á�¼8·R¿ »�¹Ì LÅeÕE¼8·R¿ �"� �������9�"w/�"�W�&Á-ÏTº-Å�¸;Ã�º)Æ�¿&¸`¹aºdÏ�ÂR»7¼8·R¿ »�ÄR»8Á�ÀR¾�¿ óÔ�ÅR¿D¿)Õ5¸;Åiƺ�ÅRÁ�Åi¾;¸;Åi¿)º-»�Á�Äm¿D»�º-¼8Á�»DÌ�¶�·eº)¼L¼8·R¿ Á�»7Í�Æ�Á�¿)¹¥Àe¿ Í�Á�ÅeÕ�¼8·R¿+Àeº�¹#¸`¹�½�·eº-ÅiÆ�¿)¹�Á-ÏG¼8·R¸`¹�ÄÖº-Äe¿ » Ì

i P

Page 20: The Search for a Good Basis Gilbert Strang Department of

��' ��� %�'&$ #% / ��� � * � % "#%�$&/

7Ò¿H·eº Ç�¿jÃ�Á)Ç�¿)ÕEÏ�»7Á�Ã˼7·R¿jÄR»�º�½¼7¸P½ º-¾NÄR»8Á�ÀR¾�¿ Ã}Û1½Á�Ã�ÄR»7¿O¹7¹�¸�ÅRÆ/¸;Ã�º)Æ�¿)¹ Þ ¼8Á�ºEÃ�º)¼7·R¿ çº-¼7¸P½ º-¾ÄR»8Á�ÀR¾�¿ óÌM¶�·i¿AÄi»7Á�Äe¿ »8¼7¸�¿)¹ Á)ÏR¼8·R¿�ÀÖº�¹�¸P¹mÏ�ÂRÅe½¼8¸;Á�Åe¹ � Û � ok> Þ º-ÅeÕ �dÛ � ok> Þ Ã/Âe¹#¼�Àe¿aÕ5¿ ¼7¿D»7Ã�¸�ÅR¿)ÕÏ�»8Á�à ¼7·i¿�Ne¾;¼8¿ »G½Á�¿98§½¸�¿ Å5¼�¹Ì27Ò¿LÅR¿D¿)ÕH¼7Á+Ê�ÅRÁ)â ¼7·i¸`¹G½Á�ÅiÅR¿)½¼8¸;Á�Å�Ô�¸;Å/½�·RÁ�Á�¹#¸;ÅRÆIºBÆ�Á�Á�Õ�Àeº�¹#¸`¹�Ì�L¿D»7¿+º)»7¿jÕ5¿)¹#¸;»�º)ÀR¾;¿+ÄR»8Á�Äe¿ »8¼7¸;¿O¹9�� �Bw�w/�%�gA���� � Û � Þ ¸P¹�¹�Í�Ã�Ã�¿ ¼8»7¸`½�º)ÀeÁ�ÂR¼ � Ù ) ß â�·i¿ Å ¼8·R¿ Ne¾;¼8¿ »�¸`¹/¹�Í�Ã�Ã�¿ ¼8»7¸�½�� � Ûg> Þ Ù

� Û�' o�> Þ Ì ·R¸;Æ�·R¾;ÍI½Á�Ã�Äi»7¿)¹8¹�¿)ÕH¸�Ã�º-Æ�¿�Âe¹#¿)¹6Á�ÅR¾�Í�ºLÏ�¿ â ÀÖº�¹�¸P¹6Ç�¿)½¼7Á�»�¹�Ô�º-ÅeÕ�¸;¼�¾;Á�Á�Êi¹ºH¾�¸;¼8¼7¾;¿«¹�¼7»�º-ÅRÆ�¿Hâ�¸�¼7·RÁ�ÂR¼B¹#Í5Ã�Ã�¿¼8»7Í�Ì

� A%�,����� ������]^(I��� ��¶�·R¿�Àeº�¹�¸`¹BÏ�ÂRÅe½¼8¸;Á�Åe¹ � Û � o > Þ º-ÅÖÕ �dÛ � o > Þ º-»8¿�Á�»8¼7·RÁ�Æ�Á�ÅÖº-¾&â�·R¿ Å�¼8·R¿Ý E Ý Ã§º-¼7»8¸;Ó �IÛ1� Þ ¸P¹AÂRÅR¸�¼�º)»7ÍEÏ�Á�»L¿ Ç�¿D»7Í �&ÌG¶�·R¿DÅ � l º)ÅeÕKr l º-»8¿dÁ�»7¼8·RÁ�Æ�Á�Åeº)¾£ÀR¾�Á�½�ʶMÁ�¿ ÄR¾�¸;¼fHdçº-¼7»8¸`½¿O¹Ì

��¿ Æ�»8¿ ¼7¼�º-ÀR¾�Í�Ô�¼7·R¿ »8¿³¸`¹�º ½Á�ÅWle¸P½¼�Àe¿ ¼#â�¿ ¿DÅ Á�»8¼7·RÁ�Æ�Á�Åeº-¾�¸;¼#Í º-ÅeÕ ¹�Í�Ã�Ã�¿D¼7»7Í Ì :�ÂRÄiÄmÁ ¹�¿� � � � � � � � ��¸`¹HÁ�»7¼7·iÁ�Æ�Á�Åeº-¾&¼7ÁÒ¸;¼�¹HÕ5Á�ÂRÀR¾�¿�¹#·R¸ Ï�¼6� � � � � � � � � Ô£¸;ÅѼ7·R¿�»7Á)â&¹HÁ)ÏOr l Ì�¶�·i¿ ÅÝ � Ù ��º)ÅeÕ³¿ ¸;¼8·R¿ » � Á�» ÃEÂe¹#¼LÀe¿XH ¿ »8ÁRÌ�:�Í5Ã�Ã�¿ ¼7»8¸`½LÁ�»7¼8·RÁ�Æ�Á�Åeº)¾UNe¾�¼7¿ »�¹B½ º-ų·ÖºOÇ�¿�Á�ÅR¾;Í�g!V� ½�Á�¿98�½�¸;¿ Å�¼�¹jº-ÅeÕ â�¿�º)»7¿�Àeº�½�Ê�¼8Á �Bº�º)»51$¹�¹#¸;Ã�Äi¾;¿/ÀmÁ)Ó Ï�ÂiÅe½¼7¸�Á�ÅMÌY��Á ¹�¼/½Á�Ã�ÄR»8¿)¹7¹#¸;Á�ź)¾;Æ�Á�»7¸�¼7·RÃ�¹MÃ�º)¸;Å�¼�º-¸�Åj¹�Í�Ã�Ã�¿ ¼#»7ÍSº-ÅÖÕ�Õ5ÁBâ�¸;¼8·RÁ�Âi¼6Á�»8¼7·RÁ�Æ�Á�ÅÖº-¾;¸�¼#Í�Ì � »6¼8·R¿ Í+Âe¹�¿�Ã�Á�»7¿VNe¾�¼7¿ »�¹Ì� (,��A��,���%��������]^(I����� ¶�·R¸P¹�¸`¹�º�½�·R¸�¿ Ç�º-ÀR¾�¿³â�¸;¼8· ¹�Í�Ã�Ã�¿ ¼8»7Í�Ôaº�¹�¼7·i¿³¿ ÓRº)Ã�ÄR¾�¿³¹�·iÁ-â&¹�Ì � l Û1� Þ

º)ÅeÕtr l Û1� Þ º-»8¿�¸;Å�Ç�¿ »�¹�¿)¹ � ¼8·R¿�»8Á-â&¹+Á-Ïkr l º-»8¿�ÀR¸�Á�»7¼8·RÁ�Æ�Á�Åeº)¾�¼7Á�¼7·R¿�½Á�¾�ÂRÃ�Åe¹BÁ)Ï�� lÛ�¼7Á�ÄR»8Á�Õ5Âe½¿Fr � Ù � Þ Ì/¶�·R¿�Ne¾;¼8¿ »+Àeº-ÅiʳÆ�¸;Ç�¿O¹«Äe¿ »#Ï�¿)½¼B»8¿)½Á�Åe¹�¼8»7Âe½¼8¸;Á�ÅMÌ�¶�·R¿DÅ ¼8·R¿Ï�ÂiÅe½¼7¸�Á�Åe¹ � Û � oY> Þ Ô �dÛ � oQ> Þ º-»8¿HÀR¸�Á�»8¼7·RÁ�Æ�Á�ÅÖº-¾6¼8Á��� Û � oQ> Þ Ô ��dÛ � oY> Þ Ì�¶�·RÁ�¹#¿/Õ5Âeº)¾Ï�ÂiÅe½¼7¸�Á�Åe¹�â�¸�¼7·�¼7¸�¾`Õ5¿O¹�½Á�Ã�¿�Ï�»7Á�à ¿<��Âeº-¼8¸;Á�Å�Û 1�Þ â�¸;¼8·F|�¸�Å�ÄR¾Pº�½¿+Á-Ï £Ì

� �g��#5(I]^(I����� �LÁ�¿)¹H¼8·R¿�Õ5¸;¾Pº-¼7¸�Á�ÅÒ¿<��Âeº-¼8¸;Á�Å Û 12Þ Í5¸�¿ ¾`Õ�Æ�Á�Á�Õ Ï�ÂRÅe½¼8¸;Á�ÅÖ¹ �� Û � o > Þ � áàÏ&¹#ÁRÔN¼7·R¿ ͽ�Á�Ã�¿�Ï�»8Á�à ¼8·R¿B¸;Å NeÅR¸;¼8¿B½Dº�¹7½Dº�Õ5¿ �� y � � Û � Þ Ù �}| � Û�> Þ �� y Û Ý � os> Þ ÌG¶�·R¸P¹�½Á�»7»7¿O¹�ÄeÁ�ÅeÕi¹¥¼8Áº)Å�¸;Å NeÅR¸;¼8¿ONe¾;¼8¿ »+¼7»8¿ ¿/º-ÅeÕѺ�½Á�Ã�ÄR¾;¿D¼7¿HÃ/ÂR¾�¼7¸;»8¿)¹�Á�¾;ÂR¼8¸;Á�ÅMÔm¸�¼7¿ »�º-¼8¸;ÅRÆÒÛ � Ý5Þ r º)ÅeÕ ¼8·R¿½�·eº)ÅRÆ�¿+Á-ÏTÀeº�¹#¸`¹AÏ�Á�»8¿ Ç�¿ »DÌ

Ý �

Page 21: The Search for a Good Basis Gilbert Strang Department of

áàÏM¼8·R¿B¸;¼8¿ »�º)¼7¸�Á�Å/¸`¹�¹#¼�º)ÀR¾;¿�Ô�â�¿&Æ�¿ ¼aâ�º Ç�¿ ¾�¿ ¼�¹6º)¼�º)¾;¾M¹8½ º-¾�¿)¹Ì�¶�·R¸`¹a¹�¼8¿ Ä�¼7Áj¸;ÅWNÖÅR¸;¼#Í�â�º�¹A¼8·R¿Ê�¿ ÍÒ½�Á�Å�¼7»7¸�ÀRÂR¼8¸;Á�ÅÒ¸;ÅѼ7·R¿ i P�C �W1$¹�Ì Û1¶�·R¿/NÖÅR¸;¼8¿ Ne¾�¼7¿ »j¼7»8¿ ¿Eâhº�¹H¸�Å5Ç�¿ Å�¼7¿OÕ�¼7¿ ÅÒÍ�¿)º-»�¹d¿)º)»7¾�¸;¿ »À�ͳ¿ ¾;¿O½¼7»8¸`½ º)¾M¿ ÅRÆ�¸�ÅR¿ ¿ »�¹Ì Þ �GÁ�ÅeÕ5¸�¼7¸;Á�Å ÐÚÏ�Á�»�¹�¼�º-ÀR¸�¾;¸�¼�Í º-ÄRÄi¾;¸;¿O¹L¼7Á�¼7·R¿�Õ5Á�ÂiÀR¾;¿Î>¹�·i¸ Ï�¼+Ã�º-¼8»7¸�Ó��z � Ù ��Û Ý � ok> Þ ½�Á�Ã�¸�ÅRÆAÏ�»8Á�Ã��jÛ1� Þ Ù A r � Û1� Þ A ß Ô)ÅRÁ�»7Ã�º)¾;¸IHD¿)Õ¥À�Í��jÛ�� Þ Ù Ý Ì��] ] �"( � �"��\5��] ��� &�[Z�� w ��&"�U����\'��A���A i � x'�9��_u� Z)��Ak�/&)(,w _u]I���"( �W����\5��] ������Ù i ÛK¹�¿ ¿ � :�Î � � Þ Ì� w��<���,��� � &%& � �� Û � Þ º-ÅeÕ ��+Û � Þ ·eº Ç�¿ �+Õ5¿ »8¸;Ç�º-¼8¸;Ç�¿)¹G¸;Å � ß ¸ Ï�º)ÅeÕ�Á�ÅR¾;Í/¸ Ï A���� ��� A�;4 $�� Ì��L¿D»7¿�Ô

��� ��� ¸`¹m¼8·R¿G¾`º)»7Æ�¿O¹�¼M¿ ¸�Æ�¿ Å�Ç�º-¾;Âi¿6Á-Ï�� º Ï�¼7¿ »M¿DÓR½¾�ÂeÕ5¸�ÅRÆG¼7·R¿a¹�Äe¿)½�¸`º-¾�¿ ¸;Æ�¿ Å�Ç�º)¾;ÂR¿O¹ i � �ß � -�-�- � �ß + ß $ � Ì

¶�·R¿)¹#¿L¼8¿)¹�¼�¹ Ï�Á�»a¹#¼�º-Ài¸;¾;¸�¼#ÍHº)ÅeÕ�¹#Ã�Á�Á�¼8·RÅR¿)¹8¹6º-»8¿0��ÂR¸`½�Ê+¼7Ájº-ÄiÄR¾;Í�Ì 6RÁ�» | � Ù Û o i � � � � � o i-Þ¼8·R¿�¿ Å�¼7»7¸�¿)¹L¸�Å�� º-»7¿ ��Ù Û i � o 1 � � � Ý � � � � o 1 � i-Þ 3?C5ÔG½Á�Ã�¸;ÅiÆEÏ�»7Á�à A r � Û�� Þ A ß Ì/¶�·R¿�½�»7Âe½¸Pº-¾Õ5Á�ÂRÀR¾�¿Î#¹#·R¸ Ï�¼&¹#ÂRÀRÃ�º)¼7»8¸;Ó/Á-Ï��ɸ`¹

iC

rsssssssssssst

o 1 iÝ � � o 1 io 1 � Ý � � o 1

i o 1 � Ý �i o 1

y zzzzzzzzzzzz|

â�¸�¼7·���Ù i � �ß � o i � o - P Ý º-ÅeÕ Ý - i � -

¶�·R¿§¹�Äe¿)½¸Pº-¾�¿D¸;Æ�¿DÅ5Ç�º-¾�ÂR¿)¹�� Ù i Ô �ß º-»8¿�ÄR»8Á�Õ5Âe½¿)Õ�À�ͳ¼7·R¿ H ¿ »7Á�Á-Ï�r � Û1� Þ º-¼ � Ù C � :�Î���KÌ0� �����k#5( �q�"( � �"��\5��] ������� ��� Ù Ý - i ��& _u�%] ] & ��(*&)�'&"�[�"A�Ì�á>¼8¿ »�º)¼7¸�ÅRÆ�¼7·R¸P¹nNe¾�¼7¿ »+¸`¹BÂRÅÖ¹�¼�º)ÀR¾;¿ Ôº)¾;¼7·iÁ�ÂRÆ�·�¼7·i¿dÁ�¼7·R¿D»�Ne¾;¼8¿ »�Àeº�¹#¿)Õ�Á�ÅÒÛ i � � � � � i-Þ º)ÅeÕ Û i " � $ y � Þ � ¸P¹�Ç�¿ »7Í�¹�¼�º-ÀR¾�¿�Ì

6RÁ�»hºdÀe¿ ¼7¼8¿ »�ÄÖº-¸;»DÔ�Ã�Á)Ç�¿�Á�ÅR¿BÁ)ÏN¼7·R¿O¹�¿&Æ�Á�Á�Õ§ÏKº�½¼7Á�»�¹&Û i#" � $ y � Þ ¼7Áj¼7·R¿&Àeº�Õ NÖ¾;¼7¿D» Ì6¶�·i¿ ÅÀeÁ�¼8· Ne¾�¼7¿ »�¹�·eº Ç�¿B¼#â�Á�H ¿D»7Á�¹&º-¼ ��Ù C �

� Ù Û i � Ý � i)Þ ½Á�»8»7¿)¹#ÄmÁ�ÅeÕR¹L¼8Á �IÛ1� Þ Ù�Û i " � $ y � Þ#ß º-ÅeÕ| � Ù Û o i � Ý � 1 � Ý � o i)Þ r³Û1� Þ Ù Û i<" � $ y � Þ Û o i " � � $ y � "Y� � $ ß y � o � $ � y � Þ -

��Á)Ç�¸;ÅRÆÒºFH ¿D»7ÁÒº�ÕiÕR¹EÁ�Åi¿�Á�»�Õ5¿D»EÁ)Ï+¹#Ã�Á�Á�¼8·RÅR¿)¹8¹ ¼8Á �� Û � Þ º)ÅeÕ ¹#ÂRÀR¼7»�º�½¼�¹ Á�ÅR¿�Á�»�Õ5¿D»HÏ�»7Á�Ã� Û � Þ ÌGá1¼�Õ�¸;Ç�¸`Õ5¿)¹�� � ��� À5Í 4iÔe¹�Á/¼7·R¿+ÅR¿Dâ�� � ��� ¸`¹BÌ�Ü'4iÌG¶�·R¸`¹&Ü 3 � Äeº)¸;»�¸P¹�ÅRÁ�¼&Àeº�Õ�Ì�6RÁ�»�Ã�Á�»7¿¹#¼�º-Ài¸;¾;¸�¼#ÍEâa¿H½Dº-Å�Ã�Á)Ç�¿Bº)ÅRÁ�¼8·R¿ »H ¿ »8Á/º-¼ C Ï�»7Á�à ��Û1� Þ ¼7Á�r³Û1� Þ �

� Ù Û i � i-Þ ½�Á�»7»8¿)¹�ÄeÁ�ÅeÕR¹L¼8Á �Bº�º)»51$¹ i " � $ y � º)ÅeÕ| � Ù Û o i � i � C � C � i � o i-Þ Û i " � $ y � Þ#ß Û o i " � � $ y � "Y� � $ ß y � o � $ � y � Þ -

Ý&i

Page 22: The Search for a Good Basis Gilbert Strang Department of

7ɸ�¼7· ¼8·R¿)¹#¿�¹#¸;Ã�Äi¾;¿�ÀR¸�Åeº-»8Í�½Á�¿98§½¸;¿ Å�¼�¹�ÔA¼8·R¿�Ã/ÂR¾�¼7¸;Äi¾;¸�½ º-¼8¸;Á�Åe¹ r�mɺ-ÅeÕ �km »8¿<��ÂR¸;»8¿�Á�ÅR¾;͹#·R¸ Ï�¼�¹HÛàÅRÁ�»8Á�ÂRÅeÕ�Á'i ¿ »8»7Á�»�¹ Þ ÌO�&Æ�ÂRÍ�¿ Å�¸`¹Bº)ÄRÄR¾�Í5¸�ÅRÆ/Ne¾�¼7¿ »�¹LÁ-Ïa¼7·i¸`¹LÊ�¸;ÅeÕ�¼8Á�Ã�¿)Õ�¸`½ º)¾M¸;Ã�º)Æ�¿)¹º)ÅeÕ�¾�¿ Æ�º)¾NÕ5Á�½ÂRÃ�¿DÅ5¼�¹ÔRâ�·R¿ Å�¾;Á ¹7¹�Á-ÏG¸�Å5Ï�Á�»8Ã�º-¼8¸;Á�Å�¸`¹�ÅRÁ�¼Sº-¾�¾;Á)â�¿)Õ�Ì�¶�·R¿j¸;Ã�º)Æ�¿B¸�Å�6£¸;Æ�ÂR»7¿�4¸P¹E¹#Á�Ã�¿ â�·Öº-¼�½»7ÂeÕ�¿�Ô�·RÁ)â�¿DÇ�¿ » Ô�Àe¿)½Dº-Âe¹#¿ � Ù Û i � i-Þ ¸P¹E¹#Á ¹�·RÁ�»7¼�º)ÅeÕ ¼7·i¿�ÀeÁ)Ó Ï�ÂRÅe½�¼7¸;Á�Å� Û � Þ Ù � Û � Þ ¸P¹�ÅRÁ�¼+¹#Ã�Á�Á�¼8·MÌ =�Í�¿ Ói½�·Öº-ÅRÆ�¸;ÅRÆ � º-ÅeÕ � â�¸�¼7·M| � º-ÅeÕ�| � Ôeâ�¿jÆ�¿ ¼Sº�Àm¿D¼7¼7¿D»º)ÅeÕ�¹#Ã�Á�Á�¼8·R¿ »�Àeº�¹�¸`¹AÏ�»8Á�Ã�¼7·i¿ Ý 3 1 Äeº-¸�» Ì

6N¸;Æ�Âi»7¿k4����½»8ÂeÕ5¿+¸;Ã�º)Æ�¿BÂÖ¹�¸;ÅiÆ �Bº�º)»¥Ï�Á�»&¹�Í�Å5¼8·R¿)¹�¸P¹BÛ 1 Ý Äeº)¸;» Þ Ì

� ' $& � * $ / � ' � � � � � ��' % / /& � ,

á1¼�¸P¹�Âe¹�ÂÖº-¾M¼7Á�Ã�¿)º�¹#ÂR»7¿B¼8·R¿ � ß ÅRÁ�»8Ã�� m o �m��)Ô5Àe¿ ¼#âa¿ ¿ Å�¸�ÅRÄRÂR¼hº-ÅeÕ�Á�ÂR¼8ÄRÂR¼ ÌG¶�·i¸`¹�¸`¹�¿Oº�¹�ͼ8Á�½�Á�Ã�ÄRÂi¼7¿�ÔeÀRÂR¼+ÅRÁ�ÀmÁ�Õ�Í Àe¿ ¾�¸;¿ Ç�¿)¹�¸;ÅÒ¸;¼&��¶�·eº)¼d¿D»7»7Á�»+Ã�¿)º�¹#ÂR»7¿jÃ�¸`¹8¹�¿)¹&¼7·R¿HÏ�¿)º)¼7ÂR»8¿)¹�Ûà¾�¸;Ê�¿¿)Õ�Æ�¿)¹ Þ ¼7·eº)¼LÁ�ÂR»L¿DÍ�¿)¹�½Á�Åe¹�¸PÕ5¿ »�¸�Ã�ÄeÁ�»7¼�º-Å�¼ Ì

� ÅR¿�¹#Âe½�·�Ï�¿)º-¼8ÂR»7¿j¸`¹�w��'&%�B(,�B��Ì+á1ųº-ÂÖÕ5¸;ÁiÔMºE¾;Á�ÂeÕ³¹�¸�Æ�Åeº)¾Gº-¼&Ï�»7¿<��ÂR¿ Åe½�Í:� â�¸;¾�¾NÕ5»7Á)â�ÅѺ��ÂR¸;¿D¼�¹�¸�Æ�Åeº)¾6º)¼Bº�ÅR¿)º)»7À�ÍEÏ�»7¿?�2ÂR¿DÅe½Í�Ì�á>¼&¸`¹�¾�¸;¼8¿ »�º)¾;¾;Í�¸�Ã�ÄeÁ�¹8¹�¸;Ài¾;¿B¼8ÁE·R¿Oº-»&¼7·eº)¼B¹#¿)½Á�ÅÖÕ§ÅiÁ�¼7¿ Ì:�¸�Ã�¸;¾Pº-»8¾;Í�¼7·R¿�·5ÂRçº-ÅÒÇ5¸P¹�Âeº)¾�¹�Íi¹�¼8¿ óÔN¼7·R¿�¿DÍ�¿�º)ÅeÕ�¼7·R¿�Ài»�º-¸�ÅMÔ6â�¸;¾�¾GÆ�Á)Ç�¿ »7ÅÑâ�·eº-¼jâ�¿�¹#¿ ¿Û�Á�»�â�·Öº-¼�â�¿S¼7·R¸�ÅRÊEâa¿B¹#¿ ¿ Þ ÌV7 ¿+½�¾;Á�¹#¿B¼7·i¸`¹AÄÖº-Äe¿ »�â�¸�¼7·�¿DÓRº)Ã�ÄR¾;¿O¹TÁ)ÏNÂRÅeÕ5¿O¹�¸;»�º-ÀR¾�¿+º-»8¼7¸<ÏKº�½¼�¹

Ý�Ý

Page 23: The Search for a Good Basis Gilbert Strang Department of

Ï�»8Á�Ã˽Á�Ã�ÄR»7¿)¹8¹�¸�Á�ÅMÌ : Á�Ã�¿ ¼8¸;Ã�¿O¹Tâa¿HÊ�ÅRÁ)⦷RÁ)â�¼7Á�º Ç�Á�¸`Õ�º+NÖ¾;¼7¿D»HÛKºE½�·eº-ÅiÆ�¿HÁ)ÏaÀeº�¹#¸`¹ Þ ¼7·Öº-¼ÄR»8Á�Õ5Âe½¿O¹¥¼8·R¿jº-»7¼8¸ ÏKº�½¼ Ì���������������� �� ¶�·R¿�¾�Á)â�Äeº�¹8¹6¹�Í�Å5¼8·R¿)¹#¸`¹�Ne¾�¼7¿ »�� � ¸P¹£¼7Á�Áj¹#·RÁ�»8¼ Ì6¶�·i¿&¹7½ º)¾;¸;ÅiÆLÏ�ÂRÅe½¼8¸;Á�Å � Û � Þ¸P¹�»7Á�ÂRÆ�·MÔ�º-ÅÖÕ§âa¿j¹�¿ ¿+¸;¼�¹ E7ÂRÃ�Äe¹GÃEÂÖ½�·/¼7Á�Á�½�¾;¿)º)»7¾;Í�ºOÏ�¼8¿ »&½Á�Ã�ÄR»7¿O¹7¹�¸�Á�ųÛg6£¸;Æ�ÂR»7¿k4 Þ Ì��� - ��� ���� �� ¶�·R¿/·R¸;Æ�·RÄeº�¹8¹H¹#Í5Å�¼7·R¿O¹�¸`¹ Ne¾�¼7¿ » � � ¸P¹«¼8Á�Á�¾�Á�ÅRÆÒÛ�P�½Á�¿98§½¸;¿DÅ5¼�¹L¸;ÅD6£¸�Æ�ÂR»8¿

Ü Þ Ì���¸;ÅRÆ�¸;ÅRÆS¸`¹G¹�¸�Æ�ÅR¸^N�½ º-Å�¼Gº)»7Á�ÂiÅeÕ�¹�·Öº-»7Ä/¿)Õ5Æ�¿)¹Ô�â�·R¿DÅ�½Á�Ã�ÄR»8¿)¹7¹#¸;Á�Å/Õ�¿ ¾;¿ ¼8¿)¹M¼7·R¿&·R¸;Æ�·Ï�»8¿<��ÂR¿ Åe½¸�¿)¹Ì

����������������������������� �� ¶�·R¿§º-Åeº)¾;Íi¹�¸`¹ NÖ¾;¼7¿D»�¹Or � º-ÅeÕ;r � ÅR¿D¿)Õ ¼7Á ¹�¿ ÄÖº-»�º)¼7¿�¾�Á)â º-ÅeÕ·i¸;Æ�·/Ï�»7¿<��ÂR¿ Åe½�¸;¿)¹�Ì£ÐG¹#Äm¿O½¸`º)¾;¾;Í�âa¿BÅR¿ ¿OÕ r � Û C£Þ Ù ��º-ÅeÕ r � Û�� Þ Ù4��ÔR¼7Á�º Ç�Á�¸`ÕE¾�¿)º-Ê�º-Æ�¿Á)ÏG·R¸�Æ�·Òº-ÅÖÕ�¾;Á)â Ï�»8¿<��ÂR¿ Åe½¸�¿)¹�¸;Å�¼7Á/¼7·i¿Hâ�»7Á�ÅRÆ�½�·eº-ÅiÅR¿ ¾1Ìh¶�·R¸`¹�¾;¿)º)Ê�º-Æ�¿�Äi»7Á�Õ5Âe½�¿)Õ�¼8·R¿½�·R¿)½�Ê�¿ »8ÀmÁ º-»�Õ�º-»8¼7¸ ÏKº�½¼�¸;Å�6£¸�Æ�ÂR»8¿ 1 Ì

� Ç�¿ »�º)¾;¾KÔ2âa¿Bâ�º)Å5¼�¼8Á�ÄR»7¿O¹�¿ »8Ç�¿B¼7¿ Ó�¼7Âi»7¿�Û�·R¸;Æ�· � Þ À5Í�¹�·RÁ�»7¼�Ï�ÂRÅe½¼8¸;Á�Åe¹Ì�¦¹#Ã�Á�Á�¼8·�Àeº�½�Ê2ÎÆ�»7Á�ÂiÅeÕ Û�¾;Á)â � Þ ÅR¿D¿)ÕR¹E¾�Á�ÅRÆ Ï�ÂiÅe½¼7¸�Á�Åe¹�Ìq¶�·i¸`¹E¸P¹E¿ Óiº�½¼8¾;Í â�·eº-¼�¼7·R¿³âhºOÇ�¿D¾;¿ ¼�¼8»�º-ÅÖ¹>Ï�Á�»8ÃÄR»8Á�Ã�Á�¼7¿)¹;��¶�·R¿�¸;¼7¿D»�º-¼8¸;Á�Å Á)Ï&¼7·R¿/¾;Á)â�Äeº�¹7¹ Ne¾�¼7¿ »+º)ÂR¼7Á�Ã�º-¼8¸`½ º)¾;¾�Í�¾;¿DÅRÆ�¼8·R¿ Åe¹+¼7·R¿/Àeº�¹#¸`¹+Ç�¿)½�μ8Á�»�¹�ÔRâ�·R¸;¾�¿B¼7·i¿d·i¸;Æ�·iÄeº�¹8¹ Ne¾�¼7¿ »h¹�¼8Á�Äe¹&¹�·RÁ�»7¼jÛàÅRÁ�¸�¼7¿ »�º-¼8¸;Á�Å Þ ÌGá1Å�¼7·R¿B¾Pº-ÅRÆ�Âeº-Æ�¿HÁ)ÏGâ�º Ç�¿)¹�Ô2âa¿ÅR¿D¿)Õ×¼8Á�Á�Àe¹#¿ »7Ç�¿�º�¾�Á�ÅRÆ�â�º Ç�¿�Ï�Á�»jº�¾�Á�ÅRÆ�¼8¸;Ã�¿�ÌI¶�·R¿�¼7¸�Ã�¿Î�Ï�»7¿<��ÂR¿ ÅÖ½Í�ÄR¾Pº-ÅR¿/¸`¹�Û1º)ÄRÄR»8Á-Ó�¸ ÎÃ�º)¼7¿ ¾�Í Þ Äeº-»8¼7¸�¼7¸;Á�ÅR¿)ÕH¸�Å5¼8ÁL¼8·R¿�»8¿)½¼�º)ÅRÆ�¾�¿)¹M¸;Å�6N¸;Æ�Âi»7¿ � Ì��L¿ ¸P¹�¿ Å�Àe¿ »7Æ�1$¹��LÅe½�¿ »7¼�º-¸;Å�¼#Í��6»7¸�Åe½¸;Äi¾;¿Ï�Á�»7ÀR¸PÕR¹�½Á�Ã�Äeº�½¼h¹�ÂRÄiÄmÁ�»7¼B¸�Å�ÀmÁ�¼7·�¼7¸;Ã�¿Bº)ÅeÕ§Ï�»8¿<�2Âi¿ Åe½Í�Ì

¶�·R¿&½Á�Ã�Äe¿ ¼7¸�¼7¸�Á�Å+Àe¿ ¼#â�¿ ¿ ÅI½Á�¹#¸;ÅR¿�¼8»�º)Åe¹>Ï�Á�»7Ã�¹6º)ÅeÕHâ�º Ç�¿ ¾�¿ ¼M¼7»�º-Åe¹1Ï�Á�»8Ã�¹£¸`¹�½¿ »7¼�º-¸�ÅR¾;ÍBÅiÁ�¼Á)Ç�¿ »�ÛKº-ÅeÕ³Ç�¸`Õ5¿ Á�¸`¹+º�Àeº-¼8¼7¾;¿DÆ�»7Á�ÂRÅeÕ Þ Ì 6RÁ�»jÕRº Í�Î1¼8Á-Î>ÕRº ͳÄR»7Á�Õ�Âe½¼7¸�Á�Å º)ÅeÕ³¾;Á)â ½Á�Ã�ÄR»8¿)¹7¹#¸;Á�Å»�º-¼7¸�Á�¹�Ô2¼8·R¿ 6ÖÁ�ÂR»7¸�¿ »6Ã�¿D¼7·RÁ�ÕR¹�º-»7¿�ÏKº�¹#¼aº-ÅeÕ�ÄR»�º�½¼7¸P½ º-¾KÌj7Ѻ Ç�¿ ¾;¿ ¼�¹£½Dº-Å/Ã�¿ ¿ ¼�ºBÃ�Á�»8¿&Õ5¿ Ã�º)ÅeÕ2θ�ÅRÆj½�·eº)¾;¾�¿ ÅRÆ�¿ Ì£¶�·i¿�¿ Ó5¼8¿ Åe¹#¸;Á�ÅÖ¹Aº)ÅeÕ/½Á�Ã/ÀR¸;ÅÖº-¼7¸�Á�Åe¹N¹�ÂÖ½�·/º�¹ @&¿ Å � � ¶¦Û1Õ5¿O¹7½»8¸;Àe¿)ÕH¸;Å � :�Î ��� Þº)»7¿+Æ�¸�Ç5¸�ÅRÆ�¸;Ã�º)Æ�¿+½�Á�Ã�ÄR»8¿)¹7¹#¸;Á�Å�Á-ÏG»8¿ Ã�º)»7Ê�º-ÀR¾�¿0��Âeº)¾;¸;¼#Í�Ì

ÝB�

Page 24: The Search for a Good Basis Gilbert Strang Department of

6N¸;Æ�Âi»7¿jÜW� �¥¸�ÅRÆ�¸�ÅRÆ/º-»8Á�ÂRÅÖÕ�¿)Õ5Æ�¿)¹AÏ�»7Á�Ã˺H¾;Á�ÅiÆ�¹#Í5Å�¼7·R¿O¹�¸`¹UNÖ¾;¼7¿D» Ì

6£¸�Æ�ÂR»8¿ 1 � �G·R¿)½�Ê�¿ »8ÀmÁ º-»�Õ5¸;ÅRÆ��G¶�·R¿ � �ɼ8¿ »7à ¾;¿)º)ÊR¹�¸�Å5¼8Á�¼7·R¿+·R¸�Æ�·RÄÖº�¹7¹&½�·eº-ÅRÅi¿ ¾1Ì

Ý 4

Page 25: The Search for a Good Basis Gilbert Strang Department of

time

frequency

6N¸;Æ�Âi»7¿ ��� ���')(�9$(�"#�G,��$(�9���"#�<*B(��`��01(�f���(� �!�,�01(�!�"7�) �=)9$(���o��6�� ��#"8�) -"G�)01(���:����1?�:����?�3��� ��S¯��+­³´����� �6Î � ���+Ì �GÁ�¸ Ï�Ã�º)Å�º-ÅÖÕ ��Ì���¿DÍ�¿ » Ô���¿ Ã�º)»%��ÂR¿)¹6¹#ÂR»�¾�1�º-Åeº)¾;Íi¹�¿SÕ5¿k6RÁ�Âi»7¸;¿D»��º«Ï�¿DÅ �¿ ¼7»8¿�Ô�� ��� �

��%� ��� � �5( � ��A9(*& ��� � Û i P�P i-Þ Ô Ý Ü�P Ý�1&i Ì� ��� á1ÅRÆ�»8¸`Õ �Bº)ÂRÀe¿)½�·i¸;¿)¹�ÔR¶M¿ Å �e¿)½¼7Âi»7¿)¹�Á�ÅF7ѺOÇ�¿D¾;¿ ¼�¹Ô ��� ��� Û i PBP Ý2Þ Ì� �LÁ�� �HÌ �LÁ�ÅiÁ�·RÁiÔ �L¿ÎKÅRÁ�¸`¹�¸�ÅRÆ�À�ͳ¹#Á-Ï�¼B¼8·R»7¿)¹#·RÁ�¾PÕ5¸;ÅiÆRÔ ������� ��A ����& � � ��Z �0� � � � � Û i PBP�Ü Þ Ô

1Bi)� 1�Ý � Ì�{� � �HÌ�:eÌ��³º)¾;Ç�º-»DÔW:�¸;Æ�Åeº-¾ �T»8Á�½¿)¹8¹�¸;ÅiÆdâ�¸�¼7· ��º)ÄRÄe¿)ÕE¶M»�º)Åe¹>Ï�Á�»7Ã�¹�Ô � A�� �f���"!n�,��&<�+Û i PBP Ý�Þ Ì�{�³º � :�¼��¿ ÄR·eº)ÅR¿ �³º-¾�¾`º-¼DÔ ¼7·R¿ Á�»7Í�Ï�Á�»�Ã/ÂR¾;¼8¸;»8¿)¹�Á�¾;ÂR¼8¸;Á�Å ¹#¸;Æ�ÅÖº-¾�Õ5¿O½Á�Ã�ÄeÁ ¹�¸;¼8¸;Á�Å2� ¶�·R¿

â�º Ç�¿ ¾�¿ ¼6»8¿ ÄR»7¿O¹�¿ Å�¼�º)¼7¸;Á�ÅMÔ ������� ��Af��� & � ��� ����� Û i P�CBP Þ Ô 1 �54-Î 1 P � Û1¹#¿ ¿+º)¾`¹�ÁY��A ����& ���� � � ��# Û i PBC�P Þ Ô 1 P C � Þ Ì

�{��¿ � �BÇ�¿)¹ ��¿ Í�¿ »DÔ 7Ѻ Ç�¿ ¾;¿D¼�¹9� L¾;Æ�Á�»8¸;¼7·iÃ�¹Gº-ÅeÕ�LÄRÄR¾�¸`½ º)¼7¸;Á�Åe¹Ô ��� ��� Û i P�P ��Þ Ì�{�hÎ � � � ¾;¸�Ç5¸�¿ »V��¸;Á�ÂR¾eº)ÅeÕ �³º-»8¼7¸�Å �A¿D¼7¼7¿D»7¾;¸KÔ'7Ѻ Ç�¿ ¾;¿D¼�¹6º)ÅeÕE¹#¸;Æ�Åeº-¾eÄR»8Á�½¿)¹7¹#¸;ÅRÆiÔ ������� � ( ������]

A �<� �$�D�5����Û i P�P i-Þ Ô i 4 � C5Ì� :�Î = � ��Ì�%RÌ�¶BÌ0:�Ã�¸;¼7· º-ÅeÕ ¶BÌ=�º-»8Å5âa¿ ¾;¾KÔLÐ6Óiº�½¼�»7¿)½Á�Åe¹�¼8»7Âe½�¼7¸;Á�Å ¼8¿)½�·RÅR¸,��ÂR¿)¹HÏ�Á�»�¼8»7¿ ¿Î

¹�¼8»7Âe½�¼7ÂR»8¿)Õ�¹�ÂRÀRÀÖº-ÅeÕ�½Á�Õ5¿ »�¹Ô ������� ��Af��� & � � � � � � Û i P�C 12Þ Ô 4 � 4 4�4 i ÌÝ Ü

Page 26: The Search for a Good Basis Gilbert Strang Department of

� :�· � %RÌ ��Ì :�·Öº-ÄR¸�»7ÁRÔeÐ6Ã/Àe¿)ÕRÕ5¿)ÕH¸�Ã�º-Æ�¿B½�Á�Õ5¸;ÅRÆ�ÂÖ¹�¸;ÅiÆ�H ¿ »7Á�¼7»8¿ ¿)¹6Á-Ï�â�º Ç�¿ ¾�¿ ¼G½Á�¿98§½¸�¿ Å5¼�¹�Ô������� ��A ��� & � � ( ������] Af�<� � � � Û i P�P �2Þ Ô � 4B4�Ü � 4 1�Ý Ì

� :�Î �0� @&¸;¾�Àm¿D»7¼F:�¼8»�º)ÅRÆɺ)ÅeÕ¦¶M»7ÂRÁ�ÅRÆ �LÆ�ÂiÍ�¿ ÅMÔ 7Ѻ Ç�¿ ¾;¿D¼�¹�º)ÅeÕ 6N¸;¾;¼8¿ »�=�º)ÅRÊR¹�ÔDSK�%] ]I� &"]I� � �����w�#5A"( �5�W� A%� &%&/Û i P�P 1�Þ Ì

� :�â � 7ɸ;Ã}:�âa¿ ¾`Õ5¿DÅe¹Ô�¶�·R¿G¾;¸<Ï�¼7¸;ÅiÆ&¹7½�·R¿ Ã�¿�Ô � _�_u] � ����w _ ��� � !k��A"w�����(,� � ����] �5&)(*& � Û i PBP 1�Þ Ôi C 1 Ý ��� ��¹�¿D¿�º)¾`¹�ÁÒá�Ì �Sº-ÂRÀe¿)½�·R¸;¿O¹Hº-ÅÖÕs7ɸ;à :�âa¿ ¾`Õ�¿ Åe¹Ô 6eº�½�¼7Á�»8¸;ÅRÆ�â�º Ç�¿ ¾�¿ ¼B¼7»�º-Åe¹1ÎÏ�Á�»8Ã�¹A¸�Å5¼8Á�¾;¸<Ï�¼7¸;ÅiÆ�¹�¼8¿ Äe¹�ÔR¼7Á�º-ÄRÄe¿)º)» Ì

� ��� ��Ì �LÅe¹#¿ » ÔkLÄiÄR»7Á)Ó�¸;Ã�º)¼7¸;Á�Å ÄeÁ)â�¿ »�Á-Ï/ÀR¸�Á�»8¼7·RÁ�Æ�Á�ÅÖº-¾�â�º Ç�¿ ¾�¿ ¼�¿ Ó�Äeº)Åe¹�¸�Á�Åe¹�Ô ���������A ��� & � � ( ������] A �<� � ��� Û i P�P 12Þ ÔNÜ i P 2Ü Ý � �6¹#¿ ¿/º-¾P¹�Á���Ì �LÅe¹#¿ »Sº-ÅeÕ³á�Ì �Bº-ÂRÀe¿)½�·R¸�¿)¹Ô� ÅE¼8·R¿Sº-ÄRÄR»8Á)Ó5¸�Ã�º-¼8¸;Á�Å�ÄeÁ)â�¿D»�Á-Ï�½�Á�Å�Ç�Á�¾;Âi¼7¸;Á�Å5ÎKÀeº�¹#¿)Õ ¾�¿)º�¹#¼a¹ ��Âeº-»8¿)¹AÇ�¿ »�¹�Âe¹6¸�Å5¼8¿ »7ÄeÁ-ξ`º)¼7¸�Á�ÅMÔ ������� ��A ��� & � � ( ������] A �<� �<Ô�¼7Á�º-ÄRÄe¿)º)» Ì

��� � �£Ì �£Ì �aº-¸`Õ�Í�º-Åeº)¼7·eº)ÅMÔ ��ÂR¾;¼8¸;»�º)¼7¿:�ÍR¹#¼7¿ ç¹6º-ÅeÕX6£¸�¾;¼7¿D»�=�º-ÅRÊi¹Ô A����W��(,�9� � !k��] ]GÛ i PBP Ý�Þ Ì���LÎ�� ����Ì �A¿D¼7¼7¿D»7¾;¸hº-ÅeÕ %RÌ��«Á)Ç�º�½�¿ Ç5¸P½�Ô�7�º Ç�¿ ¾�¿ ¼�¹/º-ÅeÕ : ÂRÀRÀeº)ÅeÕ �GÁ�Õ�¸;ÅRÆiÔ A��"� ��(,�9��� !k��] ]

Û i P�P�Ü Þ Ì� 7ɸ�� ��Ì �IÌ�7ɸ`½�Ê�¿ »7·eº)Âe¹�¿D» Ô BÕRº)ÄR¼7¿)Õ 7Ѻ Ç�¿ ¾;¿ ¼ LÅeº)¾;Íi¹�¸`¹AÏ�»8Á�Ã�¶�·i¿ Á�»8Í�¼8Á :�Á-Ï�¼#âhº-»7¿ Ô ���

�%� �"Ah&/Û i PBP'4 Þ Ì

Ý 1