Lax,.Linear.algebra.and.Its.applications,.2ed,.Wiley,.2007,.394s

7/28/2019 Lax,.Linear.algebra.and.Its.applications,.2ed,.Wiley,.2007,.394s

1/393

( F W I L E Y

L I N E A R A L G E B R AA N D I T S A P P L I C A T I O N S S e c o n d E d i t i o n

a i mP u r e a n d A p p l i e d M o r h e m o t i c s :A W i l e y - l a t e r s c i e n c a S e r i e s o f T e x t s , M o n o g r a p h s , a n d T r a c t s


2/393

L i n e a r A l g e b r a a n d I t sA p p l i c a t i o n s


3/393

i ;1 8 0 7: , 1 9 W I L E Y ! zw 2 0 0 7' e r e r r f i t i . h

T H E W I L E Y B I C E N T E N N I A L - K N O W L E D G E F O R G E N E R A T I O N S( S a c h g e n e r a t i o n h a s i t s u n i q u e n e e d s a n d a s p i r a t i o n s . W h e n C h a r l e s W i l e y f i r s t

o p e n e d h i s s m a l l p r i n t i n g s h o p i n l o w e r M a n h a t t a n i n 1 8 0 7 . i t w a s a g e n e r a t i o no f b o u n d l e s s p o t e n t i a l s e a r c h i n g f o r a n i d e n t i t y . A n d w e w e r e t h e r e , h e l p i n g t od e f i n e a n e w A m e r i c a n l i t e r a r y t r a d i t i o n . O v e r h a l f a c e n t u r y l a t e r , i n t h e m i d s to f t h e S e c o n d I n d u s t r i a l R e v o l u t i o n , i t w a s a g e n e r a t i o n f o c u s e d o n b u i l d i n g t h ef u t u r e . O n c e a g a i n , w e w e r e t h e r e , s u p p l y i n g t h e c r i t i c a l s c i e n t i f i c , t e c h n i c a l , a n de n g i n e e r i n g k n o w l e d g e t h a t h e l p e d f r a m e t h e w o r l d . T h r o u g h o u t t h e 2 0 t hC e n t u r y , a n d i n t o t h e n e w m i l l e n n i u m , n a t i o n s b e g a n t o r e a c h o u t b e y o n d t h e i ro w n b o r d e r s a n d a n e w i n t e r n a t i o n a l c o m m u n i t y w a s b o r n . W i l e y w a s t h e r e ,e x p a n d i n g i t s o p e r a t i o n s a r o u n d t h e w o r l d t o e n a b l e a g l o b a l e x c h a n g e o f i d e a s ,o p i n i o n s , a n d k n o w - h o w .F o r 2 0 0 y e a r s , W i l e y h a s b e e n a n i n t e g r a l p a r t o f e a c h g e n e r a t i o n ' s j o u r n e y ,e n a b l i n g t h e f l o w o f i n f o r m a t i o n a n d u n d e r s t a n d i n g n e c e s s a r y t o m e e t t h e i r n e e d sa n d f u l f i l l t h e i r a s p i r a t i o n s . T o d a y , b o l d n e w t e c h n o l o g i e s a r e c h a n g i n g t h e w a yw e l i v e a n d l e a r n . W i l e y w i l l b e t h e r e , p r o v i d i n g y o u t h e m u s t - h a v e k n o w l e d g ey o u n e e d t o i m a g i n e n e w w o r l d s , n e w p o s s i b i l i t i e s , a n d n e w o p p o r t u n i t i e s .G e n e r a t i o n s c o m e a n d g o , b u t y o u c a n a l w a y s c o u n t o n W i l e y t o p r o v i d e y o u t h ek n o w l e d g e y o u n e e d , w h e n a n d w h e r e y o u n e e d i t !

W I L L I A M J . P E S C E P E T E R B O O T H W I L E YP R E S I D E N T A N D C H I E F E X E C L m v E O F F I C E R C H A I R M A N O F T H E B O A R D


4/393

L i n e a r A l g e b r a a n d I t sA p p l i c a t i o n sS e c o n d E d i t i o n

P E T E R D . L A XN e w Y o r k U n i v e r s i t yC o u r a n t I n s t i t u t e o f M a t h e m a t i c a l S c i e n c e sN e w Y o r k , N Y

I e [ N r [ N N S A L1 8 0 7

" * W I L E Y2 0 0 7 !a l e [ N v [ N N 1 1 1 L CW I L E Y - L N T E R . S C I E N C EA J O H N W I L E Y & S O N S , I N C . , P U B L I C A T I O N


5/393

C o p y r i g h t C l 2 0 0 7 b y J o h n W i l e y & S o n s , I n c . , H o b o k e n , N e w J e r s e y . A l l r i g h t s r e s e r v e d .P u b l i s h e d s i m u l t a n e o u s l y i n C a n a d a .

N o p a n o f t h i s p u b l i c a t i o n m a y b e r e p r o d u c e d , s t o r e d i n a r e t r i e v a l s y s t e m o r t r a n s m i t t e d i n a n y f o r m o rb y a n y m e a n s , e l e c t r o n i c , m e c h a n i c a l , p h o t o c o p y i n g , r e c o r d i n g , s c a n n i n g o r o t h e r w i s e , e x c e p t a sp e r m i t t e d u n d e r S e c t i o n s 1 0 7 o r 1 0 8 o f t h e 1 9 7 6 U n i t e d S t a t e s C o p y r i g h t A c t , w i t h o u t e i t h e r t h ep r i o r w r i t t e n p e r m i s s i o n o f t h e P u b l i s h e r , o r a u t h o r i z a t i o n t h r o u g h p a y m e n t o f t h e a p p r o p r i a t ep e r c o p y f e e t o t h e C o p y r i g h t C l e a r a n c e C e n t e r , 2 2 2 R o s e w o o d D r i v e , D a n v e r s , M A 0 1 9 2 3 ,( 9 7 8 ) 7 5 0 - 8 4 0 0 , f a x ( 9 7 8 ) 7 5 0 . 4 7 4 4 . R e q u e s t s t o t h e P u b l i s h e r f o r p e r m i s s i o n s h o u l d b e a d d r e s s e dt o t h e P e r m i s s i o n s D e p a r t m e n t , J o h n W i l e y & S o n s , I n c . , 6 0 5 T h i r d A v e n u e , N e w Y o r k , N Y 1 0 1 5 8 - 0 0 1 2 ,( 2 1 2 ) 8 5 0 - 6 0 1 1 , f a x ( 2 1 2 ) 8 5 0 - 6 0 0 8 , E - M a i l : P E R M R E Q C O W I L E Y . C O M .F o r o r d e r i n g a n d c u s t o m e r s e r v i c e , c a l l 1 - 8 0 0 - C A L L - W I L E Y .W i l e y B i c e n t e n n i a l L o g o : R i c h a r d J . P a c i f i c oL i b r a r y o f C o n g r e s s C a t a l o g i n g - i n - P u b l i c a t i o n D a t a :L a x , P e t e r D .L i n e a r a l g e b r a a n d i t s a p p l i c a t i o n s / P e t e r D . L a x . - 2 n d e d .p . c m . - ( P u r e a n d a p p l i e d m a t h e m a t i c s . A W i l e y - I n t e r s c i e n c e o f t e x t s , m o n o g r a p h s a n d t r a c t s )P r e v i o u s e d . : L i n e a r a l g e b r a . N e w Y o r k : W i l e y , c 1 9 9 7 .

I n c l u d e s b i b l i o g r a p h i c a l r e f e r e n c e s a n d i n d e x .I S B N 9 7 8 - 0 - 4 7 1 - 7 5 1 5 6 - 4 ( c l o t h )

1 . A l g e b r a s , L i n e a r . 1 . L a x , P e t e r D . L i n e a r a l g e b r a . 1 1 . T i t l e .Q A I 8 4 . 2 . L 3 8 2 0 0 85 1 2 ' . 5 - d c 2 2

2 0 0 7 0 2 3 2 2 6

P r i n t e d i n t h e U n i t e d S t a t e s o f A m e r i c a1 0 9 8 7 6 5 4 3 2 I


6/393

C o n t e n t s

P r e f a c eP r e f a c e t o t h e F i r s t F d i t i n n1 . F u n d a m e n t a l sL i n e a r S p a c e , I s o m o r p h i s mS u b s p a c e

L i n e a r D e p e n d e n c eB a s i s , D i m e n s i o nQ u o t i e n t S p a c e2 . D u a l i t yL i n e a r F u n c t i o n sD u a l o f a L i n e a r S p a c eA n n i h i l a t o rC o d i m e n s i o n

Q u a d r a t u r e F o r m u l a3 . L i n e a r M a p p i n g sD o m a i n a n d T a r g e t S p a c eN u l l s p a c e a n d R a n g eF u n d a m e n t a l T h e o r e mU n d e r d e t e r m i n e d L i n e a r S y s t e m sI n t e r p o l a t i o n

D i f f e r e n c e E q u a t i o n sA l g e b r a o f L i n e a r M a p p i n g sD i m e n s i o n o f N u l l s p a c e a n d R a n g eT r a n s p o s i t i o nS i m i l a r i t yP r o j e c t i o n s

4 . M a t r i c e sR o w s a n d C o l u m n sM a t r i x M u l t i p l i c a t i o n

1 31 3

1 4L1 7

v


7/393

v i C O N T E N T ST r a n s p o s i t i o nR a n kG a u s s i a n E l i m i n a t i o n

5 . D e t e r m i n a n t a n d T r a c eO r d e r e d S i m p l i c e sS i g n e d V o l u m e . D e t e r m i n a n tP e r m u t a t i o n G r o u pF o r m u l a f o r D e t e r m i n a n tM u l t i p l i c a t i v e P r o p e r t yL a p l a c e E x p a n s i o nC ' r a m e r ' c R u l eT r a c e6 . S p e c t r a l T h e o r yI t e r a t i o n o f L i n e a r M a p sE i g e n v a l u e s . E i g e n v e c t o r sF i h o n a c c i S e q u e n c eC h a r a c t e r i s t i c P o l y n o m i a lT r a c e a n d D e t e r m i n a n t R e v i s i t e dS p e c t r a l M a p p i n g T h e o r e mC a y l e y - H a m i l t o n T h e o r e mG e n e r a l i z e d E i g e n v c c t o r sS p e c t r a l T h e o r e mM i n i m a l P o l y n o m i a lW h e n A r e T w o M a t r i c e s S i m i l a rC o m m u t i n g M a p s

7 - E u c l i d e a n S t r u c t u r eS c a l a r P r o d u c t . D i s t a n c eS c h w a r g I n e q u a l i t yO n h o n o r m a l B a s i sG r a m - S c h m i d tO r t h o g o n a l C o m p l e m e n tO r t h o g o n a l P r o j e c t i o nA d j o i n sO v e r d e t e r m i n e d S y s t e m sI s o m e t r yT h e O r t h o g o n a l G r o u pN o r m o f a L i n e a r M a pC o m p l e t e n e s s L o c a l C o m p a c t n e s sC o m p l e x E u c l i d e a n S t r u c t u r eS p e c t r a l R a d i u sH i l h e r t - S c h m i d t N o r mC r o s s P r o d u c t


8/393

C O N T E N T S v i i8 . S p e c t r a l T h e o r y o f S e l f - A d i o i n t M a p p i n g s 1 0 1

Q u a d r a t i c F o r m s 1 0 2L a w o f I n e r t i a A nS p e c t r a l R e s o l u t i o n 1 0 5C o m m u t i n g M a p s 1 1 1A n t i - S e l f - A d j o i n t M a p s 1 1 2N o r m a l M a p s 1 1 2R a y l e i g h Q u o t i e n t 1 1 4M i n m a x P r i n c i p l e 1 1 6N o r m a n d E i g e n v a l u e s 1 1 9

9 . C a l c u l u s o f V e c t o r - a n d M a t r i x - V a l u e d F u n c t i o n s mC o n v e r g e n c e i n N o r m 1 2 1R u l e s o f D i f f e r e n t i a t i o n 1 1 1D e r i v a t i v e o f d e t A ( r ) 1 2 6M a t r i x E x p o n e n t i a l 1 2 8S i m p l e E i g e n v a l u e s 1 2 9

M u l t i p l e E i g e n v a l u e s 1 3 5R e l l i c h ' s T h e o r e m 1 4 4A v o i d a n c e o f C r o s s i n g 1 4 01 0 . M a t r i x I n e q u a l i t i e s 1 4 3P o s i t i v e S e l f - A d j o i n t M a t r i c e s 1 4 3M o n o t o n e M a t r i x F u n c t i o n s 1 . 5 . 1G r a m M a t r i c e s 1 . 5 2S c h u r ' s T h e o r e m 1 . 5 . 3T h e D e t e r m i n a n t o f P o s i t i v e M a t r i c e s 1 5 4I n t e g r a l F o r m u l a f o r D e t e r m i n a n t s 1 5 7

E i g e n v a l u e s 1 6 ( )S e p a r a t i o n o f E i g e n v a l u e s 1 6 1W i e l a n d t - H o f f m a n T h e o r e m 1 AS m a l l e s t a n d L a r g e s t E i g e n v a l u e 1 6 6M a t r i c e s w i t h P o s i t i v e S e ] f - A d j o i n t P a r t 1 6 7P o l a r D e c o m p o s i t i o n 1 6 9S i n g u l a r V a l u e s 1 7 0S i n g u l a r V a l u e D e c o m p o s i t i o n 1 7 0

1 1 . K i n e m a t i c s a n d D y n a m i c s 1 7 2A x i s a n d A n g l e o f R o t a t i o n 1 7 2R i g i d M o t i o n 1 7 3A n g u l a r V e l o c i t y V e c t o r 1 7 6F l u i d F l o w 1 2C u r l a n d D i v e r g e n c e 1 7 9S m a l l V i b r a t i o n s i a nC o n s e r v a t i o n o f E n e r g y 1 8 2F r e q u e n c i e s a n d N o r m a l M o d e s 1 8 4


9/393

v i i i C O N T E N T S1 2 . C o n v e x i t y 1 8 7

C o n v e x S e t s 1 8 7G a u g e F u n c t i o n 1 8 8H a h n - B a n a c h T h e o r e m 1 9 1S u p p o r t F u n c t i o n 1 9 3C a r a t h e o d o r v ' s T h e o r e m 1 9 5K o n i g - B i r k h o f f T h e o r e m 1 9 8H e l l y ' s T h e o r e m 1 9 91 3 . T h e D u a l i t y T h e o r e m 2 0 2F a r k a s _ M i n k o w s k i T h e o r e m 2 0 3D u a l i t y T h e o r e m 2 0 6

E c o n o m i c s I n t e r p r e t a t i o n 2 0 8M i n m a x T h e o r e m 2 1 5 11 4 . N o r m e d L i n e a r S p a c e s 2 1 4N o r m 2 1 4h N o u n s 2 1 5E q u i v a l e n c e o f N o r m s 2 1 7C o m p l e t e n e s s 2 1 9L o c a l C o m p a c t n e s s 2 1 9T h e o r e m o f F . R i c s z 2 1 9D u a l N o r m 2 2 2D i s t a n c e f r o m S u b s p a c e 2 2 3N o r m e d Q u o t i e n t S p a c e 2 2 4C o m p l e x N o r m e d S p a c e s 2 2 6C o m p l e x H a h n - B a n a c h T h e o r e m 2 2 6C h a r a c t e r i z a t i o n o f E u c l i d e a n S p a c e s 2 2 71 5 . L i n e a r M a p p i n g s B e t w e e n N o r m e d L i n e a r S p a c e s 2 2 9N o r m o f a M a p p i n g 2 3 0N o r m o f T r a n s p o s e 2 3 1N o r m e d A l g e b r a o f M a p s 2 3 2i n v e r t i b l e M a p s 2 3 3S p e c t r a l R a d i u s 2 3 61 6 . P o s i t i v e M a t r i c e s 2 3 7P e r r o n ' s T h e o r e m 2 3 7S t o c h a s t i c M a t r i c e s 2 4 0F r o h e n i u s ' T h e o r e m 2 4 31 7 . H o w t o S o l v e S y s t e m s o f L i n e a r E q u a t i o n s 2 4 6H i s t o r y 2 4 6C o n d i t i o n N u m b e r 2 4 1 EI t e r a t i v e M e t h o d s 2 4 . 8 .S t e e p e s t D e s c e n t 2 4 9

C h e b y c h e v I t e r a t i o n 2 5 2


10/393

C O N T E N T S i xT h r e e - t e r m C h e b y c h e v I t e r a t i o n 2 5 5O p t i m a l T h r e e - T e e n R e c u r s i o n R e l a t i o n 2 5 6R a t e o f C o n v e r g e n c e 2 6 1

1 8 . H o w t o C a l c u l a t e t h e E i g e n v a l u e s o f S e i f - A d j o i n t M a t r i c e s 2 6 2Q R F a c t o r i z a t i o n 2 6 2U s i n g t h e Q R F a c t o r i z a t i o n t o S o l v e S y s t e m s o f E q u a t i o n s 2 6 3T h e Q R A l g o r i t h m f o r F i n d i n g E i g e n v a l u e s 2 6 3H o u s e h o l d e r R e f l e c t i o n f o r O R F a c t o r i z a t i o n 2 6 6T r i d i a g o n a l F o r n i 2 6 7A n a l o g y o f Q R A l g o r i t h m a n d T o d a F l o w 2 6 9M n e e r ' x T h e o r e m 2 2 3M o r e G e n e r a l F l o w s 2 7 6

1 9 . S o l u t i o n s 2 1 8B i b l i o g r a p h y 3 0 0A p p e n d i x 1 . S p e c i a l D e t e r m i n a n t s 3 0 2A p p e n d i x 2 . T h e P f a f f i a n 3 0 5A p p e n d i x 3 . S y m p l e c t i c M a t r i c e s 3 0 8A p p e n d i x 4 . T e n s o r P r o d u c t 3 1 3A p p e n d i x 5 . L a t t i c e s 3 1 7A p p e n d i x 6 . F a s t M a t r i x M u l t i p l i c a t i o n 3 2 0A p p e n d i x 7 . G e r s h g o r i n ' s T h e o r e m 3 2 3A p p e n d i x 8 . T h e M u l t i p l i c i t y o f E i g e n v a l u e s 3 2 5A p p e n d i x 9 . T h e F a s t F o u r i e r T r a n s f o r m 3 2 8A p p e n d i x 1 0 . T h e S p e c t r a l R a d i u s 3 3 4A p p e n d i x 1 1 . T h e L o r e n t z G r o u p 3 4 2A p p e n d i x 1 2 . C o m p a c t n e s s o f t h e U n i t B a l l 3 5 2A p p e n d i x 1 3 . A C h a r a c t e r i z a t i o n o f C o m m u t a t o r s 3 5 5A p p e n d i x 1 4 . L i a p u n o v ' s T h e o r e m 3 5 7A p p e n d i x 1 5 . T h e J o r d a n C a n o n i c a l F o r m 3 6 3A p p e n d i x 1 6 . N u m e r i c a l R a n g e 3 6 7

I n d e x , 3 7 3


11/393


12/393

P r e f a c e

T h e o u t l o o k o f t h i s s e c o n d e d i t i o n i s t h e s a m e a s t h a t o f t h e o r i g i n a l : t o p r e s e n t l i n e a ra l g e b r a a s t h e t h e o r y a n d p r a c t i c e o f l i n e a r s p a c e s a n d l i n e a r m a p p i n g s . W h e r e i t a i d su n d e r s t a n d i n g a n d c a l c u l a t i o n s , I d o n ' t h e s i t a t e t o d e s c r i b e v e c t o r s a s a r r a y s o fn u m b e r s a n d t o d e s c r i b e m a p p i n g s a s m a t r i c e s . R e n d e r o n t o C a e s a r t h e t h i n g s w h i c ha r e C a e s a r ' s .I f y o u c a n r e d u c e a m a t h e m a t i c a l p r o b l e m t o a p r o b l e m i n l i n e a r a l g e b r a , y o u c a nm o s t l i k e l y s o l v e i t , p r o v i d e d t h a t y o u k n o w e n o u g h l i n e a r a l g e b r a . T h e r e f o r e , at h o r o u g h g r o u n d i n g i n l i n e a r a l g e b r a i s h i g h l y d e s i r a b l e . A s o u n d u n d e r g r a d u a t ee d u c a t i o n s h o u l d o f f e r a s e c o n d c o u r s e o n t h e s u b j e c t , a t t h e s e n i o r l e v e l . I w r o t e t h i sb o o k a s a s u i t a b l e t e x t f o r s u c h a c o u r s e . T h e c h a n g e s m a d e i n t h i s s e c o n d e d i t i o n a r ep a r t l y t o m a k e i t m o r e s u i t a b l e a s a t e x t . T e r s e d e s c r i p t i o n s , e s p e c i a l l y i n t h e e a r l yc h a p t e r s , w e r e e x p a n d e d , m o r e p r o b l e m s w e r e a d d e d , a n d a l i s t o f s o l u t i o n s t os e l e c t e d p r o b l e m s h a s b e e n p r o v i d e d .I n a d d i t i o n , q u i t e a b i t o f n e w m a t e r i a l h a s b e e n a d d e d , s u c h a s t h e c o m p a c t n e s so f t h e u n i t b a l l a s a c r i t e r i o n o f f i n i t e d i m e n s i o n a l i t y o f a n o r m e d l i n e a r s p a c e . A n e wc h a p t e r d i s c u s s e s t h e Q R a l g o r i t h m f o r f i n d i n g t h e e i g e n v a l u e s o f a s e l f - a d j o i n tm a t r i x . T h e H o u s e h o l d e r a l g o r i t h m f o r t u r n i n g s u c h m a t r i c e s i n t o t r i d i a g o n a l f o r m i sp r e s e n t e d . I d e s c r i b e i n s o m e d e t a i l t h e b e a u t i f u l o b s e r v a t i o n o f D e i f t , N a n d a , a n dT o m e i o f t h e a n a l o g y b e t w e e n t h e c o n v e r g e n c e o f t h e Q R a l g o r i t h m a n d M o s e r ' st h e o r e m o n t h e a s y m p t o t i c b e h a v i o r o f t h e T o d a f l o w a s t i m e t e n d s t o i n f i n i t y .E i g h t n e w a p p e n d i c e s h a v e b e e n a d d e d t o t h e f i r s t e d i t i o n ' s o r i g i n a l e i g h t ,i n c l u d i n g t h e F a s t F o u r i e r T r a n s f o r m , t h e s p e c t r a l r a d i u s t h e o r e m , p r o v e d w i t h t h eh e l p o f t h e S c h u r f a c t o r i z a t i o n o f m a t r i c e s , a n d a n e x c u r s i o n i n t o t h e t h e o r y o f

m a t r i x - v a l u e d a n a l y t i c f u n c t i o n s . A p p e n d i x 1 1 d e s c r i b e s t h e L o r e n t z g r o u p , 1 2 i s a ni n t e r e s t i n g a p p l i c a t i o n o f t h e c o m p a c t n e s s c r i t e r i o n f o r f i n i t e d i m e n s i o n a l i t y , 1 3 i s ac h a r a c t e r i z a t i o n o f c o m m u t a t o r s , 1 4 p r e s e n t s a p r o o f o f L i a p u n o v ' s s t a b i l i t yc r i t e r i o n , 1 5 p r e s e n t s t h e c o n s t r u c t i o n o f t h e J o r d a n C a n o n i c a l f o r m o f m a t r i c e s , a n d1 6 d e s c r i b e s C a r l P e a r c y ' s e l e g a n t p r o o f o f H a l m o s ' c o n j e c t u r e a b o u t t h e n u m e r i c a lr a n g e o f m a t r i c e s .I c o n c l u d e w i t h a p l e a t o i n c l u d e t h e s i m p l e s t a s p e c t s o f l i n e a r a l g e b r a i n h i g h -s c h o o l t e a c h i n g : v e c t o r s w i t h t w o a n d t h r e e c o m p o n e n t s , t h e s c a l a r p r o d u c t , t h ex i


13/393

X i i P R E F A C Ec r o s s p r o d u c t , t h e d e s c r i p t i o n o f r o t a t i o n s b y m a t r i c e s , a n d a p p l i c a t i o n s t o g e o m e t r y .S u c h m o d e r n i z a t i o n o f t h e h i g h - s c h o o l c u r r i c u l u m i s l o n g o v e r d u e .I a c k n o w l e d g e w i t h p l e a s u r e m u c h h e l p I h a v e r e c e i v e d f r o m R a y M i c h a l e k , a sw e l l a s u s e f u l c o n v e r s a t i o n s w i t h A l b e r t N o v i k o f f a n d C h a r l i e P e s k i n . I a l s o w o u l dl i k e t o t h a n k R o g e r H o r n , B e r e s f o r d P a r l e t t , a n d J e r r y K a z d a n f o r v e r y u s e f u lc o m m e n t s , a n d J e f f r e y R y a n f o r h e l p i n p r o o f r e a d i n g .

P E T E R D . L A X

N e w Y o r k . N e w Y o r k


14/393

P r e f a c e t o t h e F i r s t E d i t i o n

T h i s b o o k i s b a s e d o n a l e c t u r e c o u r s e d e s i g n e d f o r e n t e r i n g g r a d u a t e s t u d e n t s a n dg i v e n o v e r a n u m b e r o f y e a r s a t t h e C o u r a n t I n s t i t u t e o f N e w Y o r k U n i v e r s i t y . T h ec o u r s e i s o p e n a l s o t o q u a l i f i e d u n d e r g r a d u a t e s a n d o n o c c a s i o n w a s a t t e n d e d b yt a l e n t e d h i g h s c h o o l s t u d e n t s , a m o n g t h e m A l a n E d e l m a n ; I a m p r o u d t o h a v e b e e nt h e f i r s t t o t e a c h h i m l i n e a r a l g e b r a . B u t , a p a r t f r o m s p e c i a l c a s e s , t h e b o o k , l i k e t h ec o u r s e , i s f o r a n a u d i e n c e t h a t h a s s o m e - n o t m u c h - f a m i l i a r i t y w i t h l i n e a r a l g e b r a .F i f t y y e a r s a g o , l i n e a r a l g e b r a w a s o n i t s w a y o u t a s a s u b j e c t f o r r e s e a r c h . Y e td u r i n g t h e p a s t f i v e d e c a d e s t h e r e h a s b e e n a n u n p r e c e d e n t e d o u t b u r s t o f n e w i d e a sa b o u t h o w t o s o l v e l i n e a r e q u a t i o n s , c a r r y o u t l e a s t s q u a r e p r o c e d u r e s , t a c k l es y s t e m s o f l i n e a r i n e q u a l i t i e s , a n d f i n d e i g e n v a l u e s o f m a t r i c e s . T h i s o u t b u r s t c a m ei n r e s p o n s e t o t h e o p p o r t u n i t y c r e a t e d b y t h e a v a i l a b i l i t y o f e v e r f a s t e r c o m p u t e r sw i t h e v e r l a r g e r m e m o r i e s . T h u s , l i n e a r a l g e b r a w a s t h r u s t c e n t e r s t a g e i n n u m e r i c a lm a t h e m a t i c s . T h i s h a d a p r o f o u n d e f f e c t , p a r t l y g o o d , p a r t l y b a d , o n h o w t h e s u b j e c ti s t a u g h t t o d a y .T h e p r e s e n t a t i o n o f n e w n u m e r i c a l m e t h o d s b r o u g h t f r e s h a n d e x c i t i n g m a t e r i a l ,a s w e l l a s r e a l i s t i c n e w a p p l i c a t i o n s , t o t h e c l a s s r o o m . M a n y s t u d e n t s , a f t e r a l l , a r e i na l i n e a r a l g e b r a c l a s s o n l y f o r t h e a p p l i c a t i o n s . O n t h e o t h e r h a n d , b r i n g i n ga p p l i c a t i o n s a n d a l g o r i t h m s t o t h e f o r e g r o u n d h a s o b s c u r e d t h e s t r u c t u r e o f l i n e a ra l g e b r a - a t r e n d I d e p l o r e ; i t d o e s s t u d e n t s a g r e a t d i s s e r v i c e t o e x c l u d e t h e m f r o mt h e p a r a d i s e c r e a t e d b y E m m y N o e t h e r a n d E m i l A r t i n . O n e o f t h e a i m s o f t h i s b o o ki s t o r e d r e s s t h i s i m b a l a n c e .M y s e c o n d a i m i n w r i t i n g t h i s b o o k i s t o p r e s e n t a r i c h s e l e c t i o n o f a n a l y t i c a lr e s u l t s a n d s o m e o f t h e i r a p p l i c a t i o n s : m a t r i x i n e q u a l i t i e s , e s t i m a t e s f o r e i g e n v a l u e sa n d d e t e r m i n a n t s , a n d s o o n . T h i s b e a u t i f u l a s p e c t o f l i n e r a a l g e b r a , s o u s e f u l f o rw o r k i n g a n a l y s t s a n d p h y s i c i s t s , i s o f t e n n e g l e c t e d i n t e x t s .I s t r o v e t o c h o o s e p r o o f s t h a t a r e r e v e a l i n g , e l e g a n t , a n d s h o r t . W h e n t h e r e a r et w o d i f f e r e n t w a y s o f v i e w i n g a p r o b l e m , I l i k e t o p r e s e n t b o t h .T h e C o n t e n t s d e s c r i b e s w h a t i s i n t h e b o o k . H e r e I w o u l d l i k e t o e x p l a i n m yc h o i c e o f m a t e r i a l s a n d t h e i r t r e a t m e n t . T h e f i r s t f o u r c h a p t e r s d e s c r i b e t h e a b s t r a c tt h e o r y o f l i n e a r s p a c e s a n d l i n e a r t r a n s f o r m a t i o n s . I n t h e p r o o f s I a v o i d e l i m i n a t i o no f t h e u n k n o w n s o n e b y o n e , b u t u s e t h e l i n e a r s t r u c t u r e ; I p a r t i c u l a r l y e x p l o i t

x i i i


15/393

A V P R E F A C E T O T H E F I R S T E D I T I O Nq u o t i e n t s p a c e s a s a c o u n t i n g d e v i c e . T h i s d r y m a t e r i a l i s e n l i v e n e d b y s o m en o n t r i v i a l a p p l i c a t i o n s t o q u a d r a t u r e , t o i n t e r p o l a t i o n b y p o l y n o m i a l s , a n d t o s o l v i n gt h e D i r i c h l e t p r o b l e m f o r t h e d i s c r e t i z e d L a p l a c e e q u a t i o n .I n C h a p t e r 5 , d e t e r m i n a n t s a r e m o t i v a t e d g e o m e t r i c a l l y a s s i g n e d v o l u m e s o fo r d e r e d s i m p l i c e s . T h e b a s i c a l g e b r a i c p r o p e r t i e s o f d e t e r m i n a n t s f o l l o w i m m e d i a t e l y .C h a p t e r 6 i s d e v o t e d t o t h e s p e c t r a l t h e o r y o f a r b i t r a r y s q u a r e m a t r i c e s w i t hc o m p l e x e n t r i e s . T h e c o m p l e t e n e s s o f e i g e n v e c t o r s a n d g e n e r a l i z e d e i g e n v e c t o r s i sp r o v e d w i t h o u t t h e c h a r a c t e r i s t i c e q u a t i o n , r e l y i n g o n l y o n t h e d i v i s i b i l i t y t h e o r y o ft h e a l g e b r a o f p o l y n o m i a l s . I n t h e s a m e s p i r i t w e s h o w t h a t t w o m a t r i c e s A a n d B a r es i m i l a r i f a n d o n l y i f ( A - k I ) t a n d ( B - k l ) " ' h a v e n u l l s p a c e s o f t h e s a m ed i m e n s i o n f o r a l l c o m p l e x k a n d a l l p o s i t i v e i n t e g e r i n . T h e p r o o f o f t h i s p r o p o s i t i o nl e a d s t o t h e J o r d a n c a n o n i c a l f o r m .

E u c l i d e a n s t r u c t u r e a p p e a r s f o r t h e f i r s t t i m e i n C h a p t e r 7 . I t i s u s e d i n C h a p t e r 8t o d e r i v e t h e s p e c t r a l t h e o r y o f s e l f a d j o i n t m a t r i c e s . W e p r e s e n t t w o p r o o f s , o n eb a s e d o n t h e s p e c t r a l t h e o r y o f g e n e r a l m a t r i c e s , t h e o t h e r u s i n g t h e v a r i a t i o n a lc h a r a c t e r i z a t i o n o f e i g e n v e c t o r s a n d e i g e n v a l u e s . F i s c h e r ' s m i n m a x t h e o r e m i se x p l a i n e d .C h a p t e r 9 d e a l s w i t h t h e c a l c u l u s o f v e c t o r - a n d m a t r i x - v a l u e d f u n c t i o n s o f as i n g l e v a r i a b l e , a n i m p o r t a n t t o p i c n o t u s u a l l y d i s c u s s e d i n t h e u n d e r g r a d u a t ec u r r i c u l u m . T h e m o s t i m p o r t a n t r e s u l t i s t h e c o n t i n u o u s a n d d i f f e r e n t i a b l e c h a r a c t e ro f e i g e n v a l u e s a n d n o r m a l i z e d e i g e n v e c t o r s o f d i f f e r e n t i a b l e m a t r i x f u n c t i o n s ,p r o v i d e d t h a t a p p r o p r i a t e n o n d e g e n e r a c y c o n d i t i o n s a r e s a t i s f i e d . T h e f a s c i n a t i n gp h e n o m e n o n o f " a v o i d e d c r o s s i n g s " i s b r i e f l y d e s c r i b e d a n d e x p l a i n e d .

T h e f i r s t n i n e c h a p t e r s , o r c e r t a i n l y t h e f i r s t e i g h t , c o n s t i t u t e t h e c o r e o f l i n e a r a l g e b r a .T h e n e x t e i g h t c h a p t e r s d e a l w i t h s p e c i a l t o p i c s , t o b e t a k e n u p d e p e n d i n g o n t h e i n t e r e s to f t h e i n s t r u c t o r a n d o f t h e s t u d e n t s . W e s h a l l c o m m e n t o n t h e m v e r y b r i e f l y .C h a p t e r 1 0 i s a s y m p h o n y o f i n e q u a l i t i e s a b o u t m a t r i c e s , t h e i r e i g e n v a l u e s , a n dt h e i r d e t e r m i n a n t s . M a n y o f t h e p r o o f s m a k e u s e o f c a l c u l u s .I i n c l u d e d C h a p t e r 1 1 t o m a k e u p f o r t h e u n f o r t u n a t e d i s a p p e a r a n c e o f m e c h a n i c sf r o m t h e c u r r i c u l u m a n d t o s h o w h o w m a t r i c e s g i v e a n e l e g a n t d e s c r i p t i o n o f m o t i o ni n s p a c e . A n g u l a r v e l o c i t y o f a r i g i d b o d y a n d d i v e r g e n c e a n d c u r l o f a v e c t o r f i e l d a l la p p e a r n a t u r a l l y . T h e m o n o t o n i c d e p e n d e n c e o f e i g e n v a l u e s o f s y m m e t r i c m a t r i c e si s u s e d t o s h o w t h a t t h e n a t u r a l f r e q u e n c i e s o f a v i b r a t i n g s y s t e m i n c r e a s e i f t h es y s t e m i s s t i f f e n e d a n d t h e m a s s e s a r e d e c r e a s e d .C h a p t e r s 1 2 , 1 3 , a n d 1 4 a r e l i n k e d t o g e t h e r b y t h e n o t i o n o f c o n v e x i t y . I n C h a p t e r1 2 w e p r e s e n t t h e d e s c r i p t i o n s o f c o n v e x s e t s i n t e r m s o f g a u g e f u n c t i o n s a n d s u p p o r t

f u n c t i o n s . T h e w o r k h o r s e o f t h e s u b j e c t , t h e h y p e r p l a n e s e p a r a t i o n t h e o r e m , i sp r o v e d b y m e a n s o f t h e H a h n - B a n a c h p r o c e d u r e . C a r a t h d o d o r y ' s t h e o r e m o ne x t r e m e p o i n t s i s p r o v e d a n d u s e d t o d e r i v e t h e K o n i g - B i r k h o f f t h e o r e m o n d o u b l ys t o c h a s t i c m a t r i c e s ; H e l l y ' s t h e o r e m o n t h e i n t e r s e c t i o n o f c o n v e x s e t s i s s t a t e d a n dp r o v e d .C h a p t e r 1 3 i s o n l i n e a r i n e q u a l i t i e s ; t h e F a r k a s - M i n k o w s k i t h e o r e m i s d e r i v e da n d u s e d t o p r o v e t h e d u a l i t y t h e o r e m , w h i c h t h e n i s a p p l i e d i n t h e u s u a l f a s h i o n t o am a x i m u m - m i n i m u m p r o b l e m i n e c o n o m i c s , a n d t o t h e m i n m a x t h e o r e m o f v o nN e u m a n n a b o u t t w o - p e r s o n z e r o - s u m g a m e s .


16/393

P R E F A C E T O T H E F I R S T E D I T I O N X VC h a p t e r 1 4 i s o n n o r m e d l i n e a r s p a c e s ; i t i s m o s t l y s t a n d a r d f a r e e x c e p t f o r a d u a lc h a r a c t e r i z a t i o n o f t h e d i s t a n c e o f a p o i n t f r o m a l i n e a r s u b s p a c e . L i n e a r m a p p i n g so f n o r m e d l i n e a r s p a c e s a r e d i s c u s s e d i n C h a p t e r 1 5 .C h a p t e r 1 6 p r e s e n t s P e r r o n ' s b e a u t i f u l t h e o r e m o n m a t r i c e s a l l o f w h o s e e n t r i e s

a r e p o s i t i v e . T h e s t a n d a r d a p p l i c a t i o n t o t h e a s y m p t o t i c s o f M a r k o v c h a i n s i sd e s c r i b e d . I n c o n c l u s i o n , t h e t h e o r e m o f F r o b e n i u s a b o u t t h e e i g e n v a l u e s o f m a t r i c e sw i t h n o n n e g a t i v e e n t r i e s i s s t a t e d a n d p r o v e d .T h e l a s t c h a p t e r d i s c u s s e s v a r i o u s s t r a t e g i e s f o r s o l v i n g i t e r a t i v e l y s y s t e m s o fl i n e a r e q u a t i o n s o f t h e f o r m A x = b , A a s e l f - a d j o i n t , p o s i t i v e m a t r i x . A v a r i a t i o n a lf o r m u l a i s d e r i v e d a n d a s t e e p e s t d e s c e n t m e t h o d i s a n a l y z e d . W e g o o n t o p r e s e n ts e v e r a l v e r s i o n s o f i t e r a t i o n s e m p l o y i n g C h e b y s h e v p o l y n o m i a l s . F i n a l l y w ed e s c r i b e t h e c o n j u g a t e g r a d i e n t m e t h o d i n t e r m s o f o r t h o g o n a l p o l y n o m i a l s .I t i s w i t h g e n u i n e r e g r e t t h a t I o m i t a c h a p t e r o n t h e n u m e r i c a l c a l c u l a t i o n o fe i g e n v a l u e s o f s e l f - a d j o i n t m a t r i c e s . A s t o n i s h i n g c o n n e c t i o n s h a v e b e e n d i s c o v e r e dr e c e n t l y b e t w e e n t h i s i m p o r t a n t s u b j e c t a n d o t h e r s e e m i n g l y u n r e l a t e d t o p i c s .E i g h t a p p e n d i c e s d e s c r i b e m a t e r i a l t h a t d o e s n o t q u i t e f i t i n t o t h e f l o w o f t h e t e x t ,b u t t h a t i s s o s t r i k i n g o r s o i m p o r t a n t t h a t i t i s w o r t h b r i n g i n g t o t h e a t t e n t i o n o fs t u d e n t s . T h e t o p i c s I h a v e c h o s e n a r e s p e c i a l d e t e r m i n a n t s t h a t c a n b e e v a l u a t e de x p l i c i t y , P f a f f ' s t h e o r e m , s y m p l e c t i c m a t r i c e s , t e n s o r p r o d u c t , l a t t i c e s , S t r a s s e n ' sa l g o r i t h m f o r f a s t m a t r i x m u l t i p l i c a t i o n , G e r s h g o r i n ' s t h e o r e m , a n d t h e m u l t i p l i c i t y

o f e i g e n v a l u e s . T h e r e a r e o t h e r e q u a l l y a t t r a c t i v e t o p i c s t h a t c o u l d h a v e b e e n c h o s e n :t h e B a k e r - C a m p b e l l - H a u s d o r f f f o r m u l a , t h e K r e i s s m a t r i x t h e o r e m , n u m e r i c a lr a n g e , a n d t h e i n v e r s i o n o f t r i d i a g o n a l m a t r i c e s .E x e r c i s e s a r e s p r i n k l e d t h r o u g h o u t t h e t e x t ; a f e w o f t h e m a r e r o u t i n e ; m o s tr e q u i r e s o m e t h i n k i n g a n d a f e w o f t h e m r e q u i r e s o m e c o m p u t i n g .M y n o t a t i o n i s n e o c l a s s i c a l . I p r e f e r t o u s e f o u r - l e t t e r A n g l o - S a x o n w o r d s l i k e" i n t o , " " o n t o " a n d " 1 - t o - 1 , " r a t h e r t h a n p o l y s y l l a b i c o n e s o f N o r m a n o r i g i n . T h ee n d o f a p r o o f i s m a r k e d b y a n o p e n s q u a r e .T h e b i b l i o g r a p h y c o n s i s t s o f t h e u s u a l s u s p e c t s a n d s o m e r e c e n t t e x t s ; i n a d d i t i o n ,I h a v e i n c l u d e d C o u r a n t - H i l b e r t , V o l u m e I , u n c h a n g e d f r o m t h e o r i g i n a l G e r m a nv e r s i o n i n 1 9 2 4 . S e v e r a l g e n e r a t i o n s o f m a t h e m a t i c i a n s a n d p h y s i c i s t s , i n c l u d i n g t h ea u t h o r , f i r s t l e a r n e d l i n e a r a l g e b r a f r o m C h a p t e r 1 o f t h i s s o u r c e .I a m g r a t e f u l t o m y c o l l e a g u e s a t t h e C o u r a n t I n s t i t u t e a n d t o M y r o n A l l e n a t t h eU n i v e r s i t y o f W y o m i n g f o r r e a d i n g a n d c o m m e n t i n g o n t h e m a n u s c r i p t a n d f o rt r y i n g o u t p a r t s o f i t o n t h e i r c l a s s e s . I a m g r a t e f u l t o C o n n i e E n g l e a n d J a n i c e W a n tf o r t h e i r e x p e r t t y p i n g .I h a v e l e a r n e d a g r e a t d e a l f r o m R i c h a r d B e l l m a n ' s o u t s t a n d i n g b o o k ,I n t r o d u c t i o n t o M a t r i x A n a l y s i s ; i t s i n f l u e n c e o n t h e p r e s e n t v o l u m e i s c o n s i d e r a b l e .F o r t h i s r e a s o n a n d t o m a r k a f r i e n d s h i p t h a t b e g a n i n 1 9 4 5 a n d l a s t e d u n t i l h i s d e a t hi n 1 9 8 4 , I d e d i c a t e t h i s b o o k t o h i s m e m o r y .

P E T E R D . L A XN e w Y o r k , N e w Y o r k


17/393


18/393

C H A P T E R I

F u n d a m e n t a l s

T h i s f i r s t c h a p t e r a i m s t o i n t r o d u c e t h e n o t i o n o f a n a b s t r a c t l i n e a r s p a c e t o t h o s ew h o t h i n k o f v e c t o r s a s a r r a y s o f c o m p o n e n t s . I w a n t t o p o i n t o u t t h a t t h e c l a s s o fa b s t r a c t l i n e a r s p a c e s i s n o l a r g e r t h a n t h e c l a s s o f s p a c e s w h o s e e l e m e n t s a r e a r r a y s .S o w h a t i s g a i n e d b y t h i s a b s t r a c t i o n ?F i r s t o f a l l , t h e f r e e d o m t o u s e a s i n g l e s y m b o l f o r a n a r r a y ; t h i s w a y w e c a n t h i n ko f v e c t o r s a s b a s i c b u i l d i n g b l o c k s , u n e n c u m b e r e d b y c o m p o n e n t s . T h e a b s t r a c tv i e w l e a d s t o s i m p l e , t r a n s p a r e n t p r o o f s o f r e s u l t s .M o r e t o t h e p o i n t , t h e e l e m e n t s o f m a n y i n t e r e s t i n g v e c t o r s p a c e s a r e n o tp r e s e n t e d i n t e r m s o f c o m p o n e n t s . F o r i n s t a n c e , t a k e a l i n e a r o r d i n a r y d i f f e r e n t i a le q u a t i o n o f d e g r e e n ; t h e s e t o f i t s s o l u t i o n s f o r m a v e c t o r s p a c e o f d i m e n s i o n n , y e tt h e y a r e n o t p r e s e n t e d a s a r r a y s .E v e n i f t h e e l e m e n t s o f a v e c t o r s p a c e a r e p r e s e n t e d a s a r r a y s o f n u m b e r s , t h ee l e m e n t s o f a s u b s p a c e o f i t m a y n o t h a v e a n a t u r a l d e s c r i p t i o n a s a r r a y s . T a k e , f o ri n s t a n c e , t h e s u b s p a c e o f a l l v e c t o r s w h o s e c o m p o n e n t s a d d u p t o z e r o .L a s t b u t n o t l e a s t , t h e a b s t r a c t v i e w o f v e c t o r s p a c e s i s i n d i s p e n s a b l e f o r i n f i n i t e -d i m e n s i o n a l s p a c e s ; e v e n t h o u g h t h i s t e x t i s s t r i c t l y a b o u t f i n i t e - d i m e n s i o n a l s p a c e s ,i t i s a g o o d p r e p a r a t i o n f o r f u n c t i o n a l a n a l y s i s .L i n e a r a l g e b r a a b s t r a c t s t h e t w o b a s i c o p e r a t i o n s w i t h v e c t o r s : t h e a d d i t i o n o fv e c t o r s , a n d t h e i r m u l t i p l i c a t i o n b y n u m b e r s ( s c a l a r s ) . I t i s a s t o n i s h i n g t h a t o n s u c hs l e n d e r f o u n d a t i o n s a n e l a b o r a t e s t r u c t u r e c a n b e b u i l t , w i t h r o m a n e s q u e , g o t h i c , a n db a r o q u e a s p e c t s . I t i s e v e n m o r e a s t o u n d i n g t h a t l i n e a r a l g e b r a h a s n o t o n l y t h e r i g h tt h e o r e m s b u t a l s o t h e r i g h t l a n g u a g e f o r m a n y m a t h e m a t i c a l t o p i c s , i n c l u d i n ga p p l i c a t i o n s o f m a t h e m a t i c s .A l i n e a r s p a c e X o v e r a f i e l d K i s a m a t h e m a t i c a l o b j e c t i n w h i c h t w o o p e r a t i o n sa r e d e f i n e d :A d d i t i o n , d e n o t e d b y + , a s i n

( 1 )

L i n e a r A l g e b r a a n d I t s A p p l i c a t i o n s . S e c o n d E d i t i o n , b y P e t e r D . L a xC o p y r i g h t ` ' ! 2 0 0 7 J o h n W i l e y & S o n s , I n c .1


19/393

2 L I N E A R A L G E B R A A N D I T S A P P L I C A T I O N Sa n d a s s u m e d t o b e c o m m u t a t i v e :

x + y = y + x , ( 2 )a n d a s s o c i a t i v e :

x + ( y + z ) = ( x + y ) + z ,a n d t o f o r m a g r o u p , w i t h t h e n e u t r a l e l e m e n t d e n o t e d a s 0 :

x + 0 = x .T h e i n v e r s e o f a d d i t i o n i s d e n o t e d b y - :

x + ( - x ) = - x - x = 0 .

E X E R C I S E I . S h o w t h a t t h e z e r o o f v e c t o r a d d i t i o n i s u n i q u e .

( 3 )

( 4 )

( 5 )

T h e s e c o n d o p e r a t i o n i s m u l t i p l i c a t i o n o f e l e m e n t s o f X b y e l e m e n t s k o f t h ef i e l d K :

k x .

T h e r e s u l t o f t h i s m u l t i p l i c a t i o n i s a v e c t o r , t h a t i s , a n e l e m e n t o f X .M u l t i p l i c a t i o n b y e l e m e n t s o f K i s a s s u m e d t o b e a s s o c i a t i v e :k ( a x ) = ( k a ) x ( 6 )

a n d d i s t r i b u t i v e :k ( x + y ) = k x + k y , ( 7 )

a s w e l l a s( a + b ) x = a x + b x . ( 8 )

W e a s s u m e t h a t m u l t i p l i c a t i o n b y t h e u n i t o f K , d e n o t e d a s 1 , a c t s a s t h e i d e n t i t y :

T h e s e a r e t h e a x i o m s o f l i n e a r a l g e b r a . W e p r o c e e d t o d r a w s o m e d e d u c t i o n s :S e t b = 0 i n ( 8 ) ; i t f o l l o w s f r o m E x e r c i s e 1 t h a t f o r a l l x

( 9 )

O x = 0 . ( 1 0 )


20/393

F U N D A M E N T A L S 3S e t a = 1 , b = - 1 i n ( 8 ) ; u s i n g ( 9 ) a n d ( 1 0 ) w e d e d u c e t h a t f o r a l l x

( - 1 ) x = - x .E X E R C I S E 2 . S h o w t h a t t h e v e c t o r w i t h a l l c o m p o n e n t s z e r o s e r v e s a s t h e z e r oe l e m e n t o f c l a s s i c a l v e c t o r a d d i t i o n .I n t h i s a n a l y t i c a l l y o r i e n t e d t e x t t h e f i e l d K w i l l b e e i t h e r t h e f i e l d F l o f r e a ln u m b e r s o r t h e f i e l d C o f c o m p l e x n u m b e r s .A n i n t e r e s t i n g e x a m p l e o f a l i n e a r s p a c e i s t h e s e t o f a l l f u n c t i o n s x ( t ) t h a t s a t i s f yt h e d i f f e r e n t i a l e q u a t i o n

d 2d t 2 x + x = 0 .T h e s u m o f t w o s o l u t i o n s i s a g a i n a s o l u t i o n , a n d s o i s t h e c o n s t a n t m u l t i p l e o f o n e .T h i s s h o w s t h a t t h e s e t o f s o l u t i o n s o f t h i s d i f f e r e n t i a l e q u a t i o n f o r m a l i n e a r s p a c e .S o l u t i o n s o f t h i s e q u a t i o n d e s c r i b e t h e m o t i o n o f a m a s s c o n n e c t e d t o a f i x e dp o i n t b y a s p r i n g . O n c e t h e i n i t i a l p o s i t i o n x ( 0 ) = p a n d i n i t i a l v e l o c i t y d r x ( 0 ) = va r e g i v e n , t h e m o t i o n i s c o m p l e t e l y d e t e r m i n e d f o r a l l t . S o s o l u t i o n s c a n b ed e s c r i b e d b y a p a i r o f n u m b e r s ( p , v ) .T h e r e l a t i o n b e t w e e n t h e t w o d e s c r i p t i o n s i s l i n e a r ; t h a t i s , i f ( p , v ) a r e t h e i n i t i a ld a t a o f a s o l u t i o n x ( t ) , a n d ( q , w ) t h e i n i t i a l d a t a o f a n o t h e r s o l u t i o n y ( t ) , t h e n t h ei n i t i a l d a t a o f t h e s o l u t i o n x ( t ) + y ( t ) a r e ( p + q , v + w ) = ( p , v ) + ( q , w ) . S i m i l a r l y ,t h e i n i t i a l d a t a o f t h e s o l u t i o n k x ( t ) a r e ( k p , k v ) = k ( p , v ) .T h i s k i n d o f r e l a t i o n h a s b e e n a b s t r a c t e d i n t o t h e n o t i o n o f i s o m o r p h i s m .

D e f i n i t i o n . A o n e - t o - o n e c o r r e s p o n d e n c e b e t w e e n t w o l i n e a r s p a c e s o v e r t h es a m e f i e l d t h a t m a p s s u m s i n t o s u m s a n d s c a l a r m u l t i p l e s i n t o s c a l a r m u l t i p l e s i sc a l l e d a n i s o m o r p h i s m .I s o m o r p h i s m i s a b a s i c n o t i o n i n l i n e a r a l g e b r a . I s o m o r p h i c l i n e a r s p a c e s a r ei n d i s t i n g u i s h a b l e b y m e a n s o f o p e r a t i o n s a v a i l a b l e i n l i n e a r s p a c e s . T w o l i n e a rs p a c e s t h a t a r e p r e s e n t e d i n v e r y d i f f e r e n t w a y s c a n b e , a s w e h a v e s e e n , i s o m o r p h i c .E x a m p l e s o f L i n e a r S p a c e s . ( i ) S e t o f a l l r o w v e c t o r s : ( a , , . . . , a n ) , a j i n K ;a d d i t i o n , m u l t i p l i c a t i o n d e f i n e d c o m p o n e n t w i s e . T h i s s p a c e i s d e n o t e d a s K " .( i i ) S e t o f a l l r e a l - v a l u e d f u n c t i o n s f ( x ) d e f i n e d o n t h e r e a l l i n e , K = R .( i i i ) S e t o f a l l f u n c t i o n s w i t h v a l u e s i n K , d e f i n e d o n a n a r b i t r a r y s e t S .( i v ) S e t o f a l l p o l y n o m i a l s o f d e g r e e l e s s t h a n n w i t h c o e f f i c i e n t s i n K .E X E R C I S E 3 . S h o w t h a t ( i ) a n d ( i v ) a r e i s o m o r p h i c .E X E R C I S E 4 . S h o w t h a t i f S h a s n e l e m e n t s , ( i ) a n d ( i i i ) a r e i s o m o r p h i c .


21/393

4 L I N E A R A L G E B R A A N D I T S A P P L I C A T I O N SE X E R C I S E 5 . S h o w t h a t w h e n K = 0 8 , ( i v ) i s i s o m o r p h i c w i t h ( i i i ) w h e n Sc o n s i s t s o f n d i s t i n c t p o i n t s o f R .

D e f i n i t i o n . A s u b s e t Y o f a l i n e a r s p a c e X i s c a l l e d a s u b s p a c e i f s u m s a n d s c a l a rm u l t i p l e s o f e l e m e n t s o f Y b e l o n g t o Y .

E x a m p l e s o f S u b s p a c e s . ( a ) X a s i n E x a m p l e ( i ) , Y t h e s e t o f v e c t o r s( 0 , a 2 - . . , a , , - I , 0 ) w h o s e f i r s t a n d l a s t c o m p o n e n t i s z e r o .( b ) X a s i n E x a m p l e ( i i ) , Y t h e s e t o f a l l p e r i o d i c f u n c t i o n s w i t h p e r i o d 7 r .( c ) X a s i n E x a m p l e ( i i i ) , Y t h e s e t o f c o n s t a n t f u n c t i o n s o n S .( d ) X a s i n E x a m p l e ( i v ) , Y t h e s e t o f a l l e v e n p o l y n o m i a l s .D e f i n i t i o n . T h e s u m o f t w o s u b s e t s Y a n d Z o f a l i n e a r s p a c e X , d e n o t e d a sY + Z , i s t h e s e t o f a l l v e c t o r s o f f o r m y + z , y i n Y , z i n Z .

E X E R C I S E 6 . P r o v e t h a t Y + Z i s a l i n e a r s u b s p a c e o f X i f Y a n d Z a r e .D e f i n i t i o n . T h e i n t e r s e c t i o n o f t w o s u b s e t s Y a n d Z o f a l i n e a r s p a c e X , d e n o t e da s Y f l z , c o n s i s t s o f a l l v e c t o r s x t h a t b e l o n g t o b o t h Y a n d ZE X E R C I S E 7 . P r o v e t h a t i f Y a n d Z a r e l i n e a r s u b s p a c e s o f X , s o i s Y f l Z .E X E R C I S E 8 . S h o w t h a t t h e s e t { 0 } c o n s i s t i n g o f t h e z e r o e l e m e n t o f a l i n e a rs p a c e X i s a s u b s p a c e o f X . I t i s c a l l e d t h e t r i v i a l s u b s p a c e .D e f i n i t i o n . A l i n e a r c o m b i n a t i o n o f j v e c t o r s x , , . . . . x 1 o f a l i n e a r s p a c e i s av e c t o r o f t h e f o r m

k i x l k , , . . . , k J E K .E X E R C I S E 9 . S h o w t h a t t h e s e t o f a l l l i n e a r c o m b i n a t i o n s o f x , , . . . , x j i s as u b s p a c e o f X , a n d t h a t i t i s t h e s m a l l e s t s u b s p a c e o f X c o n t a i n i n g x , , . . . , x 1 . T h i s i sc a l l e d t h e s u b s p a c e s p a n n e d b y x , . . . . , x J .D e f i n i t i o n . A s e t o f v e c t o r s x , , . . . , x , i n X s p a n t h e w h o l e s p a c e X i f e v e r y x i nX c a n b e e x p r e s s e d a s a l i n e a r c o m b i n a t i o n o f x , , . . . , x , , , .D e f i n i t i o n . T h e v e c t o r s x , , . . . , x j a r e c a l l e d l i n e a r l y d e p e n d e n t i f t h e r e i s an o n t r i v i a l l i n e a r r e l a t i o n b e t w e e n t h e m , t h a t i s , a r e l a t i o n o f t h e f o r m

= 0 ,w h e r e n o t a l l k , , . . . , k J a r e z e r o .


22/393

F U N D A M E N T A L S SD e f i n i t i o n . A s e t o f v e c t o r s x 1 , . . . , x j t h a t a r e n o t l i n e a r l y d e p e n d e n t i s c a l l e dl i n e a r l y i n d e p e n d e n t .

E X E R C I S E 1 0 . S h o w t h a t i f t h e v e c t o r s x i , . . . , x j a r e l i n e a r l y i n d e p e n d e n t , t h e nn o n e o f t h e x ; i s t h e z e r o v e c t o r .L e m m a 1 . S u p p o s e t h a t t h e v e c t o r s x i , . . . , x , , s p a n a l i n e a r s p a c e X a n d t h a t t h ev e c t o r s y 1 , . . . , y , i n X a r e l i n e a r l y i n d e p e n d e n t . T h e n

j < n .

P r o o f . S i n c e x 1 , . . . , x s p a n X , e v e r y v e c t o r i n X c a n b e w r i t t e n a s a l i n e a rc o m b i n a t i o n o f x i , . . . , x , , . I n p a r t i c u l a r , y i :y ,

S i n c e y i # 0 ( s e e E x e r c i s e 1 0 ) , n o t a l l k a r e e q u a l t o 0 , s a y k , # 0 . T h e n x i c a n b ee x p r e s s e d a s a l i n e a r c o m b i n a t i o n o f y i a n d t h e r e m a i n i n g x , . S o t h e s e t c o n s i s t i n g o ft h e x ' s , w i t h x i r e p l a c e d b y y j s p a n X . I f j > n , r e p e a t t h i s s t e p n - 1 m o r e t i m e s a n dc o n c l u d e t h a t y i , . . . , y s p a n X : i f j > n , t h i s c o n t r a d i c t s t h e l i n e a r i n d e p e n d e n c e o ft h e y ' s f o r t h e n y , . . .

D e f i n i t i o n . A f i n i t e s e t o f v e c t o r s w h i c h s p a n X a n d a r e l i n e a r l y i n d e p e n d e n t i sc a l l e d a b a s i s f o r X .L e m m a 2 . A l i n e a r s p a c e X w h i c h i s s p a n n e d b y a f i n i t e s e t o f v e c t o r s x , . . . , xh a s a b a s i s .P r o o f I f x 1 , . . . , x a r e l i n e a r l y d e p e n d e n t , t h e r e i s a n o n t r i v i a l r e l a t i o n b e t w e e nt h e m ; f r o m t h i s o n e o f t h e x i c a n b e e x p r e s s e d a s a l i n e a r c o m b i n a t i o n o f t h e r e s t . S ow e c a n d r o p t h a t x i . R e p e a t t h i s s t e p u n t i l t h e r e m a i n i n g x j a r e l i n e a r i n d e p e n d e n t :t h e y s t i l l s p a n X , a n d s o t h e y f o r m a b a s i s .

D e f i n i t i o n . A l i n e a r s p a c e X i s c a l l e d f i n i t e d i m e n s i o n a l i f i t h a s a b a s i s .A f i n i t e - d i m e n s i o n a l s p a c e h a s m a n y , m a n y b a s e s . W h e n t h e e l e m e n t s o f t h es p a c e a r e r e p r e s e n t e d a s a r r a y s w i t h n c o m p o n e n t s , w e g i v e p r e f e r e n c e t o t h e s p e c i a lb a s i s c o n s i s t i n g o f t h e v e c t o r s t h a t h a v e o n e c o m p o n e n t e q u a l t o 1 , w h i l e a l l t h eo t h e r s e q u a l 0 .T h e o r e m 3 . A l l b a s e s f o r a f i n i t e - d i m e n s i o n a l l i n e a r s p a c e X c o n t a i n t h e s a m en u m b e r o f v e c t o r s . T h i s n u m b e r i s c a l l e d t h e d i m e n s i o n o f X a n d i s d e n o t e d a s

d i m X .


23/393

6 L I N E A R A L G E B R A A N D I T S A P P L I C A T I O N SP r o o f . L e t x , , . . . , x b e o n e b a s i s , a n d l e t y l , . . . , y b e a n o t h e r . B y L e m m a I a n dt h e d e f i n i t i o n o f b a s i s w e c o n c l u d e t h a t m < n , a n d a l s o n < m . S o w e c o n c l u d e t h a tn a n d m a r e e q u a l .W e d e f i n e t h e d i m e n s i o n o f t h e t r i v i a l s p a c e c o n s i s t i n g o f t h e s i n g l e e l e m e n t 0 t ob e z e r o .T h e o r e m 4 . E v e r y l i n e a r l y i n d e p e n d e n t s e t o f v e c t o r s y , , . . . , y j i n a f i n i t e -d i m e n s i o n a l l i n e a r s p a c e X c a n b e c o m p l e t e d t o a b a s i s o f X .P r o o f . I f y , , . . . , } 7 d o n o t s p a n X , t h e r e i s s o m e x , t h a t c a n n o t b e e x p r e s s e d a s al i n e a r c o m b i n a t i o n o f y , . . . . , y , . A d j o i n t h i s x , t o t h e y ' s . R e p e a t t h i s s t e p u n t i l t h e

y ' s s p a n X . T h i s w i l l h a p p e n i n l e s s t h a n n s t e p s , n = d i m X , b e c a u s e o t h e r w i s e Xw o u l d c o n t a i n m o r e t h a n n l i n e a r l y i n d e p e n d e n t v e c t o r s , i m p o s s i b l e f o r a s p a c e o fd i m e n s i o n n .T h e o r e m 4 i l l u s t r a t e s t h e m a n y d i f f e r e n t w a y s o f f o r m i n g a b a s i s f o r a l i n e a rs p a c e .

T h e o r e m 5 . ( a ) E v e r y s u b s p a c e Y o f a f i n i t e - d i m e n s i o n a l l i n e a r s p a c e X i sf i n i t e d i m e n s i o n a l .( b ) E v e r y s u b s p a c e Y h a s a c o m p l e m e n t i n X , t h a t i s , a n o t h e r s u b s p a c e Z s u c ht h a t e v e r y v e c t o r x i n X c a n b e d e c o m p o s e d u n i q u e l y a s

x = y + z , y i n Y , z i n Z . ( 1 1 )F u r t h e r m o r e

d i m X = d i m Y + d i m Z . ( 1 1 ) 'P r o o f . W e c a n c o n s t r u c t a b a s i s i n Y b y s t a r t i n g w i t h a n y n o n z e r o v e c t o r y l , a n dt h e n a d d i n g a n o t h e r v e c t o r Y 2 a n d a n o t h e r , a s l o n g a s t h e y a r e l i n e a r l y i n d e p e n d e n t .A c c o r d i n g t o L e m m a 1 , t h e r e c a n b e n o m o r e o f t h e s e y i t h a n t h e d i m e n s i o n o f X . Am a x i m a l s e t o f l i n e a r l y i n d e p e n d e n t v e c t o r s y , , . . . , y j i n Y s p a n s Y , a n d s o f o r m s ab a s i s o f Y A c c o r d i n g t o T h e o r e m 4 , t h i s s e t c a n b e c o m p l e t e d t o f o r m a b a s i s o f X b ya d j o i n i n g Z j + , , . . . , Z , , . D e f i n e Z a s t h e s p a c e s p a n n e d b y Z j + , , . . . , Z , , ; c l e a r l y Y a n dZ a r e c o m p l e m e n t s , a n d

d i m X = n = j + ( n - j ) = d i m Y + d i m Z .D e f i n i t i o n . X i s s a i d t o b e t h e d i r e c t s u m o f t w o s u b s p a c e s Y a n d Z t h a t a r ec o m p l e m e n t s o f e a c h o t h e r . M o r e g e n e r a l l y X i s s a i d t o b e t h e d i r e c t s u m o f i t ss u b s p a c e s Y , , . . . , Y . i f e v e r y x i n X c a n b e e x p r e s s e d u n i q u e l y a s

x = y I Y i i n Y j , ( 1 2 )


24/393

F U N D A M E N T A L S 7T h i s r e l a t i o n i s d e n o t e d a s

X = Y , . . . ( D y , ,E X E R C I S E 1 1 . P r o v e t h a t i f X i s f i n i t e d i m e n s i o n a l a n d t h e d i r e c t s u m o fY , , . . . , Y , , , , t h e n

d i m X = E d i m Y p ( 1 2 ) 'D e f i n i t i o n . A n ( n - 1 ) - d i m e n s i o n a l s u b s p a c e o f a n n - d i m e n s i o n a l s p a c e i sc a l l e d a h y p e r p l a n e .E X E R C I S E 1 2 . S h o w t h a t e v e r y f i n i t e - d i m e n s i o n a l s p a c e X o v e r K i s i s o m o r p h i ct o K " , n = d i m X . S h o w t h a t t h i s i s o m o r p h i s m i s n o t u n i q u e w h e n n i s > 1 .S i n c e e v e r y n - d i m e n s i o n a l l i n e a r s p a c e o v e r K i s i s o m o r p h i c t o K " , i t f o l l o w s t h a tt w o l i n e a r s p a c e s o v e r t h e s a m e f i e l d a n d o f t h e s a m e d i m e n s i o n a r e i s o m o r p h i c .N o t e : T h e r e a r e m a n y w a y s o f f o r m i n g s u c h a n i s o m o r p h i s m ; i t i s n o t u n i q u e .T h e c o n c e p t o f c o n g r u e n c e m o d u l o a s u b s p a c e , d e f i n e d b e l o w , i s a v e r y u s e f u lt o o l .

D e f i n i t i o n . F o r X a l i n e a r s p a c e , Y a s u b s p a c e , w e s a y t h a t t w o v e c t o r s x , , x 2 i n Xa r e c o n g r u e n t m o d u l o Y , d e n o t e dx , x 2 m o d Y ,

i f X , - X 2 E Y . C o n g r u e n c e m o d Y i s a n e q u i v a l e n c e r e l a t i o n , t h a t i s , i t i s( i ) s y m m e t r i c : i f x , = x 2 , t h e n x 2 - x 1 .( i i ) r e f l e x i v e : x = x f o r a l l x i n X .

( i i i ) t r a n s i t i v e : i f x , - X 2 , X 2 = X 3 , t h e n x , - x 3 .E X E R C I S E 1 3 . P r o v e ( i ) - ( i i i ) a b o v e . S h o w f u r t h e r m o r e t h a t i f x , = x 2 , t h e nk x , - k x 2 f o r e v e r y s c a l a r k .W e c a n d i v i d e e l e m e n t s o f X i n t o c o n g r u e n c e c l a s s e s m o d Y T h e c o n g r u e n c e

c l a s s c o n t a i n i n g t h e v e c t o r x i s t h e s e t o f a l l v e c t o r s c o n g r u e n t w i t h X ; w e d e n o t e i tb y { x } .E X E R C I S E 1 4 . S h o w t h a t t w o c o n g r u e n c e c l a s s e s a r e e i t h e r i d e n t i c a l o r d i s j o i n t .

T h e s e t o f c o n g r u e n c e c l a s s e s c a n b e m a d e i n t o a l i n e a r s p a c e b y d e f i n i n g a d d i t i o na n d m u l t i p l i c a t i o n b y s c a l a r s , a s f o l l o w s :{ x } + { z } = { x + z }


25/393

8 L I N E A R A L G E B R A A N D I T S A P P L I C A T I O N Sa n d

k { x } = { k x } .

T h a t i s , t h e s u m o f t h e c o n g r u e n c e c l a s s c o n t a i n i n g x a n d t h e c o n g r u e n c ec l a s s c o n t a i n i n g z i s t h e c l a s s c o n t a i n i n g x + z . S i m i l a r l y f o r m u l t i p l i c a t i o n b ys c a l a r s .

E X E R C I S E 1 5 . S h o w t h a t t h e a b o v e d e f i n i t i o n o f a d d i t i o n a n d m u l t i p l i c a t i o nb y s c a l a r s i s i n d e p e n d e n t o f t h e c h o i c e o f r e p r e s e n t a t i v e s i n t h e c o n g r u e n c ec l a s s .T h e l i n e a r s p a c e o f c o n g r u e n c e c l a s s e s d e f i n e d a b o v e i s c a l l e d t h e q u o t i e n t s p a c eo f X m o d Y a n d i s d e n o t e d a s

X ( m o d Y ) o r X / Y .T h e f o l l o w i n g e x a m p l e i s i l l u m i n a t i n g : T a k e X t o b e t h e l i n e a r s p a c e o f a l l r o wv e c t o r s ( a 1 , . . . , a n ) w i t h n c o m p o n e n t s , a n d t a k e Y t o b e a l l v e c t o r sy = ( 0 , 0 , a 3 , . . . , w h o s e f i r s t t w o c o m p o n e n t s a r e z e r o . T h e n t w o v e c t o r s a r ec o n g r u e n t m o d Y i f f t h e i r f i r s t t w o c o m p o n e n t s a r e e q u a l . E a c h e q u i v a l e n c e c l a s s c a nb e r e p r e s e n t e d b y a v e c t o r w i t h t w o c o m p o n e n t s , t h e c o m m o n c o m p o n e n t s o f a l lv e c t o r s i n t h e e q u i v a l e n c e c l a s s .T h i s s h o w s t h a t f o r m i n g a q u o t i e n t s p a c e a m o u n t s t o t h r o w i n g a w a y i n f o r m a t i o nc o n t a i n e d i n t h o s e c o m p o n e n t s t h a t p e r t a i n t o Y . T h i s i s a v e r y u s e f u l s i m p l i f i c a t i o nw h e n w e d o n o t n e e d t h e i n f o r m a t i o n c o n t a i n e d i n t h e n e g l e c t e d c o m p o n e n t s .

T h e n e x t r e s u l t s h o w s t h e u s e f u l n e s s o f q u o t i e n t s p a c e s f o r c o u n t i n g t h ed i m e n s i o n o f a s u b s p a c e .T h e o r e m 6 . Y i s a s u b s p a c e o f a f i n i t e - d i m e n s i o n a l l i n e a r s p a c e X ; t h e n

d i m Y + d i m ( X / Y ) = d i m X . ( 1 3 )P r o o f . L e t y i , . . . , y j b e a b a s i s f o r Y , j = d i m Y . A c c o r d i n g t o T h e o r e m 4 , t h i s s e tc a n b e c o m p l e t e d t o f o r m a b a s i s f o r X b y a d j o i n i n g x j ; . 1 , . . . , x , , , n = d i m X . W ec l a i m t h a t

( 1 3 ) 'f o r m a b a s i s f o r X / Y . T o s h o w t h i s w e h a v e t o v e r i f y t w o p r o p e r t i e s o f t h e c o s e t s( 1 3 ) ' :

( i ) T h e y s p a n X / Y .( i i ) T h e y a r e l i n e a r l y i n d e p e n d e n t .


26/393

F U N D A M E N T A L S( i ) S i n c e y l , . . . , x f o r m a b a s i s f o r X , e v e r y x i n X c a n b e e x p r e s s e d a s

x = a i y i + E b k X k .

I t f o l l o w s t h a t{ x } = E b k { x k } .

( i i ) S u p p o s e t h a t

E C k { X k } = 0 .T h i s m e a n s t h a t

E C k X k = Y , y i n Y .E x p r e s s y a s E d i y i ; w e g e t

E c k x k - d i y i = 0 .

9

S i n c e y l , . . . , x , , f o r m a b a s i s , t h e y a r e l i n e a r l y i n d e p e n d e n t , a n d s o a l l t h e c k a n d d ia r e z e r o .I t f o l l o w s t h a td i m X / Y = # o f x k = n - j .

S od i m Y + d i m X / Y = j + n - j = n = d i m X . O

E X E R C I S E 1 6 . D e n o t e b y X t h e l i n e a r s p a c e o f a l l p o l y n o m i a l s p ( t ) o f d e g r e e< n , a n d d e n o t e b y Y t h e s e t o f p o l y n o m i a l s t h a t a r e z e r o a t t I , . . . , t j , j < n .( i ) S h o w t h a t Y i s a s u b s p a c e o f X .

( i i ) D e t e r m i n e d i m Y .( i i i ) D e t e r m i n e d i m X / Y .T h e f o l l o w i n g c o r o l l a r y i s a c o n s e q u e n c e o f T h e o r e m 6 .C o r o l l a r y 6 ' . A s u b s p a c e Y o f a f i n i t e - d i m e n s i o n a l l i n e a r s p a c e X w h o s e

d i m e n s i o n i s t h e s a m e a s t h e d i m e n s i o n o f X i s a l l o f X .


27/393

1 0 L I N E A R A L G E B R A A N D I T S A P P L I C A T I O N SE X E R C I S E 1 7 . P r o v e C o r o l l a r y 6 .T h e o r e m 7 . S u p p o s e X i s a f i n i t e - d i m e n s i o n a l l i n e a r s p a c e , U a n d V t w os u b s p a c e s o f X s u c h t h a t X i s t h e s u m o f U a n d V :

X = U + V .D e n o t e b y W t h e i n t e r s e c t i o n o f U a n d V :

W = U n V .T h e n

d i m X = d i m U + d i m V - d i m W . ( 1 4 )P r o o f . W h e n t h e i n t e r s e c t i o n W o f U a n d V i s t h e t r i v i a l s p a c e { 0 } , d i m W = 0 ,a n d ( 1 4 ) i s r e l a t i o n ( 1 1 ) ' o f T h e o r e m 5 . W e s h o w n o w h o w t o u s e t h e n o t i o n o fq u o t i e n t s p a c e t o r e d u c e t h e g e n e r a l c a s e t o t h e s i m p l e c a s e d i m W = 0 .D e f i n e U o = U / W , V o = V / W ; t h e n U o f 1 V o = { 0 } , a n d s o X o = X / W s a t i s f i e s

X o = U o + V o .S o a c c o r d i n g t o ( 1 1 ) ' ,

d i m X o = d i m U o + d i m V o . ( 1 4 ) '

A p p l y i n g ( 1 3 ) o f T h e o r e m 6 t h r e e t i m e s , w e g e td i m X o = d i m X - d i m W , d i m U 0 = d i m U - d i m W ,d i m V o = d i m V - d i m W .

S e t t i n g t h i s i n t o r e l a t i o n ( 1 4 ) ' g i v e s ( 1 4 ) . OD e f i n i t i o n . T h e C a r t e s i a n s u m o f t w o l i n e a r s p a c e s o v e r t h e s a m e f i e l d i s t h e s e to f p a i r s

( x I , x 2 ) ; x , i n X , , x 2 i n X 2 ,w h e r e a d d i t i o n a n d m u l t i p l i c a t i o n b y s c a l a r s i s d e f i n e d c o m p o n e n t w i s e . T h e d i r e c ts u m i s d e n o t e d a s

X 1 X 2 .I t i s e a s y t o v e r i f y t h a t X , X 2 i s i n d e e d a l i n e a r s p a c e .


28/393

F U N D A M E N T A L S 1 1E X E R C I S E 1 8 . S h o w t h a t

d i m X , G ) X 2 = d i m X , + d i m X 2 .E X E R C I S E 1 9 . X a l i n e a r s p a c e , Y a s u b s p a c e . S h o w t h a t Y X / Y i s i s o m o r p h i c

t o X .N o t e : T h e m o s t f r e q u e n t l y o c c u r r i n g l i n e a r s p a c e s i n t h i s t e x t a r e o u r o l d f r i e n d sI 8 " a n d C " , t h e s p a c e s o f v e c t o r s ( a , , . . . , a , , ) w i t h n r e a l , r e s p e c t i v e l y c o m p l e x ,c o m p o n e n t s .S o f a r t h e o n l y m e a n s w e h a v e f o r s h o w i n g t h a t a l i n e a r s p a c e X i s f i n i t e

d i m e n s i o n a l i s t o f i n d a f i n i t e s e t o f v e c t o r s t h a t s p a n i t . I n C h a p t e r 7 w e p r e s e n ta n o t h e r , p o w e r f u l c r i t e r i o n f o r a E u c l i d e a n s p a c e t o b e f i n i t e d i m e n s i o n a l . I n C h a p t e r1 4 w e e x t e n d t h i s c r i t e r i o n t o a l l n o r m e d l i n e a r s p a c e s .W e h a v e b e e n t a l k i n g a b o u t s e t s o f v e c t o r s b e i n g l i n e a r l y d e p e n d e n t o ri n d e p e n d e n t , b u t h a v e g i v e n n o i n d i c a t i o n h o w t o d e c i d e w h i c h i s t h e c a s e . H e r e i s a ne x a m p l e :D e c i d e i f t h e f o u r v e c t o r sl 1 2 21 - 1 1 - 1

0 ' 1 ' 1 ' 21 3 3

a r e l i n e a r l y d e p e n d e n t o r n o t . T h a t i s , a r e t h e r e f o u r n u m b e r s k , , k 2 , k 3 , k 4 , n o t a l lz e r o , s u c h t h a t1 1 2 2 0

k , 1 + k 2 - 1 + k 3 + k 4 - 1=

00 1 0 0

1 1 3 3 0T h i s v e c t o r e q u a t i o n i s e q u i v a l e n t t o f o u r s c a l a r e q u a t i o n s :

k , + k 2 + 2 k 3 + 2 k 4 = 0 ,k , - k 2 + k 3 - k 4 = 0 ,k 2 + k 3 = 0 ,k , + k 2 + 3 k 3 + 3 k 4 = 0 .

( 1 5 )

T h e s t u d y o f s u c h s y s t e m s o f l i n e a r e q u a t i o n s i s t h e s u b j e c t o f C h a p t e r s 3 a n d 4 .T h e r e w e d e s c r i b e a n a l g o r i t h m f o r f i n d i n g a l l s o l u t i o n s o f s u c h s y s t e m s o fe q u a t i o n s .


29/393

1 2 L I N E A R A L G E B R A A N D I T S A P P L I C A T I O N SE X E R C I S E 2 0 . W h i c h o f t h e f o l l o w i n g s e t s o f v e c t o r s x = ( x 1 , . . . , x " ) i n 0 8 " a r e as u b s p a c e o f U 8 " ? E x p l a i n y o u r a n s w e r .( a ) A l l x s u c h t h a t x , > 0 .( b ) A l l x s u c h t h a t x , + x 2 = 0 -( c ) A l l x s u c h t h a t x , + x 2 + 1 = 0 .( d ) A l l x s u c h t h a t x , = 0 .( e ) A l l x s u c h t h a t x , i s a n i n t e g e r .E X E R C I S E 2 I . L e t U . V , a n d W b e s u b s p a c e s o f s o m e f i n i t e - d i m e n s i o n a l v e c t o rs p a c e X . I s t h e s t a t e m e n t

d i m ( U + V + W ) = d i m U + d i m V + d i m W - d i m ( U n V ) - d i m ( U n W )- d i m ( V n W ) + d i m ( U n V n W ) ,

t r u e o r f a l s e ? I f t r u e , p r o v e i t . I f f a l s e , p r o v i d e a c o u n t e r e x a m p l e .


30/393

C H A P T E R 2

D u a l i t y

R e a d e r s w h o a r e m e e t i n g t h e c o n c e p t o f a n a b s t r a c t l i n e a r s p a c e f o r t h e f i r s t t i m em a y b a l k a t t h e n o t i o n o f t h e d u a l s p a c e a s p i l i n g a n a b s t r a c t i o n o n t o p o f a na b s t r a c t i o n . I h o p e t h a t t h e r e s u l t s p r e s e n t e d a t t h e e n d o f t h i s c h a p t e r w i l l c o n v i n c es u c h s k e p t i c s t h a t t h e n o t i o n i s n o t o n l y n a t u r a l b u t u s e f u l f o r e x p e d i t i o u s l y d e r i v i n gi n t e r e s t i n g c o n c r e t e r e s u l t s . T h e d u a l o f a n o n m e d l i n e a r s p a c e , p r e s e n t e d i n C h a p t e r1 4 , i s a p a r t i c u l a r l y f r u i t f u l i d e a .T h e d u a l o f a n i n f i n i t e - d i m e n s i o n a l n o r m e d l i n e a r s p a c e i s i n d i s p e n s a b l e f o r t h e i rs t u d y .L e t X b e a l i n e a r s p a c e o v e r a f i e l d K . A s c a l a r v a l u e d f u n c t i o n 1 ,

I : X - K ,d e f i n e d o n X , i s c a l l e d l i n e a r i f

l ( X + y ) = I ( x ) + 1 ( y )f o r a l l x , y i n X , a n d

l ( k x ) = k l ( x )

( 1 )

f o r a l l x i n X a n d a l l k i n K . N o t e t h a t t h e s e t w o p r o p e r t i e s , a p p l i e d r e p e a t e d l y , s h o wt h a tl ( k t x t + + k t l ( x i ) + +

W e d e f i n e t h e s u m o f t w o f u n c t i o n s b y p o i n t w i s e a d d i t i o n ; t h a t i s ,( 1 + i n ) ( x ) = l ( x ) + m ( x ) .

L i n e a r A l g e b r a a n d I t s A p p l i c a t i o n s . S e c o n d E d i t i o n , b y P e t e r D . L a xC o p y r i g h t 2 0 0 7 J o h n W i l e y & S o n s , I n c .1 3


31/393

1 4 L I N E A R A L G E B R A A N D I T S A P P L I C A T I O N SM u l t i p l i c a t i o n o f a f u n c t i o n b y a s c a l a r i s d e f i n e d s i m i l a r l y . I t i s e a s y t o v e r i f y t h a tt h e s u m o f t w o l i n e a r f u n c t i o n s i s l i n e a r , a s i s t h e s c a l a r m u l t i p l e o f o n e . T h u s t h e s e to f l i n e a r f u n c t i o n s o n a l i n e a r s p a c e X i t s e l f f o r m s a l i n e a r s p a c e , c a l l e d t h e d u a l o f Xa n d d e n o t e d b y V .

E X A M P L E I . X = { c o n t i n u o u s f u n c t i o n s f ( s ) , 0 < s < 1 } . T h e n f o r a n y p o i n ts , i n [ 0 , 1 ] ,l ( f ) = f ( s l )

i s a l i n e a r f u n c t i o n . S o i s

I ( f ) _ k i f ( s i ) ,w h e r e s j i s a n a r b i t r a r y c o l l e c t i o n o f p o i n t s i n [ 0 , 1 ] , k j a r b i t r a r y s c a l a r s . S o i s

1I ( f ) = 1 f ( s ) d s .0E X A M P L E 2 . X = { D i f f e r e n t i a b l e f u n c t i o n s f o n 1 0 , 1 ] } . F o r s i n [ 0 , 1 ] ,

I t1 ( f ) _ a ; a J f ( s )i s a l i n e a r f u n c t i o n , w h e r e a - d e n o t e s t h e j t h d e r i v a t i v e .

T h e o r e m 1 . L e t X b e a l i n e a r s p a c e o f d i m e n s i o n n . T h e e l e m e n t s x o f X c a n b er e p r e s e n t e d a s a r r a y s o f n s c a l a r s :X = ( c , , . . . , c n ) , ( 3 )

A d d i t i o n a n d m u l t i p l i c a t i o n b y a s c a l a r i s d e f i n e d c o m p o n e n t w i s e . L e t a , , . . . , a n b ea n y a r r a y o f n s c a l a r s ; t h e f u n c t i o n l b e d e f i n e d b y( 4 )

i s a l i n e a r f u n c t i o n o f x . C o n v e r s e l y , e v e r y l i n e a r f u n c t i o n I o f x c a n b e s or e p r e s e n t e d .P r o o f . T h a t l ( x ) d e f i n e d b y ( 4 ) i s a l i n e a r f u n c t i o n o f x i s o b v i o u s . T h e c o n v e r s e i sn o t m u c h h a r d e r . L e t I b e a n y l i n e a r f u n c t i o n d e f i n e d o n X . D e f i n e x j t o b e t h e v e c t o rw h o s e j t h c o m p o n e n t i s 1 , w i t h a l l o t h e r c o m p o n e n t s z e r o . T h e n x d e f i n e d b y ( 3 ) c a nb e e x p r e s s e d a s

x = c , x , + + c n x n .

D e n o t e 1 ( x 1 ) b y a j ; i t f o l l o w s f r o m f o r m u l a ( 1 ) " t h a t l i s o f f o r m ( 4 ) .


32/393

D U A L I T Y 1 5T h e o r e m 1 s h o w s t h a t i f t h e v e c t o r s i n X a r e r e g a r d e d a s a r r a y s o f i t s c a l a r s , t h e nt h e e l e m e n t s I o f X ' c a n a l s o b e r e g a r d e d a s a r r a y s o f n s c a l a r s . I t f o l l o w s f r o m ( 4 )t h a t t h e s u m o f t w o l i n e a r f u n c t i o n s i s r e p r e s e n t e d b y t h e s u m o f t h e t w o a r r a y sr e p r e s e n t i n g t h e s u m m a n d s .S i m i l a r l y , m u l t i p l i c a t i o n o f 1 b y a s c a l a r i s a c c o m p l i s h e d b y m u l t i p l y i n g e a c hc o m p o n e n t . W e d e d u c e f r o m a l l t h i s t h e f o l l o w i n g t h e o r e m .T h e o r e m 2 . T h e d u a l X ' o f a f i n i t e - d i m e n s i o n a l l i n e a r s p a c e X i s a f i n i t e -d i m e n s i o n a l l i n e a r s p a c e , a n d

d i m X = d i m X .

T h e r i g h t - h a n d s i d e o f ( 4 ) d e p e n d s s y m m e t r i c a l l y o n t h e t w o a r r a y s r e p r e s e n t i n gx a n d 1 . T h e r e f o r e w e o u g h t t o w r i t e t h e l e f t - h a n d s i d e a l s o s y m m e t r i c a l l y , w ea c c o m p l i s h t h a t b y t h e s c a l a r p r o d u c t n o t a t i o n( l X ) d e f = 1 ( X ) . ( 5 )

W e c a l l i t a p r o d u c t b e c a u s e i t i s a b i l i n e a r f u n c t i o n o f l a n d x : f o r f i x e d l i t i s a l i n e a rf u n c t i o n o f x , a n d f o r f i x e d x i t i s a l i n e a r f u n c t i o n o f 1 .S i n c e X ' i s a l i n e a r s p a c e , i t h a s i t s o w n d u a l X " c o n s i s t i n g o f a l l l i n e a r f u n c t i o n so n X . F o r f i x e d x , ( 1 , x ) i s s u c h a l i n e a r f u n c t i o n . B y T h e o r e m 1 , a l l l i n e a r f u n c t i o n sa r e o f t h i s f o r m . T h i s p r o v e s t h e f o l l o w i n g t h e o r e m .

T h e o r e m 3 . T h e b i l i n e a r f u n c t i o n ( 1 , x ) d e f i n e d i n ( 5 ) g i v e s a n a t u r a li d e n t i f i c a t i o n o f X w i t h X " .E X E R C I S E I . G i v e n a n o n z e r o v e c t o r x i i n X , s h o w t h a t t h e r e i s a l i n e a r f u n c t i o n Is u c h t h a t

l ( x i ) 0 0 .

D e f i n i t i o n . L e t Y b e a s u b s p a c e o f X . T h e s e t o f l i n e a r f u n c t i o n s / t h a t v a n i s h o nY , t h a t i s , s a t i s f y1 ( y ) = 0 f o r a l l y i n Y , ( 6 )

i s c a l l e d t h e a n n i h i l a t o r o f t h e s u b s p a c e Y ; i t i s d e n o t e d b y Y l .E X E R C I S E 2 . V e r i f y t h a t Y l i s a s u b s p a c e o f X ' .T h e o r e m 4 . L e t Y b e a s u b s p a c e o f a f i n i t e - d i m e n s i o n a l s p a c e X , Y l i t sa n n i h i l a t o r . T h e n

d i m Y l + d i m Y = d i m X . ( 7 )


33/393

1 6 L I N E A R A L G E B R A A N D I T S A P P L I C A T I O N SP r o o f . W e s h a l l e s t a b l i s h a n a t u r a l i s o m o r p h i s m b e t w e e n Y 1 a n d t h e d u a l ( X / Y ) 'o f X / Y . G i v e n 1 i n Y 1 w e d e f i n e L i n ( X / Y ) ' a s f o l l o w s : f o r a n y c o n g r u e n c e c l a s s { x }i n X / Y , w e d e f i n e

L { x } = 1 ( x ) . ( 8 )I t f o l l o w s f r o m ( 6 ) t h a t t h i s d e f i n i t i o n o f L i s u n e q u i v o c a l , t h a t i s , d o e s n o t d e p e n d o nt h e e l e m e n t x p i c k e d t o r e p r e s e n t t h e c l a s s .C o n v e r s e l y , g i v e n a n y L i n ( X / Y ) ' , ( 8 ) d e f i n e s a l i n e a r f u n c t i o n I o n X t h a ts a t i s f i e s ( 6 ) . C l e a r l y , t h e c o r r e s p o n d e n c e b e t w e e n I a n d L i s o n e - t o - o n e a n d a ni s o m o r p h i s m . T h u s s i n c e i s o m o r p h i c l i n e a r s p a c e s h a v e t h e s a m e d i m e n s i o n ,

d i m Y 1 = d i m ( X / Y ) ' .B y T h e o r e m 2 , d i m ( X / Y ) ' = d i m X / Y , a n d b y T h e o r e m 6 o f C h a p t e r 1 ,d i m X / Y = d i m X - d i m Y , s o T h e o r e m 4 f o l l o w s . 0

T h e d i m e n s i o n o f Y 1 i s c a l l e d t h e c o d i m e n s i o n o f Y a s a s u b s p a c e o f X . B yT h e o r e m 4 ,

c o d i m Y + d i m Y = d i m X .S i n c e Y ' i s a s u b s p a c e o f X ' , i t s a n n i h i l a t o r , d e n o t e d b y Y 1 1 , i s a s u b s p a c eo f X " .

T h e o r e m 5 . U n d e r t h e i d e n t i f i c a t i o n ( 5 ) o f X " a n d X , f o r e v e r y s u b s p a c e Y o f af i n i t e - d i m e n s i o n a l s p a c e X ,Y 1 1 = Y

P r o o f . I t f o l l o w s f r o m d e f i n i t i o n ( 6 ) o f t h e a n n i h i l a t o r o f Y t h a t a l l y i n Y b e l o n g t oY 1 1 , t h e a n n i h i l a t o r o f Y ' . T o s h o w t h a t Y i s a l l o f Y 1 1 , w e m a k e u s e o f ( 7 ) a p p l i e dt o X ' a n d i t s s u b s p a c e Y 1 :d i m Y 1 1 + d i m Y 1 = d i m X . ( 7 ) '

S i n c e d i m X ' = d i m X , i t f o l l o w s b y c o m p a r i n g ( 7 ) a n d ( 7 ) ' t h a td i m Y 1 1 = d i m Y .

S o Y i s a s u b s p a c e o f Y 1 1 t h a t h a s t h e s a m e d i m e n s i o n a s Y 1 1 ; b u t t h e n a c c o r d i n g t oC o r o l l a r y 6 ' i n C h a p t e r 1 , Y = Y 1 1 . E l


34/393

D U A L I T YT h e f o l l o w i n g n o t i o n i s u s e f u l :D e f i n i t i o n . L e t X b e a f i n i t e - d i m e n s i o n a l l i n e a r s p a c e , a n d l e t S b e a s u b s e t o fX . T h e a n n i h i l a t o r S l o f S i s t h e s e t o f l i n e a r f u n c t i o n s I t h a t a r e z e r o a t a l l v e c t o r s

s o f S :

T h e o r e m 6 . D e n o t e b y Y t h e s m a l l e s t s u b s p a c e c o n t a i n i n g S :S 1 = Y l .

E X E R C I S E 3 . P r o v e T h e o r e m 6 .A c c o r d i n g t o f o r m a l i s t p h i l o s o p h y , a l l o f m a t h e m a t i c s i s t a u t o l o g y . C h a p t e r 2m i g h t s t r i k e t h e r e a d e r - a s i t d o e s t h e a u t h o r - a s q u i n t e s s e n t i a l t a u t o l o g y . Y e t e v e nt h i s t r i v i a l - l o o k i n g m a t e r i a l h a s s o m e i n t e r e s t i n g c o n s e q u e n c e s :

I ( s ) = 0 f o r s i n S .

1 7

T h e o r e m 7 . L e t I b e a n i n t e r v a l o n t h e r e a l a x i s , t i , . . . , t n d i s t i n c t p o i n t s .T h e n t h e r e e x i s t n n u m b e r s i n 1 , . . . , i n , , s u c h t h a t t h e q u a d r a t u r e f o r m u l a ,

I p ( t ) d t = m i p ( t i ) + . + ( 9 )h o l d s f o r a l l p o l y n o m i a l s p o f d e g r e e l e s s t h a n n .P r o o f . D e n o t e b y X t h e s p a c e o f a l l p o l y n o m i a l s p ( t ) = a o + a l t + + a " _ i t " -o f d e g r e e l e s s t h a n n . S i n c e X i s i s o m o r p h i c t o t h e s p a c e ( a o , a l , . . . , a " _ i ) _R ' 1 , d i m X = n . W e d e f i n e l j a s t h e l i n e a r f u n c t i o n

l j ( p ) = p ( t j ) ( 1 0 )T h e I j a r e e l e m e n t s o f t h e d u a l s p a c e o f X ; w e c l a i m t h a t t h e y a r e l i n e a r l yi n d e p e n d e n t . F o r s u p p o s e t h e r e i s a l i n e a r r e l a t i o n b e t w e e n t h e m :

c l 1 1 ( 1 1 )A c c o r d i n g t o t h e d e f i n i t i o n o f t h e l j , ( 1 1 ) m e a n s t h a t

c i p ( t i ) + . . . + c n p ( 4 , ) = 0 ( 1 2 )f o r a l l p o l y n o m i a l s p o f d e g r e e l e s s t h a n n . D e f i n e t h e p o l y n o m i a l q k a s t h e p r o d u c tq k ( t ) = f l ( t - t i ) .

j # kC l e a r l y , q k i s o f d e g r e e n - 1 , a n d i s z e r o a t a l l p o i n t s t j , j # k . S i n c e t h e p o i n t s t j a r ed i s t i n c t , q k i s n o n z e r o a t t k . S e t p = q k i n ( 1 2 ) ; s i n c e g k ( t j ) = 0 f o r j # k , w e o b t a i nt h a t c k g k ( t k ) = 0 ; s i n c e q k ( t k ) i s n o t z e r o , C k m u s t b e . T h i s s h o w s t h a t a l l c o e f f i c i e n t sc k a r e z e r o , t h a t i s , t h a t t h e l i n e a r r e l a t i o n ( 1 1 ) i s t r i v i a l . T h u s t h e 1 1 . j = 1 , . . . , n a r e nl i n e a r l y i n d e p e n d e n t e l e m e n t s o f V . A c c o r d i n g t o T h e o r e m 2 , d i m X ' = d i m X = n ;


35/393

1 8 L I N E A R A L G E B R A A N D I T S A P P L I C A T I O N St h e r e f o r e t h e I j f o r m a b a s i s o f V . T h i s m e a n s t h a t a n y o t h e r l i n e a r f u n c t i o n 1 o n Xc a n b e r e p r e s e n t e d a s a l i n e a r c o m b i n a t i o n o f t h e I j :

I = m i l lT h e i n t e g r a l o f p o v e r I i s a l i n e a r f u n c t i o n o f p ; t h e r e f o r e i t c a n b e r e p r e s e n t e d a sa b o v e . T h i s p r o v e s t h a t g i v e n a n y n d i s t i n c t p o i n t s t i , . . . , t n , t h e r e i s a f o r m u l a o ff o r m ( 9 ) t h a t i s v a l i d f o r a l l p o l y n o m i a l s o f d e g r e e l e s s t h a n n .

E X E R C I S E 4 . I n T h e o r e m 6 t a k e t h e i n t e r v a l I t o b e [ - 1 , 1 ] , a n d t a k e n t o b e 3 .C h o o s e t h e t h r e e p o i n t s t o b e t 1 = - a , t 2 = 0 , a n d t 3 = a .( i ) D e t e r m i n e t h e w e i g h t s i n , , m 2 i m 3 s o t h a t ( 9 ) h o l d s f o r a l l p o l y n o m i a l s o fd e g r e e < 3 .

( i i ) S h o w t h a t f o r a > 1 / 3 , a l l t h r e e w e i g h t s a r e p o s i t i v e .( i i i ) S h o w t h a t f o r a = 3 / 5 , ( 9 ) h o l d s f o r a l l p o l y n o m i a l s o f d e g r e e < 6 .E X E R C I S E 5 . I n T h e o r e m 6 t a k e t h e i n t e r v a l I t o b e [ - 1 , 1 ] , a n d t a k e n = 4 .C h o o s e t h e f o u r p o i n t s t o b e - a , - b , b , a .

( i ) D e t e r m i n e t h e w e i g h t s m i , m 2 , m 3 , a n d m 4 s o t h a t ( 9 ) h o l d s f o r a l lp o l y n o m i a l s o f d e g r e e < 4 .( i i ) F o r w h a t v a l u e s o f a a n d b a r e t h e w e i g h t s p o s i t i v e ?

E X E R C I S E 6 . L e t P 2 b e t h e l i n e a r s p a c e o f a l l p o l y n o m i a l sp ( x ) = a o + a i x + a 2 x 2

w i t h r e a l c o e f f i c i e n t s a n d d e g r e e < 2 . L e t i ' i , 4 2 , 4 3 b e t h r e e d i s t i n c t r e a l n u m b e r s , a n dt h e n d e f i n e e j = P ( j ) f o r j = 1 , 2 , 3 .

( a ) S h o w t h a t f l , Q 2 , e 3 a r e l i n e a r l y i n d e p e n d e n t l i n e a r f u n c t i o n s o n P 2 .( b ) S h o w t h a t e l , 1 2 , e 3 i s a b a s i s f o r t h e d u a l s p a c e P .( c ) ( 1 ) S u p p o s e l e i , . . . , e n } i s a b a s i s f o r t h e v e c t o r s p a c e V . S h o w t h e r e e x i s tl i n e a r f u n c t i o n s ( e i . . . . e n } i n t h e d u a l s p a c e V d e f i n e d b y

1 i f i = j ,+ ( e i ) 0 i f i 5 4 j ,

S h o w t h a t { L 1 , . . . , e n } i s a b a s i s o f V ' , c a l l e d t h e d u a l b a s i s .( 2 ) F i n d t h e p o l y n o m i a l s P 1 ( x ) , p 2 ( x ) , P 3 ( x ) i n P 2 f o r w h i c h Q i , Q 2 , e 3 i s t h ed u a l b a s i s i n P .E X E R C I S E 7 . L e t W b e t h e s u b s p a c e o f 6 8 4 s p a n n e d b y ( 1 , 0 , - 1 , 2 ) a n d ( 2 , 3 ,1 , 1 ) .

W h i c h l i n e a r f u n c t i o n s e ( x ) = c i x i + c 2 x 2 + c 3 x 3 + C 4 X 4 a r e i n t h e a n n i h i l a t o r o f W ?


36/393

C H A P T E R 3

L i n e a r M a p p i n g s

C h a p t e r 3 a b s t r a c t s t h e c o n c e p t o f a m a t r i x a s a l i n e a r m a p p i n g o f o n e l i n e a r s p a c ei n t o a n o t h e r . A g a i n I p o i n t o u t t h a t n o g r e a t e r g e n e r a l i t y i s a c h i e v e d , s o w h a t h a sb e e n g a i n e d ?F i r s t o f a l l , s i m p l i c i t y o f n o t a t i o n ; w e c a n r e f e r t o m a p p i n g s b y s i n g l e s y m b o l s ,i n s t e a d o f r e c t a n g u l a r a r r a y s

Documents

Lax,.Linear.algebra.and.Its.applications,.2ed,.Wiley,.2007,.394s