( eBook - PDF - EnG ) Applications of Linear Algebra ( Ma Thematic )

8/8/2019 ( eBook - PDF - EnG ) Applications of Linear Algebra ( Ma Thematic )

1/188

P a r t I

A P P L I C A T I O N S O F L I N E A R

A L G E B R A

I N T R O D U C T I O N

T h i s c o u r s e \ A p p l i c a t i o n s o f L i n e a r A l g e b r a " i s b a s e d o n t h e l e c t u r e s

g i v e n b y t h e a u t h o r t o p o s t g r a d u a t e s t u d e n t s a t T a l l i n n T e c h n i c a l U n i v e r -

s i t y . O u r a i m w a s t o a c q u a i n t t h e s t u d e n t s w i t h t h e l i n e a r a l g e b r a p a c k a g e s

L I N P A C K , E I S P A C K a n d L A P A C K , a n d w i t h t h e t h e o r e t i c a l f u n d a m e n t a l s

o f t h e p a r t s o f t h e p a c k a g e s M A T L A B , M A P L E , M A T H C A D a n d M A T H -

E M A T I C A r e l a t e d t o l i n e a r a l g e b r a . W e h a v e t r i e d t o e x p l a i n t h e l i n e a r

a l g e b r a m e t h o d s w h i c h f o r m t h e b a s i s f o r t h e c o m p u t i n g m e t h o d s u s e d i n

t h e p a c k a g e s . W e w o u l d l i k e t o s t r e s s t h a t t h e a i m o f t h e c o u r s e i s n o t t o

w o r k o u t c o n c r e t e c o m p u t i n g a l g o r i t h m s b u t t o l e a r n a b o u t t h e b a s i c i d e a s

r e l a t e d t o t h e s e a l g o r i t h m s . I t w i l l b e a s s u m e d t h a t t h e r e a d e r i s a c q u a i n t e d

w i t h t h e b a s i c i d e a s o f a l g e b r a .

T h e a u t h o r w o u l d l i k e t o t h a n k A s s o c . P r o f . E l l e n R e d i ( T a l l i n n P e d -

a g o g i c a l U n i v e r s i t y ) w h o s e h e l p i n t h e i m p r o v e m e n t o f t h e p r e s e n t e d m a t h -

e r i a l b o t h i n i t s c o n t e n t s a n d i t s f o r m h a s b e e n e n o r m o u s . M a n y o f t h e

e x a m p l e s a n d p r o b l e m s w e r e p r e p a r e d b y s t u d e n t s K r i s t i i n a K r u s p a n , K a d r i

M i k k , R e e n a P r i n t s ( T a l l i n n P e d a g o g i c a l U n i v e r s i t y ) , A n d r e i F i l o n o v , D m i t r i

T s e l u i k o ( T a r t u U n i v e r s i t y ) J u h a n - P e e p E r n i t s a n d H e i k i H i i s j a r v ( T a l l i n n

T e c h n i c a l U n i v e r s i t y ) w i t h i n t h e f r a m e w o r k o f t h e T E M P U S - p r o j e c t d u r i n g

t h e i r s t a y a t T a m p e r e U n i v e r s i t y o f T e c h n o l o g y i n J u n e , 1 9 9 7 .

T h e n u m b e r s o f t h e i r e x a m p l e s a n d p r o b l e m s a r e m a r k e d b y a n a s t e r i s k

\ * " .

T h e m a t h e r i a l i s b a s e d o n t h e m o n o g r a p h s o f G . H . G o l u b a n d C . F . V a n

L o a n ( 1 9 9 6 ) , a n d G . S t r a n g ( 1 9 8 8 ) .

I h o p e t h a t t h e c o u r s e w i l l h e l p t h e r e a d e r i n t e r e s t e d i n a p p l i c a t i o n s o f

l i n e a r a l g e b r a m o r e t o u s e t h e l i n e a r a l g e b r a p a c k a g e s m o r e e e c t i v e l y .

A u t h o r .

1


2/188

1 F U N D A M E N T A T I O N S O F L I N E A R A L -

G E B R A

1 . 1 V e c t o r s

1 . 1 . 1 V e c t o r S p a c e s

O n e o f t h e f u n d a m e n t a l c o n c e p t s o f l i n e a r a l g e b r a i s t h a t o f v e c t o r s p a c e .

A t t h e s a m e t i m e i t i s o n e o f t h e m o r e o f t e n u s e d c o n c e p t s o f a l g e b r a i c

s t r u c t u r e i n m o d e r n m a t h e m a t i c s . F o r e x a m p l e , m a n y f u n c t i o n s e t s s t u d i e d

i n m a t h e m a t i c a l a n a l y s i s a r e w i t h r e s p e c t t o t h e i r a l g e b r a i c p r o p e r t i e s v e c t o r

s p a c e s . I n a n a l y s i s t h e n o t i o n \ l i n e a r s p a c e " i s u s e d i n s t e a d o f t h e n o t i o n

\ v e c t o r s p a c e " .

D e n i t i o n 1 . 1 . 1 : A s e t X i s c a l l e d a v e c t o r s p a c e o v e r t h e n u m b e r e l d K

i f t o e v e r y p a i r ( x y ) o f e l e m e n t s o f X t h e r e c o r r e s p o n d s a s u m x + y 2 X ,

a n d t o e v e r y p a i r ( x ) w h e r e 2 K a n d x 2 X , t h e r e c o r r e s p o n d s a n

e l e m e n t x 2 X , w i t h t h e p r o p e r t i e s 1 - 8 :

1 . x + y = y + x ( c o m m u t a b i l i t y o f a d d i t i o n )

2 . x + ( y + z ) = ( x + y ) + z ( a s s o c i a t i v i t y o f a d d i t i o n )

3 . 9 0 2 X : 0 + x = x ( e x i s t e n c e o f n u l l e l e m e n t )

4 .

8x

2X

) 9 ;x

2X : x + (

;x ) = 0 ( e x i s t e n c e o f t h e i n v e r s e

e l e m e n t )

5 . 1

x = x ( u n i t a r i s m )

6 . ( x ) = ( ) x ( a s s o c i a t i v i t y w i t h r e s p e c t t o n u m b e r m u l t i p l i c a t i o n )

7 . ( x + y ) = x + y ( d i s t r i b u t i v i t y w i t h r e s p e c t t o v e c t o r a d d i t i o n )

8 . ( + ) x = x + x ( d i s t r i b u t i v i t y w i t h r e s p e c t t o n u m b e r a d d i t i o n ) .

T h e p r o p e r t i e s 1 - 8 a r e c a l l e d t h e v e c t o r s p a c e a x i o m s . A x i o m s 1 - 4 s h o w

t h a t X i s a c o m m u t a t i v e g r o u p o r a n A b e l i a n g r o u p w i t h r e s p e c t t o v e c t o r

a d d i t i o n . T h e s e c o n d c o r r e s p o n d e n c e i s c a l l e d m u l t i p l i c a t i o n o f t h e v e c t o r b y

a n u m b e r , a n d i t s a t i s e s a x i o m s 5 - 8 . E l e m e n t s o f a v e c t o r s p a c e a r e c a l l e d

v e c t o r s . I f K = R , t h e n o n e s p e a k s o f a r e a l v e c t o r s p a c e , a n d i f K = C ,

t h e n o f a c o m p l e x v e c t o r s p a c e . I n s t e a d o f t h e n o t i o n \ v e c t o r s p a c e " w e s h a l l

u s e t h e a b b r e v i a t i v e \ s p a c e " .

2


3/188

E x a m p l e 1 . 1 . 1 . L e t u s c o n s i d e r t h e s e t o f a l l n 1 ; m a t r i c e s w i t h r e a l

e l e m e n t s :

X = f x : x =

2

6

6

4

1

.

.

.

n

3

7

7

5

i

2 R g :

T h e s u m o f t w o m a t r i c e s w e d e n e i n t h e u s u a l w a y b y t h e a d d i t i o n o f t h e

c o r r e s p o n d i n g e l e m e n t s . B y m u l t i p l y i n g t h e m a t r i x b y a r e a l n u m b e r w e

m u l t i p l y a l l e l e m e n t s o f t h e m a t r i x b y t h i s n u m b e r . T h e s i m p l e c h e c k w i l l

s h o w t h a t c o n d i t i o n s 1 - 8 a r e s a t i s e d . F o r e x a m p l e , l e t u s c h e c k c o n d i t i o n s

3 a n d 4 . W e c o n s t r u c t

0 =

2

6

6

4

0

.

.

.

0

3

7

7

5

;x =

2

6

6

4

;

1

.

.

.

;

n

3

7

7

5

:

A s

0 + x =

2

6

6

4

0

.

.

.

0

3

7

7

5

+

2

6

6

4

1

.

.

.

n

3

7

7

5

=

2

6

6

4

0 +

1

.

.

.

0 +

n

3

7

7

5

=

2

6

6

4

1

.

.

.

n

3

7

7

5

= x

t h e e l e m e n t 0 s a t i s e s c o n d i t i o n 3 f o r a r b i t r a r y x 2 X , a n d t h u s i t i s t h e

n u l l e l e m e n t o f t h e s p a c e X . F o r t h e e l e m e n t ; x

x + ( ; x ) =

2

6

6

4

1

.

.

.

n

3

7

7

5

+

2

6

6

4

;

1

.

.

.

;

n

3

7

7

5

=

2

6

6

4

1

;

1

.

.

.

n

;

n

3

7

7

5

=

2

6

6

4

0

.

.

.

0

3

7

7

5

= 0

i . e . , c o n d i t i o n 4 i s s a t i s e d . M a k e s u r e o f t h e v a l i t i d y o f t h e r e m a i n i n g

c o n d i t i o n s 1 - 2 a n d 5 - 8 .

T h e v e c t o r s p a c e i n e x a m p l e 1 . 1 . 1 i s c a l l e d a n n - d i m e n s i o n a l r e a l a r i t h -

m e t i c a l s p a c e o r i n s h o r t R

n

. D e c l a r i n g t h e v e c t o r x o f t h e s p a c e R

n

w e o f t e n

u s e t h e t r a n s p o s e d m a t r i x

x =

h

1

: : :

n

i

T

:

I n t h i s p r e s e n t a t i o n w e o f t e n u s e p u n c t u a t i o n m a r k s ( c o m m a , s e m i c o l o n ) t o

s e p a r a t e t h e c o m p o n e n t s o f t h e v e c t o r , f o r e x a m p l e

x =

h

1

: : :

n

i

T

:

3


4/188

E x a m p l e 1 . 1 . 1 .

L e t U b e a s e t t h a t c o n s i s t s o f a l l p a i r s o f r e a l n u m b e r s

a = (

1

2

) b = (

1

2

) : : : W e d e n e a d d i t i o n a n d m u l t i p l i c a t i o n b y a

s c a l a r i n U a s f o l l o w s :

a + b = ( (

3

1

+

3

1

)

1 = 3

(

3

2

+

3

2

)

1 = 3

)

a = (

1

2

) :

I s t h e s e t U a v e c t o r s p a c e ?

P r o p o s i t i o n 1 . 1 . 1 . L e t X b e a v e c t o r s p a c e . F o r a r b i t r a r y v e c t o r s

x y 2 X a n d n u m b e r 2 K t h e f o l l o w i n g a s s e r t i o n s a n d e q u a l i t i e s a r e v a l i d :

t h e n u l l v e c t o r 0 o f t h e v e c t o r s p a c e X i s u n i q u e

t h e i n v e r s e v e c t o r ; x o f e a c h x 2 X i s u n i q u e

t h e u n i q u e n e s s o f t h e i n v e r s e v e c t o r a l l o w s t o d e n e t h e o p e r a t i o n o f

s u b t r a c t i o n b y

x ; y

d e f

= x + ( ; y )

x = y , x ; y = 0

0 x = 0 8 x 2 X

0 = 0 8 2 K

( ; 1 ) x = ; x

x = 0 , ( = 0 _ x = 0 ) :

B e c o m e c o n v i n c e d o f t h e t r u e n e s s o f t h e s e a s s e r t i o n s ! 2

E x a m p l e 1 . 1 . 2 . L e t u s c o n s i d e r t h e s e t o f a l l ( m n ) ; m a t r i c e s w i t h

c o m p l e x e l e m e n t s . T h e s u m o f t h e s e m a t r i c e s w i l l b e d e n e d b y t h e a d d i t i o n

o f t h e c o r r e s p o n d i n g e l e m e n t s o f t h e m a t r i c e s . B y m u l t i p l y i n g t h e m a t r i x b y

a c o m p l e x n u m b e r o n e w i l l m u l t i p l y b y t h i s n u m b e r a l l t h e e l e m e n t s o f t h e

m a t r i x . W e l e a v e t h e c h e c k t h a t a l l c o n d i t i o n s 1 - 8 a r e s a t i s e d t o t h e r e a d e r .

T h i s v e c t o r s p a c e o v e r t h e c o m p l e x n u m b e r e l d C w i l l b e d e n o t e d C

m n

: I f

w e c o n n e o u r s e l v e s t o r e a l m a t r i c e s , t h e n w e s h a l l g e t a v e c t o r s p a c e R

m n

o v e r t h e n u m b e r e l d R : T h e s p a c e C

m 1

w i l l b e i d e n t i e d w i t h t h e s p a c e

C

m

a n d t h e s p a c e R

m 1

w i t h t h e s p a c e R

m

:

4


5/188

E x a m p l e 1 . 1 . 3 . T h e s e t F ] o f a l l f u n c t i o n s x : ] ! R i s a

v e c t o r s p a c e ( p r o v e ! ) o v e r t h e n u m b e r e l d R i f

( x + y ) ( t )

d e f

= x ( t ) + y ( t )

8t

2 ]

a n d

( x ) ( t )

d e f

= x ( t ) 8 t 2 ] :

1 . 1 . 2 S u b s p a c e s o f t h e V e c t o r S p a c e

D e n i t i o n 1 . 2 . 1 . T h e s e t W o f v e c t o r s o f t h e v e c t o r s p a c e X ( o v e r t h e

e l d K ) t h a t i s a v e c t o r s p a c e w i l l r e s p e c t t o v e c t o r a d d i t i o n a n d m u l t i p l i c a -

t i o n b y a n u m b e r d e n e d i n t h e v e c t o r s p a c e X , i s c a l l e d a s u b s p a c e o f t h e

v e c t o r s p a c e X a n d d e n o t e d W X :

P r o p o s i t i o n 1 . 2 . 1 : T h e s e t W o f v e c t o r s o f t h e v e c t o r s p a c e X i s a

s u b s p a c e o f t h e v e c t o r s p a c e X i f o r e a c h t w o v e c t o r s x y 2 W a n d e a c h

n u m b e r 2 K v e c t o r s x + y a n d x b e l o n g t o t h e s e t W .

P r o o f . N e c e s s i t y i s o b v i o u s . T o p r o v e s u c i e n c y , w e h a v e t o s h o w t h a t i n

o u r c a s e c o n d i t i o n s 1 - 8 f o r a v e c t o r s p a c e a r e s a t i s e d . L e t u s c h e c k c o n d i t i o n

1 . L e t x y 2 W X : B y a s s u m p t i o n , x + y 2 W X . A s X i s a v e c t o r

s p a c e , t h e n f o r X a x i o m 1 i s s a t i s e d , a n d t h e n x + y = y + x . T h e r e f o r e ,

f o r W a x i o m 1 i s s a t i s e d , t o o . L e t u s t e s t t h e v a l i d i t y o f c o n d i t i o n 4 .

L e t x 2 W X : B y a s s u m p t i o n , ( ; 1 ) x 2 W X : O n t h e o t h e r h a n d , b y

p r e p o s i t i o n 1 , i n X t h e e q u a l i t y ( ; 1 ) x = ; x : h o l d s . H e n c e t h e i n v e r s e v e c t o r

;x b e l o n g s t o s e t W w i t h t h e v e c t o r x , i . e . , c o n d i t i o n 4 i s s a t i s e d . P r o v e

b y y o u r s e l v e s t h e v a l i d i t y o f c o n d i t i o n s 2 , 3 a n d 5 - 8 . 2

E x a m p l e 1 . 2 . 1 . T h e v e c t o r s p a c e C ] o v e r R o f a l l f u n c t i o n s c o n t i -

n o u o s o n ] ( e x a m p l e 1 . 1 . 3 ) i s a s u b s p a c e o f v e c t o r s p a c e F ] : A s t h e

s u m o f t w o f u n c t i o n s c o n t i n o u o s o n t h e i n t e r v a l , a n d t h e p r o d u c t o f s u c h a

f u n c t i o n b y a n u m b e r a r e f u n c t i o n s c o n t i n o u o s o n t h i s i n t e r v a l , b y p r o p o s i t i o n

1 . 2 . 1 , C ] i s a s u b s p a c e o f t h e v e c t o r s p a c e F ] :

E x a m p l e 1 . 2 . 2 . L e t P

n

b e t h e s e t o f a l l p o l y n o m i a l s a

0

t

k

+ a

1

t

k ; 1

+

: : : + a

k ; 1

t + a

k

= x ( k n ) o f a t m o s t d e g r e e n w i t h r e a l c o e c i e n t s . W e

d e n e a d d i t i o n o f t w o p o l y n o m i a l s a n d m u l t i p l i c a t i o n o f a p o l y n o m i a l b y a

r e a l n u m b e r i n t h e u s u a l w a y . A s a r e s u l t , w e g e t t h e v e c t o r s p a c e P

n

o f

p o l y n o m i a l s o f a t m o s t d e g r e e n : I f w e d e n o t e b y P

n

] t h e v e c t o r s p a c e o f

5


6/188

p o l y n o m i a l s o f a t m o s t d e g r e e n d e n e d o n t h e i n t e r v a l ] , t h e n P

n

]

w i l l b e a s u b s p a c e o f t h e v e c t o r s p a c e C ] :

E x a m p l e 1 . 2 . 3 .

L e t u s s h o w t h a t t h e s e t H =

( "

a b

0 c

#

: a b c 2 R

)

i s a s u b s p a c e o f t h e m a t r i x v e c t o r s p a c e R

2 2

:

T h e s e t H i s c l o s e d w i t h r e s p e c t t o a d d i t i s m a n d m u l t i p l i c a t i o n b y s c a l a r

s i n c e

"

a b

0 c

#

+

"

d e

0 f

#

=

"

a + d b + e

0 c + f

#

a n d

"

a b

0 c

#

=

"

a b

0 c

#

:

T h u s t h e s e t H i s a s u b s p a c e o f t h e m a t r i x v e c t o r s p a c e R

2 2

:

P r o b l e m 1 . 2 . 1 .

P r o v e t h a t t h e s e t o f a l l s y m m e t r i c m a t r i c e s f o r m a

s u b s p a c e o f t h e v e c t o r s p a c e o f a l l s q u a r e m a t r i c e s R

n n

:

P r o p o s i t i o n 1 . 2 . 2 . I f S

1

: : : S

k

a r e s u b s p a c e s o f t h e v e c t o r s p a c e X ,

t h e n t h e i n t e r s e c t i o n S = S

1

\ S

2

\ : : : \ S

k

o f t h e s u b s p a c e s i s a s u b s p a c e o f

t h e v e c t o r s p a c e X :

P r o v e ! 2

P r o p o s i t i o n 1 . 2 . 3 . I f S

1

S

k

a r e s u b s p a c e s o f t h e s p a c e X a n d

S = f x

1

+ x

2

+ : : : + x

k

: x

i

2 S

i

( i = 1 : k ) g

i s t h e s u m o f t h e s e s u b s p a c e s , t h e n S i s a s u b s p a c e o f X :

D e n i t i o n 1 . 2 . 2 . I f e a c h x 2 S c a n b e e x p r e s s e d u n i q u e l y i n t h e f o r m

x = x

1

+ x

2

+ : : : + x

k

( x

i

2S

i

) t h e n w e s a y t h a t S i s t h e d i r e c t s u m o f

s u b s p a c e s S

i

a n d i t d e n o t e d S = S

1

S

2

S

k

:

D e n i t i o n 1 . 2 . 3 . E a c h e l e m e n t o f t h e s p a c e X t h a t c a n b e e x p r e s s e d

a s

1

x

1

+ : : : +

n

x

n

w h e r e

i

2 K i s c a l l e d a l i n e a r c o m b i n a t i o n o f t h e

e l e m e n t s x

1

: : : x

n

o f t h e v e c t o r s p a c e X ( o v e r t h e e l d K ) .

D e n i t i o n 1 . 2 . 4 . T h e s e t o f a l l p o s s i b l e l i n e a r c o m b i n a t i o n o f t h e s e t Z

i s c a l l e d t h e s p a n o f t h e s e t Z X :

E x a m p l e 1 . 2 . 4 . L e t X = R

3

a n d Z = f 1 1 0 ]

T

1 ; 1 0 ]

T

g : T h e n

s p a n Z = f 0 ]

T

: 2 R g : P r o v e !

6


7/188

P r o p o s i t i o n 1 . 2 . 4 . T h e s e t s p a n Z o f t h e s e t Z X i s t h e l e a s t s u b s p a c e

t h a t c o n t a i n s t h e s e t Z :

P r o o f . F i r s t , l e t u s p r o v e t h a t s p a n Z i s a s u b s p a c e o f t h e s p a c e X . I t

i s s u c i e n t , b y p r o p o s i t i o n 1 . 2 . 1 , t o s h o w t h a t s p a n Z i s c l o s e d w i t h r e s p e c t

t o v e c t o r a d d i t i o n a n d m u l t i p l i c a t i o n o f t h e v e c t o r b y a n u m b e r :

x y 2 s p a n Z , x =

n

X

i = 1

i

u

i

y =

m

X

j = 1

j

v

j

i

j

2 K u

i

v

j

2 Z )

x + y =

n

X

i = 1

i

u

i

+

m

X

j = 1

j

v

j

i

j

2 K u

i

v

j

2 Z , x + y 2 s p a n Z

2K

x

2s p a n Z

,

2K

x =

n

X

i = 1

i

u

i

u

i

2Z

i

2K

)

x =

n

X

i = 1

i

u

i

=

n

X

i = 1

(

i

i

) u

i

=

n

X

i = 1

i

u

i

i

2 K u

i

2 Z , x 2 s p a n Z :

T h u s , s p a n Z i s a s u b s p a c e o f t h e s p a c e X . L e t u s s h o w t h a t s p a n Z i s

t h e l e a s t s u b s p a c e o f t h e s p a c e X t h a t c o n t a i n s t h e s e t Z : L e t Y b e s o m e

s u b s p a c e o f t h e s p a c e X f o r w h i c h Z Y : A s Z Y a n d Y i s a s u b s p a c e ,

t h e a r b i t r a r y l i n e a r c o m b i n a t i o n o f t h e e l e m e n t s o s t h e s e t Z b e l o n g s t o t h e

s u b s p a c e Y : T h e r e f o r e , s p a n Z a s t h e s e t o f a l l s u c h l i n e a r c o m b i n a t i o n s

b e l o n g s t o t h e s p a c e Y : 2

C o r o l l a r y 1 . 2 . 1 . A s u b s e t W o f t h e v e c t o r s p a c e X i s a s u b s p a c e i i t

c o i n c i d e s w i t h i t s s p a n , i . e . , W X , W = s p a n W :

P r o b l e m 1 . 2 . 2 .

D o e s t h e v e c t o r d =

h

8 7 4

i

T

b e l o n g t o t h e s u b -

s p a c e s p a n f a b c g , w h e n

a =

h

1 ; 1 0

i

T

b =

h

2 3 1

i

T

c =

h

6 9 3

i

T

?

7


8/188

1 . 1 . 3 L i n e a r D e p e n d e n c e o f V e c t o r s . B a s i s o f t h e V e c t o r S p a c e .

D e n i t i o n 1 . 3 . 1 . A s e t o f v e c t o r s

f x

1

: : : x

k

g

i n t h e v e c t o r s p a c e X ( o v e r t h e e l d K ) i s s a i d t o b e l i n e a r l y d e p e n d e n t i f

9

1

: : :

k

2 K : j

1

j + : : : + j

k

j 6= 0

1

x

1

+ : : : +

k

x

k

= 0 :

D e n i t i o n 1 . 3 . 2 . A s e t o f v e c t o r s i n t h e s p a c e X ( o v e r t h e e l d K ) i s

s a i d t o b e l i n e a r l y i n d e p e n d e n t i f i t i s n o t l i n e a r l y d e p e n d e n t .

E x a m p l e 1 . 3 . 1 .

L e t u s c h e c k i f t h e s e t U =

f1 + x x + x

2

1 + x

2

gi s

l i n e a r l y i n d e p e n d e n t i n t h e v e c t o r s p a c e P

n

( n

2 ) o f a l l p o l y n o m i a l s o f a t

m o s t d e g r e e n w i t h r e a l c o e c i e n t s .

L e t u s c o n s i d e r t h e e q u a l i t y

( 1 + x ) + ( x + x

2

) + ( 1 + x

2

) = 0 :

I t i s w e l l - k n o w n i n a l g e b r a t h a t a p o l y n o m i a l i s i d e n t i c a l l y n u l l i a l l i t s

c o e c i e n t s a r e z e r o s . T h u s w e g e t t h e s y s t e m

8

>

:

+ = 0

+ = 0

+ = 0

:

T h i s s y s t e m h a s o n l y a t r i v i a l s o l u t i o n . T h e s e t U i s l i n e a r l y i n d e p e n d e n t .

P r o b l e m 1 . 3 . 1 .

P r o v e t h a t e a c h s e t o f v e c t o r s t h a t c o n t a i n s t h e n u l l

v e c t o r i s l i n e a r l y d e p e n d e n t .

P r o b l e m 1 . 3 . 2 .

P r o v e t h a t i f t h e c o l u m n - v e c t o r s o f a d e t e r m i n a n t a r e

l i n e a r l y d e p e n d e n t , t h e n t h e d e t e r m i n a n t e q u a l s 0 .

D e n i t i o n 1 . 3 . 3 . A s u b s e t V = f x

i

1

: : : x

i

k

g o f t h e s e t U = f x

1

: : : x

n

g

o f v e c t o r s o f t h e v e c t o r s p a c e X i s c a l l e d a m a x i m a l l i n e a r l y i n d e p e n d e n t s u b -

s e t i f V i s l i n e a r l y i n d e p e n d e n t a n d i t i s n o t a p r o p e r s u b s e t o f a n y l i n e a r l y

i n d e p e n d e n t s u b s e t o f t h e s e t U .

P r o p o s i t i o n 1 . 3 . 1 . I f V i s a m a x i m a l l i n e a r l y i n d e p e n d e n t s u b s e t o f t h e

s e t U t h e n s p a n U = s p a n V :

8


9/188

P r o o f . A s V U s p a n V s p a n U b y t h e d e n i t i o n o f t h e s p a n . T o p r o v e

o u r a s s e r t i o n , w e h a v e t o s h o w t h a t s p a n V s p a n U : L e t , b y a n t i t h e s i s , e x i s t

a v e c t o r x o f t h e s u b s p a c e s p a n U t h a t d o e s n o t b e l o n g t o t h e s u b s p a c e

s p a n V : T h u s , t h e v e c t o r x c a n n o t b e e x p r e s s e d a s a l i n e a r c o m b i n a t i o n o f

v e c t o r s o f V b u t c a n b e e x p r e s s e d a s a l i n e a r c o m b i n a t i o n o f v e c t o r s o f U

w h e n a t l e a s t o n e v e c t o r x

j

2 U i s u s e d , a t w h i c h x

j

=2 V a n d x

j

i s n o t

e x p r e s s a b l e a s a l i n e a r c o m b i n a t i o n o f v e c t o r s o f V : S e t V f x

j

g U i s

l i n e a r l y i n d e p e n d e n t a n d c o n t a i n s t h e s e t V a s a p r o p e r s u b s e t . H e n c e V i s

n o t t h e m a x i m a l l i n e a r l y i n d e p e n d e n t s u b s e t . W e h a v e g o t a c o n t r a d i c t i o n

t o t h e a s s u m p t i o n . T h u s s p a n V s p a n U Q . E . D . 2

D e n i t i o n 1 . 3 . 4 . A s e t B = f x

i

g

i 2 I

o f v e c t o r s o f t h e v e c t o r s p a c e X

i s c a l l e d a b a s i s o f t h e v e c t o r s p a c e X i f B i s l i n e a r l y i n d e p e n d e n t a n d e a c h

v e c t o r x o f t h e s p a c e X c a n b e e x p r e s s e d a s a l i n e a r c o m b i n a t i o n o f v e c t o r s

o f t h e s e t B x =

P

i 2 I

i

x

i

, w h e r e c o e t i e n t s

i

( i = 1 : n ) a r e c a l l e d

c o o r d i n a t e s o f t h e v e c t o r x r e l a t i v e t o t h e b a s i s B :

D e n i t i o n 1 . 3 . 5 . I f t h e n u m b e r o f v e c t o r s i n t h e b a s i s B o f t h e v e c t o r

s p a c e X i . e . , t h e n u m b e r o f e l e m e n t s o f t h e s e t I i s n i t e , t h e n t h i s n u m b e r

i s c a l l e d t h e d i m e n s i o n o f t h e v e c t o r s p a c e X a n d d e n o t e d d i m X a n d t h e

s p a c e X i s c a l l e d a n i t e - d i m e n s i o n a l o r a n i t e - d i m e n s i o n a l v e c t o r s p a c e . I f

t h e n u m b e r o f v e c t o r s i n t h e b a s i s B o f t h e v e c t o r s p a c e X i s i n n i t e , t h e n

t h e v e c t o r s p a c e X i s c a l l e d i n n i t e - d i m e n s i o n a l o r a n i n n i t e - d i m e n s i o n a l

v e c t o r s p a c e .

P r o p o s i t i o n 1 . 3 . 2 . A s u b s e t B o f t h e v e c t o r s o f t h e v e c t o r s p a c e X i s

a b a s i s o f t h e s p a c e i i t i s t h e m a x i m a l l i n e a r l y i n d e p e n d e n t s u b s e t .

E x a m p l e 1 . 3 . 2 . V e c t o r s

e

k

= 0 0 : : : 0

k ; 1 z e r o s

1 0 : : : 0

n ; k z e r o s

]

T

( k = 1 : n )

f o r m a b a s i s i n s p a c e R

n

: L e t u s c h e c k t h e v a l i d i t y o f t h e c o n d i t i o n s i n

d e n i t i o n 1 . 3 . 4 . A s

n

X

k = 1

k

e

k

= 0 ,

1

: : :

n

]

T

= 0 : : : 0 ]

T

,

n

X

k = 1

j

k

j = 0

t h e v e c t o r s y s t e m f e

k

g

k = 1 : n

i s l i n e a r l y i n d e p e n d e n t , a n d , d u e t o

1

: : :

n

]

T

=

n

X

k = 1

k

e

k

9


10/188

a n a r b i t r a r y v e c t o r o f t h e s p a c e R

n

c a n b e e x p r e s s e d a s a l i n e a r c o m b i n a t i o n

o f v e c t o r s e

k

:

P r o b l e m 1 . 3 . 3 . V e c t o r s y s t e m

( "

1 0

0 0

#

"

0 1

0 0

#

"

0 0

1 0

#

"

0 0

0 1

# )

f o r m s a b a s i s i n s p a c e R

2 2

:

E x a m p l e 1 . 3 . 3 . V e c t o r s y s t e m f 1 t t

2

: : : t

n

g f o r m s a b a s i s i n v e c t o r

s p a c e P

n

o f p o l y n o m i a l s o f a t m o s t d e g r e e n : T r u e l y , t h e s e t f 1 t t

2

: : : t

n

g

i s l i n e a r l y i n d e p e n d e n t s i n c e

x = a

0

t

n

+ a

1

t

n ; 1

+ : : : + a

n ; 1

t + a

n

= 0 ) a

k

= 0 ( k = 1 : n )

a n d e a c h v e c t o r o f t h e s p a c e P

n

( i . e . , a r b i t r a r y p o l y n o m i a l o f a t m o s t d e g r e e

n ) c a n b e e x p r e s s e d i n t h e f o r m

x = a

0

t

n

+ a

1

t

n ; 1

+ : : : + a

n ; 1

t + a

n

:

D e n i t i o n 1 . 3 . 6 . T w o v e c t o r s p a c e s X a n d X

0

a r e c a l l e d i s o m o r p h i c ,

i f t h e r e e x i s t a o n e - t o - o n e c o r r e s p o n d e n c e b e t w e e n t h e s p a c e s ' : X ! X

0

s u c h t h a t

1 ) 8 x y 2 X ' ( x + y ) = ' ( x ) + ' ( y )

2 ) 8 x 2 X 8 2 K ' ( x ) = ' ( x ) :

P r o p o s i t i o n 1 . 3 . 3 . A l l v e c t o r s p a c e s ( o v e r t h e s a m e n u m b e r e l d K ) o f

t h e s a m e d i m e n s i o n a r e i s o m o r p h i c .

1 . 1 . 4 S c a l a r P r o d u c t

D e n i t i o n 1 . 4 . 1 . A v e c t o r s p a c e X o v e r t h e e l d K i s c a l l e d a s p a c e

w i t h s c a l a r p r o d u c t i f t o e a c h p a i r o f e l e m e n t s x y 2 X t h e r e c o r r e s p o n d s a

c e r t a i n n u m b e r h x y i 2 K c a l l e d t h e s c a l a r p r o d u c t o f t h e v e c t o r s x a n d y

s u c h t h a t f o l l o w i n g c o n d i t i o n ( t h e a x i o m s o f s c a l a r p r o d u c t ) a r e s a t i s e d :

1 . h x x i 0 h x x i = 0 ) x = 0

1 0


11/188

2 . h x y i = h y x i w h e n h y x i i s t h e c o n j u g a t e c o m p l e x n u m b e r o f

h x y i

3 . h x + y z i = h x z i + h y + z i ( a d d i t i v i t y w i t h r e s p e c t t o t h e r s t f a c -

t o r )

4 . h x y i = h x y i ( h o m o g e n e i t y w i t h r e s p e c t t o t h e r s t f a c t o r ) .

I f X i s a v e c t o r s p a c e o v e r R , t h e n , b y t h e d e n i t i o n , h x y i 2 R a n d

c o n d i t i o n 1 a c q u i r e s t h e f o r m

hx y

i=

hy x

i, i . e . , i n t h i s c a s e s c a l a r p r o d u c t

i s c o m m u t a t i v e .

E x a m p l e 1 . 4 . 1 . L e t u s d e n e i n C

n

t h e s c a l a r p r o d u c t o f v e c t o r s

x =

h

1

n

i

T

y =

h

1

n

i

T

b y t h e f o r m u l a

h x y i =

n

X

k = 1

k

k

.

L e t u s c h e c k t h e v a l i d i t y o f c o n d i t i o n s 1 - 4 : h x x i =

P

n

k = 1

k

k

=

P

n

k = 1

j

k

j

2

0

h x x i =

P

n

k = 1

j

k

j

2

= 0 )

k

= 0 ( k = 1 : n ) , x = 0

h x y i =

P

n

k = 1

k

k

=

P

n

k = 1

k

k

=

P

n

k = 1

k

k

= h y x i

h x + y z i =

P

n

k = 1

(

k

+

k

) &

k

=

P

n

k = 1

k

&

k

+

P

n

k = 1

k

&

k

= h x z i + h y z i

h x y i =

P

n

k = 1

k

k

=

P

n

k = 1

k

k

= h x y i :

E x a m p l e 1 . 4 . 2 . L e t u s c o n s i d e r t h e v e c t o r s p a c e L

2

] o f a l l f u n c t i o n s

i n t e g r a b l e ( i n L e b e s q u e ' s s e n s e ) o n t h e i n t e r v a l ] : W e d e n e t h e s c a l a r

p r o d u c t f o r s u c h f u n c t i o n s b y t h e f o r m u l a

h x y i =

Z

x ( t ) y ( t ) d t :

V e r i f y t h a t a l l t h e a x i o m s 1 - 4 o f s c a l a r p r o d u c t a r e s a t i s e d .

P r o p o s i t i o n 1 . 4 . 1 . S c a l a r p r o d u c t

hx y

ih a s t h e f o l l o w i n g p r o p e r t i e s :

1 . h x y + z i = h x y i + h x z i ( a d d i t i v i t y w i t h r e s p e c t t o t h e s e c o n d

f a c t o r )

2 .

hx y

i=

hx y

i( c o n j u g a t e h o m o g e n e i t y w i t h r e s p e c t t o t h e s e c o n d

f a c t o r )

3 .

hx 0

i=

h0 y

i= 0

8x y

2X

1 1


12/188

4 . h x y i = j j

2

h x y i :

L e t u s p r o v e t h e s e a s s e r t i o n s :

h x y + z i = h y + z x i = h y x i + h z x i = h y x i + h z x i = h x y i + h x z i

h x y i = h y x i = h y x i = h y x i = h x y i h x 0 i = h x 0 x i = 0 h x x i = 0

h x y i = h x y i = j j

2

h x y i : 2

P r o p o s i t i o n 1 . 4 . 2 ( C a u c h y - S c h w a r t z i n e q u a l i t y ) . F o r a r b i t r a r y v e c t o r s

x a n d y o f t h e v e c t o r s p a c e w i t h s c a l a r p r o d u c t X i t h o l d s t h e i n e q u a l i t y

j hx y

i j

q

hx x

i

q

hy y

i:

P r o o f . I f h x y i = 0 , t h e n , b y t h e d e n i t i o n o f t h e s c a l a r p r o d u c t ( c o n d i t i o n

1 ) t h e i n e q u a l i t y h o l d s . N o w l e t u s c o n s i d e r t h e c a s e h x y i 6= 0 : W e d e n e a n

a u x i l i a r y f u n c t i o n

' ( ) = h x + h x y i y x + h x y i y i :

A s f o r 2 R

' ( ) = h x x i + h x y i h x y i + h x y i h y x i +

2

j h x y i j

2

h y y i =

=

2

j h x y i j

2

h y y i + 2 j h x y i j

2

+ h x x i 0 8 2 R ,

, j h x y i j

4

; j h x y i j

2

h x x i h y y i 0 :

T h e l a s t i n e q u a l i t y i s e q u i v a l e n t t o t h e i n e q u a l i t y j h x y i j

2

h x x i h y y i a n d

t h i s | t o t h e C a u c h y - S c h w a r t z i n e q u a l i t y . T h e C a u c h y - S c h w a r t z i n e q u a l -

i t y m a k e s i t p o s s i b l e t o d e n e t h e a n g l e b e t w e e n t w o v e c t o r s b y t h e s c a l a r

p r o d u c t .

D e n i t i o n 1 . 4 . 2 . T h e a n g l e b e t w e e n a r b i t r a r y v e c t o r s x a n d y o f t h e

v e c t o r s p a c e w i t h s c a l a r p r o d u c t X i s d e n e d b y t h e f o r m u l a

c o s (

d

x y ) = h x y i = (

q

h x x i

q

h y y i ) :

P r o b l e m 1 . 4 . 1 .

S h o w t h a t f o r e a c h t w o c o m p l e x v e c t o r s x a n d y t h e

e q u a l i t y

h x y i = h x y i :

h o l d s .

P r o b l e m 1 . 4 . 2 .

T h e s c a l a r p r o d u c t i n t h e v e c t o r s p a c e P

n

] o f p o l y -

n o m i a l s o f a t m o s t d e g r e e n w i t h r e a l c o e c i e n t s o n ] i s d e n e d b y t h e

f o r m u l a

hx y

i=

Z

x ( t ) y ( t ) d t :

1 2


13/188

F i n d t h e a n g l e b e t w e e n t h e p o l y n o m i a l s x = t ; 1 a n d y = t

2

+ 1 :

1 . 1 . 5 N o r m o f a V e c t o r

D e n i t i o n 1 . 5 . 1 . A v e c t o r s p a c e X ( o v e r t h e n u m b e r e l d K ) i s c a l l e d

a n o r m e d s p a c e , i f t o e a c h v e c t o r x 2 X t h e r e c o r r e s p o n d s a c e r t a i n n o n -

n e g a t i v e r e a l n u m b e r k x k c a l l e d t h e n o r m o f t h e v e c t o r , s u c h t h a t t h e f o l -

l o w i n g c o n d i t i o n s a r e s a t i s e d :

1 . k x k = 0 , x = 0 ( i d e n t i t y a x i o m )

2 . k x k = j j k x k ( h o m o g e n e i t y a x i o m )

3 . k x + y k k x k + k y k ( t r i a n g l e i n e q u a l i t y ) .

D e n i t i o n 1 . 5 . 2 . T h e d i s t a n c e ( x y ) b e t w e e n t w o v e c t o r s i n t h e n o r m e d

s p a c e X i s d e n e d b y t h e f o r m u l a ( x y ) = k x ; y k :

P r o p o s i t i o n 1 . 5 . 1 ( H o l d e r i n e q u a l i t y ) . I f 1 < p


14/188

k x k

1

= m a x

1 k n

j

k

j :

L e t u s v e r i f y t h a t t h e p - n o r m ( 1 p


15/188

L e t u s p r o v e t h e l a s t t h r e e a s s e r t i o n s :

k x k

2

= ( j

1

j

2

+ : : : + j

n

j

2

)

1 = 2

0

@

n

X

i = 1

n

X

j = 1

j

i

j j

j

j

1

A

1 = 2

=

= ( (

n

X

k = 1

j

i

j )

2

)

1 = 2

= k x k

1

U s i n g t h e H o l d e r i n e q u a l i t y , w e g e t i n c a s e p = q = 2 t h a t

k x k

1

= j

1

j + : : : + j

n

j = 1 j

1

j + : : : + 1 j

n

j = j 1

1

j + : : : + j 1

n

j

( 1

2

+ : : : + 1

2

)

1 = 2

(

2

1

+ : : : +

2

n

)

1 = 2

=

p

n k x k

2

kx

k

1

= m a x

1 k n

j

k

j= ( ( m a x

1 k n

j

k

j)

2

)

1 = 2

(

2

1

+ : : : +

2

n

)

1 = 2

=

kx

k

2

k x k

2

= (

2

1

+ : : : +

2

n

)

1 = 2

( ( m a x

1 k n

j

k

j )

2

+ : : : + ( m a x

1 k n

j

k

j )

2

)

1 = 2

=

= ( n ( m a x

1 k n

j

k

j )

2

)

1 = 2

=

p

n k x k

1

k x k

1

= m a x

1 k n

j

k

j j

1

j + : : : + j

n

j n m a x

1 k n

j

k

j = n k x k

1

: 2

P r o p o s i t i o n 1 . 5 . 4 . A s p a c e w i t h s c a l a r p r o d u c t X i s a n o r m e d s p a c e

w i t h t h e n o r m

k x k =

q

h x x i :

P r o o f . L e t u s v e r i f y t h e v a l i d i t y o f c o n d i t i o n s 1 - 3 :

k x k = 0 ,

q

h x x i = 0 , h x x i = 0 , x = 0

k x k =

q

h x x i =

q

j j

2

h x x i = j j

q

h x x i = j j k x k

k x + y k =

q

h x + y x + y i =

q

h x x i + h x y i + h y x i + h y y i =

=

q

k x k

2

+ h x y i + h x y i + k y k

2

=

q

k x k

2

+ 2 < h x y i + k y k

2

q

k x k

2

+ 2 j ( x y ) j + + k y k

2

q

k x k

2

+ 2 k x k k y k + k y k

2

q

( k x k + k y k )

2

= k x k + k y k :


16/188

P r o p o s i t i o n 1 . 5 . 5 . I n t h e n o r m e d s p a c e w i t h s c a l a r p r o d u c t t h e p a r a l -

l e l o g r a m r u l e :

kx + y

k

2

+

kx

;y

k

2

= 2 (

kx

k

2

+

ky

k

2

) :

h o l d s .

P r o o f . B y t h e i m m e d i a t e c h e c k , w e g e t

k x + y k

2

+ k x ; y k

2

= h x + y x + y i + h x ; y x ; y i =

= h x x i + h x y i + h y x i + h y y i + h x x i ; h x y i ; h y x i + h y y i =

= 2 ( k x k

2

+ k y k

2

) :

D e n i t i o n 1 . 5 . 3 . I t i s s a i d t h a t t h e s e q u e n c e f x

( k )

g o f t h e e l e m e n t s o f

t h e s p a c e C

n

c o n v e r g e s w i t h r e s p e c t t o t h e p - n o r m t o t h e e l e m e n t x 2 C

n

i f

l i m

k ! 1

x

( k )

; x

p

= 0 :

I n t h i s c a s e w e s h a l l w r i t e x

( k )

! x :

R e m a r k 1 . 5 . 1 . S i n c e a l l t h e p - n o r m s o f t h e s p a c e C

n

a r e e q u i v a l e n t ,

t h i s i m p l i e s t h a t t h e c o n v e r g e n c e o f t h e s e q u e n c e f x

( k )

g w i t h r e s p e c t t o t h e

- n o r m w i l l y i e l d i t s c o n v e r g e n c e w i t h r e s p e c t t o t h e - n o r m .

P r o b l e m 1 . 5 . 2 . S h o w t h a t i f x

2C

n

, t h e n l i m

p ! 1

kx

k

p

=

kx

k

1

:

P r o b l e m 1 . 5 . 3 . S h o w t h a t i f x 2 C

n

, t h e n

k x k

p

c ( k


17/188

i s c a l l e d t h e r e l a t i v e e r r o r o f t h e a p p r o x i m a t i o n ( x 6= 0 ) .

I n c a s e o f t h e 1 ; n o r m t h e r e l a t i v e e r r o r c a n b e c o n s i d e r e d a s a n i n d e x

o f t h e c o r r e c t s i g n i c a n t d i g i t s . N a m e l y , i f k

b

x ; x k

1

= k x k

1

1 0

; k

t h e n

t h e g r e a t e s t c o m p o n e n t o f t h e v e c t o r

b

x h a s k c o r r e c t s i g n i c a n t d i g i t s .

E x a m p l e 1 . 5 . 2 . L e t x = 2 : 5 4 3 0 : 0 6 3 5 6 ]

T

a n d

b

x = 2 : 5 4 1 0 : 0 6 9 3 7 ]

T

:

F i n d "

a b s

a n d "

r e l

, a n d t h e n t h e n u m b e r o f t h e c o r r e c t s i g n i c a n t d i g i t s

o f t h e g r e a t e s t c o m p o n e n t o f t h e a p p r o x i m a t i o n

b

x b y "

r e l

. W e g e t

b

x ;

x = ; 0 : 0 0 2 0 : 0 0 5 8 1 ]

T

"

a b s

= k

b

x ; x k

1

= 0 : 0 0 5 8 1 a n d k x k

1

= 2 : 5 4 3 a n d

"

r e l

0 : 0 0 2 3 1 0

; 3

) k = 3 : T h u s t h e g r e a t e s t c o m p o n e n t

b

1

o f

b

x h a s

t h r e e c o r r e c t s i g n i c a n t d i g i t s . A t t h e s a m e t i m e , t h e c o m p o n e n t

b

2

h a s o n l y

o n e c o r r e c t s i g n i c a n t d i g i t .

1 . 1 . 6 O r t h o g o n a l V e c t o r s

D e n i t i o n 1 . 6 . 1 . T h e v e c t o r s x a n d y o f t h e v e c t o r s p a c e w i t h s c a l a r

p r o d u c t X a r e c a l l e d o r t h o g o n a l i f h x y i = 0 : W e w r i t e x ? y t o i n d i c a t e t h e

o r t h o g o n a l i t y o f v e c t o r s x a n d y : A v e c t o r x o f t h e v e c t o r s p a c e X i s c a l l e d

o r t h o g o n a l t o t h e s e t Y X i f x ? y 8 y 2 Y :

P r o b l e m 1 . 6 . 1 .

F i n d a l l v e c t o r s t h a t a r e o r t h o g o n a l b o t h t o t h e v e c t o r

a =

h

4 0 6 ; 2 0

i

T

a n d b =

h

2 1 ; 1 1 1

i

T

:

D e n i t i o n 1 . 6 . 2 . T h e s e t s Y a n d Z o f t h e v e c t o r s p a c e X a r e c a l l e d

o r t h o g o n a l i f y ? z 8 y 2 Y a n d 8 z 2 Z :

D e n i t i o n 1 . 6 . 3 . A s e q u e n c e f x

( k )

g o f v e c t o r s o f t h e v e c t o r s p a c e w i t h

s c a l a r p r o d u c t X i s c a l l e d a C a u c h y s e q u e n c e i f f o r a n y > 0 t h e r e i s a

n a t u r a l n u m b e r n

0

s u c h t h a t f o r a l l m 2 N a n d n > n

0

j j x

( n )

; x

( n + m )

j j =

q

h x

( n )

; x

( n + m )

x

( n )

; x

( n + m )

i < " :

D e n i t i o n 1 . 6 . 4 . A v e c t o r s p a c e w i t h s c a l a r p r o d u c t X i s c a l l e d c o m -

p l e t e i f e v e r y C a u c h y s e q u e n c e i s c o n v e r g e n t t o a p o i n t o f t h e s p a c e X .

D e n i t i o n 1 . 6 . 5 . A v e c t o r s p a c e w i t h c o m p l e x s c a l a r p r o d u c t i s c a l l e d a

H i l b e r t s p a c e H i f i t t u r n s o u t t o b e c o m p l e t e w i t h r e s p e c t t o t h e c o n v e r g e n c e

b y t h e n o r m

kx

k=

q

hx x

i.

1 7


18/188

P r o p o s i t i o n 1 . 6 . 1 . T h e s p a c e C

n

w i t h t h e s c a l a r p r o d u c t h x y i =

P

n

k = 1

k

k

i s a H i l b e r t s p a c e .

P r o p o s i t i o n 1 . 6 . 2 . T h e s p a c e L

2

] o f a l l s q u a r e - i n t e g r a b l e f u n c t i o n s

o n t h e i n t e r v a l ] w i t h t h e s c a l a r p r o d u c t h x y i =

R

x ( t ) y ( t ) d t i s a H i l b e r t

s p a c e .

P r o p o s i t i o n 1 . 6 . 3 . O r t h o g o n a l i t y o f v e c t o r s i n t h e v e c t o r s p a c e w i t h

s c a l a r p r o d u c t X h a s t h e f o l l o w i n g p r o p e r t i e s ( 1 - 4 ) :

1 . x ? x , x = 0

2 . x ? y , y ? x

3 . x

? fy

1

: : : y

k

g )x

?( y

1

+ : : : + y

k

)

4 . x ? y ) x ? y 8 2 K

o r t h o g o n a l i t y o f v e c t o r s i n a H i l b e r t s p a c e h a s a n a d d i t i o n a l p r o p e r t y :

5 . x ? y

n

( n = 1 2 3 : : : ) y

n

! y ) x ? y :

L e t u s p r o v e t h e s e a s s e r t i o n s :

x ? x , h x x i = 0 , x = 0

x ? y , h x y i = 0 , h y x i = 0 , h y x i = 0 , y ? x

x

? fy

1

: : : y

k

g ,x

?y

1

: : :

x

?y

k

, hx y

1

i= 0

: : :

^ hx y

k

i= 0

)

) h x y

1

i + : : : + h x y

k

i = 0 , h x y

1

+ : : : + y

k

i = 0 , x ? ( y

1

+ : : : + y

k

)

x ? y , h x y i = 0 , h x y i = 0 8 2 K ,

, h x y i = 0 8 2 K , x ? y

x ? y

n

8 n 2 N y

n

! y , h x y

n

i = 0 ^ k y

n

; y k ! 0 )

) h x y

n

i = 0 ^ j h x y

n

i ; h x y i j = j h x y

n

; y i j k x k k y

n

; y k ! 0 )

) h x y i = 0 , x ? y :

D e n i t i o n 1 . 6 . 6 . T h e o r t h o g o n a l c o m p l e m e n t o f t h e s e t Y

X i s t h e

s e t Y

?

o f a l l v e c t o r s o f t h e s p a c e X t h a t a r e o r t h o g o n a l t o t h e s e t Y , i . e . ,

Y

?

= f x : ( x 2 X ) ( x ? y 8 y 2 Y ) g :

P r o b l e m 1 . 6 . 2 .

L e t U = s p a n

h

1 0 1

i

T

h

0 2 1

i

T

R

3

:

F i n d t h e o r t h o g o n a l c o m p l e m e n t o f t h e s e t U :

1 8


19/188

P r o p o s i t i o n 1 . 6 . 4 . I f X i s a v e c t o r s p a c e w i t h s c a l a r p r o d u c t , x 2 X

Y X a n d x ? Y t h e n x ? s p a n Y : I f , i n a d d i t i o n , X i s c o m p l e t e , i . e . , i s a

H i l b e r t s p a c e , t h e n x

?s p a n Y :

P r o o f . B y a s s e r t i o n s 3 a n d 4 o f p r o p o s i t i o n 1 . 6 . 3 , x ? s p a n Y . I f y 2 s p a n Y

i . e . , 9 y

n

2 s p a n Y s u c h t h a t y

n

! y t h e n , d u e t o t h e o r t h o g o n a l i t y x ? y

n

a n d a s s e r t i o n 5 o f p r o p o s i t i o n 1 . 6 . 3 , w e g e t x ? y , i . e . , x ? s p a n Y :

P r o p o s i t i o n 1 . 6 . 5 . T h e o r t h o g o n a l c o m p l e m e n t Y

?

o f t h e s e t Y X i s

a s u b s p a c e o f t h e s p a c e X : T h e o r t h o g o n a l c o m p l e m e n t Y

?

o f t h e s e t Y H

i s a c l o s e d s u b s p a c e o f t h e H i l b e r t s p a c e H i . e . , Y

?

i s a s u b s p a c e o f t h e

s p a c e H t h a t c o n t a i n s a l l i t s b o u n d a r y p o i n t s .

P r o o f . D u e t o t h e p r o p o s i t i o n 1 . 2 . 1 , i t i s s u c i e n t f o r t h e p r o o f o f t h e

r s t a s s e r t i o n o f p r o p o s i t i o n 1 . 6 . 5 t o s h o w t h a t Y

?

i s c l o s e d w i t h r e s p e c t t o

v e c t o r a d d i t i o n a n d s c a l a r m u l t i p l i c a t i o n . I t w i l l f o l l o w f r o m a s s e r t i o n 5 o f

t h e s a m e p r o p o s i t i o n , i t h o l d s t h e s e c o n d a s s e r t i o n o f p r o p o s i t i o n 1 . 6 . 5 t o o .

P r o p o s i t i o n 1 . 6 . 6 . I f Y i s a c l o s e d s u b s p a c e o f t h e H i l b e r t s p a c e

H t h e n e a c h x 2 H c a n b e e x p r e s s e d u n i q u e l y a s t h e s u m x = y + z ,

y 2 Y z 2 Y

?

:

C o r o l l a r y 1 . 6 . 1 . I f Y i s a c l o s e d s u b s p a c e o f t h e H i l b e r t s p a c e , t h e n

t h e s p a c e H c a n b e p r e s e n t e d a s t h e d i r e c t s u m H = L L

?

o f t h e c l o s e d

s u b s p a c e s L a n d L

?

, a n d ( L

?

)

?

= L :

D e n i t i o n 1 . 6 . 7 . T h e d i s t a n c e o f t h e v e c t o r x o f t h e H i l b e r t s p a c e H

f r o m t h e s u b s p a c e Y H i s d e n e d b y t h e f o r m u l a

( x Y ) = i n f

y 2 Y

k x ; y k :

P r o p o s i t i o n 1 . 6 . 7 . I f Y i s a c l o s e d s u b s p a c e o f t h e H i l b e r t s p a c e H

a n d x 2 H , t h e n t h e r e e x i s t s a u n i q u e l y d e n e d y 2 Y s u c h t h a t k x ; y k =

( x Y ) :

D e n i t i o n 1 . 6 . 8 . T h e v e c t o r y i n p r o p o s i t i o n 1 . 6 . 7 i s c a l l e d t h e o r t h o g -

o n a l p r o j e c t i o n o f x o n t o t h e s u b s p a c e Y .

D e n i t i o n 1 . 6 . 9 . A v e c t o r s y s t e m S = f x

1

: : : x

k

g i s c a l l e d o r t h o g o n a l

i f ( x

i

x

j

) = k x

i

k

2

i j

w h e r e

i j

i s t h e K r o n e c k e r d e l t a . T h e v e c t o r s y s t e m

S = f x

1

: : : x

k

g i s c a l l e d o r t h o n o r m a l i f ( x

i

x

j

) =

i j

.

E x a m p l e 1 . 6 . 1 . T h e v e c t o r s y s t e m f e

k

g ( k = 1 : n ) , w h e r e e

k

=

0 0 : : : 0

k ; 1 z e r o s

1 0 : : : 0

n ; k z e r o s

]

T

i s o r t h o n o r m a l i n C

n

.

1 9


20/188

E x a m p l e 1 . 6 . 2 . T h e v e c t o r s y s t e m

f 1 =

p

2 ( c o s t ) =

p

( s i n t ) =

p

( c o s 2 t ) =

p

( s i n 2 t ) =

p

: : : g

i s o r t h o n o r m a l i n L

2

; ] :

E x a m p l e 1 . 6 . 3 . T h e v e c t o r s y s t e m f e x p ( i 2 k t ) g

k 2 Z

i s o r t h o n o r m a l i n

L

2

0 1 ] : T r u e l y ,

( x

k

x

j

) =

Z

1

0

e x p ( i 2 k t ) e x p ( i 2 j t ) d t =

Z

1

0

e x p ( i 2 ( k

;j ) t ) d t =

=

(

( e x p ( i 2 ( k ; j ) ) ; 1 ) = ( i 2 ( k ; j ) ) = 0 , k u i k 6= j

1 a s k = j :

P r o p o s i t i o n 1 . 6 . 8 . ( G r a m - S c h m i d t o r t h o g o n a l i z a t i o n t h e o r e m ) . I f

f x

1

: : : x

k

g i s a l i n e a r l y i n d e p e n d e n t v e c t o r s y s t e m i n t h e v e c t o r s p a c e w i t h

s c a l a r p r o d u c t H , t h e n t h e r e e x i s t s a n o r t h o n o r m a l s y s t e m f "

1

: : : "

k

g s u c h

t h a t s p a n f x

1

: : : x

k

g = s p a n f "

1

: : : "

k

g :

L e t u s p r o v e t h i s a s s e r t i o n b y c o m p l e t e i n d u c t i o n . I n t h e c a s e k = 1 ,

w e d e n e "

1

= x

1

= k x

1

k a n d , o b v i o u s l y , s p a n f x

1

g = s p a n f "

1

g : S o w e h a v e

s h o w n t h e e x i s t e n c e o f t h e i n d u c t i o n b a s e . W e h a v e t o s h o w t h e a d m i s s -

a b i l y o f t h e i n d u c t i o n s t e p . L e t u s a s s u m e t h a t t h e p r o p o s i t i o n h o l d s f o r

k = i ; 1 , i . e . , t h e r e e x i s t s a n o r t h o n o r m a l s y s t e m f "

1

: : : "

i ; 1

g s u c h t h a t

s p a n f x

1

: : : x

i ; 1

g = s p a n f "

1

: : : "

i ; 1

g : N o w w e c o n s i d e r t h e v e c t o r

y

i

=

1

"

1

+ : : : +

i ; 1

"

i ; 1

+ x

i

j

2 K :

L e t u s c h o o s e t h e c o e c i e n t s

( = 1 : i - 1 ) s o t h a t y

i

? "

( = 1 : i - 1 ) i . e ,

( y

i

"

) = 0 : W e g e t i

;1 c o n d i t i o n s :

( "

"

) + ( x

i

"

) = 0 e h k

= ; ( x

i

"

) ( = 1 : i - 1 ) :

T h u s ,

y

i

= x

i

; ( x

i

"

1

) "

1

; : : : ; ( x

i

"

i ; 1

) "

i ; 1

:

N o w w e c h o s e "

i

= y

i

= k y

i

k : S i n c e

"

2 s p a n f x

1

: : : x

i ; 1

g ( = 1 : i - 1 )

w e g e t , b y t h e c o n s t r u c t i o n o f v e c t o r s y

i

a n d "

i

, "

i

2 s p a n f x

1

: : : x

i

g :

H e n c e

s p a n

f"

1

: : : "

i

g s p a n

fx

1

: : : x

i

g:

2 0


21/188

F r o m t h e r e p r e s e n t a t i o n o f t h e v e c t o r y

i

w e s e e t h a t x

i

i s a l i n e a r c o m b i n a t i o n

o f v e c t o r s "

1

: : : "

i

:

T h u s ,

s p a n f x

1

: : : x

i

g s p a n f "

1

: : : "

i

g :

F i n a l l y ,

s p a n f x

1

: : : x

i

g = s p a n f "

1

: : : "

i

g :

E x a m p l e 1 . 6 . 4 . G i v e n a v e c t o r s y s t e m f x

1

x

2

x

3

g i n R

4

, w h e r e

x

1

= 1 0 1 0 ]

T

x

2

= 1 1 1 0 ]

T

x

3

= 0 1 0 1 ]

T

:

F i n d s u c h a n o r t h o g o n a l s y s t e m f "

1

"

2

"

3

g , f o r w h i c h

s p a n f x

1

x

2

x

3

g = s p a n f "

1

"

2

"

3

g :

T o a p p l y t h e o r t h o g o n a l i z a t i o n p r o c e s s o f p r o p o s i t i o n 1 . 6 . 8 , w e c h e c k r s t t h e

s y s t e m f x

1

x

2

x

3

g f o r t h e l i n e a r l y i n d e p e n d e n c e ( o n e c a n o m i t t h i s p r o c e s s ,

t o o , b e c a u s e t h e s i t u a t i o n w i l l b e c l e a r i n t h e c o u r s e o f t h e o r t h o g o n a l i z a t i o n :

2

6

4

1 0 1 0

1 1 1 0

0 1 0 1

3

7

5

I I - I

2

6

4

1 0 1 0

0 1 0 0

0 1 0 1

3

7

5

I I I - I I

2

6

4

1 0 1 0

0 1 0 0

0 0 0 1

3

7

5

)

t h e s y s t e m f x

1

x

2

x

3

g i s l i n e a r l y i n d e p e n d e n t . N o w w e n d

"

1

= x

1

= k x

1

k = 1 =

p

2 0 1 =

p

2 0 ]

T

:

F o r y

2

w e g e t :

y

2

= x

2

; ( x

2

"

1

) "

1

= 1 1 1 0 ]

T

;

p

2 1 =

p

2 0 1 =

p

2 0 ]

T

= 0 1 0 0 ]

T

:

A s k y

2

k = 1 "

2

= y

2

= k y

2

k = 0 1 0 0 ]

T

: T h e v e c t o r y

3

c a n b e e x p r e s s e d i n

t h e f o r m :

y

3

= x

3

; ( x

3

"

1

) "

1

; ( x

3

"

2

) "

2

=

= 0 1 0 1 ]

T

;0

1 =

p

2 0 1 =

p

2 0 ]

T

;1

0 1 0 0 ]

T

= 0 0 0 1 ]

T

:

T h u s ,

"

3

= y

3

= k y

3

k = 0 0 0 1 ]

T

:

2 1


22/188

E x a m p l e 1 . 6 . 5 . G i v e n a l i n e a r l y i n d e p e n d e n t v e c t o r s y s t e m f x

1

x

2

x

3

g

i n L

2

; 1 1 ] , w h e r e x

1

= 1 x

2

= t a n d x

3

= t

2

: F i n d a n o r t h o g o n a l s y s t e m

f"

1

"

2

"

3

g, s u c h t h a t

s p a n f x

1

x

2

x

3

g = s p a n f "

1

"

2

"

3

g :

C h e c k t h a t t h e s y s t e m f x

1

x

2

x

3

g i s l i n e a r l y i n d e p e n d e n t . T h e r s t v e c t o r

i s

"

1

= x

1

= k x

1

k = 1 =

p

2 :

T h e v e c t o r y

2

c a n b e e x p r e s s e d i n t h e f o r m :

y

2

= x

2

; ( x

2

"

1

) "

1

= t ; (

Z

1

; 1

t (

1

p

2

) d t ) t = t ; 0 t = t :

T h u s ,

"

2

= y

2

= k y

2

k = t =

s

Z

1

; 1

t t d t = t =

s

2

3

=

s

3

2

t :

T h e v e c t o r y

3

c a n b e e x p r e s s e d i n t h e f o r m :

y

3

= x

3

; ( x

3

"

1

) "

1

; ( x

3

"

2

) "

2

=

= t

2

; (

Z

1

; 1

t

2

(

1

p

2

) d t )

1

p

2

; (

Z

1

; 1

t

2

(

s

3

2

t ) d t )

s

3

2

t =

= t

2

;

1

2

2

3

; 0 = t

2

;

1

3

:

T h e r e f o r e ,

"

3

= y

3

= k y

3

k = ( t

2

;

1

3

) =

s

Z

1

; 1

( t

2

;

1

3

) ( t

2

;

1

3

) d t =

= ( t

2

;

1

3

) =

s

2

5

;

4

9

+

2

9

=

s

4 5

8

( t

2

;

1

3

) =

3

2

s

5

2

( t

2

;

1

3

) :

T h e f u n c t i o n s "

1

"

2

a n d "

3

a r e t h e n o r m e d L e g e n d r e p o l y n o m i a l s o n ; 1 1 ] :

P r o b l e m 1 . 6 . 3 . S h o w t h a t a v e c t o r s y s t e m f x

1

: : : x

n

g w i t h p a i r w i s e

o r t h o g o n a l e l e m e n t s i s l i n e a r l y i n d e p e n d e n t .

2 2


23/188

1 . 2 M a t r i c e s

1 . 2 . 1 N o t a t i o n f o r a M a t r i x a n d O p e r a t i o n s w i t h M a t r i c e s

T h e v e c t o r s p a c e o f a l l m n ; m a t r i c e s w i t h r e a l e l e m e n t s w i l l b e d e n o t e d

b y R

m n

a n d

A

2R

m n

,A = ( a

i k

) =

2

6

6

4

a

1 1

a

1 n

.

.

.

.

.

.

a

m 1

a

m n

3

7

7

5

a

i k

2R :

T h e e l e m e n t o f t h e m a t r i x A t h a t s t a n d s i n t h e i ; t h r o w a n d k ; t h c o l u m n

w i l l b e d e n o t e d b y a

i k

o r A ( i k ) o r A ]

i k

: T h e m a i n o p e r a t i o n s w i t h m a t r i c e s

a r e f o l l o w i n g :

t r a n s p o s i t i o n o f m a t r i c e s ( R

m n

!R

n m

)

B = A

T

, b

i k

= a

a d d i t i o n o f m a t r i c e s ( R

m n

R

m n

! R

m n

)

C = A + B , c

i k

= a

i k

+ b

i k

m u l t i p l i c a t i o n o f m a t r i c e s b y a n u m b e r ( R R

m n

! R

m n

)

B = A , b

i k

= a

i k

m u l t i p l i c a t i o n o f m a t r i c e s ( R

m p

R

p n

! R

m n

)

C = A B , c

i k

=

p

X

j = 1

a

i j

b

j k

:

P r o b l e m 2 . 1 . 1 .

L e t

A =

"

a c e

b d f

#

B =

2

6

4

k n

l p

m r

3

7

5

:

F i n d t h e m a t r i x A B :

2 3


24/188

P r o b l e m 2 . 1 . 2 .

L e t

A =

2

6

6

6

6

6

6

6

6

6

6

6

6

4

1 0 0 0 0

1 1 0

.

.

.

0 0

0 1 1

.

.

.

0 0

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

0 0

.

.

.

.

.

.

1 0

0 0 0 1 1

3

7

7

7

7

7

7

7

7

7

7

7

7

5

2 R

n n

:

F i n d t h e m a t r i x A

n ; 1

:

P r o b l e m 2 . 1 . 3 .

L e t

A =

"

1 1

1 1

#

:

P r o v e t h a t

A

n

= 2

n ; 1

A ( n 2 N ) :

E x a m p l e 2 . 1 . 1 .

L e t u s s h o w t h a t m u l t i p l i c a t i o n o f m a t r i c e s i s n o t

c o m m u t a t i v e . L e t

A =

"

1 4

3 2

#

B =

"

; 2 5

1 2

#

:

W e n d t h e p r o d u c t s :

A B =

"

1 4

3 2

# "

; 2 5

1 2

#

=

"

2 1 3

; 4 1 9

#

B A =

"

; 2 5

1 2

# "

1 4

3 2

#

=

"

1 3 2

7 8

#

:

A s A B 6= B A d o e s n o t h o l d f o r t h e e x a m p l e , m u l t i p l i c a t i o n o f m a t r i c e s i s

n o t c o m m u t a t i v e i n g e n e r a l .

P r o p o s i t i o n 2 . 1 . 1 . I f A 2 R

m p

a n d B 2 R

p n

t h e n

( A B )

T

= B

T

A

T

:

P r o o f . I f C = ( A B )

T

t h e n

c

i k

= ( A B )

T

]

i k

= A B ]

k i

=

p

X

j = 1

a

k j

b

j i

:

2 4


25/188

I f D = B

T

A

T

w e a l s o h a v e

d

i k

= B

T

A

T

]

i k

=

p

X

j = 1

B

T

]

i j

A

T

]

j k

=

p

X

j = 1

B ]

j i

A ]

k j

=

=

p

X

j = 1

a

k j

b

j i

= c

i k

: 2

D e n i t i o n 2 . 1 . 1 . A m a t r i x A 2 R

n n

i s c a l l e d s y m m e t r i c i f A

T

= A

a n d s k e w - s y m m e t r i c i f A

T

= ; A :

P r o b l e m 2 . 1 . 4 .

I s m a t r i x A s y m m e t r i c o r s k e w - s y m m e t r i c i f

a ) A =

2

6

4

; 1 3 2

3 1 3

2 3 ; 1

3

7

5

b ) A =

2

6

4

0 2 ; 4

; 2 1 ; 7

4 7 2

3

7

5

c ) A =

2

6

4

2 ; 3 5

3 1 2

; 5 1 4

3

7

5

:

P r o p o s i t i o n 2 . 1 . 2 . E a c h m a t r i x A 2 R

n n

c a n b e e x p r e s s e d a s a s u m

o f a s y m m e t r i c m a t r i x a n d a s k e w - s y m m e t r i c m a t r i x .

P r o o f . E a c h m a t r i x A 2 R

n n

c a n b e e x p r e s s e d a s A = B + C w h e r e

B = ( A + A

T

) = 2 a n d C = ( A

;A

T

) = 2 : A s

B

T

= ( ( A + A

T

) = 2 )

T

= ( A

T

+ A ) = 2 = B

a n d

C

T

= ( ( A ; A

T

) = 2 )

T

= C = ( A

T

; A ) = 2 = ; C

t h e p r o p o s i t i o n h o l d s . 2

P r o b l e m 2 . 1 . 5 .

R e p r e s e n t t h e m a t r i x

A =

2

6

6

6

4

2 ; 3 5 1

; 3 ; 2 3 0

3 ; 7 0 6

4 5 2 4

3

7

7

7

5

a s a s u m o f a s y m m e t r i c a n d a s k e w - s y m m e t r i c m a t r i x .

D e n i t i o n 2 . 1 . 2 . I f A i s a m n ; m a t r i x w i t h c o m p l e x e l e m e n t s , i . e . ,

A 2 C

m n

t h e n t h e t r a n s p o s e d s k e w - s y m m e t r i c m a t r i x A

H

w i l l b e d e n e d

b y t h e e q u a l i t y

B = A

H

,b

i k

= a

k i

:

2 5


26/188

D e n i t i o n 2 . 1 . 3 . A m a t r i x A 2 C

n n

i s c a l l e d a n H e r m i t i a n m a t r i x i f

A

H

= A :

P r o b l e m 2 . 1 . 6 .

I s m a t r i x A a n H e r m i t i a n m a t r i x i f

a ) A =

2

6

4

i ; 2 + i ; 5 + 3 i

2 + i 5 i ; 2 + i

5 + 3 i 2 + i ; 8 i

3

7

5

b ) A =

2

6

4

5 2 + 3 i 1 + i

2 ; 3 i ; 3 ; 2 i

1 ; i 2 i 0

3

7

5

:

P r o b l e m 2 . 1 . 7 .

L e t A 2 C

m n

: S h o w t h a t m a t r i c e s A A

H

a n d A

H

A

a r e H e r m i t i a n m a t r i c e s .

T h e m a t r i x A 2 C

m n

c a n b e e x p r e s s e d b o t h b y t h e c o l u m n - v e c t o r s

c

k

( k = 1 : n ) o f t h e m a t r i x A a n d b y t h e r o w - v e c t o r s r

T

i

( i = 1 : m ) o f

t h e t r a n s p o s e o f m a t r i x A ( \ p a s t i n g " t h e m a t r i c e s o f t h e c o l u m n - v e c t o r s o r

o f t h e t r a n s p o s e d r o w - v e c t o r s )

A =

h

c

1

c

n

i

h

c

1

c

n

i

=

2

6

6

4

r

T

1

.

.

.

r

T

m

3

7

7

5

w h e r e c

k

2 C

m

a n d r

i

2 C

n

a n d

r

i

=

2

6

6

4

a

i 1

.

.

.

a

i n

3

7

7

5

c

k

=

2

6

6

4

a

1 k

.

.

.

a

m k

3

7

7

5

:

E x a m p l e 2 . 1 . 2 . L e t u s d e m o n s t r a t e t h e s e n o t i o n s o n a m a t r i x A

2R

3 2

:

A =

2

6

4

2 3

4 1

3 2

3

7

5

) c

1

=

2

6

4

2

4

3

3

7

5

c

2

=

2

6

4

3

1

2

3

7

5

r

1

=

"

2

3

#

r

2

=

"

4

1

#

r

3

=

"

3

2

#

r

T

1

=

h

2 3

i

r

T

2

=

h

4 1

i

r

3

=

h

3 2

i

A =

h

c

1

c

2

i

=

h

c

1

c

2

i

=

2

6

4

r

T

1

r

T

2

r

T

3

3

7

5

:

2 6


27/188

I f A 2 R

m n

t h e n A ( i : ) d e n o t e s t h e i ; t h r o w o f t h e m a t r i x A , i . e . ,

A ( i : ) =

h

a

i 1

a

i n

i

a n d A ( : k ) d e n o t e s t h e k - t h c o l u m n o f t h e m a t r i x A , i . e . ,

A ( : k ) =

2

6

6

4

a

1 k

.

.

.

a

m k

3

7

7

5

:

I f 1 p q < n 1 r m t h e n

A ( r p : q ) =

h

a

r p

a

r q

i

2 R

1 ( q ; p + 1 )

a n d i f 1 p n 1 r s m t h e n

A ( r : s p ) =

2

6

6

4

a

r p

.

.

.

a

s p

3

7

7

5

2 R

s ; r + 1

:

I f A 2 R

m n

a n d i = ( i

1

: : : i

p

) a n d k = ( k

1

: : : k

q

) w h e r e

i

1

: : : i

p

2 f 1 2 : : : m g k

1

: : : k

q

2 f 1 2 : : : n g

t h e n t h e c o r r e s p o n d i n g s u b m a t r i x i s

A ( i k ) =

2

6

6

4

A ( i

1

k

1

) A ( i

1

k

q

)

.

.

.

.

.

.

A ( i

p

k

1

) A ( i

p

k

q

)

3

7

7

5

:

E x a m p l e 2 . 1 . 3 . I f

A =

2

6

6

6

4

1 4 ; 1 2 ; 4 8

2 ; 2 4 1 3 5

5 6 ; 7 2 ; 1 9

4 5 6 ; 4 9 1

3

7

7

7

5

a n d i = ( 2 4 ) a n d k = ( 1 3 5 ) t h e n

A ( i k ) =

"

2 4 3

4 6 9

#

:

2 7


28/188

1 . 2 . 2 B a n d M a t r i c e s a n d B l o c k M a t r i c e s

D e n i t i o n 2 . 2 . 1 . A m a t r i x w h o s e e l e m e n t s d i e r e n t f r o m z e r o a r e o n l y

o n t h e m a i n a n d s o m e a d j a c e n t d i a g o n a l s i s c a l l e d a b a n d m a t r i x .

D e n i t i o n 2 . 2 . 2 . I t i s s a i d t h a t t h e m a t r i x A 2 R

m n

i s a b a n d m a t r i x

w i t h t h e l o w e r b a n d w i d t h p i f

( i > k + p ) ) a

i k

= 0

a n d w i t h t h e u p p e r b a n d w i d t h q i f

( k > i + q ) ) a

i k

= 0

a n d w i t h t h e b a n d w i d t h p + q + 1 :

E x a m p l e 2 . 2 . 1 . T h e m a t r i x

A =

2

6

6

6

6

6

6

6

6

4

0 0 0 0 0

0 0 0 0

0 0 0

0 0 0

0 0 0

0 0 0

3

7

7

7

7

7

7

7

7

5

i s a b a n d m a t r i x b e c a u s e a l l t h e e l e m e n t s d i e r e n t f r o m z e r o a r e o n t h e m a i n

a n d t w o l o w e r a n d o n e u p p e r d i a g o n a l s . T h e l o w e r b a n d w i d t h o f t h e m a t r i x

A i s 2 b e c a u s e a

i k

= 0 a s i > k + 2 a n d t h e u p p e r b a n d w i d t h i s 1 b e c a u s e

a

i k

= 0 a s k > i + 1 : T h e b a n d w i d t h o f t h e m a t r i x i s 2 + 1 + 1 = 4 : T h e

e l e m e n t s o f t h e m a t r i x t h a t a r e n e c e s s a r i l y n o t z e r o s a r e d e n o t e d b y c r o s s e s .

S o m e o f t h e m o s t i m p o r t a n t t y p e s o f b a n d m a t r i c e s a r e p r e s e n t e d i n

t a b l e 2 . 2 . 1 . I f D 2 R

m n

i s a d i a g o n a l m a t r i x , q = m i n f m n g a n d d

i

= d

i i

t h e n t h e n o t a t i o n D = d i a g ( d

1

: : : d

q

) : w i l l b e u s e d .

2 8


29/188

T a b l e 2 . 2 . 1 .

T h e m a t r i c e ' s t y p e L o w e r b a n d w i d t h U p p e r b a n d w i d t h

d i a g o n a l m a t r i x 0 0

u p p e r t r i a n g u l a r m a t r i x 0 n - 1

l o w e r t r i a n g u l a r m a t r i x m - 1 0

t r i d i a g o n a l m a t r i x 1 1

u p p e r t r i d i a g o n a l m a t r i x 0 1

l o w e r t r i d i a g o n a l m a t r i x 1 0

u p p e r H e s s e n b e r g m a t r i x 1 n - 1

l o w e r H e s s e n b e r g m a t r i x m - 1 1

P r o b l e m 2 . 2 . 1 .

F i n d t h e t y p e , l o w e r b a n d w i d t h , u p p e r b a n d w i d t h a n d

b a n d w i d t h o f t h e m a t r i x A i f

A =

2

6

6

6

6

6

6

4

1 3 0 0 0

4 2 1 1 0

0 2 3 4 1

0 0 5 4 6

0 0 0 6 5

3

7

7

7

7

7

7

5

A =

2

6

6

6

6

6

6

6

6

6

6

6

6

6

6

6

4

1 1 0 0 0 1

2 2 1 0

.

.

.

0 0

1 2 3 1

.

.

.

0 0

0 1 2 4

.

.

.

.

.

.

0

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

0 0 0

.

.

.

n ; 1 1

0 0 0 0 2 n

3

7

7

7

7

7

7

7

7

7

7

7

7

7

7

7

5

:

D e n i t i o n 2 . 2 . 3 . A m a t r i x A = ( A

) 2 R

m n

i s c a l l e d a q r ; b l o c k

m a t r i x i f

A =

2

6

6

4

A

1 1

: : : A

1 r

.

.

.

.

.

.

A

q 1

: : : A

q r

3

7

7

5

m

1

m

q

n

1

n

r

w h e r e m

1

+ : : : + m

q

= m a n d n

1

+ : : : + n

r

= n a n d A

i s a m

n

; m a t r i x .

E x a m p l e 2 . 2 . 2 . T h e m a t r i x

A =

2

6

6

6

4

a a a b b

a a a b b

a a a b b

c c c d d

3

7

7

7

5

2 9


30/188

i s a 2 2 ; b l o c k m a t r i x , w h e r e m

1

= 3 m

2

= 1 n

1

= 3 a n d n

2

= 2 a n d

A

1 1

=

2

6

4

a a a

a a a

a a a

3

7

5

A

1 2

=

2

6

4

b b

b b

b b

3

7

5

A

2 1

=

h

c c c

i

A

2 2

=

h

d d

i

:

L e t

B =

2

6

6

4

B

1 1

: : : B

1 r

.

.

.

.

.

.

B

q 1

: : : B

q r

3

7

7

5

m

1

m

q

n

1

n

r

a n d C = A + B : T h e n

C =

2

6

6

4

C

1 1

: : : C

1 r

.

.

.

.

.

.

C

q 1

: : : C

q r

3

7

7

5

=

2

6

6

4

A

1 1

+ B

1 1

: : : A

1 r

+ B

1 r

.

.

.

.

.

.

A

q 1

+ B

q 1

: : : B

q r

+ B

q r

3

7

7

5

:

P r o p o s i t i o n 2 . 2 . 1 . I f A 2 R

m p

B 2 R

p n

a n d C = A B a r e b l o c k

m a t r i c e s :

A =

2

6

6

6

6

6

6

6

4

A

1 1

: : : A

1 r

.

.

.

.

.

.

A

1

: : : A

r

.

.

.

.

.

.

A

q 1

: : : A

q r

3

7

7

7

7

7

7

7

5

m

1

m

m

q

p

1

p

r

B =

2

6

6

4

B

1 1

: : : B

1

: : : B

1 s

.

.

.

.

.

.

.

.

.

B

r 1

: : : B

r

: : : B

r s

3

7

7

5

p

1

p

r

n

1

n

n

s

C =

2

6

6

6

6

6

6

6

4

C

1 1

: : : C

1

: : : C

1 s

.

.

.

.

.

.

.

.

.

C

1

: : : C

: : : C

s

.

.

.

.

.

.

.

.

.

C

q 1

: : : C

q

: : : C

q s

3

7

7

7

7

7

7

7

5

m

1

m

m

q

n

1

n

n

s

3 0


31/188

w h e r e 1 q 1 s m

1

+ : : : + m

q

= m p

1

+ : : : + p

s

= p

n

1

+ : : : + n

r

= n , t h e n

C

=

r

X

= 1

A

B

( = 1 : q

= 1 : s ) .

P r o o f . L e t

= m

1

+ : : : + m

; 1

= n

1

+ : : : + n

; 1

1 r

= p

1

+ : : : + p

; 1

m

0

= n

0

= p

0

= 0 :

A s C

]

i k

i s a n e l e m e n t o f t h e b l o c k C

o f t h e m a t r i x C s t a n d i n g i n t h e

i ; t h r o w a n d k ; t h c o l u m n o f t h i s b l o c k , a n d A

]

i j

i s a n e l e m e n t o f t h e

b l o c k A

o f t h e m a t r i x A s t a n d i n g i n t h e i

;t h r o w a n d j

;t h c o l u m n o f t h i s

b l o c k , a n d B

] i s a n e l e m e n t o f t h e b l o c k B

o f t h e m a t r i x B s t a n d i n g

i n t h e j ; t h r o w a n d k ; t h c o l u m n , t h e n

C

]

i k

= c

+ i + k

A

]

i j

= a

+ i + j

B

]

j k

= b

+ j + k

:

T h e r e f o r e ,

C

]

i k

= c

+ i + k

=

p

X

j = 1

a

+ i j

b

j + k

=

=

p

1

X

j = 1

a

+ i j

b

j + k

+

p

1

+ p

2

X

j = p

1

+ 1

a

+ i j

b

j + k

+ : : : +

p

X

j = p

1

+ p

2

+ + p

r ; 1

+ 1

a

+ i j

b

j + k

=

=

p

1

X

j = 1

A

1

]

i j

B

1

]

j k

+

p

2

X

j = 1

A

2

]

i j

B

2

]

j k

+ : : : +

p

r

X

j = 1

A

r

]

i j

B

r

]

j k

=

= A

1

B

1

]

i k

+ A

2

B

2

]

i k

+ : : : + A

r

B

r

]

i k

=

r

X

j = 1

A

j

B

j

]

i k

:

T h e r e f o r e , a l l t h e c o r r e s p o n d i n g e l e m e n t s o f t h e m a t r i c e s C

a n d

P

s

= 1

A

B

a r e e q u a l , a n d o u r p r o p o s i t i o n h o l d s . 2

C o r o l l a r y 2 . 2 . 1 . I f A

2R

m p

B

2R

p n

A =

2

6

6

4

A

1

.

.

.

A

q

3

7

7

5

m

1

m

q

B =

h

B

1

: : : B

r

i

3 1


32/188

n

1

n

r

a n d m

1

+ : : : + m

q

= m a n d n

1

+ : : : + n

r

= n t h e n

A B = C =

2

6

6

4

C

1 1

: : : C

1 r

.

.

.

.

.

.

C

q 1

: : : C

q r

3

7

7

5

m

1

m

q

n

1

n

r

w h e r e C

= A

B

( = 1 : q

= 1 : r ) .

C o r o l l a r y 2 . 2 . 2 . I f A 2 R

m p

B 2 R

p n

A =

h

A

1

: : : A

s

i

p

1

p

s

B =

2

6

6

4

B

1

.

.

.

B

s

3

7

7

5

p

1

p

s

a n d p

1

+ : : : + p

s

= p t h e n A B = C =

P

p

k = 1

A

k

B

k

:

E x a m p l e 2 . 2 . 3 . I t h o l d s

"

A

1 1

A

1 2

A

2 1

A

2 2

# "

x

1

x

2

#

=

"

A

1 1

x

1

+ A

1 2

x

2

A

2 1

x

1

+ A

2 2

x

2

#

:

E x a m p l e 2 . 2 . 4 . I t h o l d s

2

6

6

6

6

6

6

4

a a a b

a a a b

a a a b

c c c d

c c c d

3

7

7

7

7

7

7

5

2

6

6

6

4

e f f

e f f

e f f

g h h

3

7

7

7

5

=

"

A B

C D

# "

E F

G H

#

=

"

A E + B G A F + B H

C E + D G C F + D H

#

w h e r e A = ( a ) i s a 3 3 ; m a t r i x , B = ( b ) i s a 3 1 ; m a t r i x , C = ( c ) i s a

2 3 ; m a t r i x , D = ( d ) i s a 2 1 ; m a t r i x , E = ( e ) i s a 3 1 ; m a t r i x , F = ( f )

i s a 3 2 ; m a t r i x , G = ( g ) i s a 1 1 ; m a t r i x a n d H = ( h ) i s a 1 2 ; m a t r i x .

3 2


33/188

E x a m p l e 2 . 2 . 5 .

L e t u s n d t h e p r o d u c t A B o f b l o c k m a t r i c e s A a n d

B , w h e n A a n d B a r e 3 3 ; m a t r i c e s

A =

2

6

6

6

6

6

6

6

4

1 2

.

.

. 2

3 4

.

.

. 0

.

.

.

0 0

.

.

.

;1

3

7

7

7

7

7

7

7

5

B =

2

6

6

6

6

6

6

6

4

; 3 1 0

.

.

. 1

2 3 ; 1

.

.

. 1

.

.

.

0 0 0

.

.

. 1

3

7

7

7

7

7

7

7

5

:

W e d e n o t e

A =

"

C D

E F

#

B =

"

G H

K L

#

w h e r e

C =

"

1 2

3 4

#

D =

"

2

0

#

E =

h

0 0

i

F =

h

; 1

i

a n d

G =

"

; 3 1 0

2 3 ; 1

#

H =

"

1

1

#

K =

h

0 0 0

i

L =

h

1

i

:

W e n o t e t h a t t h e d i m e n s i o n s o f t h e m a t r i c e s a r e i

Documents

( eBook - PDF - EnG ) Applications of Linear Algebra ( Ma Thematic )