-
8/2/2019 Methods for Non-Linear Least Squares Problems-2nd
1/58
IMM
DEPARTMENT OF MATHEMATICAL MODELLING
Technical University of DenmarkDK-2800 Lyngby Denmark
J. No. H387.7.1999
HBN/ms
METHODS FORNON-LINEAR LEASTSQUARES PROBLEMS
Kaj Madsen
Hans Bruun Nielsen
OleTingleff
IMM
-
8/2/2019 Methods for Non-Linear Least Squares Problems-2nd
2/58
C o n t e n t s
1 I n t r o d u c t i o n a n d D e f i n i t i o n s : : : : :
: : : : : : : : : : : : : : : : : : : : : : : : 1
2 D e s c e n t M e t h o d s : : : : : : : : : : : : : : : : :
: : : : : : : : : : : : : : : : : : : : : : : : : : 5
2 . 1 . T h e S t e e p e s t D e s c e n t m e t h o d : : : :
: : : : : : : : : : : : : : : : : : : : : : : 7
2 . 2 . N e w t o n ' s M e t h o d : : : : : : : : : : : : : :
: : : : : : : : : : : : : : : : : : : : : : : : : 8
2 . 3 . L i n e S e a r c h : : : : : : : : : : : : : : : : : :
: : : : : : : : : : : : : : : : : : : : : : : : : : 1 0
3 N o n - L i n e a r L e a s t S q u a r e s P r o b l e m s :
: : : : : : : : : : : : : : : : : : : 1 3
3 . 1 . T h e G a u s s - N e w t o n M e t h o d : : : : : : :
: : : : : : : : : : : : : : : : : : : : : : 1 6
3 . 2 . M a r q u a r d t ' s M e t h o d : : : : : : : : : : :
: : : : : : : : : : : : : : : : : : : : : : : : 2 1
3 . 3 . A H y b r i d M e t h o d : M a r q u a r d t a n d Q u
a s i - N e w t o n : : : : : : : 2 8
3 . 4 . A S e c a n t V e r s i o n o f M a r q u a r d t ' s M
e t h o d : : : : : : : : : : : : : : : 3 3
3 . 5 . P o w e l l ' s D o g L e g M e t h o d : : : : : : : :
: : : : : : : : : : : : : : : : : : : : : : : 3 9
3 . 6 . F i n a l R e m a r k s : : : : : : : : : : : : : : : :
: : : : : : : : : : : : : : : : : : : : : : : : : 4 6
A p p e n d i x : : : : : : : : : : : : : : : : : : : : : : : :
: : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 4 9
R e f e r e n c e s : : : : : : : : : : : : : : : : : : : : : :
: : : : : : : : : : : : : : : : : : : : : : : : : : : : : 5 3
I n d e x : : : : : : : : : : : : : : : : : : : : : : : : : : :
: : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 5
5
-
8/2/2019 Methods for Non-Linear Least Squares Problems-2nd
3/58
1 . I n t r o d u c t i o n a n d D e f i n i t i o n s
I n t h i s b o o k l e t w e c o n s i d e r t h e p r o b l e
m o f n d i n g a n a r g u m e n t w h i c h
g i v e s t h e m i n i m u m v a l u e o f a g i v e n d i e r
e n t i a b l e f u n c t i o n F I R
n
! I R
t h e s o c a l l e d o b j e c t i v e o r c o s t f u n c t i
o n . I n o t h e r w o r d s :
D e n i t i o n . G l o b a l M i n i m i z e r
F i n d x
+
= a r g m i n
x
f F ( x ) g
w h e r e F I R
n
! I R
( 1 . 1 )
T h i s p r o b l e m i s v e r y h a r d t o s o l v e i n g e
n e r a l , a n d t h e m e t h o d s w e g i v e
h e r e a r e b u i l t t o s o l v e t h e s i m p l e r p r o
b l e m o f n d i n g a l o c a l m i n i m i z e r
f o r F , a n a r g u m e n t v e c t o r w h i c h g i v e s a
m i n i m u m v a l u e o f F i n s i d e
a c e r t a i n r e g i o n w h o s e s i z e i s g i v e n b y
; > 0 a n d s m a l l e n o u g h :
D e n i t i o n . L o c a l m i n i m i z e r
F i n d x
s o t h a t
F ( x ) F ( x
) f o r k x ? x
k <
( 1 . 2 )
T h e m a i n s u b j e c t o f t h i s b o o k l e t i s t h e
t r e a t m e n t o f m e t h o d s f o r
a s p e c i a l k i n d o f o p t i m i z i a t i o n p r o b l
e m s w h e r e t h e f u n c t i o n F h a s t h e
f o l l o w i n g f o r m
D e n i t i o n . L e a s t S q u a r e s P r o b l e m
F i n d x
, a l o c a l m i n i m i z e r f o r
F ( x ) =
1
2
m
X
i = 1
( f
i
( x ) )
2
w h e r e f
i
I R
n
! I R a n d m n
( 1 . 3 )
T h e f a c t o r
1
2
h a s n o e e c t o n x
, a n d i s i n t r o d u c e d f o r c o n v e n i e n c e
,
s e e p a g e 1 4 .
-
8/2/2019 Methods for Non-Linear Least Squares Problems-2nd
4/58
1 . I n t r o d u c t i o n a n d D e n i t i o n s 2
E x a m p l e 1 . 1 . A n i m p o r t a n t s o u r c e o f l e
a s t s q u a r e s p r o b l e m s i s d a t a
t t i n g . A s a n e x a m p l e c o n s i d e r t h e d a t a
p o i n t s ( t
1
y
1
) ; : : : ; ( t
m
y
m
)
s h o w n b e l o w
T
y
F i g u r e 1 . 1 . D a t a p o i n t s f ( t
i
y
i
) g ( m a r k e d b y + )
a n d m o d e l M ( x t ) ( m a r k e d b y f u l l l i n e
)
F u r t h e r , w e a r e g i v e n a t t i n g m o d e l
M ( x t ) = x
3
e
x
1
t
+ x
4
e
x
2
t
T h e m o d e l d e p e n d s o n t h e p a r a m e t e r s x =
x
1
x
2
x
3
x
4
>
. W e a s s u m e
t h a t t h e r e e x i s t s a n x
y
s o t h a t
y
i
= M ( x
y
t
i
) + "
i
w h e r e t h e f "
i
g a r e ( m e a s u r e m e n t ) e r r o r s o n t h e d a t a
o r d i n a t e s , a s s u m e d
t o b e h a v e l i k e \ w h i t e n o i s e " .
F o r a n y c h o i c e o f x w e c a n c o m p u t e t h e r e
s i d u a l s
f
i
( x ) = y
i
? M ( x t
i
)
= y
i
? x
3
e
x
1
t
i
? x
4
e
x
2
t
i
i = 1 ; : : : ; m :
F o r a l e a s t s q u a r e s t t h e p a r a m e t e r s a r
e d e t e r m i n e d a s t h e m i n i m i z e r
x
o f t h e s u m o f s q u a r e d r e s i d u a l s . T h i s i
s s e e n t o b e a p r o b l e m o f t h e
f o r m ( 1 . 3 ) w i t h m = 4 5 , n = 4 . T h e g r a p h o f
M ( x
t ) i s s h o w n b y f u l l
l i n e i n F i g u r e 1 . 1 .
I n t h e r e m a i n d e r o f t h i s i n t r o d u c t i o n
w e s h a l l d i s c u s s s o m e b a s i c
c o n c e p t s i n o p t i m i z a t i o n , a n d C h a p t e
r 2 i s a b r i e f r e v i e w o f m e t h o d s
f o r n d i n g a l o c a l m i n i m i z e r f o r g e n e r a
l c o s t f u n c t i o n s . F o r m o r e d e -
t a i l s w e r e f e r t o F r a n d s e n e t a l . ( 1 9 9 9
) . I n C h a p t e r 3 w e g i v e m e t h o d s
t h a t a r e s p e c i a l l y t u n e d f o r l e a s t s q u
a r e s p r o b l e m s .
-
8/2/2019 Methods for Non-Linear Least Squares Problems-2nd
5/58
3 1 . I n t r o d u c t i o n a n d D e f i n i t i o n s
W e a s s u m e t h a t t h e c o s t f u n c t i o n F i s s o
s m o o t h t h a t t h e f o l l o w i n g
T a y l o r e x p a n s i o n i s v a l i d ,
1 )
F ( x + h ) = F ( x ) + h
>
g +
1
2
h
>
H h + O ( k h k
3
) ; ( 1 . 4 a )
w h e r e g i s t h e g r a d i e n t
g F
0
( x )
2
6
6
6
6
6
4
@ F
@ x
1
( x )
@ F
@ x
n
( x )
3
7
7
7
7
7
5
; ( 1 . 4 b )
a n d H i s t h e H e s s i a n m a t r i x
H F
0 0
( x )
@
2
F
@ x
i
@ x
j
( x )
( 1 . 4 c )
I f x
i s a l o c a l m i n i m i z e r a n d k h k i s s u c i e n t
l y s m a l l , t h e n w e
c a n n o t n d a p o i n t x
+ h w i t h a s m a l l e r F - v a l u e . C o m b i n i n g t
h i s
o b s e r v a t i o n w i t h ( 1 . 4 a ) w e s e e t h a t
N e c e s s a r y C o n d i t i o n f o r a L o c a l M i n i m
i z e r
x
i s a l o c a l m i n i m i z e r
= )
g
F
0
( x
) = 0
( 1 . 5 )
W e u s e a s p e c i a l n a m e f o r a r g u m e n t s t h a
t s a t i s f y t h e n e c e s s a r y c o n -
d i t i o n :
x
s
i s a S t a t i o n a r y P o i n t
( )
g
s
F
0
( x
s
) = 0
( 1 . 6 )
1 )
U n l e s s o t h e r w i s e s p e c i e d , k k d e n o t e s
t h e 2 - n o r m , k h k =
p
h
2
1
+ + h
2
n
-
8/2/2019 Methods for Non-Linear Least Squares Problems-2nd
6/58
1 . I n t r o d u c t i o n a n d D e n i t i o n s 4
T h u s , t h e l o c a l m i n i m i z e r s a r e a l s o s t
a t i o n a r y p o i n t s , b u t s o a r e
t h e l o c a l m a x i m i z e r s . A s t a t i o n a r y p o
i n t w h i c h i s n e i t h e r a l o c a l
m a x i m i z e r n o r a l o c a l m i n i m i z e r i s c a l
l e d a s a d d l e p o i n t . I n o r d e r t o
d e t e r m i n e w h e t h e r a g i v e n s t a t i o n a r y
p o i n t i s a l o c a l m i n i m i z e r o r
n o t , w e n e e d t o i n c l u d e t h e s e c o n d o r d e
r t e r m i n t h e T a y l o r s e r i e s
( 1 . 4 a ) . I n s e r t i n g x
s
w e s e e t h a t
F ( x
s
+ h ) = F ( x
s
) +
1
2
h
>
H
s
h + O ( k h k
3
)
w i t h H
s
F
0 0
( x
s
)
( 1 . 7 )
F r o m d e n i t i o n ( 1 . 4 c ) o f t h e H e s s i a n m a
t r i x i t f o l l o w s t h a t a n y H i s
s y m m e t r i c . I f w e r e q u e s t t h a t H
s
i s p o s i t i v e d e n i t e , t h e n i t s e i g e n -
v a l u e s a r e g r e a t e r t h a n s o m e n u m b e r >
0 ( s e e A p p e n d i x A ) , a n d
h
>
H
s
h > k h k
2
T h i s s h o w s t h a t f o r k h k s u c i e n t l y s m a l
l t h e t h i r d t e r m o n t h e r i g h t -
h a n d s i d e o f ( 1 . 7 ) w i l l b e d o m i n a t e d b y
t h e s e c o n d . T h i s t e r m i s
p o s i t i v e , s o t h a t w e g e t
S u c i e n t C o n d i t i o n f o r a L o c a l M i n i m i z
e r
x
i s a s t a t i o n a r y p o i n t a n d F
0 0
( x
) i s p o s i t i v e d e n i t e
= )
x
i s a l o c a l m i n i m i z e r
( 1 . 8 )
I f H
s
i s n e g a t i v e d e n i t e , t h e n x
s
i s a l o c a l m a x i m i z e r . I f H
s
i s
i n d e n i t e ( i . e . i t h a s b o t h p o s i t i v e a n
d n e g a t i v e e i g e n v a l u e s ) , t h e n x
s
i s a s a d d l e p o i n t .
-
8/2/2019 Methods for Non-Linear Least Squares Problems-2nd
7/58
2 . D e s c e n t M e t h o d s
A l l m e t h o d s f o r n o n - l i n e a r o p t i m i z a t
i o n a r e i t e r a t i v e : F r o m a s t a r t i n g
p o i n t x
0
t h e m e t h o d p r o d u c e s a s e r i e s o f v e c t o r
s x
1
; x
2
; : : : , w h i c h
( h o p e f u l l y ) c o n v e r g e s a g a i n s t x
, a l o c a l m i n i m i z e r f o r t h e g i v e n f u n c
-
t i o n , s e e D e n i t i o n ( 1 . 2 ) . M o s t m e t h o d
s h a v e m e a s u r e s w h i c h e n f o r c e
t h e d e s c e n d i n g c o n d i t i o n
F ( x
k + 1
) < F ( x
k
) ( 2 . 1 )
T h i s p r e v e n t s c o n v e r g e n c e t o a m a x i m i
z e r a n d a l s o m a k e s i t l e s s p r o b -
a b l e t h a t w e c o n v e r g e t o w a r d s a s a d d l e
p o i n t , c f . C h a p t e r 1 . I f t h e
g i v e n f u n c t i o n h a s s e v e r a l m i n i m i z e r
s t h e r e s u l t w i l l d e p e n d o n t h e
s t a r t i n g p o i n t x
0
. W e d o n o t k n o w w h i c h o f t h e m i n i m i z e r s
t h a t w i l l
b e f o u n d ; q u i t e o f t e n i t i s n o t t h e m i n i
m i z e r c l o s e s t t o x
0
I n m a n y c a s e s t h e m e t h o d p r o d u c e s v e c t
o r s w h i c h c o n v e r g e t o -
w a r d s t h e m i n i m i z e r i n 2 c l e a r l y d i e r e
n t s t a g e s . W h e n x
0
i s f a r
f r o m t h e s o l u t i o n w e w a n t t h e m e t h o d t o
p r o d u c e i t e r a t e s w h i c h m o v e
s t e a d i l y t o w a r d s x
. I n t h i s \ g l o b a l s t a g e " o f t h e i t e r a t i
o n w e a r e s a t -
i s e d i f t h e e r r o r s d o n o t i n c r e a s e e x c e
p t i n t h e v e r y r s t s t e p s , i . e .
k e
k + 1
k < k e
k
k f o r k > K ; ( 2 . 2 )
w h e r e e
k
d e n o t e s t h e c u r r e n t e r r o r ,
e
k
x
k
? x
( 2 . 2 b )
I n t h e n a l s t a g e o f t h e i t e r a t i o n , w h e r
e x
k
i s c l o s e t o x
, w e w a n t
f a s t e r c o n v e r g e n c e . W e d i s t i n g u i s h b
e t w e e n
L i n e a r c o n v e r g e n c e
k e
k + 1
k a k e
k
k w h e n k e
k
k i s s m a l l ; 0 < a < 1 ; ( 2 . 3 a )
-
8/2/2019 Methods for Non-Linear Least Squares Problems-2nd
8/58
2 . D e s c e n t M e t h o d s 6
Q u a d r a t i c c o n v e r g e n c e
k e
k + 1
k = O ( k e
k
k
2
) w h e n k e
k
k i s s m a l l ; ( 2 . 3 b )
S u p e r l i n e a r c o n v e r g e n c e
k e
k + 1
k = k e
k
k ! 0 f o r k ! 1 ( 2 . 3 c )
T h e m e t h o d s p r e s e n t e d i n t h i s b o o k l e t
a r e d e s c e n t m e t h o d s w h i c h
s a t i s f y t h e d e s c e n d i n g c o n d i t i o n ( 2 .
1 ) i n e a c h s t e p o f t h e i t e r a t i o n .
O n e s t e p f r o m t h e c u r r e n t i t e r a t e c o n s
i s t s i n
1 . F i n d a d e s c e n t d i r e c t i o n h
d d
( d i s c u s s e d b e l o w ) , a n d
2 . n d a s t e p l e n g t h g i v i n g a g o o d d e c r e a
s e i n t h e F - v a l u e .
T h u s a n o u t l i n e o f a d e s c e n t m e t h o d i
s
A l g o r i t h m 2 . 4 . D e s c e n t M e t h o d
b e g i n
k : = 0 ; x = x
0
; f o u n d : = f a l s e f S t a r t i n g p o i n t g
w h i l e n o t f o u n d a n d k < k
m a x
h
d d
: = s e a r c h d i r e c t i o n ( x ) f F r o m x a n d d o w
n h i l l g
i f n o s u c h h e x i s t s
f o u n d = t r u e f x i s s t a t i o n a r y g
e l s e
: = l i n e s e a r c h ( x h
d d
) f f r o m x i n d i r e c t i o n h
d d
g
x = x + h
d d
k = k + 1 f n e x t i t e r a t e g
e n d f . . . o f d e s c e n t a l g o r i t h m g
C o n s i d e r t h e v a r i a t i o n o f t h e F - v a l u e
a l o n g t h e h a l f l i n e s t a r t i n g
a t x a n d w i t h d i r e c t i o n h . F r o m t h e T a y l
o r s e r i e s ( 1 . 4 a ) w e s e e t h a t
F ( x + h ) = F ( x ) + h
>
F
0
( x ) + O (
2
)
' F ( x ) + h
>
F
0
( x ) f o r s u c i e n t l y s m a l l . ( 2 . 5 )
W e s a y t h a t h i s a d e s c e n t d i r e c t i o n i f F
( x + h ) i s a d e c r e a s i n g f u n c -
t i o n o f a t = 0 . T h i s l e a d s t o t h e f o l l o w i
n g
-
8/2/2019 Methods for Non-Linear Least Squares Problems-2nd
9/58
7 2 . D e s c e n t M e t h o d s
D e n i t i o n . h i s a D e s c e n t D i r e c t i o n f o r
F a t x
( )
h
>
F
0
( x ) < 0
( 2 . 6 )
I f n o s u c h h e x i s t s , t h e n F
0
( x ) = 0 , s h o w i n g t h a t i n t h i s c a s e x i s
s t a t i o n a r y .
W e w a n t t o f u l l t h e d e s c e n d i n g p r o p e r t
y ( 2 . 1 ) . I n o t h e r w o r d s ,
w e w a n t F ( x + h ) < F ( x ) . I n s o m e m e t h o d s
w e w a n t t o n d ( a n
a p p r o x i m a t i o n t o ) t h e b e s t v a l u e o f , i
. e .
e
= a r g m i n
> 0
f F ( x + h ) g ( 2 . 7 )
T h e p r o c e s s o f n d i n g a g o o d v a l u e f o r i s
c a l l e d a l i n e s e a r c h ; t h i s
i s d i s c u s s e d i n S e c t i o n 2 . 3 .
2 . 1 . T h e S t e e p e s t D e s c e n t m e t h o d
F r o m ( 2 . 5 ) w e s e e t h a t w h e n w e p e r f o r m a
s t e p h w i t h p o s i t i v e
t h e n t h e r e l a t i v e g a i n i n f u n c t i o n v a l
u e s a t i s e s
l i m
! 0
F ( x ) ? F ( x + h )
k h k
= ?
1
k h k
h
>
F
0
( x ) = ? k F
0
( x ) k c o s ;
w h e r e i s t h e a n g l e b e t w e e n t h e v e c t o r s
h a n d F
0
( x ) . T h i s s h o w s
t h a t w e g e t t h e g r e a t e s t g a i n r a t e i f = ,
i . e . i f w e u s e t h e s t e e p e s t
d e s c e n t d i r e c t i o n h
s d
g i v e n b y
h
s d
= ? F
0
( x ) ( 2 . 8 )
T h e m e t h o d b a s e d o n ( 2 . 8 ) ( i . e . h
d d
= h
s d
i n A l g o r i t h m 2 . 4 ) i s
c a l l e d t h e s t e e p e s t d e s c e n t m e t h o d o r
g r a d i e n t m e t h o d . T h e c h o i c e o f
d e s c e n t d i r e c t i o n i s \ t h e b e s t " ( l o c a
l l y ) a n d w e c o u l d c o m b i n e i t w i t h
a n e x a c t l i n e s e a r c h ( 2 . 7 ) . A m e t h o d l i
k e t h i s c o n v e r g e s , b u t t h e n a l
c o n v e r g e n c e i s l i n e a r a n d o f t e n v e r y s
l o w . E x a m p l e s i n F r a n d s e n e t
a l . ( 1 9 9 9 ) s h o w h o w t h e s t e e p e s t d e s c e
n t m e t h o d w i t h e x a c t l i n e s e a r c h
a n d n i t e c o m p u t a t i o n a c c u r a c y c a n f a i
l t o n d t h e m i n i m i z e r o f a
s e c o n d d e g r e e p o l y n o m i a l . H o w e v e r , f
o r m a n y p r o b l e m s t h e m e t h o d
h a s q u i t e g o o d p e r f o r m a n c e i n t h e i n i t
i a l s t a g e o f t h e c o n v e r g e n c e .
-
8/2/2019 Methods for Non-Linear Least Squares Problems-2nd
10/58
2 . 2 . N e w t o n ' s M e t h o d 8
C o n s i d e r a t i o n s l i k e t h i s h a s l e a d t o t
h e s o c a l l e d h y b r i d m e t h o d s
w h i c h { a s t h e n a m e s u g g e s t s { a r e b a s e d
o n t w o d i e r e n t m e t h -
o d s . O n e w h i c h i s g o o d i n t h e i n i t i a l s t
a g e , l i k e t h e g r a d i e n t m e t h o d ,
a n d a n o t h e r m e t h o d w h i c h i s g o o d i n t h e
n a l s t a g e , l i k e N e w t o n ' s
m e t h o d ; s e e t h e n e x t s e c t i o n . A m a j o r p
r o b l e m w i t h a h y b r i d m e t h o d
i s t h e m e c h a n i s m w h i c h s w i t c h e s b e t w e
e n t h e t w o m e t h o d s w h e n a p -
p r o p r i a t e .
2 . 2 . N e w t o n ' s M e t h o d
W e c a n d e r i v e t h i s f r o m t h e c o n d i t i o n t
h a t x
i s a s t a t i o n a r y p o i n t .
A c c o r d i n g t o ( 1 . 6 ) i t s a t i s e s F
0
( x
) = 0 . T h i s i s a n o n l i n e a r s y s t e m
o f e q u a t i o n s , a n d f r o m t h e T a y l o r e x p a
n s i o n
F
0
( x + h ) = F
0
( x ) + F
0 0
( x ) h + O ( k h k
2
)
' F
0
( x ) + F
0 0
( x ) h f o r k h k s u c i e n t l y s m a l l ( 2 . 9 )
w e d e r i v e N e w t o n ' s m e t h o d : F i n d h
N
a s t h e s o l u t i o n s t o
H h
N
= ? F
0
( x ) w i t h H = F
0 0
( x ) ; ( 2 . 1 0 a )
a n d c o m p u t e t h e n e x t i t e r a t e b y
x = x + h
N
( 2 . 1 0 b )
S u p p o s e t h a t H i s p o s i t i v e d e n i t e , t h e
n i t i s n o n s i n g u l a r ( i m p l y -
i n g t h a t ( 2 . 1 0 a ) h a s a u n i q u e s o l u t i o n
) , a n d u
>
H u > 0 f o r a l l n o n z e r o
u . T h u s , b y m u l t i p l y i n g w i t h h
>
N
o n b o t h s i d e s o f ( 2 . 1 0 b ) w e g e t
0 < h
>
N
H h
N
= ? h
>
N
F
0
( x ) ; ( 2 . 1 1 )
s h o w i n g t h a t h
N
i s a d e s c e n t d i r e c t i o n : i t s a t i s e s ( 2 .
6 ) .
N e w t o n ' s m e t h o d i s v e r y g o o d i n t h e n a l
s t a g e o f t h e i t e r a t i o n ,
w h e r e x ' x
. W e c a n s h o w ( s e e F r a n d s e n e t a l . ( 1 9 9 9
) ) t h a t i f t h e
H e s s i a n m a t r i x a t t h e s o l u t i o n i s p o s i
t i v e d e n i t e ( t h e s u c i e n t c o n -
d i t i o n ( 1 . 8 ) i s s a t i s e d ) a n d i f w e a r e a
t a p o s i t i o n i n s i d e t h e r e g i o n
a b o u t x
w h e r e F
0 0
( x ) i s p o s i t i v e d e n i t e , t h e n w e g e t q u a
d r a t i c c o n -
-
8/2/2019 Methods for Non-Linear Least Squares Problems-2nd
11/58
9 2 . D e s c e n t M e t h o d s
v e r g e n c e , s e e ( 2 . 3 ) . I n t h e o p p o s i t e s
i t u a t i o n , i . e . x i s i n a r e g i o n w h e r e
F
0 0
( x ) i s n e g a t i v e d e n i t e e v e r y w h e r e , a n
d w h e r e t h e r e i s a s t a t i o n a r y
p o i n t , t h e \ r a w " N e w t o n m e t h o d ( 2 . 1 0 )
w o u l d c o n v e r g e ( q u a d r a t i -
c a l l y ) t o w a r d s t h i s s t a t i o n a r y p o i n t
, w h i c h i s a m a x i m i z e r . W e d o n o t
w a n t t h i s , a n d w e c a n a v o i d i t b y r e q u i r
i n g t h a t a l l s t e p s t a k e n a r e i n
d e s c e n t d i r e c t i o n s .
N o w w e c a n b u i l d a h y b r i d m e t h o d , b a s e d
o n N e w t o n s m e t h o d :
i f h
N
i s a d e s c e n t d i r e c t i o n
u s e h
N
e l s e
u s e h
s d
T h e c o n t r o l l i n g m e c h a n i s m i s t h e d e s c
e n t c o n d i t i o n , h
>
N
F
0
( x ) < 0 . A s
s h o w n i n ( 2 . 1 1 ) , t h i s i s s a t i s e d i f F
0 0
( x ) i s p o s i t i v e d e n i t e , s o a s k e t c h
o f t h e c e n t r a l s e c t i o n o f t h i s v e r s i o n
o f t h e a l g o r i t h m i s :
i f F
0 0
( x ) i s p o s i t i v e d e n i t e
i f F ( x + h
N
) < F ( x )
x = x + h
N
e l s e
x = x + h
N
e l s e
x = x + h
s d
( 2 . 1 2 )
H e r e , h
s d
i s t h e s t e e p e s t d e s c e n t d i r e c t i o n a n d
i s f o u n d b y a l i n e
s e a r c h ; s e e S e c t i o n 2 . 3 . T h i s i s i n c l u
d e d a l s o w i t h t h e N e w t o n d i r e c t i o n
t o m a k e s u r e t h a t t h e d e s c e n d i n g c o n d i
t i o n ( 2 . 1 ) i s s a t i s e d .
A n a l t e r n a t i v e r e a c t i o n w h e n t h e H e s s
i a n i s n o t p o s i t i v e d e n i t e ,
i s t h e u s e o f a s o c a l l e d d a m p e d N e w t o n m
e t h o d :
i f F
0 0
( x ) i s n o t p o s i t i v e d e n i t e
F i n d s o t h a t F
0 0
( x ) + I i s p o s i t i v e d e n i t e
F i n d h
d N
b y s o l v i n g ( F
0 0
( x ) + I ) h
d N
= ? F
0
( x )
( 2 . 1 3 )
-
8/2/2019 Methods for Non-Linear Least Squares Problems-2nd
12/58
2 . 3 . L i n e S e a r c h 1 0
T h e s t e p h
d N
p r o d u c e d i n t h i s w a y i s a d e s c e n t d i r e c
t i o n a n d c a n b e
u s e d i n s t e a d o f h
s d
i n t h e h y b r i d ( 2 . 1 2 ) . F o r t h e i n d e n i t e
c a s e w e u s e
> 0 , a n d w i t h l a r g e , h
d N
i s a s h o r t s t e p w h o s e d i r e c t i o n i s c l o s
e t o
t h e s t e e p e s t d e s c e n t d i r e c t i o n h
s d
, w h e r e a s w e u s e t h e N e w t o n s t e p
h
N
i n t h e d e n i t e c a s e . T h u s w e c a n s a y t h a t
i n t e r p o l a t e s b e t w e e n
t h e s e t w o d i r e c t i o n s . N o t i c e t h a t a g o
o d t o o l f o r c h e c k i n g a m a t r i x f o r
p o s i t i v e d e n i t e n e s s i s C h o l e s k y ' s m e
t h o d ( s e e A p p e n d i x A ) w h i c h ,
w h e n s u c c e s f u l , i s a l s o u s e d f o r s o l v i
n g t h e l i n e a r s y s t e m i n q u e s t i o n .
T h u s , t h e c h e c k f o r d e n i t e n e s s i s a l m o
s t f o r f r e e .
T h e h y b r i d m e t h o d s i n d i c a t e d a b o v e c a
n b e v e r y e c i e n t , b u t
t h e y a r e h a r d l y e v e r u s e d . T h e r e a s o n i
s t h a t t h e y n e e d a n i m p l e -
m e n t a t i o n o f F
0 0
( x ) , a n d f o r c o m p l i c a t e d a p p l i c a t i o n
p r o b l e m s t h i s
i s n o t a v a i l a b l e . I n s t e a d w e h a v e t o m a
k e d o w i t h a s o c a l l e d Q u a s i -
N e w t o n m e t h o d , b a s e d o n s e r i e s o f m a t r
i c e s w h i c h g r a d u a l l y a p p r o a c h
H
= F
0 0
( x
) , o r ( H
)
? 1
o r a f a c t o r i z a t i o n o f H
. I n S e c t i o n 3 . 3 w e
p r e s e n t s u c h a m e t h o d . S e e a l s o F r a n d s
e n e t a l . ( 1 9 9 9 ) .
2 . 3 . L i n e S e a r c h
G i v e n a p o i n t x a n d a d e s c e n t d i r e c t i o n
h . T h e n e x t i t e r a t i o n s t e p i s
a m o v e f r o m x i n d i r e c t i o n h . T o n d o u t , h
o w f a r t o m o v e , w e s t u d y
t h e v a r i a t i o n o f t h e g i v e n f u n c t i o n a l
o n g t h e h a l f l i n e f r o m x i n t h e
d i r e c t i o n h
( ) = F ( x + h ) ; x a n d h x e d ; 0 ( 2 . 1 4 )
A n e x a m p l e o f t h e b e h a v i o u r o f ( ) i s s h o
w n i n F i g u r e 2 . 1 b e l o w .
O u r h b e i n g a d e s c e n t d i r e c t i o n e n s u r e
s t h a t
0
( 0 ) = h
>
F
0
( x ) < 0 ;
i n d i c a t i n g t h a t i f i s s u c i e n t l y s m a l l
, w e s a t i s f y t h e d e s c e n d i n g
c o n d i t i o n ( 2 . 1 ) , w h i c h i s e q u i v a l e n t
w i t h
( ) < ( 0 ) ( 2 . 1 5 )
-
8/2/2019 Methods for Non-Linear Least Squares Problems-2nd
13/58
1 1 2 . D e s c e n t M e t h o d s
Y
y = (0)
y = ()
F i g u r e 2 . 1 . V a r i a t i o n o f t h e c o s t
f u n c t i o n a l o n g t h e s e a r c h l i n e
O f t e n , w e a r e g i v e n a n i n i t i a l g u e s s o n
, e . g . = 1 w i t h N e w t o n ' s
m e t h o d . F i g u r e 2 . 1 i l l u s t r a t e s t h a t t
h r e e d i e r e n t s i t u a t i o n s c a n a r i s e
1
i s s o s m a l l t h a t t h e g a i n i n v a l u e o f t h e
o b j e c t i v e f u n c t i o n i s
v e r y s m a l l . W e s h o u l d i n c r e a s e
2
i s t o o l a r g e : ( ) ( 0 ) . W e m u s t d e c r e a s e i
n o r d e r t o s a t i s f y
t h e d e s c e n t c o n d i t i o n ( 2 . 1 ) .
3
i s c l o s e t o t h e m i n i m i z e r
1 )
o f ( ) . W e h a p p i l y a c c e p t t h i s
- v a l u e .
A n e x a c t l i n e s e a r c h i s a n i t e r a t i v e p r
o c e s s p r o d u c i n g a s e r i e s
1
;
2
. T h e a i m i s t o n d t h e t r u e m i n i m i z e r
e
d e n i e d i n ( 2 . 7 ) ,
a n d t h e a l g o r i t h m s t o p s w h e n t h e i t e r a
t e
s
s a t i s e s
0
(
s
)
0
( 0 ) ;
w h e r e i s a s m a l l , p o s i t i v e n u m b e r . I n t
h e i t e r a t i o n w e c a n u s e
a p p r o x i m a t i o n s t o t h e v a r i a t i o n o f ( )
b a s e d o n t h e c o m p u t e d v a l u e s
o f
1 )
M o r e p r e c i s e l y : t h e s m a l l e s t l o c a l m i
n i m i z e r o f . I f w e i n c r e a s e b e y o n d
t h e i n t e r v a l s h o w n i n F i g u r e 2 . 1 , t h e n
i t m a y w e l l h a p p e n t h a t w e g e t c l o s e
t o a n o t h e r l o c a l m i n i m u m f o r F
-
8/2/2019 Methods for Non-Linear Least Squares Problems-2nd
14/58
2 . 3 . L i n e S e a r c h 1 2
(
k
) = F ( x +
k
h ) a n d
0
(
k
) = h
>
F
0
( x +
k
h )
S e e S e c t i o n s 2 . 5 { 2 . 6 i n F r a n d s e n e t a l
. ( 1 9 9 9 ) f o r d e t a i l s .
A n e x a c t l i n e s e a r c h c a n w a s t e a l o t o f c
o m p u t i n g t i m e : W h e n x i s
f a r f r o m x
, t h e s e a r c h d i r e c t i o n h m a y b e f a r f r o m
t h e d i r e c t i o n x
? x
a n d t h e r e i s n o n e e d t o n d t h e t r u e m i n i m
u m o f v e r y a c c u r a t e l y .
T h i s i s t h e b a c k g r o u n d f o r t h e s o c a l l e
d s o f t l i n e s e a r c h e s , w h e r e w e
a c c e p t a n - v a l u e i f i t d o e s n o t f a l l i n t
h e c a t e g o r i e s 1
o r 2
l i s t e d
a b o v e . W e u s e a s t r i c t e r v e r s i o n o f t h e
d e s c e n d i n g c o n d i t i o n ( 2 . 1 ) ,
v i z .
(
s
) ( 0 ) + %
0
( 0 ) w i t h 0 < % < 0 5 ( 2 . 1 6 a )
T h i s e n s u r e s t h a t w e a r e n o t i n c a s e 2
. C a s e 1
c o r r e s p o n d s t o
t h e p o i n t ( ; ( ) ) b e i n g t o o c l o s e t o t h e s
t a r t i n g t a n g e n t , a n d w e
s u p p l e m e n t w i t h t h e c o n d i t i o n
0
(
s
)
0
( 0 ) w i t h % < < 1 ( 2 . 1 6 b )
I f t h e s t a r t i n g g u e s s o n s a t i s e s b o t h t
h e s e c r i t e r i a , t h e n w e a c c e p t i t
a s
s
. O t h e r w i s e , w e h a v e t o i t e r a t e a s o u t l
i n e d f o r e x a c t l i n e s e a r c h .
D e t a i l s c a n b e s e e n i n S e c t i o n 2 . 5 o f F r
a n d s e n e t a l . ( 1 9 9 9 ) .
-
8/2/2019 Methods for Non-Linear Least Squares Problems-2nd
15/58
3 . N o n - L i n e a r L e a s t S q u a r e s P r o b l e m
s
I n t h e r e m a i n d e r o f t h i s b o o k l e t w e s h a
l l d i s c u s s m e t h o d s f o r n o n l i n e a r
l e a s t s q u a r e s p r o b l e m s . G i v e n a v e c t o
r f u n c t i o n f I R
n
! I R
m
w i t h
m n . W e w a n t t o m i n i m i z e k f ( x ) k , o r e q u i
v a l e n t l y t o n d
x
= a r g m i n
x
f F ( x ) g ; ( 3 . 1 a )
w h e r e
F ( x ) =
1
2
m
X
i = 1
( f
i
( x ) )
2
=
1
2
k f ( x ) k
2
=
1
2
f ( x )
>
f ( x ) ( 3 . 1 b )
L e a s t s q u a r e s p r o b l e m s c a n b e s o l v e d b
y g e n e r a l o p t i m i z a t i o n
m e t h o d s , b u t w e s h a l l p r e s e n t s p e c i a l
m e t h o d s t h a t a r e m o r e e -
c i e n t . I n m a n y c a s e s t h e y a c h i e v e b e t t
e r t h a n l i n e a r c o n v e r g e n c e ,
s o m e t i m e s e v e n q u a d r a t i c c o n v e r g e n c
e , e v e n t h o u g h t h e y d o n o t n e e d
i m p l e m e n t a t i o n o f s e c o n d d e r i v a t i v e
s .
I n t h e d e s c r i p t i o n o f t h e m e t h o d s i n t h
i s c h a p t e r w e s h a l l n e e d
f o r m u l a e f o r d e r i v a t i v e s o f F : P r o v i d
e d t h a t f h a s c o n t i n u o u s s e c o n d
p a r t i a l d e r i v a t i v e s , w e c a n w r i t e i t s
T a y l o r s e r i e s a s
f ( x + h ) = f ( x ) + J
f
( x ) h + O ( k h k
2
) ; ( 3 . 2 a )
w h e r e J
f
2 I R
m n
i s t h e J a c o b i a n m a t r i x c o n t a i n i n g t h e
r s t p a r t i a l
d e r i v a t i v e s o f t h e f u n c t i o n c o m p o n e n
t s ,
( J
f
( x ) )
i j
=
@ f
i
@ x
j
( x ) ( 3 . 2 b )
A s r e g a r d s F I R
n
! I R , i t f o l l o w s f r o m t h e r s t f o r m u l a t i
o n i n ( 3 . 1 b ) ,
-
8/2/2019 Methods for Non-Linear Least Squares Problems-2nd
16/58
3 . L e a s t S q u a r e s P r o b l e m s 1 4
t h a t
1 )
@ F
@ x
j
( x ) =
m
X
i = 1
f
i
( x )
@ f
i
@ x
j
( x ) ( 3 . 3 )
T h u s , t h e g r a d i e n t ( 1 . 4 b ) i s
F
0
( x ) = J
f
( x )
>
f ( x ) ( 3 . 4 a )
W e s h a l l a l s o n e e d t h e H e s s i a n m a t r i x o
f F . F r o m ( 3 . 3 ) w e s e e t h a t
t h e e l e m e n t i n p o s i t i o n ( j ; k ) i s
@
2
F
@ x
j
@ x
k
( x ) =
m
X
i = 1
@ f
i
@ x
j
( x )
@ f
i
@ x
k
( x ) + f
i
( x )
@
2
f
i
@ x
j
@ x
k
( x )
;
s h o w i n g t h a t
F
0 0
( x ) = J
f
( x )
>
J
f
( x ) +
m
X
i = 1
f
i
( x ) f
0 0
i
( x ) ( 3 . 4 b )
E x a m p l e 3 . 1 . T h e s i m p l e s t c a s e o f ( 3 . 1
) i s w h e n f ( x ) h a s t h e f o r m
f ( x ) = b ? A x
w h e r e t h e v e c t o r b 2 I R
m
a n d m a t r i x A 2 I R
m n
a r e g i v e n . W e s a y t h a t
t h i s i s a l i n e a r l e a s t s q u a r e s p r o b l e m
. I n t h i s c a s e J
f
( x ) = ? A f o r a l l
x , a n d f r o m ( 3 . 4 a ) w e s e e t h a t
F
0
( x ) = ? A
>
( b ? A x )
T h i s i s z e r o f o r x
d e t e r m i n e d a s t h e s o l u t i o n t o t h e s o c a
l l e d n o r m a l
e q u a t i o n s
( A
>
A ) x
= A
>
b ( 3 . 5 )
T h e p r o b l e m c a n b e w r i t t e n i n t h e f o r
m
A x
' b
a n d a l t e r n a t i v e l y w e c a n s o l v e i t v i a o
r t h o g o n a l t r a n s f o r m a t i o n : F i n d
a n o r t h o g o n a l m a t r i x Q s o t h a t
1 )
I f w e h a d n o t u s e d t h e f a c t o r
1
2
i n t h e d e n i t i o n ( 1 . 3 ) , w e w o u l d h a v e g o
t a n
a n n o y i n g f a c t o r o f 2 i n a l o t o f e x p r e s s
i o n s .
-
8/2/2019 Methods for Non-Linear Least Squares Problems-2nd
17/58
1 5 3 . L e a s t S q u a r e s P r o b l e m s
Q
>
A =
R
0
w h e r e R 2 I R
n n
i s u p p e r t r i a n g u l a r . T h e s o l u t i o n i s f
o u n d b y b a c k
s u b s t i t u t i o n i n t h e s y s t e m
2 )
R x
= ( Q
>
b )
1 : n
T h i s i s t h e m e t h o d e m p l o y e d i n M a t l a b .
I t i s m o r e a c c u r a t e t h a n t h e
s o l u t i o n v i a t h e n o r m a l e q u a t i o n s .
A s t h e t i t l e o f t h e b o o k l e t s u g g e s t s , w
e a s s u m e t h a t f i s n o n l i n e a r , a n d
s h a l l n o t d i s c u s s l i n e a r p r o b l e m s i n d
e t a i l . W e r e f e r t o C h a p t e r 6 i n
N i e l s e n ( 1 9 9 6 ) o r S e c t i o n 5 . 2 i n G o l u b
a n d V a n L o a n ( 1 9 8 9 ) .
E x a m p l e 3 . 2 . I n E x a m p l e 1 . 1 w e s a w a n o n
l i n e a r l e a s t s q u a r e s p r o b l e m
a r i s i n g f r o m d a t a t t i n g . A n o t h e r a p p l
i c a t i o n i s i n t h e s o l u t i o n o f
n o n l i n e a r s y s t e m s o f e q u a t i o n s ,
f ( x
) = 0 w h e r e f I R
n
! I R
n
W e c a n u s e N e w t o n - R a p h s o n ' s m e t h o d : F
r o m a n i n i t i a l g u e s s x
0
w e
c o m p u t e x
1
x
2
; : : : b y t h e a l g o r i t h m , w h i c h i s b a s e d o
n s e e k i n g h s o
t h a t f ( x + h ) = 0 a n d i g n o r i n g t h e t e r m O (
k h k
2
) i n ( 3 . 2 a ) ,
S o l v e J
f
( x
k
) h
k
= ? f ( x
k
) f o r h
k
x
k + 1
= x
k
+ h
k
( 3 . 6 )
H e r e , t h e J a c o b i a n m a t r i x J
f
i s g i v e n b y ( 3 . 2 b ) . I f J
f
( x
) i s n o n s i n g u l a r ,
t h e n t h e m e t h o d h a s q u a d r a t i c n a l c o n v
e r g e n c e , i . e . i f d
k
= k x
k
? x
k
i s s m a l l , t h e n k x
k + 1
? x
k = O ( d
2
k
) . H o w e v e r , i f x
k
i s f a r f r o m x
, t h e n
w e r i s k t o g e t e v e n f u r t h e r a w a y , b u t a s
i n S e c t i o n 2 . 2 w e c a n s u p p l y
t h e m e t h o d w i t h a l i n e s e a r c h : W e a r e s e
e k i n g a z e r o f o r f ( x ) . T h i s i s
a m i n i m i z e r o f t h e f u n c t i o n F d e n e d b y (
3 . 1 ) ,
F ( x ) =
1
2
k f ( x ) k
2
w i t h F ( x
) = 0 a n d F ( x ) > 0 f f ( x ) 6= 0 . W e g e t a r o b u
s t m e t h o d b y
m o d i f y i n g ( 3 . 6 ) t o
2 )
A n e x p r e s s i o n l i k e u
p : q
i s u s e d t o d e n o t e t h e s u b v e c t o r w i t h e l
e m e n t s
u
i
i = p ; : : : ; q . T h e i t h r o w a n d j t h c o l u m n o
f a m a t r i x A i s d e n o t e d
A
i :
a n d A
: j
, r e s p e c t i v e l y .
-
8/2/2019 Methods for Non-Linear Least Squares Problems-2nd
18/58
3 . 1 . G a u s s - N e w t o n 1 6
S o l v e J
f
( x
k
) h
k
= ? f ( x
k
) f o r h
k
k
= a r g m i n
> 0
f
1
2
k f ( x
k
+ h
k
) k
2
g
x
k + 1
= x
k
+
k
h
k
H e r e ( a n a p p r o x i m a t i o n t o )
k
i s f o u n d a s o u t l i n e d i n S e c t i o n 2 . 3 .
T h e m e t h o d m a y f a i l i f t h e J a c o b i a n m a t
r i x h a s s i n g u l a r i t i e s i n t h e
n e i g h b o u r h o o d o f x
. A s a n e x a m p l e c o n s i d e r t h e f o l l o w i n g
p r o b l e m ,
t a k e n f r o m P o w e l l ( 1 9 7 0 ) ,
f ( x ) =
x
1
1 0 x
1
x
1
+ 0 1
+ 2 x
2
2
w i t h x
= 0 a s t h e o n l y s o l u t i o n .
I f w e t a k e x
0
= 3 1
>
a n d u s e t h e a b o v e a l g o r i t h m w i t h e x a c t
l i n e
s e a r c h , t h e n t h e i t e r a t e s c o n v e r g e t o
x
c
' 1 8 0 1 6 0
>
, w h i c h i s n o t a
s o l u t i o n . T o e x p l a i n t h i s b e h a v i o u r ,
w e l o o k a t t h e J a c o b i a n m a t r i x
J
f
( x ) =
1 0
( x
1
+ 0 1 )
2
4 x
2
T h i s i s s i n g u l a r f o r x
2
= 0 , a n d f o r x
k
c l o s e t o t h e X
1
- a x i s t h e v e c t o r
h
k
= J
f
( x
k
)
1
f ( x
k
) w i l l h a v e l a r g e c o m p o n e n t s . T h e n
k
w i l l b e v e r y
s m a l l , a n d w e g e t s t u c k a t t h e c u r r e n t p
o s i t i o n . A r i g o r o u s p r o o f i s
g i v e n b y P o w e l l ( 1 9 7 0 ) .
A n a l t e r n a t i v e a p p r o a c h i s t o r e f o r m u
l a t e t h e p r o b l e m s o t h a t w e a i m
d i r e c t l y a t m i n i m i z i n g F , i n s t e a d o f j
u s t u s i n g i t i n t h e l i n e s e a r c h . B y
i t s e l f t h i s d o e s n o t c u r e t h e p r o b l e m s
a s s o c i a t e d w i t h s i n g u l a r J a c o b i a n
m a t r i c e s , b u t i t a l l o w s u s t o u s e a l l t h
e \ t o o l s " w e a r e g o i n g t o p r e s e n t
i n t h i s c h a p t e r .
3 . 1 . T h e G a u s s - N e w t o n M e t h o d
T h i s m e t h o d i s t h e b a s i s o f t h e v e r y e c i
e n t m e t h o d w e w i l l d e s c r i b e
i n t h e n e x t s e c t i o n . I t i s b a s e d o n i m p l
e m e n t e d r s t d e r i v a t i v e s o f
t h e c o m p o n e n t s o f t h e v e c t o r f u n c t i o n
. I n s p e c i a l c a s e s i t c a n g i v e
q u a d r a t i c c o n v e r g e n c e a s t h e N e w t o n -
m e t h o d d o e s f o r g e n e r a l o p t i -
m i z a t i o n , s e e F r a n d s e n e t a l . ( 1 9 9 9 ) .
A s w e s h a l l s e e i n a n e x a m p l e ,
t h e r e i s a r i s k o f c o n v e r g e n c e t o w a r d s
a n o n s t a t i o n a r y p o i n t i f w e
i n c o r p o r a t e a n e x a c t l i n e s e a r c h i n t o
i t .
-
8/2/2019 Methods for Non-Linear Least Squares Problems-2nd
19/58
1 7 3 . L e a s t S q u a r e s P r o b l e m s
T h e b a s i s o f t h e G a u s s - N e w t o n M e t h o d i
s a l i n e a r a p p r o x i m a t i o n
t o t h e c o m p o n e n t s o f f ( a l i n e a r m o d e l o
f f ) i n t h e n e i g h b o u r h o o d o f
x : F o r s m a l l k h k w e s e e f r o m t h e T a y l o r e
x p a n s i o n ( 3 . 2 ) t h a t
f ( x + h ) ' ( h ) f ( x ) + J
f
( x ) h ( 3 . 7 a )
I n s e r t i n g t h i s i n t h e d e n i t i o n ( 3 . 1 ) o
f F w e s e e t h a t
F ( x + h ) ' L ( h )
1
2
( h )
>
( h )
=
1
2
f
>
f + h
>
J
>
f
f +
1
2
h
>
J
>
f
J
f
h
= F ( x ) + h
>
J
>
f
f +
1
2
h
>
J
>
f
J
f
h ( 3 . 7 b )
( w i t h f = f ( x ) a n d J
f
= J
f
( x ) ) . T h e G a u s s - N e w t o n s t e p h
G N
m i n i -
m i z e s L ( h )
h
G N
= a r g m i n
h
f L ( h ) g
I t i s e a s i l y s e e n t h a t t h e g r a d i e n t a n d
t h e H e s s i a n m a t r i x o f L a r e
L
0
( h ) = J
>
f
f + J
>
f
J
f
h ; L
0 0
( h ) = J
>
f
J
f
( 3 . 8 )
C o m p a r i s o n w i t h ( 3 . 4 a ) s h o w s t h a t L
0
( 0 ) = F
0
( x ) . F u r t h e r , w e s e e
t h a t t h e m a t r i x L
0 0
( h ) i s i n d e p e n d e n t o f h . I t i s s y m m e t r i
c a n d i f J
f
h a s f u l l r a n k , i . e . i f t h e c o l u m n s a r e l
i n e a r l y i n d e p e n d e n t , t h e n L
0 0
( h )
i s a l s o p o s i t i v e d e n i t e , c f . A p p e n d i x
A . T h i s i m p l i e s t h a t L ( h ) h a s a
u n i q u e m i n i m i z e r , w h i c h c a n b e f o u n d b
y s o l v i n g
( J
>
f
J
f
) h
G N
= ? J
>
f
f ( 3 . 9 )
T h i s i s a d e s c e n t d i r e c t i o n f o r F s i n c
e
h
>
G N
F
0
( x ) = h
>
G N
( J
>
f
f ) = ? h
>
G N
( J
>
f
J
f
) h
G N
< 0 ( 3 . 1 0 )
T h u s , w e c a n u s e h
G N
f o r h
d h
i n A l g o r i t h m 2 . 4 . T h e t y p i c a l s t e p i
s
S o l v e ( J
>
f
J
f
) h
G N
= ? J
>
f
f
x = x + h
G N
( 3 . 1 1 )
-
8/2/2019 Methods for Non-Linear Least Squares Problems-2nd
20/58
3 . 1 . G a u s s - N e w t o n 1 8
w h e r e i s f o u n d b y l i n e s e a r c h . T h e c l a s
s i c a l G a u s s { N e w t o n m e t h o d
u s e s = 1 i n a l l s t e p s . T h e m e t h o d w i t h l i
n e s e a r c h c a n b e s h o w n t o
h a v e g u a r a n t e e d c o n v e r g e n c e , p r o v i d
e d t h a t
a ) f x F ( x ) F ( x
0
) g i s b o u n d e d , a n d
b ) t h e J a c o b i a n J
f
( x ) h a s f u l l r a n k i n a l l s t e p s .
I n c h a p t e r 2 w e s a w t h a t N e w t o n ' s m e t h o
d f o r o p t i m i z a t i o n h a s
q u a d r a t i c c o n v e r g e n c e . T h i s i s n o r m a
l l y n o t t h e c a s e w i t h t h e G a u s s -
N e w t o n m e t h o d . T o s e e t h i s , w e c o m p a r e
t h e s e a r c h d i r e c t i o n s u s e d
i n t h e t w o m e t h o d s ,
F
0 0
( x ) h
N
= ? F
0
( x ) a n d L
0 0
( h ) h
G N
= ? L
0
( 0 )
W e a l r e a d y r e m a r k e d a t ( 3 . 8 ) t h a t t h e t
w o r i g h t - h a n d s i d e s a r e i d e n -
t i c a l , b u t f r o m ( 3 . 4 b ) a n d ( 3 . 8 ) w e s e e
t h a t t h e c o e c i e n t m a t r i c e s
d i e r :
F
0 0
( x ) = L
0 0
( h ) +
m
X
i = 1
f
i
( x ) f
0 0
i
( x ) ( 3 . 1 2 )
T h e r e f o r e , i f f ( x
) = 0 , t h e n L
0 0
( h ) ' F
0 0
( x ) f o r x c l o s e t o x
, a n d w e
g e t q u a d r a t i c c o n v e r g e n c e a l s o w i t h t
h e G a u s s - N e w t o n m e t h o d . W e
c a n e x p e c t s u p e r l i n e a r c o n v e r g e n c e i
f t h e f u n c t i o n s f f
i
g h a v e s m a l l
c u r v a t u r e s o r i f t h e f f
i
( x
) g a r e s m a l l , b u t i n g e n e r a l w e m u s t e x p
e c t
l i n e a r c o n v e r g e n c e . I t i s r e m a r k a b l e
t h a t t h e v a l u e o f F ( x
) c o n t r o l s
t h e c o n v e r g e n c e s p e e d .
E x a m p l e 3 . 3 . C o n s i d e r t h e s i m p l e p r o b
l e m w i t h n = 1 m = 2 g i v e n b y
f ( x ) =
x + 1
x
2
+ x ? 1
F ( x ) =
1
2
( x + 1 )
2
+
1
2
( x
2
+ x ? 1 )
2
I t f o l l o w s t h a t
F
0
( x ) = 2
2
x
3
+ 3 x
2
? 2 ( ? 1 ) x
s o x = 0 i s a s t a t i o n a r y p o i n t f o r F . N o w
,
F
0 0
( x ) = 6
2
x
2
+ 6 x ? 2 ( ? 1 )
-
8/2/2019 Methods for Non-Linear Least Squares Problems-2nd
21/58
1 9 3 . L e a s t S q u a r e s P r o b l e m s
T h i s s h o w s t h a t i f < 1 , t h e n F
0 0
( 0 ) > 0 , s o x = 0 i s a l o c a l m i n i m i z e r
{ a c t u a l l y , i t i s t h e g l o b a l m i n i m i z e r
.
T h e J a c o b i a n m a t r i x i s
J
f
( x ) =
1
2 x + 1
a n d t h e c l a s s i c a l G a u s s - N e w t o n m e t h o
d f r o m x
k
g i v e s
x
k + 1
= x
k
?
2
x
3
k
+ 1 5 x
2
k
? ( ? 1 ) x
k
1 + x
k
N o w , i f 6= 0 a n d x
k
i s c l o s e t o z e r o , t h e n
x
k + 1
= x
k
+ ( ? 1 ) x
k
( 1 ? x
k
) + O ( x
2
k
) = x
k
+ O ( x
2
k
)
T h u s , i f < 1 , w e h a v e l i n e a r c o n v e r g e n
c e . c o n v e r g e n c e , l i n e a r I f < ?
1 , t h e n t h e c l a s s i c a l G a u s s - N e w t o n m e
t h o d c a n n o t n d t h e m i n i m i z e r .
E . g . w i t h = ? 2 a n d x
0
= 0 1 w e g e t
k x
k
0 0 1 0 0 0
1 ? 0 2 4 2 5
2 0 4 0 4 6
3 ? 4 7 7 2 4
4 4 4 2 9 7 5
F i n a l l y , i f = 0 , t h e n
x
k + 1
= x
k
? x
k
= 0
i . e . w e n d t h e s o l u t i o n i n o n e s t e p . T h e
r e a s o n i s t h a t i n t h i s c a s e f s
a l i n e a r f u n c t i o n .
E x a m p l e 3 . 4 . F o r t h e d a t a t t i n g p r o b l e
m f r o m E x a m p l e 1 . 1 t h e i t h
r o w o f t h e J a c o b i a n m a t r i x i s
J
f
( x )
i :
=
? x
3
t
i
e
x
1
t
i
? x
4
t
i
e
x
2
t
i
? e
x
1
t
i
? e
x
2
t
i
I f t h e p r o b l e m i s c o n s i s t e n t ( i . e . f (
x
) = 0 ) , t h e n t h e G a u s s - N e w t o n
m e t h o d w i t h l i n e s e a r c h w i l l h a v e q u a d
r a t i c n a l c o n v e r g e n c e , p r o -
v i d e d t h a t x
1
i s s i g n i c a n t l y d i e r e n t f r o m x
2
I f x
1
= x
2
, t h e n
r a n k ( J
f
( x
) ) 2 , a n d t h e G a u s s - N e w t o n m e t h o d f a i l
s .
-
8/2/2019 Methods for Non-Linear Least Squares Problems-2nd
22/58
3 . 2 . M a r q u a r d t ' s M e t h o d 2 0
I f o n e o r m o r e m e a s u r e m e n t e r r o r s a r e l
a r g e , t h e n f ( x
) h a s s o m e l a r g e
c o m p o n e n t s , a n d t h i s m a y s l o w d o w n t h e
c o n v e r g e n c e .
I n M a t l a b w e c a n g i v e a v e r y c o m p a c t f u n
c t i o n f o r c o m p u t i n g f a n d
J
f
: S u p p o s e t h a t x h o l d s t h e c u r r r e n t i t e
r a t e a n d t h a t t h e m 2 a r r a y
t y h o l d s t h e c o o r d i n a t e s o f t h e d a t a p o
i n t s . T h e f o l l o w i n g f u n c t i o n
r e t u r n s f a n d J c o n t a i n i n g f ( x ) a n d J
f
( x ) , r e s p e c t i v e l y .
f u n c t i o n f , J ] = f i t e x p ( x , t y )
t = t y ( : , 1 ) ; y = t y ( : , 2 ) ;
E = e x p ( t * x ( 1 ) , x ( 2 ) ] ) ;
f = y - E * x ( 3 ) ; x ( 4 ) ] ;
J = - x ( 3 ) * t . * E ( : , 1 ) , x ( 4 ) * t . * E ( : , 2 )
, E ] ;
E x a m p l e 3 . 5 . C o n s i d e r t h e p r o b l e m f r o
m E x a m p l e 3 . 2 , f ( x
) = 0
w i t h f I R
n
! I R
n
I f w e u s e N e w t o n - R a p h s o n ' s m e t h o d t o s
o l v e t h i s
p r o b l e m , t h e t y p i c a l i t e r a t i o n s t e p i
s
S o l v e J
f
( x ) h
N R
= ? f ( x ) x = x + h
N R
T h e G a u s s - N e w t o n m e t h o d a p p l i e d t o t h
e m i n i m i z a t i o n o f F ( x ) =
1
2
f ( x )
>
f ( x ) h a s t h e t y p i c a l s t e p
S o l v e ( J
f
( x )
>
J
f
( x ) ) h
G N
= ? J
f
( x )
>
f ( x ) x = x + h
G N
N o t e , t h a t J
f
( x ) i s a s q u a r e m a t r i x , a n d w e a s s u m e t h
a t i t i s n o n s i n g u -
l a r . T h e n ( J
f
( x )
>
)
1
e x i s t s , a n d i t f o l l w s t h a t h
G N
= h
N R
. T h e r e f o r e ,
w h e n a p p l i e d t o P o w e l l s p r o b l e m f r o m E
x a m p l e 3 . 2 , t h e G a u s s - N e w t o n
m e t h o d w i l l h a v e t h e s a m e t r o u b l e s a s d
i s c u s s e d f o r N e w t o n - R a p h s o n ' s
m e t h o d i n t h a t e x a m p l e .
T h e s e e x a m p l e s s h o w t h a t t h e G a u s s - N e
w t o n m e t h o d m a y f a i l ,
b o t h w i t h a n d w i t h o u t a l i n e s e a r c h . S t
i l l , i n m a n y a p p l i c a t i o n s
i t g i v e s q u i t e g o o d p e r f o r m a n c e , t h o u
g h i t n o r m a l l y o n l y h a s l i n e a r
c o n v e r g e n c e a s o p p o s e d t o t h e q u a d r a t
i c c o n v e r g e n c e f r o m N e w t o n ' s
m e t h o d w i t h i m p l e m e n t e d s e c o n d d e r i v
a t i v e s .
I n S e c t i o n 3 . 2 w e g i v e a m e t h o d w i t h s u p
e r i o r g l o b a l p e r f o r m a n c e ,
a n d i n S e c t i o n 3 . 3 w e g i v e m o d i c a t i o n s
t o t h e m e t h o d s o t h a t w e
a c h i e v e s u p e r l i n e a r n a l c o n v e r g e n c e
.
-
8/2/2019 Methods for Non-Linear Least Squares Problems-2nd
23/58
2 1 3 . L e a s t S q u a r e s P r o b l e m s
3 . 2 . M a r q u a r d t ' s M e t h o d
I n s e c t i o n 2 . 2 w e s u g g e s t e d a h y b r i d m e
t h o d w i t h b e t t e r g l o b a l p e r -
f o r m a n c e t h a n N e w t o n ' s m e t h o d . O n e p r
o b l e m w i t h t h e l a t t e r i s t h a t
i f w e a r e f a r f r o m a l o c a l m i n i m i z e r , t h
e H e s s i a n m a t r i x m a y b e i n d e f -
i n i t e o r e v e n n e g a t i v e d i n i t e . T h u s t h
e N e w t o n s t e p h
N
i s p e r h a p s
n o t a d e s c e n t d i r e c t i o n , a n d i n t h a t c a
s e i t w o u l d b e b e t t e r t o u s e t h e
s t e e p e s t d e s c e n t d i r e c t i o n h
s d
I n S e c t i o n 3 . 1 w e s a w t h a t t h e G a u s s - N e
w t o n s t e p h
G N
i s w e l l -
d e n e d o n l y i f J
f
( x ) h a s f u l l r a n k . I n t h a t c a s e h
G N
i s a d e s c e n t
d i r e c t i o n .
B o t h N e w t o n ' s m e t h o d a n d t h e G a u s s - N e
w t o n m e t h o d m a y s u g -
g e s t s t e p s t h a t a r e s o l o n g t h a t t h e n o n
- l i n e a r i t y o f t h e c o m p o n e n t s o f
f g i v e s a v a l u e o f F , w h i c h i s l a r g e r t h a
n t h e o n e w e a r e a b o u t t o l e a v e .
T h e r e a s o n i s t h a t t h e l i n e a r m o d e l s b e
h i n d t h e t w o m e t h o d s , ( 2 . 9 )
a n d ( 3 . 1 1 ) , a r e g o o d a p p r o x i m a t i o n s o
n l y f o r s m a l l v a l u e s o f k h k
L e v e n b e r g ( 1 9 4 4 ) a n d l a t e r M a r q u a r d t
( 1 9 6 3 ) s u g g e s t e d a m e t h o d
w h e r e t h e s t e p h
M
i s c o m p u t e d b y t h e f o l l o w i n g m o d i c a t i
o n o f t h e
s y s t e m ( 3 . 9 ) d e n i n g h
G N
( J
>
f
J
f
+ I ) h
M
= ? g w i t h g = J
>
f
f a n d 0 ( 3 . 1 3 )
H e r e , J
f
= J
f
( x ) a n d f = f ( x ) . T h e d a m p i n g p a r a m e t e r
h a s s e v e r a l
e e c t s :
a ) F o r a l l > 0 t h e c o e c i e n t m a t r i x i s p o
s i t i v e d e n i t e , a n d t h i s
e n s u r e s t h a t h
M
i s a d e s c e n t d i r e c t i o n , c f . ( 3 . 1 0 ) .
b ) F o r l a r g e v a l u e s o f w e g e t
h
M
' ?
1
g = ?
1
F
0
( x ) ;
i . e . a s h o r t s t e p i n t h e s t e e p e s t d e s c e
n t d i r e c t i o n .
c ) I f i s v e r y s m a l l , t h e n h
M
' h
G N
, w h i c h i s a g o o d s t e p i n t h e
n a l s t a g e s o f t h e i t e r a t i o n , w h e n x i s c
l o s e t o x
I f F ( x
) = 0 ( o r
v e r y s m a l l ) , t h e n w e c a n g e t ( a l m o s t ) q
u a d r a t i c n a l c o n v e r g e n c e .
-
8/2/2019 Methods for Non-Linear Least Squares Problems-2nd
24/58
3 . 2 . M a r q u a r d t ' s M e t h o d 2 2
T h u s , t h e d a m p i n g p a r a m e t e r i n u e n c e s
b o t h t h e d i r e c t i o n a n d
t h e s i z e o f t h e s t e p , a n d t h i s l e a d s u s t
o m a k e a m e t h o d w i t h o u t a
s p e c i c l i n e s e a r c h . T h e c h o i c e o f i n i t
i a l - v a l u e s h o u l d b e r e l a t e d t o
t h e s i z e o f t h e e l e m e n t s i n A
0
= J
f
( x
0
)
>
J
f
( x
0
) , e . g . b y l e t t i n g
0
= m a x
i
a
( 0 )
i i
; ( 3 . 1 4 )
w h e r e i s c h o s e n b y t h e u s e r . D u r i n g i t e
r a t i o n t h e s i z e o f c a n b e
c o n t r o l l e d b y t h e g a i n r a t i o
% =
F ( x ) ? F ( x + h
M
)
L ( 0 ) ? L ( h
M
)
; ( 3 . 1 5 a )
w h e r e t h e d e n o m i n a t o r i s t h e g a i n p r e d
i c t e d b y t h e l i n e a r m o d e l
( 3 . 7 b ) ,
L ( 0 ) ? L ( h
M
) = ? h
>
M
J
>
f
f ?
1
2
h
>
M
J
>
f
J
f
h
M
= ?
1
2
h
>
M
2 g + ( J
>
f
J
f
+ I ? I ) h
M
=
1
2
h
>
M
( h
M
? g ) ( 3 . 1 5 b )
N o t e t h a t b o t h h
>
M
h
M
a n d ? h
>
M
g a r e p o s i t i v e , s o L ( 0 ) ? L ( h
M
) i s
g u a r a n t e e d t o b e p o s i t i v e .
A l a r g e v a l u e o f % i n d i c a t e s t h a t L ( h
M
) i s a g o o d a p p r o x i m a t i o n t o
F ( x + h
M
) , a n d w e c a n d e c r e a s e s o t h a t t h e n e x t M
a r q u a r d t s t e p i s
c l o s e r t o t h e G a u s s - N e w t o n s t e p . I f % i
s s m a l l ( m a y b e e v e n n e g a t i v e ) ,
t h e n L ( h
M
) i s a p o o r a p p r o x i m a t i o n , a n d w e s h o u l
d i n c r e a s e w i t h
t h e t w o f o l d a i m o f g e t t i n g c l o s e r t o t h
e s t e e p e s t d e s c e n t d i r e c t i o n a n d
r e d u c i n g t h e s t e p l e n g t h . T h e s e g o a l s
c a n b e m e t i n d i e r e n t w a y s ,
e . g . b y u s i n g t h e f o l l o w i n g s i m p l e u p d
a t i n g s t r a t e g y ,
i f % > 0
x = x + h
M
= m a x f
1
3
; 1 ? ( 2 % ? 1 )
3
g = 2
e l s e
= = 2
( 3 . 1 6 )
-
8/2/2019 Methods for Non-Linear Least Squares Problems-2nd
25/58
2 3 3 . L e a s t S q u a r e s P r o b l e m s
T h e f a c t o r i s i n i t i a l i z e d t o = 2 . N o t e t
h a t x i s u p d a t e d o n l y i f
% > 0 , F ( x + h
M
) < F ( x ) , i . e . i f t h e d e s c e n d i n g c o n d i
t i o n ( 2 . 1 ) i s
s a t i s e d , a n d t h a t a s e r i e s o f c o n s e c u t
i v e f a i l u r e s r e s u l t s i n r a p i d l y
i n c r e a s i n g - v a l u e s .
E x a m p l e 3 . 6 . T h e c u r r e n t l y m o s t w i d e l
y u s e d s t r a t e g y h a s t h e f o r m
i f % > 0 7 5
= = 3
i f % < 0 2 5
= 2
i f % > 0
x = x + h
M
( 3 . 1 7 )
T h i s s t r a t e g y w a s o r i g i n a l l y p r o p o s e
d b y M a r q u a r d t ( 1 9 6 3 ) , a n d s m a l l
c h a n g e s i n t h e t h r e s h o l d s 0 . 2 5 a n d 0 . 7
5 a n d i n t h e f a c t o r s 2 a n d
1
3
c a n
b e s e e n . T h e t w o u p d a t i n g f o r m u l a s a r e
i l l u s t r a t e d b e l o w .
0 10.25 0.75
1
new
/
F i g u r e 3 . 1 . U p d a t i n g o f b y ( 3 . 1 6 ) w i t h
= 2 ( f u l l l i n e )
M a r q u a r d t ' s s t r a t e g y ( d a s h e d e d l i n e
)
T h e s m o o t h e r c h a n g e o f f o r % i n t h e r a n g
e 0 < % < 1 h a s a b e n e c i a l
i n u e n c e o n t h e c o n v e r g e n c e , s e e F i g u r
e 3 . 2 a - b b e l o w . A l s o , i f % 0
i n c o n s e c t i v e s t e p s , t h e n ( 3 . 1 6 ) n e e d
s f e w e r s t e p s t o g e t s u c i e n t l y
l a r g e . E x t e n s i v e t e s t i n g i n N i e l s e n (
1 9 9 9 ) s h o w s t h a t g e n e r a l l y ( 3 . 1 6 )
i s s i g n i c a n t l y s u p e r i o r t o ( 3 . 1 7 ) .
T h e s t o p p i n g c r i t e r i a f o r t h e a l g o r i t
h m s h o u l d r e e c t t h a t a t a
g l o b a l m i n i m i z e r w e h a v e F
0
( x
) = g ( x
) = 0 , s o w e c a n u s e
k g k
1
"
1
; ( 3 . 1 8 a )
-
8/2/2019 Methods for Non-Linear Least Squares Problems-2nd
26/58
3 . 2 . M a r q u a r d t ' s M e t h o d 2 4
w h e r e "
1
i s a s m a l l , p o s i t i v e n u m b e r , c h o s e n b y
t h e u s e r . A n o t h e r
r e l e v a n t c r i t e r i o n i s t o s t o p i f t h e r e
l a t i v e c h a n g e i n x i s s m a l l ,
k x
n e w
? x k "
2
k x k ( 3 . 1 8 b )
F i n a l l y , t o g u a r d a g a i n s t a n i n n i t e l o
o p , w e n e e d a \ s a f e t y v a l v e "
k k
m a x
( 3 . 1 8 c )
A l s o "
2
a n d k
m a x
a r e c h o s e n b y t h e u s e r .
T h e l a s t t w o c r i t e r i a c o m e i n t o e e c t e .
g . i f "
1
i s c h o s e n s o s m a l l
t h a t e e c t s o f r o u n d i n g e r r o r s h a v e l a r
g e i n u e n c e . T h i s w i l l t y p i c a l l y
r e v e a l i t s e l f i n a p o o r a c c o r d a n c e b e t
w e e n t h e a c t u a l g a i n i n F a n d t h e
g a i n p r e d i c t e d b y t h e l i n e a r m o d e l ( 3 .
7 b ) , a n d w i l l r e s u l t i n b e i n g
a u g m e n t e d i n e v e r y s t e p . O u r s t r a t e g y
f o r a u g m e n t i n g i m p l i e s t h a t
i n t h i s c a s e g r o w s f a s t , r e s u l t i n g i n s
m a l l k h
M
k , a n d t h e p r o c e s s w i l l
b e s t o p p e d b y ( 3 . 1 8 b ) .
T h e a l g o r i t h m i s s u m m a r i z e d b e l o w .
A s r e g a r d s p r a c t i c a l i m p l e m e n t a t i o n
, w e d o n o t n e e d t o s t o r e t h e
c o m p l e t e m n J a c o b i a n m a t r i x . S u p p o s e
e . g . t h a t w e c o m p u t e i t o n e
r o w a t a t i m e , t h e n w e c a n b u i l d u p t h e m a
t r i x A = J
f
( x )
>
J
f
( x ) a n d
v e c t o r g = J
f
( x )
>
f ( x ) b y u s i n g t h e r e l a t i o n s
A =
m
X
i = 1
J
>
i :
J
i :
; g =
m
X
i = 1
f
i
( x ) J
>
i :
; ( 3 . 1 9 )
w h e r e J
i :
i s t h e i t h r o w i n J
f
( x ) , h o l d i n g t h e d e r i v a t i v e s o f f
i
F i n a l l y , r e m e m b e r t h a t t h e G a u s s - N e w
t o n s t e p h
G N
m i n i m i z e s
t h e f u n c t i o n L ( h )
h
G N
= a r g m i n
h
f L ( h ) g
M a r q u a r d t h a s s h o w n t h a t i n s i d e a b a l l
o f r a d i u s k h
M
k t h e M a r q u a r d t
s t e p h
M
m i n i m i z e s L
h
M
= a r g m i n
k h k k h
M
k
f L ( h ) g ( 3 . 2 0 )
T h e p r o o f i s g i v e n i n A p p e n d i x B .
-
8/2/2019 Methods for Non-Linear Least Squares Problems-2nd
27/58
2 5 3 . L e a s t S q u a r e s P r o b l e m s
A l g o r i t h m 3 . 2 1 . M a r q u a r d t ' s M e t h o
d
3 )
b e g i n
k : = 0 ; : = 2 ; x = x
0
A = J
f
( x )
>
J
f
( x ) g = J
f
( x )
>
f ( x )
f o u n d = ( k g k
1
"
1
) = m a x f a
i i
g
w h i l e ( n o t f o u n d ) a n d ( k < k
m a x
)
k = k + 1 ; S o l v e ( A + I ) h
M
= ? g
i f k h
M
k "
2
k x k
f o u n d = t r u e
e l s e
x
n e w
= x + h
M
% = ( F ( x ) ? F ( x
n e w
) ) = ( L ( 0 ) ? L ( h
M
) ) f c f . ( 3 . 1 5 ) g
i f % > 0 f s t e p a c c e p t a b l e g
x = x
n e w
A = J
f
( x )
>
J
f
( x ) g = J
f
( x )
>
f ( x )
f o u n d = ( k g k
1
"
1
)
= m a x f
1
3
1 ? ( 2 % ? 1 )
3
g = 2
e l s e
= = 2
e n d
E x a m p l e 3 . 7 . C o m p a r i n g ( 3 . 9 ) a n d t h e n
o r m a l e q u a t i o n s ( 3 . 5 ) w e s e e
t h a t h
G N
i s s i m p l y t h e l e a s t s q u a r e s s o l u t i o n t
o t h e l i n e a r p r o b l e m
f ( x ) + J
f
( x ) h ' 0 . S i m i l a r l y , t h e M a r q u a r d t e q u
a t i o n s ( 3 . 1 3 ) a r e t h e
n o r m a l e q u a t i o n s f o r t h e l i n e a r p r o b l
e m
f ( x )
0
+
J
f
( x )
p
I
h ' 0
A s m e n t i o n e d i n E x a m p l e 3 . 1 , t h e m o s t a
c c u r a t e s o l u t i o n i s f o u n d v i a
o r t h o g o n a l t r a n s f o r m a t i o n . H o w e v e r
, t h e s o l u t i o n h
M
i s j u s t a s t e p i n
a n i t e r a t i v e p r o c e s s , a n d n e e d s n o t b e
c o m p u t e d v e r y a c c u r a t e l y , a n d
s i n c e t h e s o l u t i o n v i a t h e n o r m a l e q u a
t i o n s i s \ c h e a p e r " , t h i s m e t h o d
i s n o r m a l l y e m p l o y e d .
3 )
T h e a l g o r i t h m i s s o m e t i m e s c a l l e d t h e
L e v e n b e r g - M a r q u a r d t M e t h o d
-
8/2/2019 Methods for Non-Linear Least Squares Problems-2nd
28/58
3 . 2 . M a r q u a r d t ' s M e t h o d 2 6
E x a m p l e 3 . 8 . W e h a v e u s e d A l g o r i t h m 3 .
2 1 o n t h e d a t a t t i n g p r o b l e m
f r o m E x a m p l e s 1 . 1 a n d 3 . 4 . F i g u r e 1 . 1 i
n d i c a t e s t h a t b o t h x
1
a n d x
2
a r e n e g a t i v e a n d t h a t M ( x
0 ) ' 0 . T h e s e c o n d i t i o n s a r e s a t i s e d b
y
x
0
= ? 1 ? 2 1 ? 1
>
. F u r t h e r , w e u s e d = 1 0
3
i n t h e e x p r e s s i o n
( 3 . 1 4 ) f o r
0
a n d t h e s t o p p i n g c r i t e r i a g i v e n b y ( 3 .
1 8 ) w i t h "
1
= "
2
=
1 0
8
k
m a x
= 2 0 0 . T h e a l g o r i t h m s t o p p e d a f t e r 6 2 i
t e r a t i o n s t e p s w i t h
x ' ? 4 ? 5 4 ? 4
>
. T h e p e r f o r m a n c e i s i l l u s t r a t e d b e l o
w ; n o t e t h e
l o g a r i t h m i c o r d i n a t e a x i s .
0 10 20 30 40 50 60 7010
12
1010
108
106
104
102
100
102
F(x)|| g ||
F i g u r e 3 . 2 a . M a r q u a r d t ' s m e t h o d a p p l
i e d t o
t h e t t i n g p r o b l e m f r o m E x a m p l e 1 . 1
T h i s p r o b l e m i s n o t c o n s i s t e n t , s o w e c
o u l d e x p e c t l i n e a r n a l c o n v e r -
g e n c e . T h e l a s t 7 i t e r a t i o n s t e p s i n d i
c a t e a m u c h b e t t e r ( s u p e r l i n e a r )
c o n v e r g e n c e . T h e e x p l a n a t i o n i s , t h a
t t h e f
0 0
i
( x ) a r e s l o w l y v a r y i n g
f u n c t i o n s o f t
i
, a n d t h e f
i
( x
) h a v e \ r a n d o m " s i g n , s o t h a t t h e c o n
-
t r i b u t i o n s t o t h e \ f o r g o t t e n t e r m " i n
( 3 . 1 2 ) a l m o s t c a n c e l o u t . S u c h a
s i t u a t i o n o c c u r s i n m a n y d a t a t t i n g a p
p l i c a t i o n s .
F o r c o m p a r i s o n , F i g u r e 3 . 2 b s h o w s t h e
p e r f o r m a n c e w i t h t h e u p d a t i n g
s t r a t e g y ( 3 . 1 7 ) . F r o m s t e p 2 0 t o s t e p 6
8 w e s e e t h a t e a c h d e c r e a s e i n
i s i m m e d i a t e l y f o l l o w e d b y a n i n c r e a s
e , a n d t h e n o r m o f t h e g r a d i e n t
h a s a r u g g e d b e h a v i o u r . T h i s s l o w s d o w
n t h e c o n v e r g e n c e , b u t t h e n a l
s t a g e i s a s i n F i g u r e 3 . 2 a .
-
8/2/2019 Methods for Non-Linear Least Squares Problems-2nd
29/58
2 7 3 . L e a s t S q u a r e s P r o b l e m s
0 10 20 30 40 50 60 70 8010
12
1010
108
106
104
102
100
102
F(x)
|| g ||
F i g u r e 3 . 2 b . P e r f o r m a n c e w i t h u p d a t i
n g s t r a t e g y ( 3 . 1 7 )
E x a m p l e 3 . 9 . F i g u r e 3 . 3 i l l u s t r a t e s t
h e p e r f o r m a n c e o f A l g o r i t h m 3 . 2 1
a p p l i e d t o P o w e l l ' s p r o b l e m f r o m E x a m
p l e s 3 . 2 a n d 3 . 5 . T h e s t a r t i n g
p o i n t i s x
0
= 3 1
>
0
g i v e n b y = 1 i n ( 3 . 1 4 ) , a n d w e u s e "
1
= "
2
=
1 0
1 5
k
m a x
= 1 0 0 i n t h e s t o p p i n g c r i t e r i a ( 3 . 1 8 )
.
0 10 20 30 40 50 60 70 80 90 10010
16
1012
108
104
100
104
F(x)|| g ||
F i g u r e 3 . 3 . M a r q u a r d t ' s m e t h o d a p p l i
e d t o P o w e l l ' s p r o b l e m
T h e i t e r a t i o n s e e m s t o s t a l l b e t w e e n s
t e p s 2 2 a n d 3 0 . T h i s a s a n e e c t
o f t h e ( a l m o s t ) s i n g u l a r J a c o b i a n m a t
r i x . A f t e r t h a t t h e r e s e e m s t o b e
l i n e a r c o n v e r g e n c e . T h e i t e r a t i o n i s
s t o p p e d b y t h e \ s a f e t y v a l v e " a t t h e
p o i n t x = - 3 . 8 2 e - 0 8 - 1 . 3 8 e - 0 3
>
. T h i s i s a b e t t e r a p p r o x i m a t i o n
-
8/2/2019 Methods for Non-Linear Least Squares Problems-2nd
30/58
3 . 3 . H y b r i d : M a r q u a r d t a n d Q u a s i - N e w
t o n 2 8
t o x
= 0 t h a n w e f o u n d i n E x a m p l e 3 . 2 , b u t s t i
l l w e w a n t t o b e a b l e
t o d o b e t t e r ; s e e E x a m p l e s 3 . 1 5 a n d 3 . 1
7 .
3 . 3 . A H y b r i d M e t h o d :
M a r q u a r d t a n d Q u a s i - N e w t o n
I n 1 9 8 8 M a d s e n p r e s e n t e d a h y b r i d m e t h
o d w h i c h c o m b i n e s M a r -
q u a r d t ' s m e t h o d ( q u a d r a t i c c o n v e r g e
n c e i f F ( x
) = 0 , l i n e a r c o n v e r -
g e n c e o t h e r w i s e ) w i t h a q u a s i - N e w t o n
m e t h o d w h i c h g i v e s s u p e r l i n e a r
c o n v e r g e n c e , e v e n i f F ( x
) 6= 0 . T h e i t e r a t i o n s t a r t s w i t h a s e r i e
s o f
s t e p s w i t h t h e M a r q u a r d t m e t h o d . I f t h
e p e r f o r m a n c e i n d i c a t e s t h a t
F ( x
) i s s i g n i c a n t l y n o n z e r o , t h e n w e s w i t
c h t o t h e q u a s i - N e w t o n
m e t h o d f o r b e t t e r p e r f o r m a n c e . I t m a y
h a p p e n t h a t w e g e t a n i n d i c a -
t i o n t h a t i t i s b e t t e r t o s w i t c h b a c k t o
M a r q u a r d t ' s m e t h o d , s o t h e r e
i s a l s o a m e c h a n i s m f o r t h a t .
T h e s w i t c h f r o m M a r q u a r d t ' s m e t h o d t o
t h e q u a s i - N e w t o n
m e t h o d i s m a d e i f
k F
0
( x ) k
1
< 0 0 2 F ( x ) ( 3 . 2 2 )
i n t h r e e c o n s e c u t i v e , s u c c e s f u l i t e r
a t i o n s t e p s . T h i s i s i n t e r p r e t e d a s
a n i n d i c a t i o n t h a t w e a r e a p p r o a c h i n g
a n x
w i t h F
0
( x
) = 0 a n d
F ( x
) s i g n i c a n t l y n o n z e r o . A s d i s c u s s e d i
n c o n n e c t i o n w i t h ( 3 . 1 2 ) ,
t h i s c a n l e a d t o s l o w , l i n e a r c o n v e r g e
n c e .
T h e q u a s i - N e w t o n m e t h o d i s b a s e d o n h a
v i n g a n a p p r o x i m a t i o n
B t o t h e H e s s i a n m a t r i x F
0 0
( x ) a t t h e c u r r e n t i t e r a t e x , a n d t h e s t
e p
h
q N
i s f o u n d b y s o l v i n g
B h
q N
= ? F
0
( x ) ; ( 3 . 2 3 )
w h i c h i s a n a p p r o x i m a t i o n t o t h e N e w t o
n e q u a t i o n ( 2 . 1 0 a ) .
T h e a p p r o x i m a t i o n B i s u p d a t e d b y t h e B
F G S s t r a t e g y , c f . S e c t i o n
5 . 1 0 i n F r a n d s e n e t a l . ( 1 9 9 9 ) : E v e r y B
i n t h e s e r i e s o f a p p r o x i m a t i o n
m a t r i c e s i s s y m m e t r i c ( a s a n y F
0 0
( x ) ) a n d p o s i t i v e d e n i t e . T h i s e n -
s u r e s t h a t h
q N
i s \ d o w n h i l l " , c f . ( 2 . 1 1 ) . W e s t a r t w i
t h t h e s y m m e t r i c ,
-
8/2/2019 Methods for Non-Linear Least Squares Problems-2nd
31/58
2 9 3 . L e a s t S q u a r e s P r o b l e m s
p o s i t i v e d e n i t e m a t r i x B
0
= I , a n d t h e B F G S u p d a t e c o n s i s t s o f a
r a n k 2 m a t r i x t o b e a d d e d t o t h e c u r r e n t
B . M a d s e n ( 1 9 8 8 ) u s e s t h e
f o l l o w i n g v e r s i o n , a d v o c a t e d b y A l - B
a a l i a n d F l e t c h e r ( 1 9 8 5 ) ,
h = x
n e w
? x y = J
>
n e w
J
n e w
h + ( J
n e w
? J )
>
f ( x
n e w
)
i f h
>
y > 0
v = B h B = B +
?
1
h
>
y
y
y
>
?
?
1
h
>
v
v
v
>
( 3 . 2 4 )
w i t h J = J
f
( x ) J
n e w
= J
f
( x
n e w
) . A s m e n t i o n e n e d , t h e c u r r e n t B i s
p o s i t i v e d e n i t e , a n d i t i s c h a n g e d o n l
y , i f h
>
y > 0 . I n t h i s c a s e i t c a n
b e s h o w n t h a t a l s o t h e n e w B i s p o s i t i v e
d e n i t e .
T h e q u a s i - N e w t o n m e t h o d i s n o t r o b u s t
i n t h e g l o b a l s t a g e o f
t h e i t e r a t i o n . S p e c i c a l l y i t d o e s n o t
c h e c k a d e s c e n d i n g c o n d i t i o n
l i k e ( 2 . 1 ) . A t t h e s o l u t i o n x
w e h a v e F
0
( x
) = 0 , a n d g o o d n a l
c o n v e r g e n c e i s i n d i c a t e d b y r a p i d l y d
e c r e a s i n g v a l u e s o f k F
0
( x ) k I f
t h e s e n o r m v a l u e s d o n o t d e c r e a s e r a p i
d l y e n o u g h , t h e n w e s w i t c h
b a c k t o t h e M a r q u a r d t m e t h o d .
T h e a l g o r i t h m i s s u m m a r i z e d b e l o w . I t
c a l l s t h e a u x i l i a r y f u n c -
t i o n s M S t e p a n d Q S t e p , i m p l e m e n t i n g t
h e t w o m e t h o d s . W e h a v e
t h e f o l l o w i n g r e m a r k s :
1
I n i t i a l i z a t i o n .
0
c a n b e f o u n d b y ( 3 . 1 4 ) . T h e s t o p p i n g c r
i t e r i a
a r e g i v e n b y ( 3 . 1 8 ) .
2
T h e d o t s i n d i c a t e t h a t w e a l s o t r a n s f e
r c u r r e n t v a l u e s o f f a n d J
f
e t c . s o t h a t w e d o n o t h a v e t o r e c o m p u t e
t h e m f o r t h e s a m e x
3
T h e c u r r e n t l y b e s t a p p r o x i m a t i o n f o u
n d b y M a r q u a r d t ' s m e t h o d
i s s a v e d . I f t h e q u a s i - N e w t o n m e t h o d f
a i l s , w e r e t u r n t o M a r -
q u a r d t ' s m e t h o d a n d s t a r t i t f r o m x
b e s t
4
N o t i c e t h a t b o t h M a r q u a r d t a n d q u a s i -
N e w t o n s t e p s c o n t r i b u t e
i n f o r m a t i o n f o r t h e a p p r o x i m a t i o n o f
t h e H e s s i a n m a t r i x .
-
8/2/2019 Methods for Non-Linear Least Squares Problems-2nd
32/58
3 . 3 . H y b r i d : M a r q u a r d t a n d Q u a s i - N e w
t o n 3 0
A l g o r i t h m 3 . 2 5 . A H y b r i d M e t h o d
b e g i n
k : = 0 ; x = x
0
=
0
: = 2 ; B = I f 1
g
f o u n d = ( k F
0
( x ) k
1
"
1
) m e t h o d : = M a r q u a r d t
w h i l e ( n o t f o u n d ) a n d ( k < k
m a x
)
k = k + 1
c a s e m e t h o d o f
M a r q u a r d t :
x
n e w
f o u n d m e t h o d ; : : : ] : = M S t e p ( x ; : : : ) f
2
g
i f m e t h o d = Q u a s i N e w t o n
x
b e s t
= x
n e w
f 3
g
Q u a s i N e w t o n :
x
n e w
f o u n d m e t h o d ; : : : ] : = Q S t e p ( x B x
b e s t
; : : : ) f 2
g
U p d a t e B b y ( 3 . 2 4 ) ; x = x
n e w
f 4
g
e n d
F u n c t i o n 3 . 2 5 a . M a r q u a r d t S t e p
x
n e w
; f o u n d ; m e t h o d ; : : : ] : = M S t e p ( x ; : : :
)
b e g i n
x
n e w
= x m e t h o d : = M a r q u a r d t
S o l v e
?
J
f
( x )
>
J
f
( x ) + I
h
M
= ? F
0
( x )
f o u n d = ( k h
M
k "
2
k x k )
i f n o t f o u n d
% = ( F ( x ) ? F ( x + h
M
) ) = ( L ( 0 ) ? L ( h
M
) )
i f % > 0
x
n e w
= x + h
M
f o u n d = ( k F
0
( x
n e w
) k
1
"
1
)
= m a x f
1
3
1 ? ( 2 % ? 1 )
3
g : = 2 ;
i f k F
0
( x
n e w
) k
1
< 0 0 2 F ( x
n e w
) f 5
g
c o u n t = c o u n t + 1
i f c o u n t = 3 f 6
g
m e t h o d : = Q u a s i N e w t o n
e l s e
c o u n t = 0
e l s e
= = 2 c o u n t = 0
e n d
-
8/2/2019 Methods for Non-Linear Least Squares Problems-2nd
33/58
3 1 3 . L e a s t S q u a r e s P r o b l e m s
F u n c t i o n 3 . 2 5 b Q u a s i - N e w t o n S t e p
x
n e w
; f o u n d ; m e t h o d ; : : : ] : = Q S t e p ( x ; B ;
x
b e s t
; : : : )
b e g i n
m e t h o d : = Q u a s i N e w t o n ; S o l v e B h
q N
= ? F
0
( x
n e w
)
f o u n d = ( k h
q N
k "
2
k x k )
i f n o t f o u n d
x
n e w
= x + h
q N
f o u n d = ( k F
0
( x
n e w
) k
1
"
1
)
i f ( n o t f o u n d ) a n d ( k F
0
( x
n e w
) k
1
> 0 9 9 k F
0
( x ) k
1
) f 7
g
m e t h o d : = M a r q u a r d t
i f F ( x
n e w
) > F ( x
b e s t
)
x
n e w
= x
b e s t
e n d
W e h a v e t h e f o l l o w i n g r e m a r k s o n t h e f u
n c t i o n s M s t e p a n d Q s t e p
5
I n d i c a t i o n t h a t i t m i g h t b e t i m e t o s w i
t c h m e t h o d . T h e p a r a m e t e r
c o u n t i s i n i t i a l i z e d t o z e r o a t t h e s t a
r t o f A l g o r i t h m 3 . 2 5 .
6
( 3 . 2 2 ) w a s s a t i s e d i n t h r e e c o n s e c u t i
v e s t e p s , a l l o f w h i c h h a d
% > 0 , i . e . x w a s c h a n g e d .
7
T h e g r a d i e n t s d o n o t d e c r e a s e f a s t e n o
u g h .
E x a m p l e 3 . 1 0 . N o t i c e t h a t i n t h e u p d a t
i n g f o r m u l a ( 3 . 2 4 ) t h e c o m p u -
t a t i o n o f y i n v o l v e s t h e p r o d u c t J
f
( x )
>
f ( x
n e w
) . T h i s i m p l i e s t h a t w e
h a v e t o s t o r e t h e p r e v i o u s J a c o b i a n m a
t r i x ( o r t o r e c o m p u t e i t i f w e
w a n t t o e x p l o i t t h e p o s s i b i l i t i e s d i s
c u s s e d i n c o n n e c t i o n w i t h ( 3 . 1 9 ) ) .
I n s t e a d , w e c o u l d u s e
y = F
0
( x
n e w
) ? F
0
( x ) = g
n e w
? g
i n t h e u p d a t i n g f o r m u l a , b u t M a d s e n ( 1
9 8 8 ) f o u n d t h a t ( 3 . 2 4 ) p e r f o r m s
b e t t e r .
E x a m p l e 3 . 1 1 . T h i s h y b r i d m e t h o d w i l l
n o t o u t p e r f o r m A l g o r i t h m 3 . 2 1
o n t h e p r o b l e m s d i s c u s s e d i n E x a m p l e s
3 . 8 a n d 3 . 9 . I n t h e l a t t e r c a s e
( s e e F i g u r e 3 . 3 ) F ( x ) ! 0 , a n d t h e s w i t c
h i n g c o n d i t i o n a t r e m a r k 5
w i l l
-
8/2/2019 Methods for Non-Linear Least Squares Problems-2nd
34/58
3 . 3 . H y b r i d : M a r q u a r d t a n d Q u a s i - N e w
t o n 3 2
n e v e r b e s a t i s e d . I n t h e f o r m e r c a s e , F
( x
) i s s i g n i c a n t l y n o n z e r o ,
b u t { a s d i s c u s s e d i n E x a m p l e 3 . 8 { t h e s
i m p l e M a r q u a r d t m e t h o d h a s
t h e d e s i r e d s u p e r l i n e a r n a l c o n v e r g e
n c e .
T o d e m o n s t r a t e t h e e c i e n c y o f A l g o r i t
h m 3 . 2 5 w e c o n s i d e r t h e m o d -
i e d R o s e n b r o c k p r o b l e m , c f . E x a m p l e 5
. 5 i n F r a n d s e n e t a l . ( 1 9 9 9 ) ,
g i v e n b y f I R
2
! I R
3
f ( x ) =
"
1 0 ( x
2
? x
2
1
)
1 ? x
1
#
w h e r e t h e p a r a m e t e r c a n b e c h o s e n . T h e
m i n i m i z e r o f F ( x ) =
1
2
f ( x )
>
f ( x ) i s x
= 1 1
>
w i t h F ( x
) =
1
2
2
B e l o w w e g i v e r e s u l t s f o r A l g o r i t h m s 3
. 2 1 a n d 3 . 2 5 f o r s o m e v a l u e s o f
. I n a l l c a s e s w e u s e x
0
= ? 1 2 1
>
, t h e i n i t i a l d a m p i n g p a r a m e t e r
0
d e n e d b y = 1 0
3
i n ( 3 . 1 4 ) , a n d ( " k
m a x
) = ( 1 0
1 2
1 0
1 2
2 0 0 ) i n
t h e s t o p p i n g c r i t e r i a ( 3 . 1 8 ) .
A l g o r i t h m 3 . 2 1 A l g o r i t h m 3 . 2 5
t s k x ? x
k t s k x ? x
k
0 1 8 8 . 8 4 e - 1 5 1 8 8 . 8 4 e - 1 5
1 0
5
1 8 8 . 8 4 e - 1 5 1 8 8 . 8 4 e - 1 5
1 2 3 9 . 1 2 e - 0 9 1 9 3 . 6 1 e - 1 3
1 0
2
2 3 1 . 7 9 e - 0 6 2 2 1 . 2 0 e - 1 5
1 0
4
2 2 1 . 1 8 e - 0 4 2 2 1 . 2 0 e - 1 5
I n t h e r s t t w o c a s e s i s t o o s m a l l t o r e a l
l y i n u e n c e t h e i t e r a t i o n s ,
b u t f o r t h e l a r g e r - v a l u e s w e s e e t h a t t
h e h y b r i d m e t h o d i s m u c h
b e t t e r t h a n t h e s i m p l e M a r q u a r d t a l g o
r i t h m { e s p e c i a l l y w i t h r e s p e c t
t o t h e a c c u r a c y o b t a i n e d . I n F i g u r e 3 .
4 w e i l l u s t r a t e t h e p e r f o r m a n c e
o f a l g o r i t h m s 3 . 2 1 a n d 3 . 2 5 i n t h e c a s e
= 1 0
4
W i t h M a r q u a r d t ' s m e t h o d a l l s t e p s a f t
e r n o . 1 4 s e e m t o f a i l t o i m p r o v e
t h e o b j e c t i v e f u n c t i o n ; i n c r e a s e s r a
p i d l y , a n d t h e s t o p p i n g c r i t e r i o n
( 3 . 1 8 b ) i s s a t i s e d a t s t e p n o . 2 2 .
W i t h t h e h y b r i d m e t h o d t h e r e a r e s e v e r
a l a t t e m p t s t o u s e t h e q u a s i -
N e w t o n m e t h o d , s t a r t i n g a t s t e p n o . 5 ,
1 1 a n d 1 9 . T h e l a s t a t t e m p t
e n d s w i t h ( 3 . 1 8 a ) b e i n g s a t i s e d .
-
8/2/2019 Methods for Non-Linear Least Squares Problems-2nd
35/58
3 3 3 . L e a s t S q u a r e s P r o b l e m s
0 5 10 15 20 2510
15
1010
105
100
105
1010
F(x)|| g ||
0 5 10 15 20 2510
15
1010
105
100
105
1010
F(x)|| g || M|| g || Q
F i g u r e 3 . 4 . M a r q u a r d t ' s m e t h o d ( l e f t
) a n d t h e h y b r i d m e t h o d ( r i g h t )
3 . 4 . A S e c a n t V e r s i o n o f M a r q u a r d t ' s M
e t h o d
T h e m e t h o d s d i s c u s s e d i n t h i s b o o k l e t
a s s u m e t h a t t h e v e c t o r f u n c t i o n
f i s d i e r e n t i a b l e , i . e . t h e J a c o b i a n m
a t r i x
J
f
( x ) =
@ f
i
@ x
j
e x i s t s . I n m a n y p r a c t i c a l o p t i m i z a t i
o n p r o b l e m s i t h a p p e n s t h a t w e
c a n n o t g i v e f o r m u l a e f o r t h e e l e m e n t s
i n J
f
, e . g . f m a y b e g i v e n b y a
\ b l a c k b o x " . T h e s e c a n t v e r s i o n o f M a r
q u a r d t ' s M e t h o d i s i n t e n d e d
f o r p r o b l e m s o f t h i s t y p e .
T h e s i m p l e s t r e m e d y i s t o r e p l a c e J
f
( x ) b y a m a t r i x B o b t a i n e d
b y n u m e r i c a l d i e r e n t i a t i o n : T h e ( i ; j
)
t h
e l e m e n t i s a p p r o x i m a t e d b y
t h e n i t e d i e r e n c e a p p r o x i m a t i o n
@ f
i
@ x
j
( x ) '
f
i
( x + e
j
) ? f
i
( x )
b
i j
; ( 3 . 2 6 )
w h e r e e
j
i s t h e u n i t v e c t o r i n t h e j t h c o o r d i n a t
e d i r e c t i o n a n d i s
a n a p p r o p r i a t e l y s m a l l r e a l n u m b e r . W
i t h t h i s s t r a t e g y e a c h i t e r a t e
x n e e d s n + 1 e v a l u a t i o n s o f f , a n d s i n c e
i s p r o b a b l y m u c h s m a l l e r
t h a n t h e d i s t a n c e k x ? x
k , w e d o n o t g e t m u c h m o r e i n f o r m a t i o n o
n
t h e g l o b a l b e h a v i o r o f f t h a n w e w o u l d g
e t f r o m j u s t e v a l u a t i n g f ( x )
W e w a n t b e t t e r e c i e n c y .
-
8/2/2019 Methods for Non-Linear Least Squares Problems-2nd
36/58
3 . 4 . S e c a n t M a r q u a r d t ' s M e t h o d 3 4
E x a m p l e 3 . 1 2 . L e t m = n = 1 a n d c o n s i d e r o
n e n o n l i n e a r e q u a t i o n
f I R ! I R F i n d bx s o t h a t f ( bx ) = 0
F o r t h i s p r o b l e m w e c a n w r i t e t h e N e w t o
n - R a p h s o n a l g o r i t h m ( 3 . 6 ) i n
t h e f o r m
f ( x + h ) ' ( h ) f ( x ) + f
0
( x ) h
s o l v e t h e l i n e a r p r o b l e m ( h ) = 0
x
n e w
