-
8/3/2019 Multiplier Methods Paper
1/13
A u t o m a t i c a , V o l . 12 , p p . 1 3 3 - 1 4 5. P e r g
a m o n P r e s s , 1 97 6. P r i n t e d i n G r e a t B r i t a i
n
Multipl ier Methods: A Survey*tDIMITRI P. BERTSEKAS:~
An analysis of the convergence properties o f multiplier methods
dem onstrates theirsuperiority over ordinary penalty methods for
constrained minimization.S u m m a r y - - T h e p u r p o s e o f
th i s p a p e r i s t o p r o v i d e as u r v e y o f c o n v e r
g e n c e a n d r a t e o f c o n v e r g e n c e a s p e c t s o f
ac lt as s o f r e c e n t l y p r o p o s e d m e t h o d s f o r
c o n s t r a i n e dn f i n i m i z a t i o n - - t h e , s o - c
a l le d , m u l ti p l ie r m e t h o d s . T h er e s u l t s d i
s c u s s e d h i g h l i g h t t h e o p e r a t i o n a l a s p e
c t s o fm u l t i p l i e r m e t h o d s a n d d e m o n s t r a
t e t h e i r s i g n i f i c a n ta d v a n t a g e s o v e r o r
d i n a r y p e n a l t y m e t h o d s .
1 . I n t r o d u c t io nD U R IN G r e c e n t y e a r s , p e
n a l t y f u n c t i o n m e t h o d s a sc t e sc r ib e d i n [
F 1 ] h a v e b e e n w i d e l y a c c e p t e d i n p r a c t i c
e a sa n e f f e c t i v e c l a s s o f m e t h o d s f o r c o n
s t r a i n e d o p t i m i z a t i o n .L e t u s b r i e f l y d
e s c r i b e p e n a l t y m e t h o d s f o r t h e e q u a l i t
yc o n s t r a i n e d p r o b l e mm i n i m i z e f ( x ) , (1
)Ju b j ec t t o x 6 X , h i (x ) = h ~ ( x ) . . . . . h , , ( x )
= O ,
w h e r e f , h i , h 2 . . . , h , , a r e r e a l - v a l u e
d f u n c t i o n s o n R " ,n - d i m e n s i o n a l E u c l i d
e a n s p a c e , a n d X i s a g i v e n s u b s e t o fR " . T h
e p e n a l t y f u n c t i o n m e t h o d c o n s is t s o f s e
q u e n ti a lm i n i m i z a t i o n s o f t h e f o r mm i n i m
iz e f ( x ) + c ~ ~ , ~[h~(x)] (2)
xE X i = 1
fo r a sca l a r se q u en ce { ck } su ch t h a t c~ ~< c~ +
fo r a l l k an dc ~ ~ o o . T h e s c a l a r p e n a l t y f u n
c t i o n ~ : R ~ [ 0 , + o o ] i s,,;uch that~ ( t ) 1 >0 , V t
, 9 ~ (t ) = 0 i f an d o n l y i f t = 0 . (3 )
T h e m o s t c o m m o n p e n a l t y f u n c t i o n is t h e
q u a d r a t i c( ~ ( t ) = t ~ ) ; h o w e v e r , o n s o m e o
c c a s i o n s i t m a y b ed e s i r a b l e t o u s e o t h e r
p e n a l t y f u n c t i o n s . T h e s e q u e n t i a l~aain
imizat ion p roc ess y ie ldsl i m i n f f ( x ) + c k ~ , ~[h t
(x)] . (4)
ck '~o X ~ X i= l
* R e c e i v e d 1 3 M a y 1 9 7 5 ; r e v i s e d 6 O c t o b
e r 1 9 7 5. T h eo r i g i n a l v e r s i o n o f th i s p a p e
r w a s p r e s e n t e d a t t h e 6 t hI F A C C o n g r e s s w
h i ch w a s h e l d i n B o s t o n ] C a m b r i d g e , M A ,U .
S . A . , d u r i n g A u g u s t 1 9 75 . T h e p u b l i s h e d
p r o c e e d i n g s o ft h i s I F A C m e e t i n g m a y b e o
r d e r e d f r o m t h e I S A ( I n s t r u -m e n t S o c i e t
y o f A m e r i c a ) , 4 0 0 S t a n w i x S t r e e t , P i t t s
b u r g h ,P A 1 52 22 , U . S . A . I t w a s r e c o m m e n d e
d f o r p u b l i c a ti o n i nr e v i s e d f o r m b y a s s o c
i a t e e d i t o r S . J . K a h n e ."~ T h i s w o r k w a s s u
p p o r t e d i n p a r t b y t h e J o i n t S e r v i c e sE l e
c t ro n i c s P r o g r a m ( U . S . A r m y , U . S . N a v y a
n d U . S . A i rF o r c e ) u n d e r C o n t r a c t D A A B - 0
7 - 7 2 - C - 0 2 5 9 , b y t h e U . S .A i r F o r c e u n d e r
G r a n t A F O S R - 7 3 - 2 5 7 0 a n d b y t h eN a t i o n a l
S c i e n c e F o u n d a t i o n u n d e r G r a n t E N G - 7 4 -
1 9 3 3 2 .
D e p a r t m e n t o f E l e c tr i c al E n g i n e er i n g a
n d C o o r d i n a t e dS c i e n ce L a b o r a t o r y , U n i v
e r s i t y o f Il l in o i s, U r b a n a , I L6 1 8 0 1 , U .S .A
.
I n v i e w o f p r o p e r t y ( 3 ) o f t h e f u n c t i o n
~ , t h e o p t i m a l v a l u eo f p r o b l e m ( 1 ) c a n b e
w r i t t e n a si n f l i m I f ( x ) + e k ~ ~ [h , (x ) ] I (5
)x 6 X Ck'->o~ ~ i~ l I
a n d h e n c e t h e s u cc e s s o f t h e p e n a l t y m e t
h o d h i n g e s o n t h ee q u a l i t y o f e x p r e s s i o n
s ( 4 ) a n d ( 5 ), i . e . th e v a l i d i t y o f t h ei n t e
rc h a n g e o f ' li r a ' a n d ' i n f ' . O n e m a y s h o w u
n d e rr e l a t i v e ly m i l d a s s u m p t i o n s t h a t t h
i s i n t e r c h a n g e i s v a l i d f o rw i d e c l a ss e s o
f p r o b l e m s a s e x p l a i n e d f o r e x a m p l e i nI F
1 , L 1 , P 1 , Z 1 ] . B a s i c a l l y t h e s e a s s u m p t i
o n s r e q u i r ec o n t i n u i t y o f t h e f u n c t i o n s
f , h t a n d ~ , a t l e a s t n e a r as o l u t i o n , a n d g
u a r a n t e e t h a t a s o l u t i o n o f p r o b l e m ( 2 )e
x i s ts . S i m u l t a n e o u s l y w i t h t h e g e n e r a t
i o n o f t h e m i n i m i z -i n g p o i n t s x ~ o f p r o b l
e m ( 2 ), p e n a l t y m e t h o d s g e n e r a t e t h eseq u
en ce Lg k} w h e re y ~ = (c~ ~ b '[h l(x ~) ] . . . . . ck f f
'[h , , (x ~ ) ] )w h e re ~ b' d en o t e s t h e f i r s t d e r
i v a t i v e o f ~ - - - -a s su med t o ex i s t .T h e s e q u e
n c e { Yk} u n d e r a p p r o p r i a t e a s s u m p t i o n s i
s k n o w nt o c o n v e r g e t o a L a g r a n g e m u l t i p l
i e r o f t h e p r o b l e m ( s eee .g . IF1 , L1 , Z1 ] ) .P e n
a l t y m e t h o d s a r e s i m p l e to i m p l e m e n t , a r
e a p p l i c a b let o a b r o a d c l as s o f p r o b le m s a n
d t a k e a d v a n t a g e o f th e v e r yp o w e r f u l u n c o
n s t ra i n e d m i n i m i z a t i o n m e t h o d s t h a t h a
v eb e e n d e v e l o p e d i n r e c e n t y e a r s , f o r s o
l v i n g p r o b l e m ( 2 ) ,i n t h e ca s e w h e r e X = R n.
T h e s e a r e t h e m a i n r e a s o n s f o rt h e i r w i d e
a c c e p t a n c e . O n t h e n e g a t i v e s id e , p e n a l
t ym e t h o d s a r e h a m p e r e d b y s lo w c o n v e r g e n
c e a n d n u m e r i c a li n s t a b i li t i e s a s s o c i a
te d w i t h i l l - c o n d i t i o n i n g in p r o b l e m ( 2
)i n d u c e d b y l a r g e v a l u e s o f t h e p e n a l t y p
a r a m e t e r c ~.A n o t h e r i m p o r t a n t c l as s o f m
e t h o d s f o r s o l v i n g p r o b l e m( 1 ) i s b a s e d o
n s e q u e n t i a l m i n i m i z a t i o n s o f t h e L a g r a
n g i a nf u n c t i o n d e f i n e d f o r e v e r y x e R " a n
d y = (yX . . . . y m ) e R "b y
gigL(x, y) = f(x ) + ~, y~hi(x). (6)eB II n t h e s i m p le s t
a n d m o s t w i d e ly k n o w n s u c h m e t h o d , a sd i s c
u s s e d , f o r e x a m p l e , i n I L l ] , o n e m i n i m i z
e s L ( x , y ~ )o v e r x e X f o r a s e q u e n c e o f m u l t
i p l i e r v e c t o r s { Y k } . T h i ss e q u e n c e i s g e
n e r a t e d b y i t e r a t i o n s o f t h e f o r m
Y k + I ~ = Y k ~ + e t k h i ( x D , i = 1 . . . . m , (7 )w h
e r e x ~ is a m i n i m i z i n g p o i n t o f L ( x , y ~ ) o v
e r x ~ X , a n dc t~ i s a s t e p s iz e ( s c a la r ) p a r a m
e t e r . T h e i t e r a t i o n a b o v e m a yb e v i e w e d a
s a s t e e p e s t a s c e n t it e r a t i o n a i m e d a t f i
n d i n g a no p t i m a l s o l u ti o n o f a n a s s o ci a te d
d u a l p r o b l e m . F o r t h isr e a s o n t h e c o r r e s p
o n d i n g a l g o r i t h m i s c a l l e d a p r i m a l - d u a
lm e t h o d . M e t h o d s s u c h a s t h e o n e d es c r ib e
d a b o v e a r ek n o w n t o h a v e s e r i o u s d i s a d v a
n t a g e s . F i r s t , p r o b l e m ( 1 )m u s t h a v e a l o
c a l l y c o n v e x s t r u c t u r e i n o r d e r f o r t h e d
u a lp r o b l e m t o b e w e l l d e f i n e d a n d i t e r a t
i o n ( 7) t o b e m e a n i n g f u la s d i s c u s s e d in I L
l ] . S e c o n d , i t is u s u a l l y n e c e s s a r y t om i n
i m i z e t h e L a g r a n g i a n f u n c t i o n ( 6) a l a rg e
n u m b e r o ft i m e s s i n c e t h e a s c e n t i t e r a t i
o n ( 7 ) c o n v e r g e s o n l y m o d e r -a t e l y f a s t .
T h u s p r i m a l - d u a l m e t h o d s o f t h e t y p e d e s
c r i b e da b o v e h a v e f o u n d a p p l i c a t i o n o n l
y i n t h e l i m i t e d c l a s s o fp r o b l e m s w h e r e m
i n i m i z a t i o n o f t h e L a g r a n g i a n ( 6) c a n b ec
a r d e d o u t v e r y e f f i c ie n t ly d u e t o s p e c i a l
s t r u c t u r e a s s h o w ni n I L l , L 2 1 .133
-
8/3/2019 Multiplier Methods Paper
2/13
1 3 4 D I M I T R I P . B E R TS E K ASI n t h e l a st f ew y e
a r s , a n u m b e r o f r e s e a rc h e r s h a v ep r o p o s e
d a n e w c l a s s o f m e t h o d s , c a l l e d m e t h o d s o
fm u l t i p l i e r s , i n w h i c h t h e p e n a l t y i d e a
i s m e r g e d w i t h t h ep r i m a l - d u a l p h i l o s o p
h y . I n th e s e m e t h o d s , t h e p e n a l t yt e r m i s a
d d e d n o t t o t h e o b j e c t i v e f u n c t i o n f b u t r
a t h e r t ot h e L a g r a n g i a n f u n c t i o n L o f ( 6 )
t h u s f o r m i n g t h eA u g m e n t e d L a g r a n g i a n f
u n c t i o n
L c ( x , y ) = f ( x ) + ~ _ ,y i h i ( x ) + c ~ , ~ [ h i (
x) ] . (8 )i = 1 i ~ lA s e q u e n c e o f m i n i m i z a t i o n
s o f t h e f o r m
m i n i m i z e L~, ( x , Y . O = f ( x ) + ~ y l h i ( x )aeGX
i=l
+ ck 2 fi[hi(x)l (9 )i= 1
i s p e r f o r m e d w h e r e { c k} i s a s e q u e n c e o f
p o s i t i v e p e n a l t yp a r a m e t e r s . T h e m u l t i
p l i e r s e q u e n c e { Yk } i s g e n e r a t e da c c o r d i
n g t o t h e i t e r a t io ny k + l = y k i + C k ~ ' [ h i ( x k
) ] , i = 1 . . . . m , ( I 0 )
w h e r e ~ ' i s t h e f i r st d e r i v a t i v e o f ~ , a s
s u m e d t o e x i s t, a n dx ~ i s a p o i n t m i n i m i z i n
g o v e r x ~ X t h e A u g m e n t e dL a g r a n g i a n Lc~(x,
y~) . T h e i n i t i a l m u l t i p l i e r v e c t o r Yo i ss e
l e c t e d a p r i o r i a n d t h e s e q u e n c e { c~ } m a y
b e e i t h e r p r e -s e le c t ed o r g e n e r a t e d d u r i
n g t h e c o m p u t a t i o n a c c o r d i n g t os o m e s c h
e m e . I n i t i a l ly t h e m e t h o d w a s p r o p o s e d f
o r aq u a d r a t i c p e n a l t y ( ~ ( t ) = t 2 ) i n w h i c
h c a s e i t e r a t i o n ( 1 0)i s w r i t t e n a sy ~ + t = y
~ i + c ~ h i ( x k ) , i = 1 . . . . m
a n d i s a s p e c i a l c a s e o f i t e r a t i o n ( 7 ) c
o n s i d e r e d e a r l i e r.N o w i f w e s e l e c t a p e n a
l t y p a r a m e t e r s e q u e n c e { c ~} w i t hc ~ 4 0 0 a n
d t h e g e n e r a t e d s e q u e n c e { Y k} t u r n s o u t t
o b eb o u n d e d , t h e n t h e m e t h o d i s g u a r a n t e
e d t o y i e l d i n t h el i m i t t h e o p t i m a l v a l u e
o f p r o b l e m ( 1 ) p r o v i d e d s u f f i c i e n ta s s u
m p t i o n s a r e s a t i s f i e d w h i c h g u a r a n t e e t
h e v a l i d i t y o fi n t e r c h a n g e o f ' l i r a ' a n d
' i n f ' i n t h e e x p r e s s i o n
l i m f ( x ) + ] ~ y k h i ( x ) + c ~ ~ [ h i ( x ) lCk--)~o
i= 1 i ~1s i m i l a r l y a s f o r t h e p e n a l t y m e t h o
d c o n s i d e r e d e a r l i e r. T h ei m p o r t a n t a s p e
c t o f m u l t i p l i e r m e t h o d s , h o w e v e r , i s t h
a tconvergence m ay occur w i thout the need to increase ck toinf
ini ty, i .e . c o n v e r g e n c e m a y b e i n d u c e d n o t
m e r e l y b y e v e ri n c r e a s i n g v a lu e s o f t h e p e
n a l t y p a r a m e t e r b u t a l s o b y t h em u l t i p l i
e r i t e r a t i o n (1 0 ). T h u s t h e i l l - c o n d i t i o
n i n ga s s o c i a t e d w i t h p e n a l t y m e t h o d s c a
n b e a v o i d e d . I na d d i t i o n , i terat ion ( 1O )
converges as t to a Lagra nge m u l t ip l ierv e c t o r o f p r o
b l e m ( 1 ) , u n d e r r e l a t i v e l y m i l d a s s u m p t
i o n s ,m u c h f a s t e r t h a n i n p r i m a l - d u a l m e
t h o d s c o n s i d e r e de a r l i er . F u r t h e r m o r e ,
t h e r e i s n o n e e d f o r p r o b l e m ( 1 ) t oh a v e a l
o c a l l y c o n v e x s t r u c t u r e i n o r d e r f o r t h e
m e t h o d t ob e a p p l i c a b l e .B y m o d e r a t i n g t h
e d i s a d v a n t a g e s o f b o t h p e n a l t y a n dp r i m
a l - d u a l m e t h o d s , m u l t i p li e r a l g o r i th m s
h a v e e m e r g e da s a m o s t a t t r a c t i v e c l as s o f
m e t h o d s f o r c o n s t r a i n e do p t i m i z a t i o n .
S i n c e t h e i r o r i g in a l p r o p o s a l i n 1 9 6 8 , ac
o n s i d e r a b le a m o u n t o f r e s ea r c h h a s b e e n d
i r e c t e d t o w a r d st h e i r a n a l y si s . T h e a i m o
f t h i s p a p e r i s t o p r o v i d e a s u r v e yo f t h e c
o n v e r g e n c e a n d r a t e o f c o n v e r g e n c e a s p e
c t s o fm u l t i p li e r m e t h o d s w i t h s o m e e m p h a
s i s p l a c e d o n d e m o n -s t r a t i n g t h e i m p o r t
a n t r o l e o f t h e i n h e r e n t s t r u c t u r e i np r o
b l e m ( 1 ) a s w e l l a s t h e f o r m o f t h e p e n a l t y
f u n c t i o ne m p l o y e d . T h e r e i s a n i m p o r t a n
t a n d a e s t h e t ic a l l y p l e a s i n gd u a l i t y t h e
o r y a s s o c i a t e d w i t h m u l t i p l i e r m e t h o d s
w h i c h , i nc o n t r a s t w i t h p a s t d u a l i t y f o r
m u l a t i o n s , i s a p p l i c a b l e t oc o n v e x a s w e
ll as n o n - c o n v e x p r o g r a m m i n g p r o b l e m s . F
o ra n e x c e ll e n t a c c o u n t o f t h e se d e v e l o p m
e n t s t h e r e a d e r m a yc o n s u l t t h e s u r v e y p a
p e r o f R o c k a f e l l a r [ R 6 ] .T h e p a p e r i s o r g
a n i z e d a s f ol l o w s . I n S e c t i o n s 2 a n d 3w e d e
s c r i b e t h e c o n v e r g e n c e a n d r a t e o f c o n v e
r g e n c ep r o p e r t i e s o f m u l t i p l i e r m e t h o d
s w i t h q u a d r a t i c - l i k ep e n a l t y f u n c t i o n
u n d e r s e c o n d - o r d e r s u ff i ci e n c y a s s u m p
-t i o n s o n p r o b l e m ( 1 ). I n S e c t i o n 2 w e p r o v
i d e a n i n t e r -
p r e t a t i o n o f m u l t i p l i e r m e t h o d s a s g e
n e r a l iz e d p e n a l t ym e t h o d s w h i l e i n S e c t i
o n 3 w e v ie w t h e m u l t i p l i e r i t e ra t i o n( 1 0 )
a s a g r a d i e n t i t e r a t i o n f o r s o l v i n g a c e r
t a i n d u a lp r o b l e m . T h e r e s u lt s a n d t h e si m
p l e c o m p u t a t i o n a le x a m p l e p r o v i d e d i l l
u s t r a t e t h e s i g n i f i c a n t a d v a n t a g e s o fm
u l t i p l i e r m e t h o d s o v e r p e n a l t y m e t h o d s
i n t e r m s o fr e l i a b il i t y a n d s p e e d o f c o n v e
r g e n c e . I n S e c t i o n 4 w ed e s c r i b e th e f o r m o
f m u l t i p l i e r m e t h o d s a s a p p l i e d t op r o b l
e m s w i t h o n e - s i d e d a n d t w o - s i d e d i n e q u a
l i t y c o n -s t r a i n t s. I n S e c t i o n 5 w e p r o v i d
e c o n v e r g e n c e a n d r a t e o fc o n v e r g e n c e r e
s u l t s f o r t h e c a s e o f a c o n v e x p r o g r a m m i n
gp r o b l e m . W e a l s o d e m o n s t r a t e h o w t h e c h
o i c e o f p e n a l t yf u n c t i o n c a n a f f e c t si g n i
f ic a n t l y t h e p e r f o r m a n c e o fm u l t i p l i e r m
e t h o d s . I n S e c t i o n 6 w e b r ie f l y d e s c r i b e
an u m b e r o f v a r ia t i o n s o f m u l t i p li e r m e t h
o d s a n d p o i n t o u tc o n n e c t i o n s w i t h o t h e r
r e l a t e d m e t h o d s . F i n a l l y , i n S e c ti o n7 w e
s u r v e y t h e l i t e r a t u r e r e l a t i n g to m u l t i
p l i e r m e t h o d s f o ri n f i ni t e d i m e n s i o n a l p
r o b l e m s a n d p a r t i c u l a r l y o p t i m a lc o n t r
o l p r o b l e m s .2 . M u l t i p l i e r m e t h o d s f r o m
a p e n a l t y v i e w p o in t
G i v e n p r o b l e m ( 1 ) , c o n s i d e r t h e a u g m e
n t e d L a g r a n g i a nf u n c t i o n L c : R n R m -+ ( - -
t~ , + o 9 ]m
L c (X , y ) = f ( x ) + y " h ( x ) + c ~ , ~ [ h i ( x ) ] , (
1 1 )i= 1w h e r e ~ : R ~ [ 0, + ~ ] i s a p e n a l t y f u n c t
i o n s a t is f y i n g ( 3 )a n d c ~ > 0 i s a p e n a l t y
p a r a m e t e r . I n t h e a b o v e e q u a t i o nh ( x ) d e
n o t e s t h e m - v e c t o r (h i ( x ) . . . . hm (x) } v i e w
e d a s ac o l u m n v e c t o r a n d t h e p r i m e d e n o t e
s tr a n s p o s it i o n . W es h a l l u t i l i z e t h e f o l
l o w i n g t w o a s s u m p t i o n s r e l a t e d t op r o b l
e m ( 1 ) a n d t h e p e n a l t y f u n c t i o n ~ .
A s s u m p t i o n ( S ) : T h e r e e x i s ts a l oc a l m i
n i m i z i n g p o i n to f p r o b l e m ( 1 ) w h i c h i s a n
i n t e r i o r p o i n t o f X a n d s a ti s fi e st h e s t a n
d a r d s e c o n d - o r d e r s u f fi c ie n c y c o n d i t i o
n s f o r a ni s o l a t e d l o c a l m i n i m u m ( [ L 1 ] , p
. 22 6 ) , i. e . f , h i a r e t w i c ec o n t i n u o u s l y d
i f f e r e n t i a b l e in a n e i g h b o r h o o d o f )~, t h
eg r a d i e n t s V h i( - ), i = 1 . . . . m , a r e l i n e a r
l y i n d e p e n d e n ta n d t h e r e e x i s ts a L a g r a n g
e m u l t i p l i e r v e c t o r)7 ~ R " s uc h th a t V L0($ , 37
) = 0 an d z ' V z L0 ($ , 37) z > 0 fo ra l l z ~ R ~ w i th z
~ O , Vhi (2) ' z = 0 , i = 1 , . . . , m , w he reV L o, V 2 L 0 d
e n o t e t h e g r a d i e n t a n d H e s s i a n m a t r i x w i
t hr e s p e c t t o x o f L o ( x , y ) = f ( x ) + y ' h ( x)
.
A s s u m p t i o n ( Q ) : T h e p e n a l t y f u n c t i o n
~ : R + [ 0 , + = ]i s t w i c e c o n t i n u o u s l y d i f f e
r e n ti a b l e i n a n o p e n i n t e r v a lc o n t a i n i n g
z e ro a n d ~ " ( 0 ) = 1 , w h e r e ~ " d e n o t e s t h es e c
o n d d e r i v a t i v e o f ~ b .T h e p e n a l t y f u n c t i
o n c o n s i d e r e d i n o r i g i n a l s t u d i e s o fm u l
t i p l i e r m e t h o d s w a s t h e q u a d r a t i c ~ ( t ) =
t2 w h i c h o fc o u r s e s a t is f i e s ( Q ) . S i n c e f u
n c t i o n s s a t i s f y i n g ( Q ) b e h a v es i m i l a r l
y a s ~ ( t ) = t2 w e r e f e r t o s u c h p e n a l t y f u n c
t i o n s a sessent ial ly quadrat ic. N o t i c e t h a t p r o p
e r t y ( 3 ) o f t h e p e n a l t yf u n c t i o n i m p l i e s
t h a t ~ ' ( 0 ) = 0 w h e n q b i s d i f f e r e n t i a b l e i
n an e i g h b o r h o o d o f z e r o. N o t i c e a l s o t h a t
, i n v i e w o f t h ep r e s e n c e o f t h e p e n a l t y p a
r a m e t e r c i n ( 1 1 ), t h e r e i s n o l o s so f g e n e r
a l i t y i n a s s u m i n g ~ " ( 0 ) = 1 r a t h e r t h a n ~ "
( 0 ) > 0 .T h e f o l l o w i n g p r o p o s i t i o n y i e l
d s e s t i m a t e s r e l a t e d t om i n i m i z i n g p o i n
t s o f L c ( x, y ) o f ( 1 1) a n d f o r m s t h e b a s i s f o
re s t a b l i s h i n g t h e v a l i d i t y a n d c o n v e r g
e n c e o f m u l t i p l i e rm e t h o d s a s w e l l a s o r d
i n a r y p e n a l t y m e t h o d s .Propos i t ion 1 : L e t ( S
) , ( Q ) h o l d a n d a s s u m e t h a t t i l eH e s s i a n m
a t r i c e s V 2 f ( x ) , V 2 hi ( x) , i = 1 . . . . m a n d t h
es e c o n d d e r i v a t i v e ~ " ( t ) a r e L i p s c h i t z
c o n t i n u o u s i nn e i g h b o r h o o d s o f 2 a n d z e r
o re s p e c ti v e ly . T h e n f o r a n yg i v e n b o u n d e d
s e t Y c R ~ t h e r e e x i s t s a s c a l a r c * / > 0 s u
c ht h a t f o r e v e r y c > c* a n d e v e r y y e Y t h e f
u n c t i o n L~(x , y )h a s a u n i q u e m i n i m i z i n g p o
in t x ( y , c ) w i t h i n s om e o p e nb a l l c e n t e r e d
a t ~ . F u r t h e r m o r e , f o r so m e s c a l a r M > 0 w
eh a v e
I lx fy , c ) - ~ l l < M I l y - ~ I [ , c > c * , y ~ Y
, ( 1 2)O
[ [ y (y , c )- Y l [< ~ M I I y - y l I , c > c * , y ~ r
, (1 3)C
-
8/3/2019 Multiplier Methods Paper
3/13
M u l t i p l ie r m e t h o d s : a s u r v e y 1 3 5w h e r e
t h e v e c t o r ~ ( y , c ) ~ R m h a s c o o r d i n a t e s g i
v e n b y
y ,( y, c ) = y t + c 4 ' [ h i [ x ( y , c ) ] ] , i = 1 . . .
. m (14 )4 ' i s t h e f i r s t d e r i v a t i v e o f 4 , a n d
I I ' l l i s t h e u s u a lE u c l i d e a n n o r m .T h e p r o
p o s i t i o n a b o v e c a n y i e ld b o t h a c o n v e r g e
n c e a n da r a t e o f c o n v e r g e n c e r e s u l t f o r a
m e t h o d o f m u l t i p l i e r sw h i c h u p d a t e s t h e
c u r r e n t m u l t i p l i e r v e c t o r y ~ b y m e a n s o
ft h e i t e r a t i o n
y k + l t = y k i + c ~ 4 ' [ h i [ x ( y k, c~) ] ] , i = 1 . .
. . ma n d c o n s t i t u t e s t h e s t r o n g e s t c o n v e
r g e n c e r e s u l t a v a i l a b l ef o r n o n c o n v e x p
r o bl e m s . I t sh o w s t h a t if Y c o n t a i n s p i n i
tsi n t e r i o r , t h e g e n e r a t e d s e q u e n c e { Y k}
r e m a i n s i n Y ( th i sc a n b e e n f o r c e d i f n e c e s
s a r y b y , f o r e x a m p l e , l e a v i n g Yku n c h a n g e
d i f Y~ +I ~ Y ) , t h e p e n a l t y p a r a m e t e r c ~ iss u
f fi c i e nt l y l a r g e a f t e r a c e r t a i n i n d e x , a
n d t h e m i n i m i z a t i o no f L ~ ( x , y ~ ) y ie l d s t h
e l o c a l m i n i m u m x ( y ~ , c ~ ) w h i c h i sc l o s e s
t t o y , t h e n w e o b t a i n x 0 ' k , c k ) --> 2 , Yk ~ Y
. W e m a k et h i s r e s u l t p r e ci s e i n t h e f o l l o w
i n g p r o p o s i t i o n :
Pro p o s i t i o n 2 : U n d e r t h e a s s u m p t i o n s o
f P r o p o s i ti o n 1 ,l e t Y b e a n a r b i t r a r y s p h e
r e c e n t e r e d a t .~ . C o n s i d e r a l s o an o n - d e c
r e a s i n g p o s i t i v e p e n a l t y p a r a m e t e r s e q
u e n c e{ ck } s u c h t h a t f o r s o m e i n t e g e r ) ~
> ~ 0 w e h a v e c $ ~ > m a x{ M , c* } w h e r e M a n d c
* c o r r e s p o n d t o Y a s i n P r o p o s i t i o n1 . L e t
{ Y k} b e a s e q u e n c e s u c h t h a t y ~ ~ Y a n d g e n e
r a t e dfor al l k >I ~: by
y ~ + t = ykt+Cl~ 4 ' [ h i ( x ~ ) ] , i = 1 . . . . m ( 1 5 )w
h e r e x k i s t h e l o c a l m i n i m i z i n g p o i n t o f L
c k ( ', Y~ ) c l o s e s tt o i n t h e s e n s e o f P r o p o s
i t i o n 1 . T h e n x ~ - ~ 2 , y ~ ~ f t .F u r t h e r m o r e
, i f c~ ~ ~ < o o a n d y ~ ;~ ~7 f o r a l l k w e h a v e
l i m s u p l i ~ "~ '~ - ( li ne a r c o nv e rg e nc e) (1 6)w
h i l e i f c~ --> oo and y ~ ~ p fo r a l l k
l i r a I I y ~ + x - Y I I = o ( s u p e r l i n e a r c o n v
e r g e n c e ) . ( 1 7 )~ - , ~ I I y ~ - ) 7 I IIn t e rp re t a
t i o n o f r e su l t s - -co m p u t a t i o n a l a sp ec t s .
S i n c eP r o p o s i t i o n 1 a p p l ie s t o b o t h m u l t i
p l i er m e t h o d s a n d p u r ep e n a l t y m e t h o d s ( y
~ = 0 f o r a l l k ) i t p r o v i d e s a n a t u r a lv e h ic l
e f o r c o m p a r i s o n o f th e s e m e t h o d s . F r o m e
s t im a t e s( 1 2) a n d ( 1 3 ) i t f o l l o w s t h a t i n t
h e p e n a l t y m e t h o d ( y ~ = 0 )i t i s o r d i n a r i l
y n e c e s s a r y t o i n c r e a s e t h e p e n a l t y p a r a
m e t e rc ~ t o i n f i n it y . I t f o l lo w s a l s o f r o m
P r o p o s i t i o n 2 t h a t i t isn o t n ecessa ry t o i n c
rea se c~ t o i n fi n i t y i n o rd er f o r t h e
m e t h o d o f m u l t ip l i e r s t o co n verg e . T h u s t
h e i l l - c o n d i t i o n i n ge f f e c t s a s s o c i a t e
d w i t h l a r g e p e n a l t y p a r a m e t e r s c a n b ee l
i m i n a t e d o r a t l e a s t m o d e r a t e d i n m u l t i p
l i e r m e t h o d s .T h e s e c o n d i m p o r t a n t a d v a
n t a g e o f m u l t i p l i e r m e t h o d sm a y b e i n f e r
re d b y c o m p a r i n g t h e c o n v e r g e n c e r a t e o f
t h et w o m e t h o d s a s g i v e n b y t h e e s t im a t e s (
1 2) a n d ( 1 3 ). W h i l ei n m u l t i p l i e r m e t h o d s
t h e c o n v e r g e n c e r a t e i s l i n e a r o rs u p e r l
i n e a r ( c . f . ( 1 6 ) o r ( 1 7 ) ) , t h e c o n v e r g e n
c e r a t e o fp e n a l t y m e t h o d s i s m u c h w o r s e .
T h i s a d v a n t a g e i n s p e e do f c o n v e r g e n c e h
a s b e e n v e r i f i e d i n m a n y c o m p u t a t i o n a ls
t u d i e s w h e r e a c o n s i s t e n t r e d u c t i o n i n c
o m p u t a t i o n t i m er a n g i n g r o u g h l y f r o m 8 0
t o 3 0 % h a s b e e n r e p o r t e d w h e nt h e m u l t i p l
i e r i t e r a t i o n ( 1 5 ) w a s e m p l o y e d o v e r t h e
c a s ew h e r e y ~ w a s k e p t c o n s t a n t . F o r i l l u
s t r a t i o n p u r p o s e s w ep r o v i d e t h e f o l l o w
i n g e x a m p l e w h i c h i s , o f c o u r s e , t r i v i a
li n t e r m s o f c o m p u t a t i o n a l c o m p l e x i t y ,
b u t n o n e t h e l e s s isr e p r e s e n t a t i v e o f t h e
c o m p u t a t i o n a l s a v i n g s r e s u l t i n g f r o me
m p l o y m e n t o f t h e m u l t i p l i e r i t e r a t i o n (
1 5 ) .
Co m p u t a t i o n a l exa m p l e : C o n s i d e r t h e t w
o - d i m e n s i o n a lp r o b l e m m in [(xa)2+ (x2)2] .Xtq-
x2= 1T h e A u g m e n t e d L a g r a n g i a n f o r a q u a d r
a t i c p e n a l t yf u n c t i o n i s
l ( x l ) 2 - t- ( X 2 ) 2 ] - t - Y k ( X 1 -t " X 2 - - 1) +
c~ (x 1 + x ~ 1)2.M i n i m i z a t i o n o f t h e A u g m e n t e
d L a g r a n g i a n y i e ld s
c ~ - y k 3 ( c ~ - y ~ )x k l = ~ ' x k ~ = 1 +4 c'- -- -- ~T h
e o p t i m a l s o l u t i o n i s 2 x = 0 " 2 5, ~ 2 = 0 . 7 5 a
n d t h ec o r r e s p o n d i n g L a g r a n g e m u l t ip l i e
r i s p = - 0 . 2 5 . I n T a b l e1 w e s h o w t h e r e s u l t
s o f t h e c o m p u t a t i o n f o r t h e p e n a l t ym e t h
o d w h e r e Y k = 0 f o r a l l k a n d f o r t h e m u l t i p l
i e rm e t h o d w h e r e
Y k +l = Y k + C ~ ( X ~ l + x ~ ~ - 1)a n d Y 0 = 0 . N o t i c
e t h a t t h e m u l t i p l ie r m e t h o d r e q u i r e s as m
a l le r n u m b e r o f m i n i m i z a t i o n s to o b t a i n t
h e s o l u t i o nw i t h i n f o u r s i g n i f i c a n t d i g
i t s o f a c c u r a c y t h a n t h e p e n a l t ym e t h o d .
T h e n u m b e r o f m i n i m i z a ti o n s r e q u i re d f o r
b o t hm e t h o d s d e c r e a s e s w h e n t h e p e n a l t y
p a r a m e t e r i s i n c r e a s e da t a f a s t e r r a t e .
H o w e v e r , t h e e f fe c t s o f i l l - c o n d i t i o n i
n g a r ef e lt m o r e u n d e r t h e s e c i r c u m s ta n c e
s w h e n t h e u n c o n s t r a i n e dm i n i m i z a t i o n i
s c a r r i e d o u t n u m e r i c a l l y .I t i s p e r h a p s
w o r t h w h i l e t o n o t e t h e f a c t t h a t t h e g l o b
a lc o n v e r g e n c e p r o p e r t y o f t h e m e t h o d o f
m u l t i p l i e r s c o n -c l u d e d i n P r o p o s i t i o n
2 i s c o n t i n g e n t u p o n t h e g e n e r a t i o n
TABLE 1
c~ = 0"1 x 2 kP e n a l t y M u l t i p l i e r
x~1 x ~2 xk 1 xk 2
c~ = 0 .1 x 4 kP e n a l t y M u l t i p l i e r
X k I X k X k X k 2
C~ = 0"1 X 8 ~P e n a l t y M u l t i p l i e r
Xk 1 Xk 2 Xk I Xk ~
0 0" 0714 0 -21421 0 -1111 0" 33332 0" 1538 0 .46153 0 ' 1 9 0 4
0 . 5 7 1 44 0 . 2 1 6 2 0 - 6 4 8 65 0 . 2 3 1 8 0 . 6 9 5 66 0"
2406 0 .72187 0 -2452 0 -73568 0" 2475 0 -74279 0 -2487 0 .746310 0
.2493 0 .748111 0 .2496 0 .749012 0" 2498 0 .74951 3 0 . 2 4 9 9 0
. 2 4 9 71 4 0 . 2 4 9 9 0 . 2 4 9 815 0" 2499 0 .2499
0" 0714 0 -21420" 1507 0" 45230" 2118 0" 63550-2409 0" 72270"
2487 0 -74630-2499 0 -74970" 2499 0" 7499
0 " 0 7 1 4 0 . 2 1 4 20-1538 0" 46150 . 2 1 6 2 0 " 6 4 8 60 .
2 4 0 6 0 . 7 2 1 80" 2475 0 -74270" 2493 0 .74810 . 2 4 9 8 0 . 7
4 9 50-2499 0" 74980" 2499 0" 7499
0 . 0 7 1 4 0 . 2 1 4 2 0 . 0 7 1 4 0 " 2 1 4 2 0 " 0 7 1 4 0 "
2 1 4 20 - 1 8 1 3 0 . 5 4 3 9 0 . 1 9 0 4 0 ' 5 7 1 4 0 . 2 0 7 4
0 . 6 2 2 40" 2407 0 .7221 0 .240 6 0" 7218 0 -2484 0 .74520" 2496
0" 7489 0" 2487 0 .7463 0" 2499 0" 24990" 2499 0 .7499 0 ' 2498 0"
74950" 2499 0" 7499
-
8/3/2019 Multiplier Methods Paper
4/13
1 3 6 D I M I T R I P . B E R TS E KA So f t h e p o i n t s x (
Y k , c D , b y t h e u n c o n s t r a i n e d m i n i m i z a t i
o nm e t h o d e m p l o y e d , a t l e a s t f o r al l k a f t e
r a c e r t a i n in d e x .T h e s e p o i n t s a r e , b y P r o
p o s i t i o n 1 , w e l l d e f i n e d a s l o c a lm i n i m i
z i n g p o i n t s o f Lck(x, Yk) w h i c h a r e c l o s e s t t
o . f .N a t u r a l l y L,~(x, Yk) m a y h a v e o t h e r l o c a
l m i n i m i z i n gp o i n t s t o w h i c h t h e u n c o n s t
r a i n e d m i n i m i z a t i o n m e t h o dm a y b e a t t r a
c t e d , a n d u n l e s s t h e u n c o n s t r a i n e d m i n i
m i z a -t i o n m e t h o d s t a y s a f t e r s o m e i n d e x
i n t h e n e i g h b o r h o o d o ft h e s a m e m i n i m i z i
n g p o i n t o f Lok(x, Yk) o u r c o n v e r g e n c ea n a l y s
is i s i n v a l id a n d t h e r e i s n o r e a s o n t o b e l
ie v e t h a t t h em e t h o d o f m u l t i p l ie r s s h o u l
d d o b e t t e r , o r w o r s e , t h a n t h ep e n a l t y m e
t h o d . O n t h e o t h e r h a n d , it s h o u l d b e n o t e
d t h a tt h e u s u a l p r a c t i c e o f u s i n g t h e l a s
t p o i n t x k o f t h e k t hm i n i m i z a t i o n a s t h e s
t a r t i n g p o i n t o f t h e ( k + 1 ) t h m i n i m i -z a t
i o n i s h e l p f u l i n p r o d u c i n g s e q u e n c e s {
xk } w h i c h a r ec l o s e t o o n e a n d t h e s a m e l o c a
l m i n i m i z i n g p o i n t o fLck(x, Yk).A n o t h e r p o i n
t c o n c e r n s t h e f a c t t h a t t h e e s t i m a t e s ( 1
2 )a n d ( 1 3) o f P r o p o s i t i o n 1 ar e v a l i d o n l y
f o r c g r e a te r t h a nt h e t h r e s h o l d v a l u e c * w
h i c h d e p e n d s o n t h e s e t Y a s w e lla s o n t h e d a
ta o f t h e p r o b l e m . I n c o n v e x p r o g r a m m i n gp
r o b l e m s o n e m a y t a k e c * = 0 , as w i ll b e s e e n i
n S e c t i o n 5 ,b u t i n g e n e r a l t h e c o n s t a n t c
* i s u n a v a i l a b l e a n d f o r t h i sr e a s o n i t i s
im p o s s i b l e t o k n o w a pr ior i t h e r a n g e o f v a l
u eso f p e n a l t y p a r a m e t e r e fo r w h i c h t h e e s
t i m a t e s ( 1 2 ) a n d ( 1 3)a r e i n e f f ec t a n d i n d
u c e f a s t c o n v e r g e n c e . T h i s s i t u a t i o n ,h
o w e v e r , i s n o t r e a l ly t r o u b l e s o m e i f o n e
a d o p t s a p e n a l t yp a r a m e t e r a d j u s t m e n t s
c h e m e w h e r e b y c ~ i s m o n o t o n i c a l l yi n c r e
a s e d w i t h e a c h m i n i m i z a t i o n ; f o r e x a m p l
e , b ym u l t i p l i c a t i o n b y a c o n s t a n t f a c t o
r / 3 > 1, i. e . c k + ~ = tickfo r a l l k . T h e n , s inc e
c1~ -+ 0% e ve n tu a l ly (12 ) a nd (13 ) w i l lb e c o m e e f
f e c ti v e . I t i s t o b e n o t e d t h a t l a r g e v a l u
e s o f ci n d u c e a n i l l - c o n d i t i o n i n g e ff e ct
i n t h e u n c o n s t r a i n e dm i n i m i z a t i o n p r o c
e d u r e w h i c h t e n d s t o m a k e t h e p r o b l e mm i n
~ L~k(x, YD h a r d e r t o s o lv e . O n t h e o t h e r h a n d
, ( 1 2 )a n d ( 1 3 ) i n d i c a t e t h a t f o r l a r g e v a
l u e s o f c t h e c o n v e r g e n c eo f { Yk } t o )7 i s f a
s t e r . O n b a l a n c e a p r o c e d u r e o f c o n t i n u
-o u s l y i n c r e a s in g c u s u a l ly w o r k s w e l l a n
d t h e a u t h o rs t r o n g l y r e c o m m e n d s i t p r o v
i d e d :( a ) t h e p e n a l t y p a r a m e t e r i s n o t i n
c r e a s e d t o o f a s t , / 3 i sn o t m u c h l a r g e r t h
a n o n e , i n w h i c h c a s e t o o m u c h i l l -
c o n d i t i o n i n g i s f o r c e d u p o n t h e u n c o n
s t r a i n e dm i n i m i z a t i o n r o u t i n e t o o e a r ly
;( b ) t h e l a s t p o i n t x (Y k , c x ) o f t h e k t h m i n
i m i z a t i o n i su s e d a s t h e s t a r t i n g p o i n t i
n t h e ( k + 1 ) st m i n i m i z a -t i o n - t h i s p o l i c y
t e n d s t o r e d u c e t h e e ff e ct o f il l-c o n d i t i o
n i n g s i n c e x 0 % c ~) a n d x(yk+~, ck+O t e n d t ob e c l
o s e t o e a c h o t h e r .A n o t h e r p o s s i b l e p e n a
l t y p a r a m e t e r a d j u s t m e n t s c h e m e ,r e c o m
m e n d e d b y P o w e l l [ P 3] , is t o i n c re a s e ck b y m
u l t i p l y -i n g i t b y a c e r t a i n f a c t o r / 3 > 1
o n l y i f th e c o n s t r a i n t v i o l a -t i o n a s m e a s
u r e d b y I I h[x(y~, c~)] II i s n o t d e c r e a s e d b ya c
e r t a i n f a c t o r o v e r t h e p r e v i o u s m i n i m i z
a t i o n , i . e .ck+~ = tick i f I I h[x(y~, c~)] 11>711
h[x(Y,~-a, ck-~)l II a ndc k+ ~ = c~ o t h e r w i s e w h e r e f
l > l , ~ , < 1 a r e s o m e p r e -s p e c i f ie d s c a l
a rs . T h i s i s a ls o a v e r y s a t i s f a c t o r y s c h e
m e .O n e m a y p r o v e u n d e r o u r a s s u m p t i o n s t
h a t f o r s o m ec o n s t a n t M ' a n d a l l c~ , c k - 1 w h
i c h a r e s u f f i ci e n t l y l a r g e a n ds a t i s f y c ~
> c k -a t h e r e h o l d s
p r e v i o u s m i n i m i z a t i o n . I t i s t o b e n o t
e d t h a t t h e c a s e w h e rea s e p a r a t e p e n a l t y p
a r a m e t e r i s u s e d f o r e a c h c o n s t r a i n tc o r
r e s p o n d s t o m e r e l y s c a l i n g t h e s e c o n s t r
a i n t s . I t i s e a s yt o p r o v e a s i m p l e m o d i f i
c a t i o n o f P r o p o s i t i o n 1 t o c o v e rth i s c a s e
.Geometrical interpretation. A t r a n s p a r e n t g e o m e t r
i c ali n t e r p r e t a t i o n o f t h e m e t h o d o f m u l t
i p l i e r s w h i c h d e m o n -
s t r a te s t h e b a s i c c o n c l u s i o n s o f P r o p o
s i t i o n s 1 a n d 2 m a yb e o b t a i n e d b y c o n s i d e
r i n g t h e p r i m a l f u n c t i o n a l ( o rp e r t u r b a
t i o n f u n c t i o n ) p o f p r o b l e m ( 1 ) d e f in e d fo
r v a l u eso f u in a n e i g h b o r h o o d o f t h e o r ig i n
b yp ( u ) = m i n f ( x ) ,Mx)=u
w h e r e t h e m i n i m i z a t i o n i s u n d e r s t o o d
t o b e l o c a l i n an e i g h b o r h o o d o f 2 . C l e a r l
y p ( 0 ) is e q u a l t o t h e v a l u e o fp r o b l e m ( 1 ) c
o r r e s p o n d i n g t o 2 , i .e . p ( 0 ) = f ( 2 ) .F u r t h
e r m o r e , u n d e r ( S ) o n e m a y s h o w t h a t p is t w
i c ec o n t i n u o u s l y d i f f e re n t i a b le i n a n e i
g h b o r h o o d o f t h e o r i g i na n dV p ( 0 ) = - 2 .
N o w o n e m a y w r it em i n L , ( x , y )
I . , ' ( " ) J }m i n r a i n x ) + ~ y i h , ( x ) + c
h~(xhi(~c)=u't i=l i = 1= m i n p ( u )+ ~ y i u ~ + c u ' ,
where the minimizationabove is understood to be local ina
neighborhood of u--O. This minimization may beinterpreted as shown
in Fig. I. It can be seen from thef i g u r e t h a t , i f c is s
u f f ic i e n t l y l a r g e s o t h a t p(u) + c ~'~=1 ~(u~)i s
c o n v e x i n a n e i g h b o r h o o d o f z e ro , t h e v a l
u e m i n ~ L , ( x , y )i s c l o s e t o p ( 0 ) f o r v a l u e
s o f y c l o s e t o )~ a n d l a r g e v a l u e s o fc , a s i n
d i c a t e d b y ( 1 2 ) a n d ( 1 3 ). T h e m u l t i p l i e r
i t e r a t i o n( 1 5 ) i s s h o w n i n F i g . 2 . A c l o s e
r e x a m i n a t i o n o f t h i s f i g u r e
I / , "/r r d n [ c ( x , ~ ) = f ( ~ ) ' /x m / / j /? ' = x .
.. " ' x ~ [ ~ ( x , ~ ';
. , , , . . . . . . .
U
-Y i > , , i . / / 7 7
/F i G . 1 . G e o m e t r i c i n t e r p r e t a t i o n o f m
i n i m i z a t i o n o f
t h e A u g m e n t e d L a g r a n g i a n .--AtI I h [ x ( y ~
, c , , ) l II < " " - - I I h [ x ( y ~ - l , c k - 1 ) ] l i
-Ck
A s a r e s u l t t h e s c h e m e d e s c r i b e d a b o v e
w i l l g e n e r a t e ap e n a l t y p a r a m e t e r s e q u e
n c e t h a t w i l l b e c o n s t a n t a f t e r ac e r t a in
in de x , i . e . c ~+1 = c ~ fo r a l l k s u f f i c ie n t ly l
a rge ,w h i l e i t w il l a c h ie v e c o n v e r g e n c e b y
v i r t u e o f e n f o r c e m e n to f a s y m p t o t i c f e a
s i b i l i t y o f t h e c o n s t r a i n t s , i . e .l i m I I
h [ x O ' k , c ~ ) ] II = 0 .k - - ~ o
S t i l l a n o t h e r p o s s i b i l i t y a l o n g t h e s
a m e l i n e s i s t o u s e ad i f f e r e n t p e n a l t y p a
r a m e t e r f o r e a c h c o n s t r a i n t e q u a t i o nh
i(x ) = 0 , a n d t o i n c r e a s e b y a c e r t a i n f a c t o
r o n l y t h ep e n a l t y p a r a m e t e r s w h i c h c o r r
e s p o n d t o t h o s e c o n s t r a i n te q u a t i o n s f o
r w h i c h t h e c o n s t r a i n t v i o l a t i o n a s m e a s
u r e d b yI h d x ( Y k , c k )] I i s n o t d e c r e a s e d b y
a c e r t a i n f a c t o r o v e r t h e
p ~ . ( u ): p ( u ) c i z i ( u b
g ~ 1 / I p ( t ; )IF IG. 2 .
m i r / ~ I; " , ) ' , < , jxr a i n i ( x , ' % )x " '
G e o m e t r i c i n t e r p r e t a t i o n o f t h e m u l t
i p l i e ri t e r a t i o n .
-
8/3/2019 Multiplier Methods Paper
5/13
Mu lt ipl ier me thods: a survey 137s u g g e s t s t h a t t h
i s i t e r a t i o n c o n v e r g e s t o 9 e v e n i f c ~ i sc
o n s t a n t b u t s u f f i c ie n t ly la r g e a f t e r a c e
r t a i n i n d e x a n d t h ec o n v e r g e n c e i s f a s t e
r f o r l a r g e v a l u e s o f c ~ a s in ( 13 ). I ti s i n t e
r e s t i n g a l s o t o n o t e t h a t t h e t w o f i g u r e s
d e m o n s t r a t et h e c r u c i a l i n g r e d i e n t s f o
r t h e s u c c e s s o f i t e r a t i o n s o f t h ef o r m ( 1
5) . I t is n e c e ss a r y a m o n g o t h e r t h in g s t h a t
p ( u ) b ee i t h e r d i f f e r e n t i a b l e o r c o n v e x
n e a r z e r o a n d , f u r t h e r m o r e ,p ( u ) + c 2~=1 ~
(u~) mus t b e con vex w i th su f f i c i en t ly l a r ge' c u r
v a t u r e ' n e a r z e r o . T h e s e c o n d i t i o n s a r e
s a ti s f ie d u n d e r( S ) a n d ( Q ) b u t t h e y a r e a l
s o s a t is f i e d u n d e r d i f fe r e n t s et s o fa s s u m
p t i o n s s o m e o f w h i c h w i l l b e p r e s e n t e d i n
S e c t i o n 5.
Mu l t i p l i e r m e t h o d s w i t h p a r t i a l e l i m i
n a t io n o co n s t ra i n ts .I n t h e m u l t i p l i e r m e
t h o d s d e s c r i b e d a b o v e e a c h o n e o f t h ee q u
a l i t y c o n s t r a i n t s o f t h e p r o b l e m h a s b e e
n e l i m i n a t e d b ym e a n s o f a g e n e r a l i z e d p e
n a l t y f u n c t i o n . I n s o m e p r o b l e m si t is c o n
v e n i e n t t o e l i m i n a t e o n l y p a r t o f t h e c o n
s t r a i n t sw h i l e r e t a i n i n g e x p l ic i t ly t h e
r e m a i n i n g c o n s t r a i n t s d u r i n gs e q u e n ti a
l m i n i m i z a t i o n o f t h e A u g m e n t e d L a g r a n g
i a n .T h u s a p o s s i b l e m u l t i p l i e r a l g o r i t
h m f o r t h e p r o b l e mm i n i m i z e f ( x ) ,
s u b j e c t t o h ~ (x ) = O , l ~(x ) = O, i = 1 . . . . m ,j
= 1 , . . . , r ,
i s b a s e d o n s e q u e n t i a l m i n i m i z a t i o n s
o f t h e f o r mmm i n i m i z e f ( x ) + ~ { y k ~ h i ( x ) + e
L ~[hi(x) ]} ,
i= 1
sub jec t t o l ~ (x ) = O , j = 1 . . . . r .T h e m u l t i p
l i e r i t e r a t i o n i s g i v e n b y
y ~+ 1 k = Y ~ + c k $ ' [ h , ( x k ) ] , i = 1 . . . . m ,w h
e r e x k s o l ve s t h e m i n i m i z a t i o n p r o b l e m a
b o v e .T h e c o n v e r g e n c e p r o p e r t i e s o f s u c
h a l g o r i t h m s a r e v e r ys i m i l a r t o t h o s e f o
r m u l t i p l i e r m e t h o d s w i t h f u l l e l i m i n a t
i o no f c o n s t ra i n t s , a n d o n e m a y p r o v e d i r e
c t a n a l o g s o fP r o p o s i t i o n s 1 a n d 2 f o r t h e
s e a l g o r i th m s .
No t e s a n d re f e ren ces . T h e m e t h o d o f m u l t i
p l i e rs ( 12 )wi th ~ ( t ) = tz w a s o r i g i n a l l y p r o
p o s e d b y H e s t e n e s [ H 1 ]a n d i n d e p e n d e n t l
y b y P o w e l l [ P 3 ] i n a d i f f e r e n t b u te q u i v a
l e n t f o r m . I t w a s a ls o p r o p o s e d a y e a r l a t
e r b yH a a r h o f f a n d B u y s [ H 2 ] .* O f th e s e a u t
h o r s o n l y P o w e l ld i s c u s s e d t h e c o n v e r g e
n c e p r o p e r t i e s o f t h e m e t h o d .P o w e l r s p a
p e r p r e d i c t e d th e s u p e r i o ri t y o f th e m e t h
o d o v e rt h e o r d i n a r y p e n a l t y m e t h o d b u t w
h i l e it p r o v i d e d s o m ea n a l y s is o f a s y m p t o
t i c b e h a v i o r i t a c t u a ll y s t o p p e d s h o r t o
fp r o v i n g l o c a l c o n v e r g e n c e o f t h e m e t h o
d f o r a b o u n d e dp e n a l t y p a r a m e t e r . S u c h l
o c a l c o n v e r g e n c e r e s u lt s , b a s e do n t h e a s
s u m p t i o n t h a t t h e s t a r t i n g m u l t i p l i e r v
e c t o r Yo i ss u f f i c i e n t l y c l o s e t o Y , w e r e g
i v e n l a t e r a n d a p p a r e n t l yi n d e p e n d e n t l
y b y B u y s [ B 7 ] a n d R u p p J R 8 ] , ( s e e a l s oW i e
r z b i c k i [ W 1 ] ). T h e s e a u t h o r s s h o w e d a l s
o t h a t t h e r a t eo f c o n v e r g e n c e i s l i n e a r b
u t d i d n o t p r o v i d e s h a r p e s t i m a t e so f t h e
c o n v e r g e n c e r a t i o . S u c h e s t i m a t e s w i l l
b e g i v e n in t h en e x t s e c t i o n . P r o p o s i t i o n
s 1 a n d 2 h a v e b e e n p r o v e d f o r t h ec a s e o f a q
u a d r a t i c p e n a l t y f u n c t i o n ( ~ ( t ) = t2) by
thea u t h o r [ B 1 -3 ] a n d i n d e p e n d e n t ly b y P o l
y a k a n d T r e t ' y a k o v[ P2 ]. T h e e x t e n s i o n p r
o v i d e d h e r e a d m i t s e s s e n t ia l l y t h es a m e p
r o o f a s f o r a q u a d r a t i c p e n a l ty . A n a n a l y
s i s o fm u l t i p l i e r m e t h o d s w i t h p a r t i a l e
l i m i n a t i o n o f c o n s t r a i n t si s p r ov ided in [
BS , 9 ] .
* P o l y a k a n d T r e t ' y a k o v [ P2 ] g i v e i n d e p
e n d e n t c r e d i t f o rt h e p r o p o s a l o f t h e m u l
t ip l i e r m e t h o d t o S y r o v a n dC h u r k v e i d z e (
s e e [ P2 ]) . I t i s t o b e n o t e d t h a t t h e r e h a s b
e e nc o n s i d e r a b l e i n t e r e s t a n d s i g n i f i c
a n t r e c e n t w o r k o nm u l t i p l i e r m e t h o d s i n
t h e S o v i e t U n i o n . P r o f e s s o rR o c k a f e l l a
r k i n d ly p o i n t e d o u t s o m e r e l a t e d p a p e rs o
fP o l y a k , G o l ' s h t e i n a n d T r e t ' y a k o v [ G 1
, P 7 , T 2 ] . T h e r e i sn o E n g l i s h t r a n s l a t i o
n o f t h e s e p a p e r s a n d t h e a u t h o r i s n o tf a m
i l i a r w i t h t h e i r p r e c i s e c o n t e n ts .
3 . M u l t i p l i e r m e t h o d s f ro m a p r i m a l -d u
a l v i ewp o i n tGrad ient in terpreta t ion o f the mul t ip l
ier i tera t ion .C o n s i d e r p r o b l e m ( 1 ) u n d e r a s
s u m p t i o n ( S ) a n d a p e n a l t yf u n c t i o n ~ s a t
i sf y i n g a s s u m p t i o n ( Q ) . I t is c l e a r t h a t i
n an e i g h b o r h o o d o f 2 p r o b l e m ( I ) is e q u i v a
l en t f o r e v e r ye ~> O t o t h e p r o b l e m
m i n I f ( x ) + c ~ (~[h~(x)] (18)h(X) =0 ~ i ~ 1 /
i n t h e s e n s e th a t b o t h p r o b l e m s h a v e .~ a
s l o c a l m i n i m u ma n d 9 a s a s s o c i a t e d L a g r a
n g e m u l t i p l i e r v e c t o r . T h eH e s s i a n w i t h
r es p e c t t o x o f t h e A u g m e n t e d L a g r a n g i a nL
(x , y ) of ( 11 ) eva lua t ed a t 2 , 9 i s g iven byV~ Lc(~, 9)
= V2 L00Z, 9) + e ~ Vh~(~) Vhi (~) ' .
i= lOn e m ay s how e as i l y u s ing ( S ) t ha t f o r c~>
c* , wher e c* i s as u i t a b l e n o n - n e g a t i v e s c a l
a r , t h e m a t r i x V 2 L c ( $ , Y ) i sp o s i t i v e d e fi
n i te , a f a c t p o i n t e d o u t a n d u t i l i z e d i n a
na l g o r i t h m i c c o n t e x t b y A r r o w a n d S o l o w
i n 19 58 [ A 2 ] . A sa r e su l t , f o r c > . c * , p r o b
l e m ( 1 8) h a s a l o c a l l y c o n v e xs t r u c t u r e a s
d e f i n e d i n [ L 1] a n d o n e m a y d e f i n e f o r
c>~c*t h e d u a l f u n c t i o n a l
qc(Y) = minL ~( x , y ) . ( 19 )I n t h e a b o v e e q u a t i
o n t h e d u a l f u n c t i o n a l i s d e f i n e d i n an e i
g h b o r h o o d o f 9 a n d t h e m i n i m i z a t i o n is u n
d e r s t o o d t ob e l o c a l i n a n e i g h b o r h o o d o f
.~ . B y u s i n g t h e i m p l i c i tf u n c t i o n t h e o r e
m a n d o u r a s s u m p t i o n s o n e m a y s h o w t h a ts u
c h n e i g h b o r h o o d s e x i s t f o r e a c h c>~c*. I n
f a c t o n e m a ys h o w t h a t i f x ( y , c ) i s t h e l o c
a l l y m i n i m i z i n g p o i n t i n ( 1 9 )t h e n q c is a t
w i c e c o n t i n u o u s l y d i f f e re n t i a b l e c o n c
a v ef u n c t i o n i n it s d o m a i n o f d e f in i t i o n w
i t h g r a d i e n t g i v e n b y
Vq(y) = h [x f y , c) ] (20)a n d H e s s i a n m a t r i x e v
a l u a t e d a t y g i v e n b y
V~ q e (Y) = - Vh [ x (y , c)] [V 2 L~ [x (y , c ) , y ] ] - Ix
V h [ x ( y , c) ] ' , (21)
w h e r e V h ( x ) i s t h e m x n m a t r i x w i t h r o w s
V h i ( x ) ,i = 1 , . . . , m . F u r the r mo r e , qc(Y) i s m a
x i m i z e d a t Y .N o w i n v i e w o f (2 0 ) t h e i t e r a t
i o n o f t h e m e t h o d o fm u l t i p l i e r sy k + l ~ = y ~
i + c ~ ' [ h d x ( y ~ , c ) ] ], i = 1 . . . . m ( 22 )
m a y b e w r i t t e n a sYk+x = yk + ca P[x(yk, c)] Vqc(yk),
(23)
w h e r e ap is t h e d i a g o n a l m m m a t r i x h a v i n
g a s i t s i t hd i a g o n a l e l e m e n t t h e s c a l a r S
0 1 ~"[Ahi[x(yk , c)]] dA. Th ise x p r e s s i o n i s o b t a i n
e d b y T a y l o r ' s t h e o r e m u s i n g t h ef ac t ~ ' ( 0
) = 0 .F r o m ( 2 3) o n e c a n s e e t h a t t h e m u l t i p l
i e r i t e r a ti o n ( 2 2 )m a y b e v i e w e d a s a n i t e r
a t i o n o f t h e a s c e n t t y p e f o r f i n d in gt h e m a
x i m i z i n g p o i n t 9 o f t h e d u a l f u n c t i o n a l q
c. S i n c e(~[x(y , c ) ] t e n d s t o t h e i d e n t i t y m a
t r i x a s x ( y , c ) - + ~ (i nv i ew o f ( ~"( 0) = 1 ), i t e
r a t i on ( 23 ) beco me s a f i xed s t eps i zes t eepes t a
scen t i t e r a t i on i n t he l im i t a s y~ - + f t. I n f ac
t i f~ ( t ) = t2 t hen ( 23 ) i s equ iva l e n t t o t he s t
eepe s t a scen ti t e r a t i on .A t i g h t b o u n d o n t h e
co n verg en ce ra t e o f m u l t i p l i e rm e t h o d s . B a s
e d o n t h e i n t e r p r e t a t i o n o f th e m u l t i p l i
e ri t e r a t i o n a s a g r a d i e n t i t e r a t i o n o n e
m a y o b t a i n a s h a r pr a t e o f c o n v e r g e n c e r e
s u lt f o r i t e r a t i o n ( 2 3 ) b y u s i n g as i m p l e v
a r i a t i o n o f a k n o w n r e s u l t [ P4 ] f o r th e s t e
e p e s ta s c e n t m e t h o d . T h i s r e s u l t i n v o l v
e s , h o w e v e r , t h e e i g e n -v a l u e s o f V 2 q c( Y )
o f ( 2 1 ) w h i c h s t r o n g l y d e p e n d o n c . Am o d i
f i c a t i o n o f t h i s r e s u l t w h i c h i s m o r e a m e
n a b l e t op r o p e r i n t e r p r e t a t i o n i s p r o v i
d e d b y t h e f o l l o w i n g p r o -p o s i t i o n .Pro p o s
i t i o n 3 : L e t ( S ), ( Q) ho ld and assum e tha t Y0 i ss u f
f ic i e n tl y c lo s e t o 9 . T h e n t h e s e q u e n c e ( Yk
} g e n e r a t e d b y
-
8/3/2019 Multiplier Methods Paper
6/13
1 3 8 D I M I T R I P . B E R TS E KA S( 2 2 ) c o n v e r g e s
t o 37. F u r t h e r m o r e , a s s u m i n g y ~ # 37 f o ra l l
k
l i m s u p [ { y k + I - p II ] 1 I~ -, ~o I I y ~ - 2 I I <
m a x , ( 24 )~=1 . . . .. . . 1 - c e d D )w h e r e e d D ) d e n
o t e s t h e i t h e i g e n v a l u e o f t h e m a t r i x
D = - Vh( 2 ) [V 2 Lo (2 , p ) ] - I V h ( 2 ) 'a n d i t i s a
s s u m e d t h a t t h e i n v e r s e o f V 2 L 0 e x i s ts . I
na d d i t i o n t h e b o u n d ( 2 4) is s h a r p i n t h e s e
n s e t h a t , i f a n df a r e q u a d r a t i c f u n c t i o n
s a n d h ~, . .. , h m a r e a f f in e f u n c t i o n s ,t h e n
t h e r e e x i s t s t a r t i n g p o i n t s Y 0 f o r w h i c h
( 2 4 ) is s a t is f i e dw i t h e q u a l i ty .
D ep en d en ce o f co n verg en ce ra t e u p o n a ssu m p t i
o n s (Q )a n d ( S ) . T h e p r o p o s i t i o n a b o v e c o n
f i r m s t h e f a c t t h a t t h ec o n v e r g e n c e r a t e
o f t h e m u l t i p l i e r i t e r a t i o n ( 2 2 ) i s l i n e
a rw i t h c o n v e r g e n c e r a t i o e s s e n ti a l ly i n
v e r s el y p r o p o r t i o n a l t ot h e p e n a l t y p a r a
m e t e r c . T h i s f a ct , h o w e v e r , i s s t ro n g l yd
ep en d en t u p o n t h e a s su m p t i o n s (Q ) a n d (S ) . I
f e i t h e r o f t h ea s s u m p t i o n s i s r e l a x e d t h
e c o n v e r g e n c e r a t e m a y b e c o m es u b l i n e a r
o r s u p e r l i n e a r a s t h e f o l l o w i n g e x a m p l e
s s h o w .E x a m p l e 1 : C o n s i d e r t h e s c a l a r p r
o b l e m
m i n { x 2 I x = O }w i t h o p t i m a l s o l u t i o n . ~ =
0 a n d L a g r a n g e m u l t i p l i e r0 7 = 0 . F o r y < 0
, ( t ) = ~ t l t [ 3 c = 1 t h e m i n i m i z i n gp o i n t o f
L l ( x , y ) is x ( y , 1 ) = [ - 1 + , ] ( 1 - 4 y ) ] / 2 . F o
r as t a r t i n g p o i n t Y 0 < 0 t h e i t e r a t i o n ( 2
2 ) y i e ld s
Y k+ l = [ 1 - ~ / ( 1 - 4 y ~ ) ] / 2a n d l i l n k - .~ o
(Ykl / Yk )= 1 , i . e . w e h a v e s u b l i n e a r c o n -v e r
g e n c e r a t e .
E x a m p l e 2 : C o n s i d e r t h e s a m e p r o b l e m a
s i n E x a m p l e 1 .F o r y ~ < 0 , ( t ) = - ~ [ t l ~, c =
1 w e o b t a i n x ( y , l ) =[ - i + ~ /( 1 - 4 y ) ] 2 / 4 . F o
r a s t a r t i n g p o i n t Y 0 < 0 t h e i t e r a t i o
n(18) y ie ldsYk+ t = Yk + [-- 1 + x/(1 - - 4y)] / 2
O n e m a y s h o w t h a tl im [ Y~+I ] 1k-co yk ~
a n d h e n c e w e h a v e s u p e r l i n e a r c o n v e r g
e n c e ( o r d e r 2 ) .E x a m p l e 3 : Co ns i de r the p ro b
le m ra in (~- ] x ] a I x = 0} .A g a i n h e r e 2 = )7 = 0 b u t
( S ) i s n o t s a t i sf i e d . F o r y < 0 ,~ b (t ) = t 2 ,
c = 1 t h e m i n i m i z i n g p o i n t o f L ~ ( x , y ) isx (y
, l ) = [ - l + ~ / ( l - 4 y ) ] / 2 . F o r a s t ar t in g p o
in t y 0 < 0t h e i t e r a t i o n 0 8 ) y i e l d s
Yk+l = Y~+ [ - - 1 +~ / (1 - -4 yk )] / 2 .A g a i nlim [ Y~+I [
1/ 0 . . . 'o o y / 2
a n d w e h a v e s u p e r l i n e a r c o n v e r g e n c e .T
h e c o n v e r g e n c e b e h a v i o r e x h i b i t e d in t h
e a b o v ee x a m p l e s m a y b e e x p l a i n e d b y c l o s
e e x a m i n a t i o n o f t h eg e o m e t r i c a l c o n s t r
u c t i o n s o f F ig s . 1 a n d 2 . I t m a y b e s e e nf r o m
t h e s e f i g u r e s t h a t t h e c o n v e r g e n c e r a t e
i s i n f l u e n c e ds u b s t a n t i a l l y b y t h e r a t e
s o f c h a n g e o f t h e d e r i v a t iv e s o f t h ep r i m a
l f u n c t i o n a l p ( u ) a n d t h e ' p e n a l i z e d ' p r
i m a l f u n c t i o n a lp ( u ) + c ~ = 1 ( u 0 n e a r u = 0 .
Th e co n verg en ce i s f a s t e ra s t h e ra t e o f ch a n g e
o f Vp (u ) i s sm a l l a n d t h e ra t e o f ch a n g eof c q~ '
(u i) i s large near u = O.I n E x a m p l e 1 th e r a t e o f c h
a n g e o f ~ ' ( u t ) i s s m a l l n e a ru , = 0 a n d c o n v
e r g e n c e i s s l o w , w h i l e i n E x a m p l e 2 i t i sl
a r g e a n d c o n v e r g e n c e i s f a s t. I n E x a m p l e
3 t h e r a t e o fc h a n g e o f V p ( u ) i s s m a l l n e a r
u = 0 t h u s e x p l a i n i n g t h e f a s tc o n v e r g e n c
e . A n e x t r e m e c a s e o f s m a l l r a t e o f c h a n g e
o fV p (u ) i s w h e n p ( u ) i s a l i n e a r o r a f f m e f u
n c t i o n i n w h i c hc a s e F ig . 2 s h o w s t h a t t h e m
e t h o d o f m u l t i p l i e rs c o n v e r g e si n a s i n g l
e i t e r a t i o n . A g e n e r a l c o n v e r g e n c e r a t e
r e s u l t
w h i c h e s t a b l i s h e s t h e b e h a v i o r d e s c r
i b e d a b o v e w i l l b e g i v eni n S e c t i o n 5 .T h e f
o l l o w i n g e x a m p l e s h o w s a l so t h a t i n t h e a
b s e n c e o f( S ) i t e r a t i o n ( 2 2 ) m a y n o t l e a d
t o c o n v e r g e n c e f o r a n yc > 0 w h e n ~ i s e s s e
n t i a l l y q u a d r a t i c .E x a m p l e 4 : C o n s i d e r
t h e p r o b l e m m i n { - ] x I0 ] x = 0)w h e r e 1 < p
< 2. T h e n f o r a n y c > 0 o n e c a n f i n d a n e i g
h b o r -h o o d o f 2 = 0 w i t h i n w h i c h t h e A u g m e n
t e d L a g r a n g i a nL c ( x , y ) d o e s n o t h a v e a l o
c a l m i n i m u m f o r a n y v a l u e o fy ~ R w h e n ~ i s e
s s e n t i a l l y q u a d r a t i c . T h i s s i t u a t i o n c
a n b ec o r r e c t e d b y u s i n g f i ( t ) = [ t l P ' o r q
S ( t ) = [ t [ P ' + t 2wh e re p ' s a t i s f i e s 1 < p '
< p .N o t e s a n d re f e ren ces . T h e p r i m a l d u a l
f r a m e w o r ka d o p t e d h e r e f o r v i e w i n g t h e m
u l t i p l i e r i t e r a t io n ( 2 2 ), w i t h~b(t) = t~ , w a
s s u g g e s t e d b y L u e n b e r g e r [ L 1 ] a n d b yB u y
s [ B l l ] i n h i s w e ll - w r i t te n d i s e r t a t i o n w
h i c h i s d e v o t e dt o m u l t i p l i e r m e t h o d s . P
r o p o s i t i o n 3 w a s p r o v e d b y t h ea u t h o r [ B 4
] f o r t h e c a s e ~ ( t ) = t 2 a n d i n a m o r e g e n e r a
ls e t t i n g w h e r e t h e p a r a m e t e r c m a y c h a n g
e f r o m o n e i t e r a-t i o n t o t h e n e x t . F o r r e l a
t e d d u a l i t y f r a m e w o r k s f o rv i e w i n g th e m e
t h o d o f m u l t i p l i e r s s e e [ R I , R 2 , R 4 , R 6 ,B
1 - 3 , P 2 , P 5 , A 1 , M 1 , W 2 ] . T h e d u a l i t y f r a m
e w o r k s o fJ R 4 , B 1 - 3 , P 2 ] a r e g l o b a l i n n a t
u r e i n t h e s e n s e t h a t t h ed u a l f u n c t i o n a l
i s e v e r y w h e r e d e fi n e d . T h e c o n s t r u c t i o
n i n[ R 4 ] is c a r r i e d o u t u n d e r v e r y g en e r a l
a s s u m p t i o n s . I n[ B 1 - 3 ] a n d [ P 2 ] t h e a s s u
m p t i o n s a r e m o r e r e s t r i c t i v e ;h o w e v e r ,
t h e d u a l f u n c t i o n a l c o n s t r u c t e d h a s s t r
o n g f i r s ta n d s e c o n d d i f f e r e n t i a b i l i t y
p r o p e r t i e s .
4 . Trea t m en t o f i n eq u a l it y co n s t ra i n tsT h e
o r i g i n a l p a p e r s o n t h e m e t h o d o f m u l t i p l
i e r s [ H I ,P 3 , H 2 ] d o n o t d e a l w i t h o r e x p r e
s s in a b i l i t y t o h a n d l ei n e q u a l i t y c o n s t r
a i n t s . I t t u r n s o u t , h o w e v e r , t h a t o n e m a
yh a n d l e i n e q u a l i t y c o n s t r a i n t s t r i v i a
l ly b y c o n v e r t i n g t h e m t oe q u a l i t y c o n s t r
a i n t s b y u s i n g a d d i t i o n a l v a r i a b l e s b u
tw i t h o u t l o s s o f c o m p u t a t i o n a l e f f ic i en
c y d u e t o i n c r e a s e dd i m e n s i o n a l i t y
.One-sided inequal i ty constra in ts . C o n s i d e r t h e f o l
l o w i n gp r o b l e m i n v o l v i n g o n e -s i d e d i n e q
u a l i t y c o n s t r a i n t s
m i n f ( x ) . ( 2 5 )g j ( x ) ~ < oJ ~ l , . . . , r
T h e p r o b l e m a b o v e i s eq u i v a l e n t t o t h e e
q u a l i ty c o n s t r a i n e dp r o b l e m r a i n f ( x ) ,
(26 )f l j (~ ) + Z ) 2 = OJ ~ l , . . . , r
w h e r e z l . . . . . Z r a r e a d d i t i o n a l v a r i a
b le s . T h u s o n e m a y u s ea m e t h o d o f m u l t i p l i
e r s to s o l v e p r o b l e m ( 2 6) i n p l ac e o f( 2 5 ) a n
d i f ( S ) h o l d s f o r p r o b l e m ( 2 6) t h e r e s u l ts
o f t h e p a s tt w o s e c t i o n s a r e a p p l ic a b l e . O
n e m a y p r o v e t h a t i f { 2, p )a r e a n o p t i m a l s o
l u t i o n - L a g r a n g e m u l t i p l i e r p a i r s a t i s
fy i n gt h e s t a n d a r d s e c o n d - o r d e r s u ff i ci e
n cy c o n d i t i o n s f o ro p t i m a l i t y I L l ] ( i n c l
u d i n g s t r i c t co m p l e m e n t a r i t y , i . e.p J >
0 i f a n d o n l y i f g~ ( 2) = 0 ) f o r p r o b l e m ( 2 5 ) t
h e n( S ) h o l d s f o r p r o b l e m ( 2 6) i n c o n n e c t i
o n w i t h t h e p a i r{(~, ;71 . . . . 2r) , f i} wh ere 2j = [
gj( .Q I t , j = 1 . . . . r .T u r n i n g t o t h e m u l t i p l
i e r i t e r a t i o n f o r p r o b l e m ( 2 6 ) t h eA u g m e
n t e d L a g r a n g i a n i s
rL c ( x , z , y ) = f ( x ) + ~ f [ g ~ ( x ) + z ~2]j= l
r+ e y . [ g ~ ( x) + z ? ] .i = lL e t u s m a k e t h e f o l
l o w i n g a s s u m p t i o n o n .
A s s u m p t i o n ( G ) : i s r e a l v a l u e d , s t r i c
t l y c o n v e x a n dc o n t i n u o u s l y d if f e r en t i a
b l e o n R . F u r t h e r m o r e , 4 ( 0 ) = 0 , ' ( 0 ) = 0 , l
i m t . . . ' ( t ) = - ~ , l im t -, ' ( t ) = + c o .T h e n m i
n i m i z a t i o n o f L e (x , z, y ) c a n b e c a r r i e d o u
t f i rs tw i t h r e s p e c t t o z l . . . . , z ~ y i e l d i n
g a f t e r s o m e c a l c u l a t i o nr
L c ( x , y ) = m i n L c ( x , z , y ) = f ( x ) + ~ , ~ [ g ~
( x) , y ~, c] ,z j = l ( 2 7 )
-
8/3/2019 Multiplier Methods Paper
7/13
M u l t ip l i e r m e t h o d s : a s u r v e y 1 3 9w h e r e
~ i s d e f in e d b y
ff[g j (x) , y~, c] =y ~ g ~ ( x ) + c~ [g j (x ) ] i f y ~ + c
~ ' [g ~ (x ) ] / > 0 ,mi n { f l ~"+ c~(~-)} i f f l + c~ ' [g~
(x)] < 0 ."r~R
T h e f o r m o f th e f u n c t i o n a b o v e is s h o w n i
n F ig . 3 . A ne q u i v a l e n t f o r m o f ( 27 ) w h i c h is
s o m e w h a t m o r e c o n v e n i e n tf o r a n a l y t i c a
l p u r p o s e s i s g i v e n b y
1 rr ~e (x , y ) = f ( x ) + -~ ~ p [ c g ~( x ) , y ' ] , (2 8
)J= lw h e re p : R x R - -> R i s d e f i n ed b y
A t + ~ ( t ) i f A + ~ ' ( / )~ > 0 ,p(t , A) = m in (A~-+ ~
(~ ') } i f A + ~ ' ( t ) < 0 ,-reR
w i t h $ < t ) = ~ ( ~ ( t / c ) .I f ~ s a ti s f ie s a s
s u m p t i o n ( G ) s o d o e s ~ a n d v i c e v e r s a . F o
ra q u a d r a t i c p e n a l t y f u n c t i o n ~ ( t ) = ~ ( t
) = t~ w e o b t a i n
l p ( c t , A = 1c ~ c [ (max { 0 , A + c t } ) 2 - A~]w h i c h
i s t h e o r i g i n a l f u n c t i o n c o n s i d e r e d b y R
o c k a f e l l a r[ R 1 - 3 ] . T h u s m i n i m i z a t i o n o
f L , ( x , z , y ) w i t h r e s p e c t t o( x , z ) i s e q u i
v a l e n t t o m i n i m i z a t i o n o f L , ( x , y ) w i t h r
e s p e c tt o x w h i c h d o e s n o t i n v o l v e t h e v a r
i a b l e s z~ . . . . z ~.~ ( t , y , c )
y + c~p ' (8 )0 ~ y t
F I G . 3. P e n a l t y
8
f u n c t i o n f o r o n e - s i d e d i n e q u a l i t yc o n
s t r a i n t s .T h e m i n i m i z a t i o n i n ( 27 ) y i e l d
s th e m i n i m i z i n g v a l u e s o fz~ . . . . z , a s f u n
c t i o n s o f x , y , c a n d o n c e t h e s e v a l u e s a r
es u b s t i t u t e d i n t h e m u l t i p l i e r i t e r a t i
o n ( 1 5) f o r p r o b l e m ( 2 6 )o n e o b t a i n s b y s t r
a i g h t f o r w a r d c a l c u l a t i o n t h e i t e r a t i o
ny~+x~ = m ax { 0 , y ~ + c ~ ~ '[ g ~ [ x (y ~ , c~)]]}
= m a x { 0, y j + , ~ ' [ c ~ g ~ [ x ( y ~ , c~)]]} , j = 1 .
. . . r .(29)w h e re x (y ~ , c~ ) mi n i mi zes ( l o ca l l y )
Le~ ( . , y ~ ) g i v en b y (2 7 )or (28).T h u s e v e n th o u g
h a d d i t i o n a l v a r i a b l e s a r e u s e d toc o n v e r
t p r o b l e m ( 2 5 ) t o t h e e q u a l i t y c o n s t r a i n
e d p r o b l e m( 26 ), t h e m u l t i p l i e r i t e r a t i o
n f o r p r o b l e m ( 2 6 ) t a k e s t h ef o r m ( 2 9 ) w h i
c h d o e s n o t i n v o l v e t h e s e a d d i t i o n a l v a r
i a b l e s .
T w o - s i d e d i n e q u a l i t y c o n s t r a i n t s . C
o n s i d e r t h e f o l l o w i n gp r o b l e m i n v o l v i n
g tw o - s i d e d i n e q u a l i t y c o n s t r a i n t sm i n f
( x ) , (30)
$=i~ ..., rw h e r e f , g ~ a r e r e a l - v a l u e d f u n c
t i o n s o n R " a n d ~x~, f l~ a r eg i v e n s c a l a r s w i
t h o t~ < f l j f o r a l l j . E a c h t w o - s i d e d c o n
-s t r a i n t i n p r o b l e m ( 3 0) c o u l d , o f c o u r s e
, b e s e p a r a t e d i n t ot w o o n e - s i d e d c o n s t r
a i n t s w h i c h c o u l d b e t r e a t e d a sd e s c r i b e
d e a r l i e r i n th i s s e c t io n . T h i s w o u l d r e q u
i r e ,h o w e v e r , t h e a s s i g n m e n t o f t w o m u l t
i p li e r s p e r t w o - s i d e d
c o n s t r a i n t . A m o r e e f f i c ie n t m e t h o d f o
r h a n d l i n g s u c hc o n s t r a i n t s w h i c h r e q u i
r e s o n l y o n e m u l t i p l i e r p e r t w o -s i d e d c o
n s t r a i n t i s o b t a i n e d b y c o n s i d e r i n g t h e
f o l l o w i n gp r o b l e m m i n f ( x ) (31)uj=0, J=l , . . .
, r
w h i c h i n v o l v e s a d d i t i o n a l v a r i a b l e s
u l . . . . u , a n d i se q u i v a l e n t t o p r o b l e m ( 30
). N o w c o n s i d e r a m u l t i p l i e rm e t h o d f o r p r
o b l e m ( 3 1 ) w h e r e o n l y th e c o n s t r a i n t s u~ =
0a r e e l i m i n a t e d b y m e a n s o f a g e n e r a l i z e
d p e n a l t y f u n c t i o n ,a p a r t i a l e l i m i n a t i
o n o f c o n s t r a i n t s . T h i s m e t h o d c o n s i s tso
f s e q u e n t i a l m i n i m i z a t i o n s o v e r x , u l . .
. . u r o f t h e f o r m
m i n i m i z e f ( x ) + ~ [ y k ~ u j + c ~ ~(u~)], )~-x t
(32)su b j ec t t o a j < ~ e ~ ( x ) - u ~ < < . f l~ , j
= 1 . . . . r .
T h e m u l t i p l i e r s y k ~ a r e u p d a t e d b y m e a
n s o f t h e i t e r a ti o ny k + l = y ~ + C k ~ ' ( U ~ k ) , j
= 1 . . . . r , (33)
w h e r e u xk , . . ., u r k t o g e t h e r w i t h a v e c t
o r x k , s o l v e p r o b l e m( 32 ). N o w t h e m i n i m i z
a t i o n in p r o b l e m ( 3 2 ) c a n b ec a r r i e d o u t f i
rs t w i t h r e s p e c t t o u s y ie l d i n g t h e e q u i v a
l e n tp r o b l e m
m f ( x ) + ~ p j [ g j ( x ) , y k :~, c e ] , (34)w h e r e t
h e f u n c t i o n p j i s d e f i ne d b yl y ' [e~(x )# jl+ ~ [
e~ (x )#~1
i f y ~ + e ~ ' [ g ~ ( x ) - f l ~ l > i O ,y~[e~(x)- ~1 + c
~[e~ (x)- ~ l
p ~[ g ~( x ) , f l , c ] = i f y J + c ~ ' [ g ~ (x ) - c t~ ]
~ 0 ,
y~+x : y ~ + c~ ~ ' [ e ~ ( x ~ ) - ~ j ]i f y ~ t + c k ~ [g~
(x~ )- o~j] .~0 ,0 o t h e r w i s e ,
-
8/3/2019 Multiplier Methods Paper
8/13
1 4 0 D I M I T R I P . B E R T SE K A Sw h e r e x ~ s o l v e
s t h e p r o b l e m ( 3 4) . T h u s a g a i n t h e a d d i t i
o n a lv a r i a b l e s z ~ , . . ., z ~ n e e d n o t e n t e r e
x p l i c i t l y i n t o t h ec o m p u t a t i o n s .
Note s and r e fe re nc e s . T h e e x t e n s i o n o f m u l
t i p l i e rm e t h o d s t o c o v e r t h e c a s e o f o n e -
s i d e d i n e q u a l i t y c o n -s t r a i n t s i s d u e t o
R o c k a f e l l a r [ R 2 , R 1 ] . T h e m e t h o d f o rt r e
a t i n g t w o - s i d e d i n e q u a l i t y c o n s t r a i n t
s b y u s i n g a s i n g l em u l t i p l i e r p e r c o n s t r
a i n t w a s g i v e n r e c e n t l y b y t h e a u t h o r[ B 8
, B 9 ] . A s i m i l a r a p p r o a c h h a s b e e n u s e d t o
c o n s t r u c ta p p r o x i m a t i o n a l g o r i t h m s f o
r n o n - d i f f e r e n t i a b l e o r i ll -c o n d i t i o n e
d o p t i m i z a t io n p r o b l e m s [ B 7 -1 0 , G 2 ]. A n u
m b e ro f a p p r o a c h e s o t h e r t h a n t h e o n e p r e
s e n t e d h e r e h a v e b e e ns u g g e s t e d f o r t r e a
t i n g i n e q u a l i t y c o n s t r a i n t s [ K 1 - 5 , M l
,M 2 , P 5 , S1 , A 1 ] . I n t h e s e a p p r o a c h e s , A u g
m e n t e dL a g r a n g i a n s s u i t a b l e f o r i n e q u a
l i t y c o n s t r a i n t s a r ei n t r o d u c e d d i re c t
ly . A n a l t e r n a t i v e a p p r o a c h w h i c ha t t e m p
t s t o i d e n t i f y t h o s e i n e q u a l i t y c o n s t r a
i n t s w h i c ha r e a c t i v e a t t h e o p t i m a l s o l u
t i o n a n d s u b s e q u e n t l y t r e a t st h e m a s e q u
a l i t y c o n s t r a i n t s d o e s n o t s e e m t o b e v e r
ys a t i s f a c t o r y .5 . M u h i p l i e r m e t h o d s f o r
c o n v e x p r o g r a m m i n g
T h e d e v e l o p m e n t s o f S e c t i o n s 2 a n d 3 r e
q u i r e s e c o n d -o r d e r s u f f ic i e n cy a s s u m p t
i o n s f o r p r o b l e m ( 1 ) b u t d o n o tr e q u i r e c o
n v e x i t y o f t h e o b j e c t i v e o r t h e c o n s t r a i
n tf u n c t io n s . F o r t h e c a s e o f a c on v e x p r o g
r a m m i n g p r o b l e mm u c h s t r o n g e r c o n v e rg e n
c e a n d r a t e o f c o n v e rg e n c er e s u l ts m a y b e o
b t a i n e d . C o n s i d e r t h e p r o b l e mm i n i m i z e
f ( x ) , I (35 )/u b j e c t t o x ~ X = R m , g l( x) < ~O . .
. . g ~ ( x )~ O .
F o r s i m p l i c i ty w e d o n o t c o n s i d e r ( a f fi
n e ) e q u a l i t y o r t w o -s i d e d c o n s t r a i n t s .
T h e r e s u l t s to b e p r e s e n t e d h a v e d i r e c te x
t e n s i o n s t o c a s e s w h e r e s u c h c o n s t r a i n t
s a r e p r e s e n t .A s s u m p t i o n ( C ) : T h e f u n c t
i o n s f , g x . . . . g , a r e r e a l -v a l u e d c o n v e x
f u n c t i o n s a n d t h e s e t X i s c l o s e d a n dc o n v
e x . F u r t h e r m o r e , p r o b l e m ( 3 5 ) h a s a n o n -
e m p t y a n d
c o m p a c t s e t o f o p t i m a l s o l u ti o n s X * a n d
a n o n - e m p t ya n d c o m p a c t s e t o f L a g r a n g e m
u l t i p l i e r v e c t o r s Y * , o rK u h n - T u c k e r v e
c t o r s a c c o r d i n g t o t h e d e f i n i t i o n o f [ R 7
] .C o n s i d e r i n a c c o r d a n c e w i t h t h e p r e v i
o u s s e c t i o n t h eA u g m e n t e d L a g r a n g i a n a s
in ( 28 ).1 rLc(X, y) = f (x )+ c j~=aP[Cgj(x) ,y q , (36 )
w h e r e p : R x R ~ R i s d e f i n e d b y) t t + q ~ ( t ) i
f A + ~ ' ( t ) ~> 0 ,
p ( t , A ) = m i n { h T + ~ ( t ) } i f A + q ~ ' ( t ) < 0
," r E R
a n d s a t is f ie s a s s u m p t i o n ( G ) . T h e m u l t
i p l i e r it e r a t i o n i sg i v e n b yy k + l = m a x { 0 ,
y k J + ~ ' [ c ~ g j (xk ) ]} , j = 1 . . . . r ,
( 37 )w h e r e x ~ i s a n y m i n i m i z i n g p o i n t O L
r k ( ' , Y k) o v e r t h ec o n s t r a i n t se t X . O n e m a
y s h o w t h a t u n d e r ( C ) f o r a n yy ~ R m w i t h f >
~ 0 , ] = 1 . . . , r , a n d c > 0 t h e r e e x i s t s u c hm
i n i m i z i n g p o i n t s o f L c ( ' , y ) [ K 2 , K 3 ] . T h
e f o l l o w i n gr e s ul t h a s b e e n p r o v e d b y K o r t
a n d t h e a u t h o r [ K 2 - 5 ] . Ar e l a t e d r e s u l t w
a s p r o v e d i n d e p e n d e n t l y b y R o c k a f e l l a
r
2[ R 3 ] f o r th e c a s e ~ ( t ) = t u n d e r s o m e w h a
t d i f f e r e n ta s s u m p t i o n s .Propos i t ion 4 : L e t
( C ) , ( G ) h o l d . T h e n f o r a n y s ta r t i n gp o i n t
y o u R m w i t h y oJ ~> 0 , j = 1 . . . . r , a n d a n y { c
k }b o u n d e d b e l o w b y a p o s i t i v e n u m b e r , a s
e q u e n c e {Y k}g e n e r a t e d b y i t e r a t i o n ( 3 7 )
s at i sf i es
l i m Il l Y k - - Y * I I I = 0 ,/--~CO
w h e r e Y * i s t h e s e t o f L a g r a n g e m u l t i p l
i e r v e c t o r s o fp r o b l e m ( 3 5 ) a n d III III i s g i
v e n f o r a l l y ~ R"' byI ll y - Y * I I I = rai n 11y - y *
[I-y* E Y*
N o t i c e t h a t t h e r e i s n o r e q u i r e m e n t t h
a t c k i s su f fi c ie n t lyl a r ge . F u r t h e r m o r e , c
o n v e r g e n c e is a t t a i n e d f o r a na r b i t r a r y s
t a r t i n g p o i n t Y0. O n e m a y a l s o p r o v e t h a t a
n yl i m i t p o i n t o f a g e n e r a t e d s e q u e n c e {Xk)
i s a n o p t i m a ls o l u t i o n o f p r o b l e m ( 3 5 ). R o
c k a f e l l a r J R 3 ] h a s a l s o p r o v e dt h e r e m a r
k a b l e f a c t t h a t f o r q ~ (t ) = t2 the s equ enc e
{y~,~c o n v e r g e s t o s o m e L a g r a n g e m u l t i p l i
e r v e c t o r f i , e v e nt h o u g h Y * m a y c o n t a i n m
o r e t h a n o n e p o in t . A s im i l a rr e s u l t i s n o t
a v a i l a b l e f o r q~ n o n q u a d r a t i c .W e a l s o n o
t e t h a t t h e i t e r a t i o n ( 3 7 ) h a s a n i n t e r e s
t i n gg e o m e t r i c a l i n t e r p r e t a t i o n i n d u a
l s p a c e a s a p r o x i m a t i o na l g o r i t h m a s s h o
w n i n J R 3 ] fo r ~ ( t ) = .~ t2 a n d [ K 3 - 5 ] f o rt h e m
o r e g e n e r a l c a s e .C o n c e r n i n g t h e r a t e o f
c o n v e r g e n c e o f it e r a t i o n ( 3 7 )t h e f o l l o w
i n g r e s u l t i s g i v e n i n [ K 2 ] a n d a w e a k e r v e
r s i o ni s g i v e n i n [ K 3 , K 4 ] .
Propos i t ion 5 : L e t ( C ) , ( G ) h o l d a n d a s s u m e
:( a ) t h e r e e x i s t s c a l a r s 3 4 2 >1 M t > 0 a n
d p > 1 s u c h t h a t f o r
s o m e n e i g h b o r h o o d N O o f t h e o r i gi nM l [ t
l - l < ~ l ~ ' ( t ) l < ~ M 2 l t l - l, v t e g o ; ( 3 8
)( b ) t h e r e e x i s t s c a l a r s $ > 0 , 7 > 0 , a
> 1 s u c h t h a t t h e d u a lf u n c t i o n a l d e f i n e
d b y
qo(Y) =i n f f ( x ) + y g j ( x ) i f y ~ > 0 ,
x E X ~ ' = j = l , . . . , m ,o t h e r w i s e ( 3 9 )
s a t i s f i e sq o ( Y ) - m a x q o ( Y )
-
8/3/2019 Multiplier Methods Paper
9/13
M u l t i p l i e r m e t h o d s : a s u r v e y 1 4 1w e h a v
e , b y c o n s i d e r i n g t h e e q u i v a l e n t c o n v e x
p r o g r a m m -i n g p r o b l e m m i n { x 2 I x > ~ 0 } , a
= 2 a n d p = ~ a n d t h eo r d e r 2 c o n v e r g e n c e i s e
x p l a i n e d b y t h e a b o v e p r o p o s i t i o n .I n E x
a m p l e 2 w e h a v e a = t a n d p = 2 a n d t h e s u p e d i n
e a rc o n v e r g e n c e is a g a i n e x p l a in e d . I n l i
n e a r p r o g r a m m i n gp r o b l e m s , w h e r e a m a y b
e t a k e n a r b i t r a r i l y l a rg e , t h e o r d e ro f c o
n v e r g e n c e i s i n f i n i t y . T h i s i s c o n s i s t e
n t w i t h a r e s u l t o f[ B 6 ] w h i c h s h o w s t h a t f
o r p o l y h e d r a l c o n v e x p r o g r a m s a n dw h e n ~
( t ) = t 2 t h e m e t h o d o f m u l t i p l i e r s c o n v e r
g e s i n af i n it e n u m b e r o f i t e r a ti o n s .O n e m a
y s h o w t h a t i f p = a = 2 i n (3 8 ) a n d ( 4 0 ) , a s f o
re x a m p l e w h e n ( S ) a n d ( Q ) h o l d , t h e c o n v e
r g e n c e r a t e o f(1 11 y ~ - Y * I I I} i s a t l e a s t l i
n e a r as s h o w n i n I K 2 ] . W h e n( p - 1 ) - 1 ( a - 1 ) -
I < 1 t h e c o n v e r g e n c e r a t e m a y b e s u b l i n
e a ra s s h o w n i n E x a m p l e 1 o f S e c t i o n 3. I n a n
y c a s e, h o w e v e r ,t h e c o n v e r g e n c e r a t e o f m
e t h o d s o f m u l t i p l i e r s i s m u c hm o r e f a v o r
a b l e t h a n t h e o n e o f t h e c o r r e s p o n d i n g p e
n a lt ym e t h o d s w h e r e Lc~(x, 0 ) i s m i n i m i z e d f
o r a s e q u e n c ec ~ ~ o o , i . e. y ~ = 0 , V k . T h i s i s
s h o w n i n [ K 2 ] w h e r e a ne s t i m a t e o n t h e c o n
v e r g e n c e r a t e o f s u c h p e n a l t y m e t h o d s i
sd e r i v e d . G i v e n t h a t m u l t i p l i e r m e t h o d
s u n d e r ( C ) a r ec o n v e r g e n t f o r a n a r b i t r a
r y n o n - d e c r e a s i n g p e n a l t yp a r a m e t e r s e
q u e n c e , t h e i r a d v a n t a g e s o v e r p e n a l t ym
e t h o d s a r e o v e r w h e l m i n g w h e n t h e p r o b l e
m i s c o n v ex .6 . In e x a c t mi n i mi za t i o n - -v a r i
a t i o n s o f mu l t i p l i e r me t h o d s
T h e m e t h o d s d e s c r i b e d in p r e v i o u s s e c t
io n s m a y b ev i e w e d a s t h e b a s i c m u l t i p l i e r
it e r a t i o n s . A s i s f r e q u e n t l yt h e c a s e in c
o n s t r a i n e d m i n i m i z a t i o n m e t h o d s i t is p
o s s ib l et o i n t r o d u c e a n u m b e r o f v a r i a t i o
n s a n d m o d i f i c at i o n sw h i c h a r e a i m e d a t i m
p r o v i n g c o m p u t a t i o n a l e f fi ci e nc y .T h e r e
i s a p l e t h o r a o f s u c h m o d i f i c a t i o n s o f m u
l t i p l i e rm e t h o d s a s w e l l a s o t h e r r e l a t e
d m e t h o d s a n d i n t h i ss e c t i o n w e m a k e a n a t
t e m p t t o c l as s if y t h e m i n t h r e e b r o a dc a t e
g o r i e s .( a ) Me t h o d s w i t h i n e x a c t mi n i mi za
t i o n s . T h e s e m e t h o d sa r e c h a r a c t e r i z e d
b y t h e f a c t t h a t t h e m i n i m i z a t i o n o f t h eA
u g m e n t e d L a g r a n g i a n ( 1 1 ) i s n o t c a r r i e d
o u t e x a c t l y b u to n l y a pp r o x i m a t e ly . T h e u
n c o n s t r a i n e d m i n i m i z a t i o np r o c e s s i s t
e r m i n a t e d a s s o o n a s s o m e s t o p p i n g c r i t e
r i o n i ss a ti s f ie d . T h e s t o p p i n g c r i t e r i o
n b e c o m e s m o r e s t r i n g e n ta f t e r e v e r y m u l
t i p l i e r i t e r a t i o n s o t h a t m i n i m i z a t i o n
i sa s y m p t o t i c a l l y e x a c t.C o n s i d e r f o r c o
n v e n i e n c e t h e c a s e o f e q u a l it y c o n s t r a i
n t so n l y a n d a q u a d r a t i c p e n a l t y ~ ( t ) = t 2.
T h e m o s tn a t u r a l p o s s i b i li t y is t o t e r m i n
a t e t h e k t h u n c o n s t r a i n e dm i n i m i z a t i o n
w h e n a p o i n t x ~ i s f o u n d s a t i sf y i n g
I I V Z c ~ ( x ~ , Yk) I I
-
8/3/2019 Multiplier Methods Paper
10/13
142 DIMITRI P . BERTS EK ASg e n e r a l l o c a l c o n v e r g
e n c e r e s u l t d u e t o B u y s ( [ B l l ] ,T h e o r e m 4
. 9) , w h i c h g u a r a n t e e s c o n v e r g e n c e p r o v
i d e d t h es t a r t i n g p o i n t Y 0 i s s u f f i c ie n t l
y c lo s e t o )7 . S o m e r a t e o fc o n v e r g e n c e a n a
l y s i s f o r a Q u a s i - N e w t o n i t e r a t i o n o f t h
ef o r m ( 4 8 ) w a s a l s o g i v e n r e c e n t l y i n [ H 3
]. W e o f f er b e l o w an e w g l o b a l c o n v e r g e n c e
r e s u l t f o r t h e c a s e o f N e w t o n ' sm e t h o d w h
e r e G ~ . = I V2 q c o ' k ) ] - 1 i n ( 4 8 ) a n d t h e H e s
s i a nm a t r i x V 2 q e i s g i v e n b y ( 4 9 ) . T h e r e s
u l t i s g i v e n f o r~ ( t ) = tL A r e l a t e d r e s u l t m
a y b e p r o v e d f o r a g e n e r a le s s e n t ia l l y q u a
d r a t i c p e n a l t y f u n c t i o n . T h e p r o o f fo l l
o w si n a s i m p l e m a n n e r f r o m t h e a n a l y s i s o
f [ B 1 ] a n d [ B 3 ].
Pro p o s i t i o n 6 : L e t t h e a s s u m p t i o n s o f P
r o p o s i t i o n 1 h o l d ,a n d a s s u m e ~ ( t ) = tL F o r
a n y g i v e n b o u n d e d s e tY ~ R m l e t c * a n d x (y , c
) b e a s i n P r o p o s i t i o n 1 . T h e n t h e r ee x i s t
s a s c a l a r M s u c h t h a t
" I I y - P l I ~ V c > c * , y e Y ,I l P ( y , c ) - 2 l l
<
-
8/3/2019 Multiplier Methods Paper
11/13
M u l t i p l i e r m e t h o d s " a s u r v e y 1 43S e v e r
a l m e t h o d s o f t h e L a g r a n g i a n t y p e h a v e b e
e np r o p o s e d b y M i e l e a n d h i s a s s o c i a t e s [
M 5 - 8 ] f o r t h e c a s e o fe q u a l i t y c o n s t r a i n
t s o n l y . T h e s e m e t h o d s a r e s e e k i n gs a d d l
e p o i n t s o f a L a g r a n g i a n f u n c t i o n t o w h i c
h a q u a d r a t i cp e n a l t y te r m h a s b e e n a d d e d .
F o r n o n e o f t h e s e m e t h o d st h e r e e x i s t s y e
t a c o n v e r g e n c e o r r a t e o f c o n v e r g e n c ea n
a l y s i s a l t h o u g h s o m e l o c a l c o n v e r g e n c e
r e s u lt s c a n b ei n f e r r e d u s i n g k n o w n r e s u l
t s f o r L a g r a n g l a n m e t h o d s , s e e
e . g . [P 6] . A w i d e c la s s o f L a g r a n g l a n m e t
h o d s h a s a l s ob e e n p r o p o s e d a n d r i g o r o u s
l y a n a l y z e d b y M a n g a s a r i a n[ M 1 , 2 ]. T h e s e
m e t h o d s a r e a p p l i c a b l e t o i n e q u a l i t yc o
n s t r a i n t s a s w e l l , a n d d o n o t r e q u i r e p o s
i t i v i t y c o n -s t r a i n t s o n t h e c o r r e s p o n d
i n g L a g r a n g e m u l t i p l i e r s .F u r t h e r m o r e
, t h e r e l a te d L a g r a n g i a n f u n c t io n s h a v e s
t r o n gd i f f e r en t i ab i l i t y p r oper t i e s .A d i f
f e re n t ty p e o f m e t h o d h a s b e e n p r o p o s e d b
yF l e t c h e r I F 2 ] b a s e d o n t h e o b s e r v a t i o n
t h a t t h e p r o b l e mm i n f ( x ) (50)
M x ~ O
m a y b e s o l v e d b y s o l v i n gm in f ( x ) - h ( x ) '
N + V f ( x ) + c h ( x )' O h (x ) , (51)
x
w h e r e t h e m x n m a t r i x N + is g i v e n b yN + = [ Vh
( x ) Vh ( x ) ' ] - x Vh( x ) . ( 52 )
T h e p e n a l t y p a r a m e t e r c is s u f fi c ie n t ly
l a rg e a n d Q i s ap o s i t i v e d e f i n i te m a t r ix , p
e r h a p s d e p e n d i n g o n x . I n t h isw a y a s i n g l e
m i n i m i z a t i o n i s r e q u i r e d t o s o l v e t h e p r
o b l e ma s o p p o s e d t o a s e q u e n c e o f m i n i m i z
a t i o n s r e q u i r e d i n t h em u l t i p l i e r m e t h o
d . T h e v e c t o r- - N + V f ( x )
m a y b e v i e w e d a s a n e s t i m a t e o f t h e L a g r
a n g e m u l t i p l i e r o ft h e p r o b l e m , a s i n ( 4 7
) , a n d t h u s ( 5 1 ) m a y b e v i e w e d a sm i n i m i z a
t i o n o f a n A u g m e n t e d L a g r a n g l a n w h e r e t h
em u l t i p l i e r v e c t o r is n o t c o n s t a n t b u t r a
t h e r c o n t i n u o u s l yd e p e n d s o n t h e v a l u e o
f x . F l e t c h e r h a s p r o p o s e d s e v e r a lp o s s i
b l e i m p l e m e n t a t i o n s o f h i s i d e a s [ F 2 - 4 ]
a n d h a sp r o v i d e d r e l a t e d c o n v e r g e n c e a n
d r a t e o f c o n v e r g e n c ea n a l y s i s. I n p a r t i c
u l a r h e h a s p r o v i d e d I F 4 ] s u p e r l in e a r l yc
o n v e r g e n t a l g o r i t h m s f o r s o l v i n g p r o b l
e m ( 5 1 ) w h i c he m p l o y o n l y s e c o n d d e r i va t i
ve s o f t h e f un c t i o n s f a n d h , a so p p o s e d t o t
h i r d d e r i v at i v es t h a t N e w t o n ' s m e t h o d r e
q u i r e s.A r e l a t e d a l g o r i t h m w h i c h i n c o r p
o r a t e s a n a u t o m a t i cs c h e m e f o r a d j u s t i n
g t h e p e n a l t y p a r a m e t e r h a s b e e np r o p o s e
d a n d a n a l y z e d r e ce n t ly b y M u k a i a n d P o l a k
[ M 9 ] .T w o d r a w b a c k s o f m e t h o d s b a s e d o n F
l e t c h e r 's i d e as a r et h e l a c k o f a pr ior i k n o w
l e d g e o f a s u i t a b l e ra n g e f o r t h ep e n a l t y p
a r a m e t e r , a l t h o u g h t h e i m p l e m e n t a t i o n
o f [ M 9 ]a l l e v i a te s s o m e w h a t t h i s d i s a d v a
n t a g e , a n d t h e n e e d t oc o m p u t e t h e m a t r i x
N + o f ( 52 ) a t e a c h f u n c t i o n e v a l u a -t i o n - a
n e x p e n s iv e o p e r a t i o n w h e n t h e n u m b e r o f
c o n -s t r a i n t e q u a t i o n s i s l a r g e . I n a d d i
t i o n a s a t i s f a c t o r y w a y t oh a n d l e i n e q u a
l i t y c o n s t r a i n t s d i r e c t l y h a s n o t a s y e t
b e e nes t ab l i shed .7. Infin ite dimensional proble ms
T h e m i n i m i z a t i o n p r o b l e m s c o n s i d e r e
d t h u s f a r a r ed e f i n e d o v e r a f i n i t e d i m e n
s i o n a l s p a c e a n d t h e r e i s a f i n i ten u m b e r o
f e q u a l i ty a n d i n e q u a l i t y c o n s t ra i n ts . F
o r s u c hp r o b l e m s t h e c o n v e r g e n c e a n a l y s
i s h a s re a c h e d t o d a t e af a i r ly s a t i s fy i n g s
t a g e o f d e v e l o p m e n t . T h i s i s n o t a s y e t t h
ec a s e f o r i n f i n i t e d i m e n s i o n a l p r o b l e m
s s u c h a s t h o s ea p p e a r i n g i n c o n ti n u o u s t i
m e o p t i m a l c o n t ro l . T h e r e h a v eb e e n , h o w e
v e r , s o m e a d v a n c e s i n t h i s a r e a . C o n s i d e
rth r ee , poss ib ly i n f in i t e d imens iona l , l i nea r
spaces S , S x , S na n d t h e p r o b l e mm a x i m i z e f ( x
) , / (53)sub jec t t o x ~ X , h (x ) = O , g (x )
-
8/3/2019 Multiplier Methods Paper
12/13
144 DIMITRI P. BERTSEKASresearch will undoubtedly provide new
insights and willbroaden the scope of appli cation of primal-dual
iterationsin constrained optimization and possibly in other
areassuch as, for example, approximation.
References[A1] K. J. ARROW, F. J. GOULD and S. M. HOWE: A
general saddle point result for constrained optimiza-tion. Inst.
of Statistics Mimeo Ser. No. 774, Univ. ofNorth Carolina, Chapel
Hill, NC (1971). AlsoMathematical Programming 5, 225-234
(1973).[A2] K. J. ARROW, L. HURWICZand H. UZAWA:Studies inLinear
and Nonlinear Programming. StanfordUniversity Press, CA (1958).[B 1
D. P. BERTSEKAS:On penal ty and multiplier methods.Dept. of
Engng--Eco nomicSystems Working Paper,Stanford Univ., Standford, CA
(1973) SIAM J.Control 14 (1976).[B2] D. P. BERTSEKAS: Convergence
rate of penalty an dmultiplier methods. Proc. 197 3 1EEL Conf.
onDecision and Control, pp. 260-264, San Diego, CA.[B3] D. P.
BERTSEKAS:On penalty and multiplier methodsfor constrained
minimization. I n Nonlinear Program-
