Resume d’Optimisation

MI5 Master Pro 1ere annee

Jean-Pol Guillement

Departement de Mathematiques

Nantes 2010/2011

2

Table des matieres

Introduction 5

1 Rappels 71.1 Notations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71.2 Formules de Taylor . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71.3 Condition d’ordre 1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7

1.3.1 Equation d’Euler . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71.4 Conditions d’ordre 2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7

1.4.1 Condition de Legendre . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71.4.2 Condition suffisante . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8

1.5 Extrema lies, multiplicateurs de Lagrange . . . . . . . . . . . . . . . . . . . . . . . . . 8

2 Programmation lineaire 92.1 Generalites . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92.2 Probleme sous forme standard . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92.3 Caracterisation des sommets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92.4 Methode du simplexe . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9

3 Programmation en dimension 1 113.1 Generalites . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113.2 Methode de Newton . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113.3 Interpolation quadratique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113.4 Methode par decoupage . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11

4 Prise en compte de la convexite 134.1 Condition necessaire de minimum sur un convexe . . . . . . . . . . . . . . . . . . . . . 134.2 Caracterisation des fonctions convexes derivables . . . . . . . . . . . . . . . . . . . . . 134.3 Minimum des fonctions convexes sur un convexe . . . . . . . . . . . . . . . . . . . . . 134.4 Fonctions coercives . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144.5 Notation : probleme (P ) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144.6 Existence de minimum . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144.7 Fonctionnelles elliptiques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144.8 Caracterisation des fonctionnelles elliptiques . . . . . . . . . . . . . . . . . . . . . . . . 144.9 Minimum des fonctions elliptiques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144.10 Fonctionnelles quadratiques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 154.11 Resolution des systemes lineaires au sens des moindres carres . . . . . . . . . . . . . . 154.12 Projection sur un convexe ferme non vide . . . . . . . . . . . . . . . . . . . . . . . . . 15

5 Optimisation sans contrainte 175.1 Methodes de descente . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17

5.1.1 Methode de la relaxation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 175.1.2 Methode de la plus profonde descente (methode du gradient) . . . . . . . . . . 17

5.2 Methode de Newton . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185.3 Methode de la metrique variable . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185.4 Methode du gradient conjugue . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18

5.4.1 Cas des fonctionnelles quadratiques . . . . . . . . . . . . . . . . . . . . . . . . . 195.4.2 Cas des fonctionnelles non quadratiques . . . . . . . . . . . . . . . . . . . . . . 19

4 TABLE DES MATIERES

6 Optimisation avec contraintes 216.1 Relations de Kuhn-Tucker . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21

6.1.1 Cas des contraintes non convexes . . . . . . . . . . . . . . . . . . . . . . . . . . 216.1.2 Cas des contraintes convexes . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21

6.2 Interpretation des relations de Kuhn-Tucker . . . . . . . . . . . . . . . . . . . . . . . . 226.3 Point-selles . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 236.4 Lagrangien . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 236.5 Point-selle du Lagrangien et solution du probleme (P ) . . . . . . . . . . . . . . . . . . 236.6 Probleme dual du probleme (P ) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 236.7 Methode d’Uzawa . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23

6.7.1 Demarche . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 246.7.2 Calcul de λk+1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 246.7.3 Calcul de ∇Gλk

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 246.7.4 Condition suffisante de convergence de la methode d’Uzawa . . . . . . . . . . . 24

Bibliographie 24

Introduction

Ceci un resume des principaux resultats du cours d’optimisation. Il est autorise aux controles.

6 Introduction

Chapitre 1

Rappels

1.1 Notations

Si f est une fonction reguliere de E = Rn → R, on note sa derivee en x0 par f ′x0ou f ′(x0)(∈ L(E,R)),

sa derivee seconde en x0 par f ′′x0ou f ′′(x0)(∈ B(E,R)), son gradient en x0 par ∇fx0 ou ∇f(x0)(∈ E),

sa matrice hessienne par ∇2fx0 . La matrice Hessienne peut etre vue comme une matrice symetriquen× n, comme un operateur lineaire de E dans E ou comme une forme bilineaire symetrique sur E.

1.2 Formules de Taylor

([3, p.151-146])Les formules de Taylor different selon l’ordre, l’ecriture du reste, l’utilisation des derivees ou dugradient et de la matrice Hessienne. En voici deux exemples :Si f est deux fois derivable on a :

f(x0 + h) = f(x0) + f ′(x0)h+12f”(x0)(h, h) + ε(h)‖h‖2.

Si f est de classe C2 on a :

f(x0 + h) = f(x0) + ht.∇fx0 +12ht.∇2fx0 .h+

∫ 1

0

(1− t)ht.∇2f(x0 + th).h dt

1.3 Condition d’ordre 1

1.3.1 Equation d’Euler

([3, p.146])Soit Ω un ouvert de E et soit f : Ω→ R. Si f admet un extremum local en x∗ ∈ Ω et si f est derivableen x∗ alors(equation d’Euler)

f ′(x∗) = 0

1.4 Conditions d’ordre 2

1.4.1 Condition de Legendre

([3, p.152])Soit Ω un ouvert de E et soit f : Ω → R. Si f admet un minimum local en x∗ ∈ Ω et si f est deuxfois derivable en x∗ alors(condition de Legendre)

f”(x∗) est une forme bilineaire symetrique positive.

8 Rappels

1.4.2 Condition suffisante

([3, p.152])Soit Ω un ouvert de E et soit f = Ω→ R. Si f est deux fois derivable sur Ω, si f ′(x∗) = 0 et si f”(x)est positive dans un voisinage de x∗ ∈ Ω, alors f a un minimum local en x∗.

1.5 Extrema lies, multiplicateurs de Lagrange

([3, p.148])Soit Ω un ouvert de E, soit f : Ω→ R, soient ϕi : Ω→ R, i = 1, ..,m.On suppose que les ϕi ∈ C1(Ω).Soit x∗ ∈ K = x ∈ Ω, ϕi(x) = 0, i = 1...m tel que les derivees ϕ′i(x

∗) soient lineairementindependantes (dans L(E,R)) et tel que f soit derivable en x∗.Alors si f admet un extremum local relativement a K en x∗, il existe λ1, ..., λm uniques (multiplicateursde Lagrange) tels que

∇f(x∗) + λ1∇ϕ1(x∗) + ...+ λm∇ϕm(x∗) = 0

Chapitre 2

Programmation lineaire

Pas enseigne cette annee. (Voir [3], [5], [7], [9]).

2.1 Generalites

2.2 Probleme sous forme standard

2.3 Caracterisation des sommets

2.4 Methode du simplexe

10 Programmation lineaire

Chapitre 3

Programmation en dimension 1

3.1 Generalites

3.2 Methode de Newton

3.3 Interpolation quadratique

3.4 Methode par decoupage

12 Programmation en dimension 1

Chapitre 4

Prise en compte de la convexite

4.1 Condition necessaire de minimum sur un convexe

([3, p.153])Soit K un convexe dans Ω ouvert de E. Soit f : Ω→ R.Si f admet un minimum relativement a K en x∗, et si f est derivable en x∗ alors(Inequation d’Euler)

f ′(x∗)(x− x∗) ≥ 0 ∀x ∈ K

4.2 Caracterisation des fonctions convexes derivables

([3, p.154-155]))Soit K un convexe dans Ω ouvert de E. Soit f : Ω→ R derivable sur Ω.

1. f est convexe sur K si et seulement si

f(x) ≥ f(x0) + f ′(x0)(x− x0) ∀x, x0 ∈ K

2. f est strictement convexe sur K si et seulement si

f(x) > f(x0) + f ′(x0)(x− x0) ∀x, x0 ∈ K, x 6= x0

3. On suppose que f est deux fois derivable dans Ω. Alors f est convexe sur K si et seulement si

f”(x)(y − x, y − x) ≥ 0, ∀x, y ∈ K

4. On suppose que f est deux fois derivable dans Ω. Si

f”(x)(y − x, y − x) > 0, ∀x, y ∈ K,x 6= y

alors f est strictement convexe sur K.

4.3 Minimum des fonctions convexes sur un convexe

([3, p.156-175])Soit K un convexe dans Ω ouvert de E, soit f : Ω→ R convexe sur K.

1. Si f admet un minimum local en x∗ ∈ K, relativement a K, ce minimum est un minimum global.2. Si f est strictement convexe sur K, f admet au plus un minimum local relativement a K (qui

est aussi un minimum strict et global)3. Si f est derivable en x∗ ∈ K, alors f admet un minimum par rapport a K en x∗ si et seulement

si(Inequation d’Euler)

f ′(x∗)(x− x∗) ≥ 0 ∀x ∈ K

ou, en terme de gradient(−∇fx∗ , x− x∗) ≤ 0, ∀x ∈ K.

14 Prise en compte de la convexite

4. Si K est un sous espace vectoriel l’inequation d’Euler est equivalente a

f ′(x∗)(x) = 0, ∀x ∈ K.

ou, en terme de gradient∇fx∗ ⊥ K

5. Si K est ouvert, l’inequation d’Euler est equivalente a la condition d’Euler

f ′(x∗) = 0

4.4 Fonctions coercives

([3, p.175])Une fonction f : E → R, est dite coercive si lim

‖x‖→∞f(x) = +∞

4.5 Notation : probleme (P )

Dans la suite, quand on parle du probleme (P ), il s’agit de la recherche de x∗ tel que

(P )

f(x∗) = inf

x∈K⊂Ef(x)

x∗ ∈ K

4.6 Existence de minimum

([3, p. 175])

1. Si K est un ferme borne non vide de E, si f est continue alors le probleme (P ) a au moins unesolution.

2. Si K est ferme non borne de E, si f est continue et coercive, alors le probleme (P ) a au moinsune solution.

3. Si K est un convexe ferme non vide de E, si f est continue, coercive, strictement convexe surK, alors le probleme (P ) a une solution et une seule.

4.7 Fonctionnelles elliptiques

([3, p. 183])Une fonction f : E → R, de classe C1 est dite elliptique s’il existe α > 0 tel que

(∇fx −∇fy, x− y) ≥ α‖x− y‖2 ∀x, y ∈ E

4.8 Caracterisation des fonctionnelles elliptiques

Une fonction f : E → R, deux fois derivable, est elliptique si et seulement si il existe α > 0 tel que

(∇2fx0 x, x) ≥ α‖x‖2, ∀x, x0 ∈ E

4.9 Minimum des fonctions elliptiques

Soit K est un convexe ferme non vide de E et f : E → R elliptique.

1. f est strictement convexe, coercive, et verifie

f(x)− f(x0) ≥ (∇fx0, x− x0) +α

2‖x− x0‖2 ∀x, x0 ∈ E

2. Le probleme (P ) a une solution et une seule.

4.10 Fonctionnelles quadratiques 15

3. x∗ ∈ K est solution de (P ) si et seulement si(Inequation d’Euler)

(−∇fx∗ , x− x∗) ≤ 0, ∀x ∈ K.

4. On suppose que K = E. Alors x∗ est solution de (P ) si et seulement si

∇fx∗ = 0

4.10 Fonctionnelles quadratiques

Ce sont les fonctions de la forme

f(x) =12

(Ax, x)− (b, x) + c

A etant un matrice symetrique (operateur de E → E), b ∈ E, c ∈ R.Elles sont de classe C∞, ∇f = Ax− b, ∇2f = A.Elles sont elliptiques si et seulement si la plus petite valeur propre de A est > 0 et dans ce cas, siK = E, le probleme (P ) a une solution et une seule, qui est aussi la solution de Ax = b.

4.11 Resolution des systemes lineaires au sens des moindrescarres

M est une matrice a m lignes et n colonnes, v ∈ Rm.Il s’agit de trouver x∗ ∈ E tel que ‖Mx− v‖2 soit minimal, ou encore de resoudre le probleme

(P ) f(x∗) = infx∈E

f(x)

avec f(x) = 12‖Mx− v‖2 − 1

2‖v‖2.

f se met sous la forme d’une fonctionnelle quadratique avec A = M tM, et b = M tv.Le probleme (P ) a au moins une solution. Ses solutions sont caracterisees par(Equations normales)

M tMx∗ = M tv

Si le rang de M est n, le probleme (P ) a une solution et une seule.

La solution peut se calculer par resolution du systeme triangulaire

Rx = PQtv

ou Q et R sont les matrices de la decomposition QR de la matrice M , M = QR, et P la projectionde Rm sur Rn × 0m−n.

4.12 Projection sur un convexe ferme non vide

Soit K un convexe ferme non vide de E. Soit x ∈ E.Il existe Px ∈ K, unique, tel que d(x,K) = ‖x− Px‖. La projection Px est caracterisee par

(x− Px, y − Px) ≤ 0, ∀y ∈ K.

L’application x → Px est contractante

‖Px − Py‖ ≤ ‖x− y‖

16 Prise en compte de la convexite

Chapitre 5

Optimisation sans contrainte

Il s’agit de resoudre numeriquement le probleme (P )

(P )

trouver x∗ ∈ E = Rnf(x∗) = inf

x∈Ef(x)

Les algorithmes operent generalement pour des fonctionnelles assez generales, mais la convergence(theorique) n’est assuree que pour des fonctionnelles de classe C1 ou C2, convexes ou elliptiques.Les solutions de (P ) etant aussi solution de ∇fx∗ = 0, les algorithmes peuvent se voir comme desalgorithmes de resolution de cette equation.

5.1 Methodes de descente

Elles sont iteratives. Pour passer de uk a uk+1, on se donne une direction de descente dk et on minimisef le long de cette direction, c’est-a-dire que l’on cherche ρk tel que f(uk + ρkdk) = inf

ρ∈Rf(uk + ρdk). A

defaut d’un tel ρk on peut se contenter d’avoir f(uk + ρkdk) < f(uk).

5.1.1 Methode de la relaxation

([3, p. 185])On descend de facon cyclique le long de chacun des axes de coordonnees.La convergence est assuree si f est elliptique.

Note

Si f est une fonctionnelle quadratique f(x) =12

(Ax, x) − (b, x) dont la matrice A est symetriquedefinie positive, la methode de la relaxation converge et ses iterations sont identiques a celles de lamethode de Gauss-Seidel pour la resolution de l’equation Ax = b.

5.1.2 Methode de la plus profonde descente (methode du gradient)

La direction choisie est −∇fukqui correspond a la direction de plus grande decroissance de f. On

peut en effet ecrire :f(x)− f(x0) = (∇fx0 , x− x0) + ε(x)‖x− x0‖

et remarquer qu’a ‖x− x0‖ constant, (∇fx0 , x− x0) est minimal pour x− x0 = −t∇fx0 , t > 0.

Description

On part de u0 quelconque. Connaissant uk, on calcule ∇fuket uk+1 = uk − ρk∇fuk

avec ρk solutionde f(uk − ρk∇fuk

) = infρ

(uk − ρ∇fuk). En principe on trouve ρk > 0.

18 Optimisation sans contrainte

Condition suffisante de convergence

([3, p. 188])Si f : E → R est elliptique, la methode de la plus profonde descente est convergente.

Remarque

Cette methode ne peut pas etre optimale car le cheminement des uk est celui d’une ligne brisee faisantdes angles droits. En effet, deux gradients consecutifs sont orthogonaux car uk+1 correspondant auminimum de f(uk−ρ∇fuk

), la derivee de f dans cette direction s’annule en uk+1. Et donc le gradientde f en uk+1 lui est orthogonal.

5.2 Methode de Newton

Si f est une fonction reguliere dont on sait calculer le gradient et la matrice hessienne, on peut tirerpartie du fait qu’en un point uk, f est localement voisine de son developpement de Taylor quadratique,c’est-a-dire que

f(uk + d) ' f(uk) + dt.∇fuk+

12dt.∇2fuk

.d

Si en plus, ∇2fukest definie positive, l’approximation quadratique a un minimum qui verifie

∇2fukdk = −∇fuk

Ceci permet de calculer la direction de descente dk et de definir l’iteration par

uk+1 = uk + dk

On demontre, comme pour la methode de Newton pour la resolution des equations ϕ(x) = 0, que sile point de depart u0 est assez voisin de x∗, et si ∇2f est definie positive, alors la methode convergevers x∗, et ceci de facon quadratique.Si∇2f n’est pas definie positive, cette methode supporte certains amenagements (methode de Newton modifiee,[5, p. 106]).Quand le calcul de ∇2f ne peut etre fait, on peut aussi remplacer ∇2fuk

dans l’approximation deTaylor par une matrice Hk qui se calcule iterativement (methode de quasi Newton , [5, p. 116])

Remarque

Cette methode est penalisante pour les grands systemes du fait de la necessite de calculer ∇2f , de lastocker, et de resoudre le systeme

∇2fukdk = −∇fuk

5.3 Methode de la metrique variable

- On peut facilement observer que si f(x) = 12‖x‖

2−(b, x), la methode de la plus profonde descenteconverge en une seule iteration.

- Qu’il en est de meme si f est la fonctionnelle quadratique f(x) =12

(Ax, x)−(b, x) ; a la condition

de remplacer la metrique ‖x‖2 par ‖|x‖|2 = ((x, x)) = (Ax, x).- L’idee de la metrique variable, appliquee a une fonctionnelle non necessairement quadratique,

consiste lors de chaque iteration de la plus profonde descente a choisir une metrique definie parla matrice hessienne de la fonctionnelle, permettant une acceleration de la convergence. Mais ily a un prix a payer. Le calcul du gradient necessite la connaissance d’une base orthogonale ; onpeut l’obtenir par exemple par orthogonalisation de Grahm-Schmidt.

La methode du gradient conjugue reprend cette idee.

5.4 Methode du gradient conjugue

([3, p. 194][5, p. 144])Cette methode presente, sur la methode de Newton, l’avantage de ne pas necessiter le calcul de ∇2f ,et sur la methode de la plus profonde descente, celui de definir des directions de descente successivescoherentes.

5.4 Methode du gradient conjugue 19

5.4.1 Cas des fonctionnelles quadratiques

f(x) =12

(Ax, x)− (b, x), A etant symetrique definie positive.

Description generale

On part de u0 quelconque. On suppose qu’a l’etape k, on a calcule u1, . . . , uk tels que ∇ful6= 0, l =

0, . . . , k. (sinon on a trouve la solution de ∇fx∗ = Ax∗ − b = 0). On pose

Gk = [∇fu0 , ...,∇fuk].

On definit uk+1 comme le minimum de la restriction de f a uk + Gk. Ce uk+1 existe, est unique. Ilse trouve qu’il correspond au minimum de f dans une direction calculable dk. Les directions dk sontconjuguees par rapport a la matrice A ((Adk, dl) = 0 ). Tout se calcule par des formules iterativeseconomiques, sans resolution de systeme lineaire. A chaque etape, Gk s’accroıt d’une dimension. Aubout d’au plus n iterations, la solution est theoriquement trouvee. Numeriquement, avec les erreursd’arrondi, cela peut etre different.

Formules d’iterations

On part de u0 quelconque. On pose d0 = ∇f(u0).Si d0 = 0, c’est termine, on a x∗ = u0.Sinon on pose

ρ0 =(∇fu0 , d0)(Ad0, d0)

etu1 = u0 − ρ0d0.

De facon generale, si u1, d1, . . . , uk, dk sont calcules, alors ou bien ∇f(uk) = 0, et alors c’est termine,x∗ = uk, ou alors on pose :

dk = ∇fuk+ ‖∇fuk

‖2

‖∇fuk−1‖2dk−1

ρk = (∇fuk,dk)

(Adk,dk)

uk+1 = uk − ρkdk

5.4.2 Cas des fonctionnelles non quadratiques

([3, p. 200][5, p. 147])Le minimum de f sur le sous-espace uk + Gk ne peut plus etre donne par une formule simple. Oncalcule dk comme precedemment ou selon une variante (Polak-Ribiere)

dk = ∇fuk+

(∇fuk,∇fuk

−∇fuk−1)‖∇fuk−1‖2

dk−1

et on obtient ρk en optimisant numeriquement

ρ→ f(uk − ρdk)

La methode ne converge plus en un nombre fini d’iterations.

20 Optimisation sans contrainte

Chapitre 6

Optimisation avec contraintes

La difficulte du probleme depend de la nature des contraintes. On peut distinguer :

. les variables bornees, αi ≤ xi ≤ βi

. les contraintes affines egalites, Cx = b

. les contraintes affines inegalites, Cx ≤ b

. les contraintes convexes , ϕi(x) = 0, ϕi(x) ≤ 0, ϕi convexes

. les contraintes generales, ϕi(x) = 0, ϕj(x) ≤ 0

Dans tous les cas on se ramene a la resolution de problemes sans contrainte. Mais la reduction estplus ou moins aisee.Regardons les cas des contraintes inegalites.

6.1 Relations de Kuhn-Tucker

Les relations de Kuhn-Tucker expriment que si la ou les solutions d’un probleme avec contraintesϕi(x) ≤ 0 est a l’interieur du domaine des points admissibles, le gradient de f s’annule comme c’estle cas pour les problemes sans contrainte, et que si la ou les solutions sont sur le bord, il y a, commepour le cas des contraintes egalites, colinearite du gradient de f et des gradients des ϕi.

6.1.1 Cas des contraintes non convexes

([3, p. 216])Soit f : Ω ⊂ E = Rn → R, derivable en x∗ ∈ K avec

Ω ouvert,K = x ∈ Ω, ϕi(x) ≤ 0, i = 1, . . . ,m 6= ∅ϕi : Ω→ R derivables en x∗.

Si x∗ est solution de

(P )

f(x∗) = inf

x∈Kf(x)

x∗ ∈ K

et si les contraintes sont qualifiees en x∗ au sens suivant :

ou bien les ϕi, i ∈ I(x∗) = i, ϕi(x∗) = 0 sont affines, autrement dit les contraintesactives sont affines, ou bien ∃ ω ∈ E tel que ∀i ∈ I(x∗), ϕ′i(x

∗)ω ≤ 0 et ϕ′i(x∗)ω < 0 pour

les ϕi non affines,

alors il existe des multiplicateurs de Lagrange λi ≥ 0, nuls pour i /∈ I(x∗), verifiant les relations ditesde Kuhn-Tucker

f ′(x∗) +∑m

1 λiϕ′i(x∗) = 0

λiϕi(x∗) = 0, i = 1, . . . ,m

6.1.2 Cas des contraintes convexes

([3, p. 218])Soit f : Ω ⊂ E = Rn → R, derivable en x∗ ∈ K avec

22 Optimisation avec contraintes

Ω ouvert convexe,K = x ∈ Ω, ϕi(x) ≤ 0, i = 1, . . . ,m 6= ∅ϕi : Ω→ R convexes, derivables en x∗.

1. Si x∗ est solution de

(P )

f(x∗) = inf

x∈Kf(x)

x∗ ∈ K

et si les contraintes sont qualifiees au sens suivant :

les ϕi sont affines ou ∃ ω ∈ K tel que ϕi(ω) < 0 pour les ϕi non affines

alors il existe des multiplicateurs de Lagrange λi ≥ 0, verifiant les relations dites de Kuhn-Tuckerf ′(x∗) +

∑m1 λiϕ

′i(x∗) = 0

λiϕi(x∗) = 0, i = 1, . . . ,m

2. Reciproquement, si f : Ω→ R est convexe et derivable, si x∗ ∈ K, s’il existe des multiplicateursλi ≥ 0 verifient les relations de Kuhn-Tucker, alors x∗ est solution de (P ).

6.2 Interpretation des relations de Kuhn-Tucker

([8, p. 24])K etant convexe, on savait deja que

(−∇fx∗ , x− x∗) ≤ 0 ∀x ∈ K

qui implique que −∇fx∗ fait un angle ≥ π

2avec les directions interieures x− x∗.

Les relations de Kuhn-Tucker precisent que

−∇fx∗ =∑

λi∇ϕi(x∗), λi ≥ 0

c’est-a-dire que −∇fx∗ appartient au cone

∑

αi∇ϕi(x∗), αi ≥ 0

D’autre part, les relations de Kuhn-Tucker expriment que x∗ est solution du probleme de minimisationsans contrainte de la fonctionnelle

x ∈ Ω→ f(x) + Σm1 λi(x∗)ϕi(x)

dont la solution correspond a l’annulation de la derivee. On verra plus loin que cette propriete est ala base des methodes de dualite.

On peut mesurer la necessite de la qualification avec l’exemple suivant :

f(x1, x2) = x1

ϕ1(x1, x2) = x2

ϕ2(x1, x2) =−x2 si x1 ≥ 0−x2 + x2

1 si x1 ≤ 0

K = x, ϕ1 ≤ 0, ϕ2 ≤ 0 = x, x1 ≥ 0, x2 = 0

Les contraintes ne sont pas qualifiees, le minimum de f est en (0, 0), et en ce point,

∇f t = (1, 0), ∇ϕt1 = (0, 1), ∇ϕt2 = (0,−1)

contredisant le fait que−∇f ∈ cone λ1∇ϕ1 + λ2∇ϕ2, λ1, λ2 ≥ 0.

Remarque : Selon la nature des contraintes, il y a differentes notions de qualification. Voir [3, p.213-217] et [5, p. 78-81] pour les significations.

6.3 Point-selles 23

6.3 Point-selles

Soient E et M deux espaces normes et L : E ×M → R.(x∗, λ) ∈ E ×M est un point-selle si x∗ est un minimum pour x → L(x, λ) et si λ est un maximumpour µ→ L(x∗, µ).En un tel point on a

infx∈E

supµ∈M

L(x, µ) = supµ∈M

L(x∗, µ) = L(x∗, λ) = infx∈E

L(x, λ) = supµ∈M

infx∈E

L(x, µ)

6.4 Lagrangien

Le Lagrangien associe au probleme (P ) est la fonction de E × Rm+ → R definie par

L(x, µ) = f(x) +m∑1

µiϕi(x)

6.5 Point-selle du Lagrangien et solution du probleme (P )

([3, p. 221])Si (x∗, λ) ∈ E×Rm+ est un point-selle du Lagrangien du probleme (P ), alors x∗ ∈ K et x∗ est solutionde (P ).Si les fonctions f et ϕi sont convexes, derivables en x∗ ∈ K, si les contraintes sont qualifiees (ausens precedent), si x∗ est solution de (P ), alors il existe au moins un λ ∈ Rm+ tel que (x∗, λ) soit unpoint-selle de L. Le resultat suivant est a la base des algorithmes de resolution des problemes aveccontraintes. Il permet de remplacer le probleme (P ) par une suite de problemes dont les contraintessont simplifiees (λ ≥ 0).

6.6 Probleme dual du probleme (P )

([3, p. 223])1. On suppose que les ϕi sont continues et que pour tout µ ∈ Rm+ le probleme

(Pµ)

L(xµ, µ) = inf

x∈EL(x, µ)

xµ ∈ E

a une solution et une seule xµ qui depend continument de µ.Alors si λ est solution du probleme

(Q)

G(λ) = sup

µ≥0G(µ)

λ ∈ Rm+avec

G(µ) = infx∈E

L(x, µ) = L(xµ, µ),

la solution xλ de (Pλ) est solution du probleme (P ).(Q) s’appelle probleme dual du probleme primal (P ), µ s’appelle variable duale de la variableprimale x.

2. On suppose que (P ) a au moins une solution x∗, que les fonctions f et ϕi sont convexes etderivables en x∗, et que les contraintes sont qualifiees.Alors le probleme (Q) a au moins une solution.

6.7 Methode d’Uzawa

([3, p. 226])On resout le probleme (P ) dont les contraintes sont

K = x ∈ E, ϕi(x) ≤ 0

a l’aide du probleme dual dont les contraintes µ ∈ Rm+ sont plus simples.

24 Optimisation avec contraintes

6.7.1 Demarche

Partant de λ0 ∈ Rm+ quelconque , on calcule une double suite (λx, xk) de la facon suivante :

6.7.2 Calcul de λk+1

λk et xk−1 etant calcules, on cherche λk+1 comme approximation de la solution de (Q) en evaluantλk+ρ ∇Gλk

, et en prenant la projection de cette valeur sur le domaine µ ≥ 0. (methode du gradientprojete a pas fixe ρ).

6.7.3 Calcul de ∇Gλk

Lors de la demonstration du theoreme precedent on etablit que G est derivable et que

∇Gµ = (ϕi(xµ))i.

Pour calculer ∇Gλk, on doit donc calculer au prealable xλk

. On posera xk = xλk. Ce point est obtenu

par une methode d’optimisation sans contrainte comme solution de

f(xk) +∑

λkiϕi(xk) = infx∈E

(f(x) +∑

λkiϕi(x))

Convergence : Si tout se passe bien la suite ((xk, λk))k converge vers un point-selle de L, (x∗, λ), x∗

etant la solution de (P ).

6.7.4 Condition suffisante de convergence de la methode d’Uzawa

([3, p. 228])On suppose que f : E → R est elliptique et que α est son coefficient d’ellipticite. On suppose que Knon vide est defini par des contraintes inegalites affines

K = x ∈ E, Cx ≤ d

Alors si0 < ρ <

2α‖C‖2

la suite (xk) de la methode d’Uzawa converge vers l’unique solution de (P ).En plus, si le rang de C est m, la suite (λk) converge egalement vers l’unique solution du problemedual (Q).

Bibliographie

[1] J.Bass. Cours de Mathematiques, t2. Masson, (1968).

[2] S.Boyd - L.Vandenberghe. Convex Optimization. Cambridge University Press, (2004).

[3] P.G.Ciarlet. Introduction a l’analyse numerique matricielle et a l’optimisation. Masson, (1982).

[4] L.Dumas. Modelisation a l’oral de l’Agregation : Calcul scientifique. Ellipse, (1999).

[5] P.E.Gill-W.Murray-M.H.Wright. Pratical optimization. Academic Press, (1981).

[6] J-B. Hiriart-Urruty. Optimisation et analyse convexe. PUF, (1998).

[7] M.Minoux. Programmation mathematique. Dunod, (1983).

[8] J.C.Nedelec. Optimisation dans Rn, Theories et algorithmes. Ecole polytechnique.

[9] W.H.Press. Numerical Recipes - The Art of Scientific Computing. Cambridge University Press,(1989).

[10] A.Shenk. Calculus and Analytic Geometry. Scott-Foresman, (1984).

26 BIBLIOGRAPHIE