Gilles Roussel - LISIC

SOMMAIRE INTRODUCTION EXEMPLES DE PROBLEMES INVERSES SYNTHESE ET UNIFICATION PROBLEMES MAL POSES REGULARISATION

PROBLEMES INVERSES

Gilles Roussel

Laboratoire d’Informatique, Signal et Image de la Cote d’Opale

Universite du Littoral - Cote d’Opale - Calais - France

Stic et Environnement 201111 mai 2011

1 / 52


SOMMAIRE

1 INTRODUCTION

2 EXEMPLES DE PROBLEMES INVERSES

3 SYNTHESE ET UNIFICATION

4 PROBLEMES MAL POSES

5 REGULARISATION

2 / 52


INTRODUCTION

OBJECTIFS

Aborder les principes generaux des problemes inverses

Avoir en tete quelques applications typiques

Champ enorme des possibilites de problemes inverses

Sciences de la terre et de l’espaceLa meteorologieL’industrie aerospatialeL’imagerie medicalel’industrie electronucleairele genie civil

LIMITATIONS

Choix de presenter un panel de problemes et d’outils deterministes

On renvoi l’auditeur a la bibliographie pour approfondir

Bien d’autres approches encore (Bayesienne, ...) ne sont pas abordees ici.

On examinera une boıte a outils en TP 3 / 52


INSTRUMENTATION, DECONVOLUTION DE CAPTEURS,CAPTEURS LOGICIELS

Un capteur ou un appareil de mesure serait ideal si la sortie y(t) etaitproportionnelle a la grandeur physique mesuree x(t) pour tout t :

∀t , y(t) = ax(t) + b, a et b etant deux constantes fixees

Souvent, le capteur vrai possede une reponse instrumentale traduite par sareponse impulsionnelle h(t,τ). Si la sortie est lineaire par rapport a l’entree,h(t,τ) = h(t− τ) on a alors :

y(t) =∫ t

0 x(τ)h(t− τ)dτ

x(t) y(t)

h(t)

t

Réponse impulsionnelle (R.I.)

4 / 52



La R.I d’un capteur parfait est h(t) = aδ(t). Dans ce cas : x(t) = (1/a)y(t)

En direct, la reponse indicielle et harmonique d’un capteur reel montre descaracteristiques dynamiques semblables a celles d’un filtre :frequences de coupure, temps de montee, depassement, dephasage,resolution maximale

y(t) =∫ t

0 1.h(t− τ)dτ

x(t) y(t)h(t)

t

Capteur

tt

f0dB

f0°

fc

t0t0

X(t) X(t) Y(t)

5 / 52



Pour connaıtre une estimation du signal physique reel x(t), on doit deconvoluerle signal y(t) a partir de la connaissance de h(t).

A l’aide d’un microprocesseur, on peut inverser les echantillons de y(t) pourobtenir un capteur ayant les proprietes de linearite, de fidelite et de precisionsouhaitees.

x(t) y(t)h(t)

t

Capteur

)(ˆ tx

Déconvolution

t

x

t

y

t

)(ˆ tx

6 / 52


TOMOGRAPHIE A RAYON X (SCANNER)

L’intensite I d’un rayon mono-energetique et fin, transmis a travers un objet est :I = I0exp(−µL)

I0 est l’intensite du rayon incident, µ est l’attenuation par l’objet.

On souhaite reconstruire l’image 2D de la distribution de la densite µ(x,y) del’objet

7 / 52



On procede par cible successive, en deplacant un emetteur et un detecteur enparallele, le long d’une droite faisant un angle φ avec l’axe Ox. Lr,φ est ladistance parcourue par le rayon.

Il vient II0

= exp(−∫

L µ(x,y)dl)

On peut montrer que chaque mesure de rapport d’intensite ln( II0

) colle avecla projection de Radon de la densite µ(x,y) le long la trajectoire L en (r,φ).

p(r,φ) =−ln( II0

) =∫

L µ(x,y)dl

Source rayon XDétecteur rayon X

Projection p(r,f)

x

y

fr

Lr,f

dL

D

-ln(I/I0)

8 / 52



Transformee de Radon sur l’ensemble du domaine D :p(r,φ) =

∫ ∫D µ(x,y)δ(r−xcosφ−ycosφ)dx.dy

Il existe une transformee inverse theorique (Radon, 1917) :

µ(x,y) =(− 1

2π2

)∫π

0∫+∞

−∞

∂p(r,φ)∂r

r−xcosφ−ysinφdr.dφ

Mais cette transformee inverse ne resoud pas les difficultes liees al’echantillonnage (amplification du bruit par derivation). On peut cependantmettre la transformee directe sous la forme discrete :

p(R,Φ) = Hµ(X,Y) + b

R, Φ, X, Y vecteurs de parcours de l’image,

H operateur de projection (depend de la geometrie de l’instrumentation),

p(R,Φ) est la projection acquise par le detecteur

µ(X,Y) = image a reconstruire !

9 / 52


DEBRUITAGE D’IMAGE

Convolution (deformation) de l’objet x(ω) par l’environnement et capteur

L’image percue du domaine D vaut : y(ω) =∫

D h(ω−ϖ)x(ϖ)dϖ + e(ω).

e Contient les erreurs de modelisation et les bruits (imageur,..)

h Reponse impulsionnelle de la transmission (atmosphere, telescope)

On veut reconstruire x(ω)

* + bruit

Image originale x(w) Déformation de l’observatoire h(w)

Bruit Atmosphérique

e(w)

Image détectée y(w)

[Thiebaut 2006]

10 / 52


THERMOGRAPHIE

On considere un segment [0,π] thermo-conducteur (1D selon Ox)

∀t : θ(0, t) = 0 et θ(π, t) = 0

Moyennant normalisation, le modele EDP de diffusion de chaleur s’ecrit :

∂θ(x ,t)∂t = ∂2θ(x ,t)

∂x2 , 0 < x < π

On veut reconstruire la distribution de temperature θ(x ,0) = f (x) a partir de ladistribution de temperature a θ(x , t)

0xp

q à t=0

q à t=1

t

q(x,0)=f(x)

q(x,t)

x

x

11 / 52


THERMOGRAPHIE

Decomposition de θ(x , t) et f (x) sur une base de fonctions propres :θ(x , t) = ∑n∈Z Cn(x)eint et f (x) = ∑n∈Z fneinx (Analyse de FOURIER ).

Les coefficients Cn etant obtenus par Cn(x) = 12π

∫π

0 θ(x , t)e−int dt , etfn = 1

2π

∫π

0 f (y)e−iny dy

En remplacant θ(x , t) et f (x) dans l’EDP, on obtient une forme de convolution :θ(x , t) =

∫π

0 k(x− y , t)f (y)dy , t > 0, x ∈ R

Le noyau vaut : k(x , t) = 12π ∑

∞n=1 e−cn2t einx

D’apres k(x , t), la distribution initiale est tres diffusee a l’instant t plus tard.

Les hautes frequences a n grand associees a einx sont severement attenueespar le terme e−cn2t . Systeme tres passe-bas.

12 / 52


LOCALISATION - DECONVOLUTION DE SOURCES

ns sources de pollution aux positions −→p i =(pxi ,p

yi ,p

zi ) et d’amplitudes ui (t)

Panache transporte par le vent−→V (−→p , t),

La concentration en polluant un point −→r = (rx , ry , rz) est y(−→r , t) en (g/m3)

13 / 52



EDP de dispersion : ∂y∂t −A(y) = B.∑ns

i=1 ui (t).δ(−→p −−→r i )

A(y) =−→V ·∇y−∇.(d∇y) est un operateur aux derivees partielles (ex :

Advection + Diffusion)

d est le tenseur de diffusivite

Bui (t)δ(−→r −−→p i ) maniere dont la pollution est emise par la source i

La concentration y(r , t) en un point r vaut :

y(r , t) = ∑nsi=1

∫ tto u(−→pi ,τ)hgreen(−→pi ,

−→r , t− τ)dτ

le noyau de convolution est :

hgreen(−→pi ,−→r , t− τ) = 1

[4πd(t−to−τ)]3/2 exp

−

∥∥∥(−→r −−→p i )−−→V .(t−to−τ)

∥∥∥2

4d(t−to−τ)

dτ

14 / 52



Dispersion = filtre de convolution sur les ns×nc trajets sources-capteurs

yobs(t) = C.Y (t) + e + biais, mesures obtenues aux nc capteurs del’observatoire ω, e bruit de mesure, biais de mesure et de modele.

On veut localiser les sources (estimer pi ), identifier d , deconvoluer ui (t)

hgreen(pi,r1)

hgreen(pi,r2)

e1(t)

e2(t)

Source n°1Position p1

Débit u1(t)

bruit

bruit

Mesure capteur y1(t)

Mesure capteur y2(t)

Position r1

Position r2

15 / 52


ASSIMILATION GEOPHYSIQUE

On veut estimer l’etat Xt du systeme dynamique a partir d’observations asynchrones,partielles et souvent bruitees.

On dispose d’un ensemble d’observations Y1,Y2, ....YN reliees a l’etat parl’equation d’observation :

Yt = h(Xt ,vt ), bruit vt

Les etats recurrents du systeme suppose markovien non lineaire sont relies parl’equation :

Xt+1 = g(Xt ,θ,U,wt ), bruit wt .

Les inconnus (incertitudes) que l’on veut estimer peuvent porter sur :

les etats : Xt , les parametres ou hyperparametres : θ, le terme de forcage (ousource) : Ules conditions initiales : P(X0 ∈ dX) = p(X)dX

16 / 52



EXEMPLES DE GRANDE DIMENSION

A partir de mesures eparses, on veut estimer :

Champs de temperature de surface des oceans (X = T ˚C)

Champs de hauteur de vague (X = H m)

Champs d’intensite sonore (X = I dB)

Champs de pollution (X = C µg/m3, U kg/s, θ = parametres de diffusion)

Champs de vent (X V m/s , θ)

17 / 52



ESTIMATION EN LIGNE DE CHAMPS DE VENT

Simulation d’un champ de vent Assimilation du champ de vent (4 capteurs)

18 / 52


SYNTHESE ET UNIFICATION

MODELE GENERAL

Un grand nombre de Pb reels en sciences experimentales revient a determinerune grandeur non directement observable x(u) a partir d’un ensemble fini demesures d’une grandeur observee y(u) et dependant de parametres θ, selon lemodele :

H (y(u),x(r),θ) = 0

En general r ∈D1 ⊂ℜk et u ∈D2 ⊂ℜp , k et p souvent differents

Parfois ce modele est explicite :

y(u) = H (x(r),θ)

19 / 52



LES DIFFERENTS PROBLEMES

Connaissant :

le modele H , θ et l’objet x(u), le calcul de y(u) est un probleme direct

le modele H , θ et la mesure y(u), le calcul de x(u) est un probleme inverse

le modele H , l’objet x(u) et la mesure y(u), la determination de θ est unprobleme inverse d’identification de parametres

le modele H et la mesure y(u), l’estimation de θ et l’objet x(u) est unprobleme inverse de d’estimation aveugle

20 / 52


SYNTHESE DES PROBLEMES ET UNIFICATION

INTEGRALE DE FREEDHOLM

La resolution d’un probleme inverse est souvent delicate car c’est souvent unprobleme mal pose (voir plus loin). Ces problemes sont en effet sensibles a lapresence d’incertitude (modele, mesures).

Il est donc plus realiste d’ecrire :

H (y(u),x(r),b(u)) = 0

ou b(u) represente les erreurs communement appeles bruits

Pour un modele explicite simple, on peut faire l’hypothese que les erreursinterviennent a la sortie :

y(u) = H (x(r)) o b(u)

Si les erreurs sont additives :

y(u) = H (x(r)) + b(u)

21 / 52


SYNTHESE DES PROBLEMES ET UNIFICATION


Si H est un operateur lineaire, la relation peut s’ecrire comme une integrale deFreedholm dite de 1ere espece :

y(u) =∫

x(r)h(r ,u)dr + b(u)

h(r ,u) est le noyau de Green ou fonction d’appareil

22 / 52



CONVOLUTION

Selon les domaines d’application, on trouve les situations suivantes :

Lorsque r et u sont homogenes physiquement et h(r ,u) = h(r −u), le modeleest invariant par translation, on obtient une integrale dite de convolution :

y(u) =∫

x(r)h(r −u)dr + b(u)

La fonction h(r) est alors appelee reponse impulsionnelle, le probleme inverseest un probleme de deconvolution ou de restauration ou de reconstruction.

Le cas particulier ou h(r) = 1, revient a un probleme de debruitage.

23 / 52



DECOMPOSITION PAR UNE BASE DE FONCTIONS

Lorsque h(r ,u) est separable, sans que r et u soient necessairementhomogenes, (Ex : r ∈ espace t ∈ temps), on peut decomposer la fonction surune base propre :

h(r ,u)=∏k hk (rk ,uk )

Exemple : dans le cas d’une synthese de FOURIER

y(u) =∫

x(r)e−j ∑k rk uk dr

le noyau vaut :

h(r ,u) = e−j ∑k rk uk

Si h(r ,u) est a la fois separable et invariant par translation (exemple enrestauration d’image) :

h(r ,u) = ∏k hk (rk −uk )

24 / 52



PROJECTION ET REDUCTION D’ESPACE

h(r ,u) peut-etre de la forme :

h(r ,u) = δ(c(r ,u)), ou δ(.) est la fonction de Dirac et c(r ,u) = 0 definit unsous-espace dans le domaine de la fonction x(r) (ex : projection entomographie X ou u = (r ,φ) et r = (x ,y)

g(r ,φ)=∫ ∫

f (x ,y)δ(r − xcosφ− ysinφ)dxdy .

r − xcosφ− ysinφ = 0 decrit une droite dans l’espace (x ,y) du domaine def (x ,y)

h(r ,u) peut-etre tel que y(u) =∫

x(r)e−j<r ,c(u)>drou < ., . > est le produit scalaire et c(u) = 0 decrit un sous espace dans ledomaine de FOURIER de la fonction f.

25 / 52


PROBLEMES MAL POSES


On considere ici le probleme general de resolution de l’integrale de Freedholmde 1ere espece : y(u) =

∫x(r)h(r ,u)dr + b(u)

x ,y ∈ espace de Hilbert, ou ‖.‖ decoule du produit scalaire < ., . >.

Le probleme peut s’ecrire : H : X → Y ou H est l’operateur lineaire sur lesespaces fonctionnels X et Y

y = Hx tels que x , y ∈ X , Y

26 / 52


PROBLEMES MAL POSES

CONDITIONS D’HADAMARD

Hadamard a defini trois conditions pour qu’un pb mathematique soit bien pose

(1) Existence : ∀y ∈ Y , ∃ x ∈ X , ce qui revient a exprimer : Y = Im(H)

(2) Unicite : la solution x est unique dans X . c.a.d : Ker(H) = 0(3) Continuite - stabilite : La dependance de x par rapport a y est continue. siy + δy → y alors x + δx → x . c.a.d. ImH = ImH (ImH est la fermeture deIm(H)).

(3) est sans objet (1) n’est pas verifiee. (3) s’applique alors auxpseudo-solutions minimisant la norme ‖Hx− y‖Y

27 / 52


PROBLEMES MAL POSES

PASSAGE A LA DIMENSION FINIE

Les donnees y (non bruitees) sont souvent discretes avec un pas ∆u :yn = Fn(x), n = 1, ....Ny

Les Fn(x) sont continues sur X :

yn = Fn(x) =< x ,h(r ,un) >.

Reponse impulsionnelle de support limite : h(n) = 0, ∀n tels que−q∆T < n < p∆T

On peut souvent ecrire y(n) = ∑+pk=−q h(k)x(n− k), n = 0....Ny

Sous forme vectorielle : y = HNx

H a une forme Toeplitz HN =

hp · · · h−q 0 · · · 0

0. . .

. . .. . .

......

. . .. . .

. . . 00 · · · 0 hp · · · h−q

28 / 52


PROBLEMES MAL POSES

PASSAGE A LA DIMENSION FINIE (DISCRETISATION)

Ker(H) est le sous espace orthogonal au sous espace engendre par lescolonnes de HN (de dimension finie inferieur a YKer(H) est necessairement de dimension infinie.

Im(H ) est de dimension N ′ < Ny si les colonnes ne sont pas independantes.

On voit que la discretisation conduit a un manque d’unicite

29 / 52


PROBLEMES MAL POSES

CONDITIONNEMENT

La decomposition en valeurs singulieres (SVD) d’un operateur compact conduitau systeme singulier : Hun = σnvn et H∗vn = σnun

H∗ est l’operateur adjoint tel que < Hx ,y >Y =< x ,H∗y >X

Les valeurs singulieres sont des nombres positifs tels queσ1 ≥ σ2.....≥ σn ≥ ...≥ 0, σn→ 0 quand n→ ∞

Supposons que y = Hx soit l’image parfaite d’un objet d’energie finie,

La solution s’ecrit x = ∑n∈X σ−1n < y ,vn > un

Cette solution lorsqu’elle existe est instable : un perturbation δy sur lesdonnees entraıne une perturbation δx sur la solution recherchee

δx = σ−1N < δy ,vn > uN = σ

−1N εuN grand si σn petit.

30 / 52


PROBLEMES MAL POSES

APPROCHE FEQUENTIELLE

|X(n)|

|H(n)|

|Y(n)|

x(t)

h(t)

y(t)

- +

-

-

+

+

Domaine Temporel Domaine fréquentielTransf. Fourier F(.)

Transf. Inv. Fourier F-1(.)

PERTE D’INFORMATION

Tout signal x(t) ayant meme contenuspectral dans la bande passante[−Ω,+Ω] fournit la meme sortiey(t) : Y (ν) = H(ν)X(ν) + B(ν)

Unicite : Pour que la deconvolutionsoit un Pb bien pose, on peut fermerl’espace des solutions dont le spectreest limite a [−Ω,+Ω]

Stabilite : si les signaux y(t) sontbruites, on a :

X(ν) = H−1(ν)Y (ν)−H−1(ν)B(ν)

Si H(ν) est tres passe-bas, alorsH−1(ν) amplifie les hautesfrequences du bruit.

31 / 52


PROBLEMES MAL POSES

SYNTHESE : PROBLEMES EN DIMENSION INFINIE

H : X → Y sur des espaces Hilbertien

H continu, injectif (Ker(H) = 0) et surjectif (Im(H) = Y et fermee)⇒ Pbinverse bien pose.

H continu, injectif (Ker(H) = 0) et non surjectif Im(H) 6= Y et fermee)⇒. Pbd’existence de solution. Une pseudo solution existe : x ∈ X minimisant‖Hx− y‖Y (distance minimale ou solution de moindres carres)

H n’est pas injectif, Ker(H) 6= 0 mais Im(H) = Y est fermee, l’ensemble dessolutions ∈ X ′ = Ker(H)⊥ (convexe) de X est infini, dans lequel il y a unesolution de norme minimale x appelee solution generalisee, obtenue par :x = x = Hy

Im(H) non fermee, on ne peut pas garantir l’existence d’une solution et lastabilite.

32 / 52


PROBLEMES MAL POSES

SYNTHESE : PROBLEME EN DIMENSION FINIE

H : X ⊂ R Nx → Y ⊂ R Ny sur des espaces Hilbertien. H est une matrice dedimension [Ny ,Nx ]. Une solution x+ = H+y qui minimise la norme ‖Hx− y‖2

coıncide avec les solutions de l’equation normale [H t H]x = H t y

rang(H) = Nx = Ny alors H est bijectif, pb inverse bien defini x = H−1y

rang(H) = Nx < Ny [H t H] de rang plein, le systeme est surdetermine,existence pas assuree ∀y , mais peut donner lieu a une solution generaliseex+ = [H t H]−1H t y .

Ny ≤ Nx , pas de solution unique ( H pas injectif), le systeme estsous-determine,

Si rang = Ny pseudo solution generalisee x+ = H t [H t H]−1y .[H t H] est singuliere de rang(H)< Ny , (prendre une solutiongeneralisee par decomposition en valeurs singulieres, unemethodes iterative, ou la solution de norme ‖x‖ minimale).

33 / 52


REGULARISATION

POSITION DU PROBLEME

Assurer la fermeture de l’espace image Im(H) de l’operateur pour definir unesolution ∀y ∈ Y .

Proposer une solution plus robuste (moins sensible au bruit) qu’une inversiongeneralisee ne resoud pas.

REGULARISATION

En dimension finie ou infinie, un regulariseur de y = Hx est une famille d’operateurRα; α ∈ Λ tel que :

∀α ∈ Λ, Rα est continu de Y vers X∀y ∈ Im(H), limα→0Rαy = H+y

On choisi Rα pour contraindre l’espace des solutions

α est le coefficient de regularisation

Pour des donnees bruitees yε = (y = Hx) + b, on obtient une solutionapprochee xε = Rαy + Rαb. Le choix de α regle l’influence des deux termesantagonistes Rαy et Rαb

34 / 52


REGULARISATION

LES APPROCHES

Deux grandes classes de methodes de regularisation :

Controle en dimension

Minimisation de ‖Hx− y‖Y dans un sous espace F ⊂ XMinimisation de ‖Hx− y‖Y dans X par une methode iterative anb limite d’iterations.

Minimisation d’un critere composite

on cherche xα minimisant J(x) = ‖Hx− y‖Y +αF (x),0 < α < ∞

On demande a la solution un compromis : fidelite aux mesures(‖Hx− y‖Y ) vs fidelite a l’information a priori (F (x))Penalisation de la solution des moindres carres pour avoir unesolution plus douce, physiquement raisonable.α = 0⇒ moindres carres. α = ∞⇒ fidelite parfaite avec l’a priori.

35 / 52


CONTROLE EN DIMENSION

TRONCATED SINGULAR VALUES DECOMPOSITION (TSVD)

On calcul SVD(H t H) = UΛV

U,V vecteurs propres, Λ = diag(λ1,λ2, ...λK ) des valeurs propres, tels queH t Hvj = λ2

j vj et H t Hui = λ2j ui

On classe les valeurs propres λ1 ≥ λ2 ≥ ...≥ λK , K ≤ inf (Nx ,Ny )

On tronque les valeurs singulieres non significatives a 0 a partir du rang r > K

On calcul la pseudo-inverse H+ = VΛ+U t

Λ+ = diag(νi ),

νi =1λi

, si λi 6= 0νi = 0, si λi

∼= 0 (non significative)

On a alors ‖δx |‖x | ≤

(λmaxλmin

)2 ‖δy |‖y | cond(H t H) =

(λmaxλmin

)2

36 / 52



CHANGEMENT DE DISCRETISATION

Si la discretisation de l’objet (par ex. sur une grille cartesienne) entraıne le mauvaisconditionnement de H :

Chercher une parametrisation parcimonieuse

Decomposer sur une base de fonctions propres

Seuiller les coef de la decomposition qui eliminent le sous-espace bruit.

37 / 52



METHODES ITERATIVES

On cherche a controler la solution par approches successives

La regularisation correspond au critere d’arret sur l’evolution du residu∥∥∥y−Hx(n)∥∥∥≤ δ pour n > k , 1/k jouant le role de parametre de regularisation.

x(n+1) = x(n) + α(y−Hx(n)), n = 0,1, ...

METHODE DE BIALY [BIA 59]

H lineaire, borne, non negatif (< Hx;x >≥ 0,∀x ∈ X ) et y = Hx possede aumoins une solution

si 0 < α < 2‖H‖ alors la suite x(n) converge comme

limn→∞x(n) = Px0 + x IG // avec x IG est l’inverse generalise, P estl’operateur de projection orthogonale sur Ker(H), x0 est lasolution initiale.

38 / 52



METHODE DE LANDWEBER [LAN51]

H n’est pas un operateur positif,

H t H est positif.

La methode peut-etre appliquee a la resolution de l’equation normaleH t y = H t Hx ,

x(n+1) = x(n) + αH t (y−Hx(n)), n = 0,1, ... 0 < α < 2‖H t H‖

39 / 52



METHODES ITERATIVES AVEC CONTRAINTES

On cherche a controler la solution en ajoutant des contraintes

METHODE DE VAN-CITTERT

Si T est un operateur traduisant des contraintes

x(n+1) = x(n) + αH∗(y−HTx(n)), n = 0,1, ... 0 < α < 2‖T t H t HT‖

40 / 52



METHODE DE KACZMARZ

On utilise chaque donnee yi qui definit un sous espace de solution.

A l’iteration k + 1, on projette la solution de l’iteration k sur le sous espace creepar yi = ∑

Nj=1 hij xj =< hi ;x >

x0 = 0 ; xn+1 = xn + yi−<xn;hi><hi ;hi>

hi ; i = 1,2, ....Ny

on peut ajouter K contraintes pk (x), k = 1..K au cours des iterations :

x0 = 0 ; xn + 1 = P(xn) = pK (...p2(p1(f ))...) ;

xn+1 = xn + yi−<xn;hi><hi ;hi>

hi , i = 1,2, ....Ny

41 / 52


MINIMISATION D’UN CRITERE PENALISE

METHODES DE TIKONOV

On cherche a minimiser une fonctionnelle de regularisation

J(x) = ‖y−∫

x(t)hi (t)dt‖2Y + α‖F x‖2

X

F = C est un operateur de contrainte si Im(C) est borne

F = D est un a priori de douceur (ou de rugosite) si

‖Dx‖2X = ∑

Pp=0

∫dp(r)

∥∥∥x(p)(r)∥∥∥2

dr

dp(r) > 0 et x(p) = dpxdrp

Exemple pour p = 1 et dp = 1 :

J(x) = ‖y−∫

x(t)hi (t)dt‖2 + α∫

dp(r)∥∥∥x′(t)∥∥∥2

dt

Dans le cas discret, la forme devient : Jα(x) = ‖y−∫

Hx‖2 + α‖Dpx‖2

42 / 52



METHODES DE TIKONOV

La mesure de rugosite peut s’exprimer par un operateur de derivation ‖Dpx‖2,qui sera minimal quand x constant (p=1), x lineaire (p=2), x parabolique (p=3)

D0 = I, D1 =

1 0 · · · · · · 0

−1 1. . .

.

.

.

0 −1 1. . .

.

.

.

.

.

. · · · 0 −1 1

, D2 =

1 0 · · · · · · · · · 0

−2 1. . .

.

.

.

1 −2 1. . .

.

.

.

0 1 −2 1...

.

.

. 00 · · · 0 1 −2 1

La minisation du critere J(x) discret, conduit a la solution unique :

x = Rαy = (H∗H + αD∗D)−1 H∗

43 / 52



METHODES DE TIKONOV

si D = D0 = I,

la reconstruction a partir de la SVD de H

xα = ∑(σn +α)−1 < y ,vn > un

Toutes les valeurs singulieres ont ete relevees de la valeur α

Cela filtre davantage le bruit aux frequences elevees.La solution est plus stable

44 / 52



DISTANCES EUCLIDIENNES

Cas des distances euclidiennes generalisees :‖x1− x2‖2

P = (x1− x2)T P(x1− x2)

P est une matrice symetrique definie non negative traduisant lescaracteristiques souhaitees de la distance.

Exemple : P−1 peut traduire la covariance d’un bruit gaussien centre sur x , sil’on veut penaliser la distance lorsque x est tres dispersee.

x2 peut etre un objet de reference a priori ou une solution par defaut, obtenuequand α→ ∞

Exemple Jα(x) = ‖y−Hx‖2P + α‖x− x‖2

Q

La solution explicite vaut : x = (HT PH + αQ)−1(AT Py−Qx)

45 / 52



PENALISATION NON QUADRATIQUE

Des fonctions de penalisation non quadratique F (x1− x2) peuvent etre utiliseepour mieux preserver certaine discontinuites de l’objet a reconstruire.

Fonctions L2L1 differentiables, quadratiques a l’origine,asympotiquement lineaires. Ces fonctions sont convexes (doncsolution convergente).Fonctions L2L0, asymptotiquement constantes. Permet dedetecter les discontinuites, mais legerement instables.

46 / 52



PSEUDO-DISTANCE DE KULBACK

La distance (divergence) de Kulback mesure la distance entre deux densites deprobabilites π et π0 par :

K (π,π0) =∫− log

(dπ

dπ0

)dπ0

Pour mesurer la distance d’un objet x par rapport a un objet de reference xdont les composantes sont positives :

F = K (x ,x) = ∑Mj=1 xj log xj

x j

pb : pas de solution explicite generique, il faut proceder a un calcul iteratif.

47 / 52



METHODES DE DESCENTE

La plupart des methodes d’inversion reposent sur la minimisation d’un critere

Les temps de calculs sont variables, souvent plus longs que pour le calculd’une solution explicite.

On adopte une technique d’optimisation en fonction :

Du caractere convexe ou non du critereDes moyens de calculs disponibles / contraintes de temps et de precision

Dans le cas des criteres penalises,

J(x) = G (Hx− y) + αF (x)

X = ℜNx

ℜNx+ (cas des contraintes de positivite)

48 / 52



METHODES DE DESCENTE : CAS CONVEXE

On veut minimiser J(x) = G(x) + αF (x),

J convexe : J(θx1 + (1−θ)x2)≤ θJ(x1) + (1−θ)J(x2)

On peut utiliser les algorithmes classiques de type gradient pour calculer x

On defini le gradient par g = ∇J =[

∂J∂x1

, ..., ∂J∂xNx

t]T

On definit le Hessien par la matrice H = ∇2J(x) =

∂2J∂xi ∂xj

Methode iterative. A l’iteration n :

gn = ∇J(xn)Hn = ∇2J(xn)

49 / 52



METHODES DE DESCENTE : CAS CONVEXE

Methodes du 1er ordre

Gradient simple xn+1 = xn−µnDngn

gradient a pas fixe : Dn = I, µn = µgradient a pas variable : Dn = I, µn = gT

n gn

gnHngn

Gradient conjugue :

xn+1 = xn + µndn et µn =− dTn gn

dTn Hndn

dn+1 = dn + βngn et βn =− gTn gn

gTn−1Hngn−1

50 / 52



CHOIX DU COEFFICIENT DE REGULARISATION

∃ peu de methodes deterministes pour determiner l’hyperparametre α.

Controle de l’energie residuelle

On considere α comme un multiplicateur de lagrange dans leprobleme :

x = arg min︸︷︷︸x

F (x) sous contrainte G (y−Hx) = c,

c est fixe par des considerations statistiquesExemple : si y−Hx∗ suit la loi du bruit p(y |x) = N (0,σ2), etG = ‖.‖2, alors c

σ2 est une variable du X 2, a N degres de liberte.On reglera c = Nσ2.La methode conduit souvent a une sur-regularisation du a σ2 tropgrand (on connaıt souvent mal p(y |x)).

51 / 52



CHOIX DU COEFFICIENT DE REGULARISATION

Methode de la courbe en L [Hansen 92]

On trace F (x(α)) = (‖y−∫

Hx(α)‖2) en faisant varier α

Cette courbe a l’allure caracteristique d’un L

le bon compromis consiste a prendre α a l’angle du L

x(α)− x∗ = erreur(b) + erreur(F (x(α))

α faible, l’erreur(b) domine, F (x(α)) sensible a α

α eleve, erreur(F (x(α)) domine, F (x(α)) sensible a α, ‖y−∫

Hx(α)‖2 estplus sensible a α

52 / 52

Documents

Gilles Roussel - LISIC