Chaîne de Markov - 2 - LI323 - baskiotisn/wiki/uploads/Teaching/cours11li323.pdf · Toute cha^ ne de Markov, a etats nis, homog ene a au moins un etat r ecurrent. En particulier,

Chaıne de Markov - 2LI323

Hugues Richard(notes de cours: Pierre-Henri Wuillemin)

Universite Pierre et Marie Curie (UPMC)Laboratoire genomique des microorganismes (LGM)

Classements des etats

ý Definition (Periodicite)

Soit Ki ={

n ≥ 0 tel que P(n)ii > 0

},

Un etat i est periodique si et seulement si Ki 6= ∅ et pgcd(Ki ) 6= 1.La periode de i est alors ki = pgcd(Ki ).

ý Definition (Instant de premier retour)

Pour tout etat i , avec X0 = i , τi =

{min{n ≥ 1,Xn = i | X0 = i }+∞ sinon

ý Definition (Etat recurrent, etat transient)

Pour tout etat i , avec X0 = i ,

i recurrent ⇐⇒ P(τi <∞) = 1

i transient ⇐⇒ P(τi <∞) < 1

NB : transient=transitoire

H. Richard (UPMC, LGM) Chaıne de Markov - 2 2 / 16

Classement des etats, suite

ý DefinitionOn note et nomme :

la probabilite que le premier retour en i soit en n etapes : f(n)

ii = P(τi = n)

la probabilite de revenir en i : fii =∞∑

n=1f(n)

ii = P(τi <∞)

le temps moyen(1) de retour en i : Mi =∞∑

n=1

(n · f (n)

ii

)(1) quand ce calcul a un sens, = ∞ sinon.

ý Definition (Etat recurrent, etat transient)

Pour tout etat i , avec X0 = i ,

i transient ⇐⇒ fii < 1

i recurrent ⇐⇒ fii = 1I i recurrent nul si Mi =∞I i recurrent positif (ou non nul) si Mi <∞

Note : Periodicite, recurrence et transience sont des proprietes de classe :si i ↔ j alors i et j sont forcement du meme type.


Transience, recurrence, recurrence positive

Exemple

Soit la chaıne de Markov (infinie) suivante :

1 2 3

q q q

p p1

· · ·

Chaıne de Markov irreductible donc tous les etats de meme type.

Si p > q alors fii < 1 : etat transient

Si p = q alors fii = 1 mais Mi =∞ : etat recurrent nul

Si p < q alors fii = 1 mais Mi <∞ : etat recurrent positif

Proprietes

Toute chaıne de Markov, a etats finis, homogene a au moins un etat recurrent.En particulier, toute chaıne, homogene, a etats finis, irreductible sur un espaced’etats finis est recurrente positive.


Suite de la souris

souris et labyrinthe

6

50.25

0.25

0.25

0.25

0.5

0.5

0.5

0.5

2

43

1

Questions sachant qu’a n = 0, la souris est en 2 :

Nbr de deplacements moyens pour revenir en 2 ?

M2 =∞∑

n=1

(n · f (n)

22

)

f(1)

22 = P22 = 0

f(n)

22 = P21 · P(n−1)12 + P24 · P(n−1)

42 (cf. Chapman-Kolmogorov)


Le monopoly

Modelisation du Monopoly

Principe du Monopoly :

on jette a chaque etape deux des a 6 faces.

on achete des proprietes et on construit deshotels...

Case prison : deux doubles de suite ou la case enhaut a gauche

Y a-t-il une strategie optimale ?

Chaque case du plateau est un etat de la chaıne.

les probabilites de transition sont donnees par les jets de de.


Le monopoly

Le Monopoly et chaıne de Markov

Principe du Monopoly

on peut facilement integrer la case prison et les cartes chance et caisse de communaute.

Peut on decrire le systeme apres quelques tours de jeu ?


Etude en regime permanentCe qui nous interesse ici est le comportement de la chaıne de Markov si on laisse se derouler leprocessus durant un temps tres important.Que peut-on dire de la possition du systeme ? Suit-il une loi de probabilite particuliere ?En notant π(n) le vecteur de probabilite du systeme a l’instant n, on se rappelle que :

π(n+1) = π(n) · P = π(0) · Pn

ý Definition (distribution de probabilite invariante)

Une distribution de probabilite est invariante pour la chaıne de Markov siet seulement si elle s’ecrit comme le vecteur π et :

π = π · Pi.e. : π est un vecteur propre de PT pour la valeur propre 1

En supposant que (π(n))n∈N converge vers π∗ alors :π∗ = limn→∞π(n) = π(0) · limn→∞Pn = π(0) · P∗

Propriete

(π(n))n∈N converge vers π∗ independamment de π(0) si et seulement silimn→∞P(n) = P∗, matrice dont toutes les lignes sont egales entre elles (etegalent a π∗).


Ergodicite

ý Definition (Chaıne de Markov ergodique)

Une chaıne de Markov est ergodique si et seulement si elle est irreductible,aperiodique et recurente positive.

Theoreme (theoreme ergodique)

Une chaıne de Markov ergodique est telle que (π(n))n∈N converge, quelquesoit π(0), vers π∗ verifiant : {

π∗ · P = π∗

π∗ · 1 = 1

De plus, π∗j = 1Mj

Autrement dit, la proportion des instants ou la chaıne se trouve dans l’etait j tend vers π∗j avecprobabilite 1. Pour presque toutes les trajectoires, la moyenne temporelle est identique a lamoyenne spatiale.


Exemple 1

P =

0.25 0 0.750.25 0.25 0.50.25 0.5 0.25

2

0.25

0.75

0.25

0.25

0.250.50.5

0.25

1 3

π1 π2 π3n = 0 1 0 0n = 1 0.25 0 0.75n = 2 0.25 0.375 0.375n = 3 0.25 0.28125 0.46875n = 4 0.25 0.30469 0.44531n = 5 0.25 0.29883 0.45117n = 6 0.25 0.30029 0.44971n = 7 0.25 0.29993 0.45007n = 8 0.25 0.30002 0.44998n = 9 0.25 0.30000 0.45000

0.25 0.30000 0.45000· · · 0.25 0.30000 0.45000

irreductible, aperiodique, a etat fini ⇒ recurrente positive.

P∗ = limn→∞Pn =

0.25 0.3 0.450.25 0.3 0.450.25 0.3 0.45

π∗ = [0.25, 0.3, 0.45]


Exemple 2

P =

(0 11 0

)

1 2

π1 π2n = 0 1 0n = 1 0 1n = 2 1 0n = 3 0 1n = 4 1 0

0 1· · · 1 0

irreductible, periodique,

P2k =

(0 11 0

)et P2k+1 =

(1 00 1

): pas de P∗.

π = [0.5, 0.5] est bien une distribution invariante.

Aucune convergence vers π, sauf si π(0) = π (processus stationnaire)


Exemple 3

P =

1 0 0 00.5 0 0.5 00 0.5 0 0.50 0 0 1

1

0.5

0.5

0.5

3

0.5

2 4

π1 π2 π3 π4n = 0 0.25 0.25 0.25 0.25n = 1 0.375 0.125 0.125 0.375n = 2 0.4375 0.0625 0.0625 0.4375n = 3 0.46875 0.03125 0.03125 0.46875n = 4 0.484375 0.015625 0.015625 0.484375· · · · · · · · · · · · · · ·

0.5 0 0 0.5

reductible composantes irreductibles : {1},{23},{4}. absorbants : {1} et {4}

P∗ = limn→∞Pn =

1 0 0 00.67 0 0 0.330.33 0 0 0.670 0 0 1

π∗ = π(0) · P∗ =1 +2

3π2 +13π3, 0, 0, π4 +

23π3 +

13π2

Depend de π(0) !


Le monopoly

Monopoly et chaıne de Markov

Le calculs des premieres puissance de la matrice de transition permettent de voirl’occupation attendue des cases pendant les premiers tours de jeu

La chaıne de markov associee au Monopoly est bien irreductible et aperiodique, la loistationnaire permet de connaıtre les meilleurs investissements en moyenne.


Utilisation des chaınes de Markov : introduction a MCMC

Probleme : Estimer EP(f )La solution theorique : EP(f ) =

∑x f (x) · P(x).

Comment faire sur un espace de grande taille, difficile a enumerer ?

Les methodes MCMC creent une longue chaıne de Markov ergodique(Xn)n∈N, dont la loi π∗ est la loi P requise. On peut alors utiliser lesdifferents Xn comme des v.a. distribues suivant P :

Si Xn ∼ P, EP(f ) =1N

∑n f (xn).

Convergence d’apres la loi des grands nombres : il faut que N soit suffisamment grand.


Historique

Les methodes MCMC sont apparues dans les annees 50-60 pour laphysique statisitque. [Metropolis et al. 1953]

1970 : article precurseur de Hastings.

1984 : Echantillonneur de Gibbs [Geman and Geman, 1984]

1990 : apparition des methodes MCMC dans la litterature statistique etd’analyse du signal [Gelfand and Smith, 1990]


Extension des chaınes de Markov : Chaıne de MarkovcacheeLes modeles de Markov caches (HMM) sont une autre evolution possible des chaınes de Markov.Ces nouveaux modeles se basent cette fois sur deux processus stochastiques dependants l’un del’autre.L’etat du systeme n’est plus directement observable ; il est cache par un processus d’observation.

Un ou deux des ?Un joueur peut lancer un de (avec un resultat de 1 a 6) ou deux des (avec un resultat de 2 a 12).Sachant le lancer choisi, il est donc facile de predire le resultat attendu. Si, maintenant, lelanceur se trouve derriere un rideau, et annonce simplement le resultat, comment peut-ondeterminer s’il a lance 1 ou 2 des ?A partir d’une sequence d’observations, quelle est la sequence d’etats correspondante ?

modelisation

Une chaıne de Markov cachee est definie par :

S : ensemble d’etats

P(Xt | Xt−1) : la matrice de transition pour l’etat

P(O | X ) : la distribution de probabilite de l’observation, sachantl’etat.


Documents

Chaîne de Markov - 2 - LI323 - baskiotisn/wiki/uploads/Teaching/cours11li323.pdf · Toute cha^ ne de Markov, a etats nis, homog ene a au moins un etat r ecurrent. En particulier,