Introduction aux chaˆınes de Markov homogènes9 Chapitre 1 Introduction aux processus 1.1 Processus aléatoire 1.1.1 Exemples On présente ici quelques exemples introductifs de

Institut National Agronomique Paris-Grignon

Introduction

aux chaınes de Markov homogenes

E. Pommies, S. Robin

Departement OMIP

16 juin 2004

2

TABLE DES MATIERES 3

Table des matieres

1 Introduction aux processus 91.1 Processus aleatoire . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9

1.1.1 Exemples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91.1.2 Definitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10

1.2 Proprietes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121.2.1 Propriete de Markov . . . . . . . . . . . . . . . . . . . . . . . . . . 121.2.2 Homogeneite temporelle . . . . . . . . . . . . . . . . . . . . . . . . 131.2.3 Exemples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14

2 Proprietes generales 172.1 Definitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17

2.1.1 Chaıne de Markov . . . . . . . . . . . . . . . . . . . . . . . . . . . 172.1.2 Probabilites de transition . . . . . . . . . . . . . . . . . . . . . . . 182.1.3 Matrice de transition . . . . . . . . . . . . . . . . . . . . . . . . . . 192.1.4 Loi de Xm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 202.1.5 Fonctions generatrices de probabilites . . . . . . . . . . . . . . . . . 21

2.2 Exemples genetiques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 212.2.1 Autofecondation d’un individu diploıde . . . . . . . . . . . . . . . . 212.2.2 Autofecondation d’un individu tetraploıde . . . . . . . . . . . . . . 232.2.3 Modele de Wright . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24

2.3 Proprietes des probabilites de transitions . . . . . . . . . . . . . . . . . . . 262.3.1 Chapmann-Kolmogorov . . . . . . . . . . . . . . . . . . . . . . . . 262.3.2 Transition en exactement m etapes. . . . . . . . . . . . . . . . . . . 27

2.4 Caracterisation des etats et de la chaıne . . . . . . . . . . . . . . . . . . . 282.4.1 Communication . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 292.4.2 Periodicite . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 312.4.3 Recurrence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 312.4.4 Proprietes de quelques chaınes particulieres . . . . . . . . . . . . . . 34

3 Comportement asymptotique 353.1 Theoremes fondamentaux . . . . . . . . . . . . . . . . . . . . . . . . . . . 35

3.1.1 Etats recurrents . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 353.1.2 Etats transients . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36

4 TABLE DES MATIERES

3.2 Distributions asymptotiques . . . . . . . . . . . . . . . . . . . . . . . . . . 363.2.1 Distribution stationnaire . . . . . . . . . . . . . . . . . . . . . . . . 363.2.2 Distribution limite . . . . . . . . . . . . . . . . . . . . . . . . . . . 393.2.3 Cas particuliers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40

4 Exemples 434.1 Croisement frere-soeur . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 434.2 Galton-Watson : cas d’une chaıne infinie . . . . . . . . . . . . . . . . . . . 46

4.2.1 Definition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 474.2.2 Probabilites de transition . . . . . . . . . . . . . . . . . . . . . . . 484.2.3 Loi de Xm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 494.2.4 Probabilite d’extinction . . . . . . . . . . . . . . . . . . . . . . . . 514.2.5 Probabilite d’explosion . . . . . . . . . . . . . . . . . . . . . . . . . 524.2.6 Distribution stationnaire . . . . . . . . . . . . . . . . . . . . . . . . 524.2.7 Recapitulatif . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53

A Outils mathematiques 57A.1 Algebre lineaire . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57

A.1.1 Produit de matrices stochastiques . . . . . . . . . . . . . . . . . . 57A.1.2 Valeurs propres d’une matrice stochastique . . . . . . . . . . . . . . 57A.1.3 Theoreme de Perron-Frobenius . . . . . . . . . . . . . . . . . . . . 58A.1.4 Existence et unicite d’une distribution stationnaire pour une chaıne

finie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58A.2 Fonctions generatrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59

A.2.1 Definition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59A.2.2 Remarques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59A.2.3 Propriete fondamentale . . . . . . . . . . . . . . . . . . . . . . . . . 59A.2.4 Fonction generatrice d’une somme de variables aleatoires . . . . . . 60

B Demonstrations 63B.1 Proprietes generales . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63

B.1.1 Fonctions generatrices . . . . . . . . . . . . . . . . . . . . . . . . . 63B.1.2 Classification des etats . . . . . . . . . . . . . . . . . . . . . . . . . 64

B.2 Croisement frere-soeur . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65B.3 Galton-Watson . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66

B.3.1 Fonction generatrice de Xm . . . . . . . . . . . . . . . . . . . . . . 66B.3.2 Moments de Xm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67B.3.3 Probabilite d’extinction . . . . . . . . . . . . . . . . . . . . . . . . 68B.3.4 Probabilite d’explosion . . . . . . . . . . . . . . . . . . . . . . . . . 69B.3.5 Distribution stationnaire en fonction de µ . . . . . . . . . . . . . . 70

TABLE DES FIGURES 5

Table des figures

1.1 Genotypes d’individus obtenus par autofecondations successives . . . . . . 111.2 Nombre d’appels en attente a un standard telephonique . . . . . . . . . . . 111.3 Taille d’une famille au cours des generations successives . . . . . . . . . . . 121.4 Taille d’une population dont les individus se reproduisent et meurent . . . 121.5 Valeur d’un titre cote en bourse . . . . . . . . . . . . . . . . . . . . . . . . 131.6 Position dans l’espace d’une particule soumise a des chocs (mouvement

brownien) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14

2.1 Graphe associe a une matrice de transition entre n = 3 etats . . . . . . . . 192.2 Autofecondation d’un individu diploıde . . . . . . . . . . . . . . . . . . . . 222.3 Autofecondation d’un diploıde : evolution de la distribution µn . . . . . . . 222.4 Autofecondation d’un individu tetraploıde . . . . . . . . . . . . . . . . . . 232.5 Autofecondation d’un tetraploıde : evolution des probabilites des differents

etats . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 242.6 Graphe associe au modele de Wright . . . . . . . . . . . . . . . . . . . . . 252.7 Graphe avec classes de communication . . . . . . . . . . . . . . . . . . . . 302.8 Transition entre les classes de communication . . . . . . . . . . . . . . . . 33

3.1 Distribution stationnaire pour le modele de Wright avec mutation (N = 10,α = 0.05, β = 0.1). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39

4.1 Graphe de transition du processus de croisement frere-soeur . . . . . . . . 444.2 Processus de croisement frere-soeur : etat inital = (aa× ab) . . . . . . . . . 454.3 Processus de croisement frere-soeur : etat inital = (ab× ab) . . . . . . . . . 46

B.1 Probabilite d’extinction en fonction de g′(1) . . . . . . . . . . . . . . . . . 69

6 TABLE DES FIGURES

LISTE DES TABLEAUX 7

Liste des tableaux

1.1 Repartition des six exemples en fonction de la nature de l’espace des tempsT et de celui des etats E . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13

4.1 Recapitulatif des proprietes du processus de Galton-Watson . . . . . . . . 54

B.1 Distribution limite en fonction des differents etats initiaux . . . . . . . . . 66

8 LISTE DES TABLEAUX

9

Chapitre 1

Introduction aux processus

1.1 Processus aleatoire

1.1.1 Exemples

On presente ici quelques exemples introductifs de phenomenes aleatoires dont on sou-haite etudier l’evolution au cours du temps ; certains seront etudies plus precisement dansles chapitres suivants.

1. L’autofecondation est une methode fre quemment employee en amelioration desplantes. On peut s’interesser a l’evolution au cours des generations du caracte rehomozygote ou heterozygote (pour une gene donne) d’une succession d’individusainsi obtenus. Ce caractere est aleatoire : il est gouverne par les lois de Mendel.

2. Pour gerer des systemes de files d’attente tels que des standard telephoniques, onutilise souvent des modeles aleatoires : les communications peuvent survenir a n’im-porte quel moment et ont une duree variable.

3. Galton et Watson se sont interesse a la survie des patronymes des familles aristo-cratiques anglaises au cours des generations. Pour modeliser cette evolution ils ontsuppose que chaque indvidu donnait naissance a un nombre aleatoire de descen-dants. Cette modelisation est egalement utilisee pour etudier la propagation d’uneepidemie : dans ce cas les ”descendants” d’un malade sont les personnes qu’il conta-mine.

4. La dynamique d’une population est egalement un phenomene aleatoire : a chaqueinstant des individus peuvent naıtre ou mourir.

5. L’evolution au jour le jour des cours de titres boursiers est un sujet d’un intereteconomique evident. Seuls les modeles aleatoires peuvent donner une descriptionsatisfaisante de leur ”volatilite”.

6. La physique des particules est egalement un champ d’application des modeles sto-chastiques. Le ”mouvement brownien” en est un exemple c elebre : il decrit la tra-jectoire d’une particule soumise a des chocs.

10 CHAPITRE 1. INTRODUCTION AUX PROCESSUS

1.1.2 Definitions

Processus. Un processus (aleatoire ou stochastique) rend compte de l’evolution, aucours du temps, d’un phenomene aleatoire. La realisation d’un processus est appeleetrajectoire.

On note X (t) l’etat du phenomene au temps t. X (t) est une variable aleatoire.

– La loi de X (t) depend en general de t.

– Pour deux dates t1 et t2 quelconques, X (t1) et X (t2) ne sont, en general, pasindependantes.

Un processus prend ses valeurs dans un espace des etats et evolue dans un espace destemps.

Espace des temps. On note T l’ensemble dans lequel evolue le temps.On peut distinguer :

– les processus a temps discret pour lesquels les temps sont des entiers successifs :T = {0, 1, ...m, ...}. On note Xm la valeur du processus a la date t = m.

– les processus a temps continu pout lesquel T est inclus dans R. On note Xt la valeurdu processus a la date t.

Cet espace T est parfois appele espace des indices. On peut en effet definir desprocessus evoluant non pas dans le temps mais dans l’espace ; dans ce cas T peut avoirplusieurs dimensions (exemple : hauteur des vagues en fonction de la latitude et de lalongitude).

On n’etudiera ici que des processus temporelspour lesquels T a une seule dimension.

Espace des etats. On note E l’espace dans lequel les variables X (t) prennent leursvaleurs. On peut distinguer :

– les espaces des etats denombrables, finis ou infinis ;

– les espaces des etats continus.

Le mouvement brownien qui decrit la trajectoire d’une particule au cours du tempsest un exemple de processus a espace des etats continus.

On n’etudiera ici que des processus pour lesquelsE est denombrable, et le plus souvent fini.

Exemples.

1. Autofecondations : E est l’ensemble (fini) des genotypes possibles et T est discretpuisqu’il represente les generations successives.Exemple : E = {homozygote, heterozygote}, T = {0, 1, 2...}, Xm est le genotype dum-eme descendant (chaque generation est composee d’un seul individu, voir Fig.1.1,page 11).

1.1. PROCESSUS ALEATOIRE 11

+ + + + +0 1 2 3 4 5

generations+

+

heterozygote

homozygote

b b b

b b b

Fig. 1.1 – Genotypes d’individus obtenus par autofecondations successives

2. Appels telephoniques : E est fini car la capacite du standard est finie et T est continucar les appels peuvent survenir a n’importe quel moment.Exemple : E = {0, 1, ..10}, T = [8h ; 17h30], X (t) est le nombre d’appels en attenteau temps t (voir Fig.1.2, page 11).

8 9 10 11 12 13 14 15 16 17 180

1

2

3

4

5

6

7

8

9

10

heure

nom

bre

d’a

ppel

sen

cours

capacite maximale du standard

Fig. 1.2 – Nombre d’appels en attente a un standard telephonique

3. Taille d’une famille : E est infini (denombrable) car le nombre de descendants n’estpas limite et T est discret puisqu’il represente les generations successives. Ici E =T = N , Xm est le nombre de descendants au bout de m generations (voir Fig.1.3,page 12).

4. Dynamique d’une population : E est infini si on suppose que la taille de la popula-tion n’est pas limitee et T est continu car les individus peuvent naıtre ou mourira n’importe quel moment. Ici E = N et T = [0 ; +∞[, X (t) est la taille de lapopulation au temps t (voir Fig.1.4, page 12).

5. Cours d’une action : E est continu (on assimile le prix a une valeur continue) et T estdiscret car les cotations ont lieu une fois par jour. E = [0 ; +∞[ et T = Ensembledes jours ouvrables, Xm est le cours de l’action a la date m (voir Fig.1.5, page 13).

6. Mouvement brownien : E et T sont continus car la particule peut occuper n’importequelle position et les chocs peuvent avoir lieu n’importe quand. Exemple : E = R3 ,


1 2 3 4 5 6 7 8 9 100

5

10

15

generation

taille

de

lafa

mille

Fig. 1.3 – Taille d’une famille au cours des generations successives

0 2 4 6 8 10 120

5

10

15

20

25

temps

taille

de

lapopula

tion

Fig. 1.4 – Taille d’une population dont les individus se reproduisent et meurent

T = [0 ; +∞[, X (t) = [X1 (t) , X2 (t) , X3 (t)] sont les coordonnees de la particuleau temps t (voir Fig.1.6, page 14).

Le Tab.1.1 (page 13) montre comment ces exemples se repartissent selon la naturedes espaces T et E .

1.2 Proprietes

1.2.1 Propriete de Markov

Definition. Un processus X (t) verifie la propriete de Markov si la loi de X (t) condi-tionnellement a une serie d’observations anterieures {X (t1), X (t2), ... X (tm)} est egalea la loi de X (t) conditionnellement a l’observation la plus recente X (tm) ; soit, en notant

1.2. PROPRIETES 13

0 2 4 6 8 10 12 14 16 18 200

2

4

6

8

10

12

14

16

18

20

date de cotation

vale

ur

du

titr

e

Fig. 1.5 – Valeur d’un titre cote en bourse

T discret T continuE denombrable fini Autofecondations (1) Appels telephoniques (2)

E denombrable infini Taille d’une famille (3)Dynamique d’une

population (4)E continu Cours d’une action (5) Mouvement brownien (6)

Tab. 1.1 – Repartition des six exemples en fonction de la nature de l’espace des temps Tet de celui des etats E .

L [X (t)] la loi de la variable aleatoire X (t),

∀ (t1, t2, ...tm) : t1 < t2 < ... < tm < t,L [X (t) | X (t1) , X (t2) ..., X (tm)] = L [X (t) | X (tm)] .

Cette propriete suppose que toute l’information apportee par le passe est resumee dansl’observation la plus recente.

1.2.2 Homogeneite temporelle

Definition. Un processus X (t) est homogene dans le temps si la loi jointe de toutm-uplet {X (t1) , X (t2) ..., X (tm)} est conservee quand on decalle toutes les dates d’unememe dure h ; soit

∀ (t1, t2, ...tm) , ∀h :L [X (t1) , X (t2) ..., X (tm)] = L [X (t1 + h) , X (t2 + h) ..., X (tm + h)] .

Cette propriete induit une stabilite dans l’evolution du phenomene au cours du temps.


−200

2040

6080

−20

−10

0

10

20−10

−5

0

5

10

15

20

25

30

35

position X1

position X2

posi

tion

X3

Fig. 1.6 – Position dans l’espace d’une particule soumise a des chocs (mouvement brow-nien)

1.2.3 Exemples

1. La transmission du patrimoine genetique est typiquement un phenomene markovienpuisque toute l’information apportee par les ancetres est resumee dans le genotypedes parents. C’est un phenomene homogene dans le temps puisque les lois qui gou-vernent cette transmission ne varient pas au cours des generations.

2. Si les appels surviennent independamment les uns des autres, le nombre d’appelsrecus durant un petit intervalle ne depend pas du nombre d’appel deja enregistre ;dans ce cas, le processus peut etre considere comme markovien . Par contre, il n’estpas homogene car la frequence des appels peut varier au cours de la journee (heuresde pointe, pause du midi, etc.).

3. Si la loi du nombre de descendants d’un individu est la meme a toutes les generations,alors l’evolution de la taille d’une famille est un processus markovien homogene. Cetexemple sera traite en detail en section 4.2.

4. Le processus decrivant l’evolution de la taille d’une population est appele ”processusde naissances et morts”. Pour la m eme raison que celle invoquee a l’exemple 2,page 14 , on peut considerer qu’il est markovien si les naissances et les morts ontlieu independamment les unes des autres. Il n’est, en general, pas homogene aucours du temps, par exemple si on considere l’influence du cycle des saisons sur lesreproductions.

5. Le cours d’une action est frequemment presente comme un exemple de processusayant une memoire longue. Les evolutions ne d ependent pas seulement de la derniere

1.2. PROPRIETES 15

valeur du titre, mais aussi des evolutions passees (phases de croissance, chocs bour-siers, etc.) Dans ce cas, l’hypothese de Markov n’est pas raisonnable. L’homogeneitetemporelle peut elle aussi etre mise en doute selon le modele economique sous-jacent.

6. Le mouvement d’une particule est markovien si les chocs se produisent indepen-damment les uns des autres (ce qui semble une hypothese raisonnable) et homogenedans le temps si le milieu est lui-meme homogene (dans le temps et dans l’espace).


17

Chapitre 2

Proprietes generales

2.1 Definitions

2.1.1 Chaıne de Markov

Une chaıne de Markov est un processus qui verifie la propriete de Markov et pourlequel E et T sont finis ou denombrables.

Le fait que T soit denombrable nous autorise dans tous les cas a nous ramener a

T = N .

Pour un tel processus {Xm}m∈N, la propriete de Markov s’ecrit :

L (Xm | X0, X1, ..., Xm−1) = L (Xm | Xm−1) ,

soit encore, en notant i1, i2, ... des etats quelconques de E :

Pr {Xm+1 = im+1 | X0 = i0, ...Xm = im} = Pr {Xm+1 = im+1 | Xm = im} .

Toute l’information apportee par le passe est contenue dans la derniere information.

Chaıne de Markov homogene. Une chaıne de Markov est dite homogene si les pro-babilites conditionnelles ci-dessus ne dependent pas de la date m, i.e. si

∀ (i, j) ∈ E :Pr {Xm+1 = j | Xm = i} = Pr {X1 = j | X0 = i} .

Exemple. L’evolution du genotype d’une succession d’individus obtenus par autofecon-dations successives (exemple 1, page 9) est processus a temps discret et a espace d’etatsfini (voir page 10), markovien (voir page 14) : c’est une chaıne de Markov homogene.

18 CHAPITRE 2. PROPRIETES GENERALES

2.1.2 Probabilites de transition

Transition en une etape. La probabilite de transition en une etape est

π(m,m+1) (i, j) = Pr {Xm+1 = j |Xm = i} .

Si la chaıne est homogene, on la note

π (i, j) = π1 (i, j) = Pr {Xm+1 = j |Xm = i} pour tout m

= Pr {X1 = j|X0 = i} .

Transition en m etapes. La probabilite de transition en m etapes est

π(l,l+m) (i, j) = Pr {Xl+m = j |Xl = i} .

Si la chaıne est homogene, on note :

πm (i, j) = Pr {Xl+m = j |Xl = i} pour tout l

= Pr {Xm = j |X0 = i} .

Dans la suite (sauf precision explicite), on ne considereraque des chaınes de Markov homogenes.

Transition en exactement m etapes. La probabilite πm (i, j) n’exclut pas que leprocessus repasse en i ou en j au cours de ces m etapes. On note fm (i, j) la probabilitede passer de l’etat i a l’etat j en exactement m etapes :

fm (i, j) = Pr{Xm = j, (Xk 6= j, Xk 6= i)k=1..m−1 |X0 = i

}.

Esperance du temps de passage d’un etat a un autre. On note de plus ρ (i, j)l’esperance du temps de passage de i en j :

ρ (i, j) =∑

m>0

mfm (i, j) .

Transition en un nombre quelconque d’etapes. On definit enfin la probabilitef ∗ (i, j) d’atteindre (en un nombre quelconque d’etapes) l’etat j depuis l’etat i. On a :

f ∗ (i, j) =∑

m>0

fm (i, j) .

2.1. DEFINITIONS 19

2.1.3 Matrice de transition

La matrice de transition est la matrice Π dont le terme general π (i, j) est la probabilitede transition de l’etat i a l’etat j en une etape. C’est une matrice

– carree,

– independante du temps,

– de terme general π (i, j) :

Π =

π (1, 1) · · · π (1, j) · · ·...

...π (i, 1) · · · π (i, j) · · ·

......

Cette matrice peut etre de dimensions finies ou infinies selon qu’il existe un nombrefini ou infini d’etats.

Lien avec les graphes. La matrice de transition d’une chaıne de Markov finie peutetre associee a un graphe dont les sommets sont les etats. Deux etats i et j sont relies parun arc

iπ(i, j)

j

de valeur π (i, j) si π (i, j) est non nul. Par exemple, la chaıne associee a la matrice Π :

Π =

13

13

13

12

0 12

0 1 0

,

a le graphe associe presente en Fig.2.1.

1

1/3

1/3

1/3

2

1/2

1/2

3

1

Fig. 2.1 – Graphe associe a une matrice de transition entre n = 3 etats


Matrice stochastique.

Definition. Une matrice A =(aij) est dite stochastique si elle est carree et verifieles trois conditions suivantes :

(a) A est carree,

(b) ∀ (i, j) , aij ≥ 0,

(c) ∀i,∑k

j=1 aij = 1.

D’apres la definition precedente, il est clair que la matrice de transition Π est unematrice stochastique.

Theoreme 1 Le produit de deux matrices stochastiques est une matrice stochastique.

Demonstration. Voir annexe A.1.1, page 57. �Par recurrence, on en deduit que toute puissance Am d’une matrice stochastique A

est une matrice stochastique.

2.1.4 Loi de Xm

Pour etudier le comportement de la chaıne on etudie les probabilites

µm (i) = Pr {Xm = i} .

On note µm le vecteur (ligne) de distribution de Xm :

µm =[

µm (1) · · · µm (i) · · ·].

On peut calculer µm en fonction de µm−1 et de Π. En effet, par decomposition sur unsysteme complet d’evenements, on a :

Pr {Xm = j} =∑

i

Pr {Xm−1 = i} π (i, j)

soitµm (j) =

∑

i

µm−1 (i)π (i, j) .

Matriciellement, ce resultat s’ecrit :

µm = µm−1.Π.

(La multiplication s’effectue a gauche parce que les vecteurs µm sont des vecteurs lignes.)Par recurrence, on en deduit :

µm = µ0.Πm.

La connaissance de la distribution de probabilites initiale µ0 et de la matrice de tran-sition Π suffit pour decrire completement le comportement de la chaıne de Markov aucours du temps.

2.2. EXEMPLES GENETIQUES 21

2.1.5 Fonctions generatrices de probabilites

Pour tout couple (i, j) et pour |s| < 1, on definit :

Pij (s) =∑

m≥0

πm (i, j) sm

avec la conventionπ0 (i, j) = 0 si i 6= j,

= 1 si i = j.

On appelle Pij fonction generatrice de la distribution de probabilites πm (i, j), m ≥ 0 .De facon analogue, pour tout i et j et pour |s| < 1, on definit la fonction generatrice

de la distribution de probabilites fm (i, j) , m ≥ 0 :

Fij (s) =∑

m≥0

fm (i, j) sm

avec la convention, pour tout i et j,

f0 (i, j) = 0.

Les fonctions generatrices (de probabilites) ont des propriet es generales presentees enannexe A.2 (page 59). Elles permettent notamment de calculer l’espe rance et la variancedes variables aleatoires associees. Ainsi, par exemple, l’esperance du temps de passage dei en j, notee ρ (i, j), vaut

ρ (i, j) =∑

m>0

mfm (i, j) = F ′ij (1) .

2.2 Exemples genetiques

La genetique est un domaine privilegie d’application des chaınes de Markov car leprocessus d’heredite satisfait l’hypothese markovienne : toute l’information passee sur legenotype d’un individu est contenue dans les genotypes de ses parents ; il ne sert a riende remonter plus loin dans ses ancetres.

On presente ici quelques exemples d’application.

2.2.1 Autofecondation d’un individu diploıde

On s’interesse a l’evolution du genotype d’individus diploıdes obtenus par autofecon-dation. A chaque generation m, on definit la variable aleatoire Xm comme le caracterehomozygote ou heterozygote pour un locus donne. La variable Xm est associee a un espacede temps T = {0, 1, 2, ...} et un espace des etats E = { homozygote, heterozygote}.

D’apres les lois de Mendel :

– si un individu est homozygote (aa), son descendant le sera necessairement.


– s’il est heterozygote, son descendant aura autant de chances d’etre homozygotequ’heyerozygote.

On a donc la matrice de transition suivante :

Π =

(homozygote) (heterozygote)(homozygote) 1 0(heterozygote) 1/2 1/2

.

La graphe associe a cette matrice est presente en Fig.2.2.

homozygote heterozygote

Fig. 2.2 – Autofecondation d’un individu diploıde

Si l’individu initial est heterozygote (µ0 = [0 1]), son descendant aura autant dechance d’etre homozygote qu’heterozygote (µ1 = µ0.Π = [1/2 1/2]). La Fig.2.3 presentel’evolution de la distribution µm au cours des generations.

0 5 10 15 200

0.2

0.4

0.6

0.8

1

homozygote

heterozygote

Fig. 2.3 – Autofecondation d’un diploıde : evolution de la distribution µn

On observe que la probabilite d’etre homozygote est quasiment egale a 1 au bout de10 generations. Ce nombre de generations est souvent utilise en amelioration de plantespour consituer des lignees (homozygotes).


2.2.2 Autofecondation d’un individu tetraploıde

Dans le cas d’un individu tetraploıde, l’espace des temps reste le meme mais il existecinq etats possible E = {M, S, D, T, Q} en notant :

M = Monoallelique (aaaa) ,S = Diallelique simplex (aaab) ,D = Diallelique duplex (aabb) ,T = Triallelique (aabc) ,Q = Tetraallelique (abcd) .

Pour calculer les probabilites de transitions, il faut se souvenir que, chez un individutetraploıde, les chromosomes sont transmis par paires. Ainsi un individu diallelique sim-plex (etat S) peut fournir avec des probabilites egales des paires de type (aa) ou (ab) ;son descendant sera dans l’etat M s’il herite de deux paires (aa), dans l’etat S s’il herited’une paire (aa) et d’une paire (ab) ou dans l’etat D s’il herite de deux paires (ab). On adonc :

(aa) (ab)(aa) (aaaa) (aaab)(ab) (aaab) (aabb)

⇒

π (S, M) = 1/4π (S, S) = 1/2π (S, D) = 1/4

.

En effectuant ce calcul pour chacun des cinq etats, on obtient la matrice de transitionsuivante :

Π =

(M) (S) (D) (T ) (Q)(M) 1 0 0 0 0(S) 1/4 1/2 1/4 0 0(D) 1/8 1/2 3/8 0 0(T ) 1/36 2/9 1/4 1/2 0(Q) 0 0 1/6 2/3 1/6

. (2.1)

La graphe associe a cette matrice est presente en Fig.2.4(page 23).

Q

D

T

S M

Fig. 2.4 – Autofecondation d’un individu tetraploıde

La Fig.2.5 (page 24) presente l’evolution de la distribution µm si on part d’un individutetraallelique (etat Q : µ0 = [0 0 0 0 1]). Ici aussi, on observe que le processus d’autofecondation tend vers l’etat genetiquement le plus pauvre (M : monoallelique). Cetteevolution se fait cependant moins rapidement que chez le diploıde.


0 5 10 15 20 25 300

0.2

0.4

0.6

0.8

1

b b M

S

· − · D

T

Q

Fig. 2.5 – Autofecondation d’un tetraploıde : evolution des probabilites des differents etats

2.2.3 Modele de Wright

Un probleme classique en genetique est l’etude de l’evolution de la frequence d’unallele A dans une population au cours des generations. Le modele de Wright considereune population de taille constante N (comportant donc 2N genes) et suppose que chaquegeneration ((pioche)) au hasard dans le patrimoine genetique de la precedente. L’espacedes temps est T = {0, 1, 2, ...} ; l’espace des etats est l’ensemble des nombres possiblesd’alleles A presents, soit E = {0, 1, ...2N}.

Si la population compte i alleles A a une generation (la ((frequence allelique)) de A estalors de i/2N) et si on note J le nombre de A a la generation suivante, on a :

J ∼ B(

2N,i

2N

)

.

A cause de cette formule, on dit que ce processus constitue une chaıne binomiale.

Tant que la population comporte a la fois l’allele A et un autre ( i.e. si 0 < i < 2N),les probabilites de transitions sont donnees par la loi binomiale ; si la frequence alleliquede A vaut 0 ou 1 (i.e. si i = 0 ou 2N), la population est ((pure)) et ne peut plus evoluer.On a donc :

π (i, j) = Cj2N

(i

2N

)j (

1− i

2N

)2N−j

si i ∈ {1, ..2N − 1} ,= 1 si i ∈ {0, 2N} et i = j,= 0 si i ∈ {0, 2N} et i 6= j.


La matrice de transition associee a cette chaıne est donc de la forme :

Π =

(0) (1) · · · (2N − 1) (2N)(0) 1 0 · · · 0 0(1) π (1, 0) · · · · · · · · · π (1, 2N)...

......

(2N − 1) π (2N − 1, 0) · · · · · · · · · π (2N − 1, 2N)(2N) 0 0 · · · 0 1

La graphe associe a cette chaıne est presente en Fig.2.6.

Fig. 2.6 – Graphe associe au modele de Wright

Introduction de mutations. On peut introduire les mutations sous la forme de deuxtermes :

α = taux de mutation de a en A,

β = taux de mutation de A en a.

La probabilite de transition π (i, j) garde la meme forme mais la proportion (i/2N) y estremplacee par :

i

2N(1− α) +

(

1− i

2N

)

β.

Dans ce modele, meme quand la population ne contient plus qu’un seul des deux alleles,l’autre peut reapparaıtre par mutation. Le processus ne se stabilise donc jamais.

Dans le graphe associe a cette chaıne, si α et β sont non-nuls, les etats 0 et 2Ncommuniquent avec les autres etats. Si seul α est non nul, l’etat 0 communique avec les


etats (1, ...2N − 1) et 2N reste isole. (La notion de communication serait definie en detaila la section 2.4.1 , page 29)

Si α et β sont non-nuls, on peut (theoriquement) passer directement de l’etat 0 a l’etat2N ; il faut pour cela que les 2N alleles a mutent simultanement en A.

2.3 Proprietes des probabilites de transitions

2.3.1 Chapmann-Kolmogorov

On peut decomposer la probabilite de transition de l’etat i vers l’etat j entre la date let la date l + m en fonction de l’etat occupe a une date intermediaire l + n (1 ≤ n < m).

Dans le cas general (non homogene), on a :

π(l,l+m) (i, j) =∑

k∈E

π(l,l+n) (i, k)π(l+n,l+m) (k, j) .

Il existe deux cas particuliers de cette decomposition qui correspondent respectivementa n = 1 et n = m−1. Ces equations sont connnues sous le nom d’equations de Chapmann-Kolmogorov :

– retrospective (backward)

π(l,l+m) (i, j) =∑

k∈E

π(l,l+1) (i, k) π(l+1,l+m) (k, j) ;

– prospective (forward)

π(l,l+m) (i, j) =∑

k∈E

π(l,l+m−1) (i, k)π(l+m−1,l+m) (k, j) .

Homogeneite. Dans le cas homogene, l’equation generale est :

πl+m (i, j) =∑

k∈E

πl (i, k) πm (k, j) =∑

k∈E

πm (i, k) πl (k, j) .

On deduit les deux equations :

– retrospective (backward)

πm (i, j) =∑

k∈E

π (i, k)πm−1 (k, j) ;

– prospective (forward)

πm (i, j) =∑

k∈E

πm−1 (i, k) π (k, j) .

On se limitera dans la suite a l’etude des chaınes homogenes et donc a lanotation πm au lieu de π(l,l+m) puisque l’indice l est inutile.

2.3. PROPRIETES DES PROBABILITES DE TRANSITIONS 27

Relations de recurrence. Ces relations constituent des relations de recurrences quipermettent de deduire les probabilites de transition en m etapes a partir des probabilitesde transition en 1 etape :

π2 (i, j) =∑

k∈E

π (i, k) π (k, j) ,

π3 (i, j) =∑

k∈E

π2 (i, k) π (k, j) ,

etc.

Ecriture matricielle. On reconnaıt dans la formule de π2 (i, j) le produit de la i-emeligne et de j-eme de la matrice Π. On deduit que la matrice Π2 des probabilites detransition en 2 etapes est egale a Π×Π :

Π2 = Π2.

Par recurrence, on montre que, pour tout m, la matrice Πm des probabilites de tran-sition en m etapes est egale a Πm−1 ×Π soit :

Πm = Πm.

Πm est une matrice stochastique puisqu’elle est la puissance m-eme de la matricestochastique Π.

Cette relation signifie que le terme general (i, j) de la m-eme puissance Πm de Π estla probabilite de transition πm (i, j) en m etapes de i vers j.

De facon generale, pour les chaınes homogenes, on a :

µl+m = µl.Πm = µl.Πm

= µm.Πl = µm.Πl.

Corollaire 2 L’equation de Chapman-Kolmogorov implique l’inegalite suivante pour touti, j et k :

πl+m (i, j) ≥ πl (i, k) πm (k, j) .

Demonstration. πl (i, k) × πm (k, j) n’est qu’un des elements du terme de droite del’equation πl+m (i, j) =

∑

k∈E πl (i, k) πm (k, j) dont tous les termes sont positifs. �2.3.2 Transition en exactement m etapes.

Pour la probabilite de transition en exactement m etapes fm (i, j) (voir definition page18), on a les proprietes suivantes :

– de facon evidente :∀i, j, m fm (i, j) ≤ πm (i, j) ;


– pour tout m > 0 et pour tout i :

πm (i, i) =

m∑

l=0

fl (i, i) πm−l (i, i) (2.2)

(on rappelle la convention π0 (i, i) = 1) ;

– pour tout m ≥ 0 et pour tout i 6= j :

πm (i, j) =m∑

l=0

fl (i, j) πm−l (j, j) (2.3)

(on rappelle la convention pour i 6= j : π0 (i, j) = f0 (i, j) = 0).

Ces formules permettent de calculer les probabilites de transitions fm (en exactement metapes) a partir des πm qui se calculent aisement a partir des puissances de la matrice Π.

Fonctions generatrices Les fonctions generatrices associees verifient :

– Fii (s) .Pii (s) = Pii (s)− 1, soit

Pii (s) =1

1− Fii (s)

(la demonstration est donnee en annexe B.1.1, page 63) ;

– pour tout i 6= j :

Pij (s) = Fij (s) .Pjj (s)

(la demonstration est donnee en annexe B.1.1, page 63).

2.4 Caracterisation des etats et de la chaıne

Dans ce paragraphe nous allons d’abord montrer qu’il existe une structure en classesde l’espace des etats E fondee sur la notion de communication entre les etats.

Nous nous interesserons ensuite a deux caracteristiques des etats : la periodicite et larecurrence :

– un etat sera dit periodique si les temps de retour en cet etat sont necessairementmultiples d’une duree (periode) caracteristique, dans le cas contraire il sera dit a-periodique ;

– un etat sera dit recurent si le processus est voue a le visiter regulierement ; a l’in-verse il sera dit transient si le processus le visite quelques fois avant de le quitterdefinitivement.

2.4. CARACTERISATION DES ETATS ET DE LA CHAINE 29

2.4.1 Communication

Etats accessibles. On dit que l’etat j est accessible a partir de l’etat i si la probabilitede passer de i a j est non nulle :

i→ j ⇐⇒ ∃m ≥ 0 : πm (i, j) > 0.

Etats communiquants. On dit que les etats i et j communiquent si chacun d’eux estaccessible a partir de l’autre :

i↔ j ⇐⇒{

i→ jj → i

.

Pour que deux etats ne communiquent pas il faut que l’un des deux ne soit pas accessiblea partir de l’autre, c’est a dire que

∀m ≥ 0 : πm (i, j) = 0 ou ∀m ≥ 0 : πm (j, i) = 0.

Classes d’equivalence sur les etats Il est important de noter que la communicationentre etats est une relation d’equivalence :

– la reflexivite vient du fait que ∀i : π0 (i, i) = 1,

– la symetrie vient du caractere symetrique de la definition elle meme,

– la transitivite se demontre en utilisant le corollaire 2, page 27 :

{i→ j, j → k} ⇒ ∃ (l, m) : πl (i, j) > 0, πm (j, k) > 0⇒ πl+m (i, k) ≥ πl (i, j)πm (j, k) > 0⇒ i→ k

et symetriquement pour i← k.

La communication induit donc des classes d’equivalence dans l’ensemble des etats : onpeut decouper l’ensemble des etats en classes d’etats communiquant entre eux, ces classesne communiquant pas entre elles.

Exemples.

1. On considere une chaıne de Markov de matrice de transition Π :

Π =

0 0.8 0 0.21 0 0 00 0 0.1 0.90 0 0.6 0.4

. (2.4)

Cette chaıne possede deux classes de communication : C1 = {1, 2} et C2 = {3, 4}.Ces classes ne communiquent pas entre elles : on peut passer de C1 a C2 mais pas lecontraire. Le graphe associe a cette matrice est presente dans la Fig.2.7.


La matrice

Π2 =

[0.1 0.90.6 0.4

]

est la matrice de transition interne a la classe C2 : a partir du moment ou le processusatteint un etat de cette classe, sa trajectoire est regie par cette matrice.

Fig. 2.7 – Graphe avec classes de communication

2. Pour l’autofecondation d’un tetraploıde (page 23), seuls les etats S et D commu-niquent Il y a donc 4 classes de communication qui correspondent au nombre d’allelesdifferents portes par l’individu (la classe C2 reunit les etats diallelique simplex etdiallelique duplex) :

C1 = {M} , C2 = {S, D} , C3 = {T} , C4 = {Q} .

3. Dans le modele de Wright (page 24) il y a 3 classes de communication : C1 = {0}},C2 = {1, 2, ..2N − 1} (en pointilles sur la Fig.2.6) et C3 = {2N}.

Si on introduit une mutation possible de a vers A (α > 0, β = 0), l’etat 0 communiqueavec les etats (1, 2, ...2N − 1) et il n’y a plus que 2 classes de communication :C1 = {0, 1, ...2N − 1} et C2 = {2N}.Si les deux mutations sont possibles (α > 0, β > 0), tous les etats communiquentet sont donc reunis dans une seule classe de communication C1 = {0, 1, ...2N} = E .

Chaıne irreductible. Une chaıne de Markov pour laquelle il n’existe qu’une seule classede communication (egale a l’ensemble des etats) est dite irreductible.

C’est le cas de la chaıne associee au modele de Wright (page 24) quand les deuxmutations sont possibles (α > 0, β > 0).


2.4.2 Periodicite

Periode d’un etat. On definit la periode d’un etat i la quantite τi telle que les retoursa cet etat se font seulement au bout de durees multiples de la periode. L’etat i est deperiode τi si :

{πm (i, i) > 0⇒ m = kτi, k ∈ N}ou, plus precisement :

τi periode de i ⇐⇒ τi = p.g.c.d. {m ∈ N : πm (i, i) > 0} .

L’etat i est dit periodique si τi > 1 et aperiodique si τi = 1.

Theoreme 3 (admis) Deux etats communicants ont la meme periode :

i↔ j =⇒ τi = τj .

Classe periodiques. La propriete precedente implique que la periode est constante al’interieur d’une classe de communication. La periode commune des elements de la classeest appelee periode de la classe.

Une chaıne irreductible est reduite a une seule classe : si cette classe est periodique onparle de chaıne periodique. Si la chaıne n’a pas de periode, elle est dite aperiodique.

Exemples. La chaıne associee a la matrice :

Π =

[0 11 0

]

est periodique de periode 2 : elle se comporte comme un metronome.Dans la chaıne regie par la matrice (2.4) (page 29), la classe C1 est periodique de

periode 2 et la classe C2 est aperiodique.

2.4.3 Recurrence

Etat recurrent. Un etat est dit recurrent si, partant de cet etat, on est certain d’yrevenir :

i recurrent ⇐⇒ f ∗ (i, i) =∑

m≥1

fm (i, i) = 1.

f ∗ (i, i) represente la probabilite de retour dans l’etat i.

Theoreme 4 Pour tout etat i recurrent, on a :

∑

m≥0

πm (i, i) = +∞.


Demonstration. Voir annexe B.1.2, page 64. �Si l’esperance du temps de (premier) retour ρ (i, i) en i est infinie, on dit que l’etat i

est recurrent nul :ρ (i, i) =

∑

m>0

mfm (i, i) = +∞.

Si l’esperance du temps de retour ρ (i, i) en i est finie, on dit que l’etat i est recurrentpositif :

ρ (i, i) =∑

m>0

mfm (i, i) < +∞.

Etat transient. Un etat transient est un etat pour lequel le retour n’est pas certain :

i transient ⇐⇒ f ∗ (i, i) < 1.

Theoreme 5 Pour tout etat i transient, on a :∑

m≥0

πm (i, i) < +∞.

Demonstration. La demonstration est analogue a celle du cas recurrent. �L’esperance du temps de retour ρ (i, i) en i est infinie pour tout etat transient i puisque

la probabilite pour que le retour n’ait jamais lieu 1− f ∗ (i, i) est non nulle.

Theoreme 6 Deux etats communicants sont de meme nature : ils sont tous les deux soittransients, soit recurrents nuls, soit recurrents positifs.

Demonstration. Voir annexe B.1.2, page 64. �Classe recurrente ou transiente. Une consequence de cette propriete est que tousles etats d’une meme classe sont de meme nature : recurrents-nuls, recurrents-positifs outransients.

Exemple. Dans la chaıne associee a la matrice 2.4 (page 29), on a distingue lesclasses C1 et C2. D’apres les definitions precedentes, C1 est transiente (on finira tot outard par la quitter), C2 est recurrente (voir Fig.2.7, page 30). Ces caracteristiques sontindependantes du caractere periodique ou aperiodique de ces classes : il existe des classesperiodiques recurrentes, periodiques transientes, aperiodiques recurrentes et aperiodiquestransientes.

Remarques.

1. On sort necessairement d’une classe transiente pour entrer dans une autre classetransiente ou recurrente.

2. Depuis une classe recurrente, on ne peut acceder a aucun autre classe : si c’etaitle cas, on pourrait sortir de la classe recurrente sans pouvoir y revenir (sinon elleserait en communication avec cette autre classe) et cela est en contradiction avec ladefinition de la recurrence.


Exemple. Pour une matrice de transition de la forme :

Π =

(T1) (T2) (R1) (R2)(T1) (�) (�) (�) 0(T2) (�) (�) (�) (�)(R1) 0 0 (�) 0(R2) 0 0 0 (�)

(ou (�) represente une matrice quelconque), la chaıne de Markov associee admet deuxclasses transientes T1 et T2 et deux classes recurrentes R1 et R2 (voir Fig.2.8).

Fig. 2.8 – Transition entre les classes de communication

La matrice restreinte aux classes recurrentes est diagonale par bloc et les transitionsdes classes recurrentes vers les classes transientes sont nulles.

Etat absorbant. Un etat est dit absorbant si, quand la chaıne atteint cet etat, elle yreste :

i absorbant ⇐⇒{

π (i, i) = 1π (i, j) = 0 pour j 6= i

.

Ces etats sont tres particuliers puisqu’ils constituent des etats terminaux de l’evolutionde la chaıne. Il est notamment interessant d’etudier les probabilites d’absorbtion, i.e. lesprobabilites que la chaıne finisse par atteindre un tel etat.

Par definition, un etat absorbant ne communique avec aucun autre : il constitue doncune classe (necessairement recurrente) reduite a un seul element.

Exemples.

1. Pour l’autofecondation d’un diploıde (page 21), l’etat ((homozygote)) est absorbantpuisque le descendant d’un homozygote est necessairement homozygote egalement.L’etat ((heterozygote)) est donc transient.

2. Pour le tetraploıde (page 23), l’etat M (monoallelique) est absorbant pour la memeraison que l’homozygote dans le cas du diploıde ; tous les autres etats sont transients.


3. Dans le modele de Wright (page 24), les etats 0 et 2N sont absorbants ; tous lesautres etats sont transients.

Si seule la mutation de a vers A est possible (α > 0, β = 0), le seul etat absorbantest 2N . Si les deux mutations sont possibles (α > 0, β > 0), il n’y a aucun etatabsorbant.

2.4.4 Proprietes de quelques chaınes particulieres

Chaıne irreductible. D’apres les resultats precedents, une chaıne irreductible possedeles proprietes suivantes :

1. tous les etats communiquent (c’est la definition) ;

2. tous les etats sont de meme nature : transients, recurrents nuls ou recurrents positifs ;

3. tous les etats sont aperiodiques ou sont periodiques de meme periode.

Chaıne finie. D’apres les resultats precedents, dans une chaıne finie :

1. les etats ne peuvent pas etre tous transients (voir la demonstration en annexe B.1.2,page 65) ;

2. il n’existe pas d’etat recurrent nul.

Chaıne irreductible finie. D’apres les proprietes precedentes, tous les etats sontrecurrents positifs.

35

Chapitre 3

Comportement asymptotique

Il est interessant de se demander si un processus donne finit par adopter un com-portement stable ou pas, s’il converge vers une limite ou non. Pour cela on etudie lecomportement asymptotique du vecteur µm (m→∞).

On se limite ici aux chaınes finies c’est-a-direayant un nombre fini n d’etats.

3.1 Theoremes fondamentaux

3.1.1 Etats recurrents

Lorsqu’on etudie un etat i periodique (de periode τi), les seules probabilites de retournon nulles sont les probabilites associees a une duree multiple de la periode, soit m × τi.Le theoreme suivant donne le comportement asymptotique de ces probabilites de retourπmτi

(i, i).

Theoreme 7 Pour un etat recurrent i de periode τi, on a :

limm→+∞

πmτi(i, i) =

τi

ρ (i, i).

Demonstration. Voir le livre de Chung 1, page 29. �Corollaire 8 Si l’esperance du temps de retour ρ (i, i) en l’etat i est infinie, alors

limm→+∞

πm (i, i) = 0.

Demonstration. C’est une application direct du theoreme 7. �Le nom ”etat recurrent nul” provient de cette propriete.

Theoreme 9 Soient i et j, deux etats d’un meme classe recurrente de periode τ , on apour tout r (1 ≤ r ≤ τ) tel que j est accessible depuis i en r etapes :

limm→+∞

πmτ+r (i, j) =τ

ρ (j, j).

36 CHAPITRE 3. COMPORTEMENT ASYMPTOTIQUE

Demonstration. Voir Chung 1, page 31. �Si j n’est pas accessible depuis i en r etapes alors πmτ+r (i, j) est toujours nulle. Il

existe donc τ limites differentes pour les probabilites de transitions.

3.1.2 Etats transients

Theoreme 10 Pour un etat transient i, on a :

limm→+∞

πm (i, i) = 0.

Demonstration. Puisque i est transient, on a∑

m≥0 πm (i, i) < +∞, tous les πm (i, i)etant positifs, donc πm (i, i) tend vers 0. �

Remarque. Le theoreme 7 pourrait aussi s’appliquer car ρ (i, i) = 0.

3.2 Distributions asymptotiques

3.2.1 Distribution stationnaire

Definition. On appelle distribution stationnaire la distribution de probabilites cor-respondant a tout vecteur propre (a gauche) de Π associe a la valeur propre 1 :

µ = µ.Π.

Une distribution est dite stationnaire si elle ne change pas lors d’une transition. Untel vecteur µ rend compte d’un comportement stochastique stable du systeme.

Par definition, une distribution stationnaire µ∗ est un vecteur propre a gauche (donc

vecteur ligne) de Π associe a la valeur propre λ = 1 et dont toutes les composantes sontpositives ou nulles.

Le theoreme suivant nous assure que λ = 1 est valeur propre de Π.

Theoreme sur les valeurs propres d’une matrice stochastique. Si A est unematrice stochastique, alors (en notant 1 le vecteur colonne compose de 1),

(a) λ1 = 1 est valeur propre et son vecteur propre colonne associe a droite est v1 = 1 ;

(b) toutes les valeurs propres λi sont inferieures a 1 en module : |λi| ≤ 1.

Demonstration. Voir annexe A.1.2, page 57. �Ce theoreme nous assure que λ1 = 1 est une valeur propre de Π. Il ne nous garantit

pas que le vecteur propre a gauche associe constitue une distribution de probabilites. Par,exemple, il faut que toutes ces coordonnees soient de meme signe.

3.2. DISTRIBUTIONS ASYMPTOTIQUES 37

Existence d’une distribution stationnaire Sous les conditions donnees par le theoremede Perron-Frobenius (voir annexe A.1.3, page 58) et de son premier corollaire, on montrequ’il existe un vecteur propre a gauche associe a λ = 1 dont toutes les coordonnees sontpositives.

On peut ainsi donner des conditions d’existence d’une distribution stationnaire.

Theoreme d’existence d’une distribution stationnaire. Si la matrice Π atoutes ses elements strictement positifs ou s’il existe une puissance Πm dont toutes lescomposantes sont strictement positives, alors il existe une distribution stationnaire µ∗

definie par le vecteur propre a gauche associe a la valeur propre λ1 = 1 :

µ∗ = µ

∗.Π.

Demonstration. Voir annexe A.1.4, page 58. �On peut montrer que pour une chaıne finie et aperiodique la condition du theoreme

precedent (il existe une puissance Πm dont toutes les composantes sont strictement posi-tives) est equivalente a l’irreductibilite.

Nombre de distributions stationnaires La distribution stationnaire (si elle existe)n’est pas necessairement unique : son unicite depend de l’ordre de multiplicite de la valeurpropre 1.

Theoreme 11 La dimension du sous-espace propre associe a la valeur propre 1 est egalau nombre de classes recurrentes. Il existe donc autant de distributions stationnaires quede classes recurrentes.

Demonstration. Voir Karlin et Taylor 4, page 4. �Pour chaque classe recurrente Cj , il existe une distribution stationnaire µCj

qui ne((charge)) que cette classe, i.e. les coordonnees de µCj

(i) sont nulles pour tous les etats in’appartenant pas a Cj :

i /∈ Cj ⇒ µCj(i) = 0.

Si le processus atteint la classe Cj , il y reste.On peut deduire du theoreme precedent une condition d’unicite de la distribution

stationnaire.

Corollaire 12 Une chaıne finie irreductible admet une distribution stationnaire unique.

Demonstration. Puisque la chaıne est irreductible, elle ne possede qu’une seule classe ;puisqu’elle est finie, cette classe est necessairement recurrente. La dimension du sousespace propre associe a la valeur propre 1 est donc 1 ; il existe donc une unique distributionstationnaire. �

Dans le cas de chaıne reductible, les conditions de Perron-Frobenius peuvent ne pasetre remplies (puisque certains etats ne communiquent pas), on n’est alors plus assure quela distribution est unique. S’il existe plusieurs distributions stationnaires, la distributioninitiale µ0 peut influer sur le comportement asymptotique.


Exemple. Dans l’exemple de la chaıne dont le graphe est donne par la Fig.2.8(page 33) : les classes T1 et T2 sont transientes. Il existe une distribution stationnaireassocie a chacune des classes recurrentes R1 et R2 ; en rangeant les classes dans l’ordre(T1, T2,R1,R2), elles sont de la forme

µR1=

[0 0 � 0

],

µR2=

[0 0 0 � ]

.

Exemples genetiques.

1. Autofecondation d’un individu diploıde. La matrice de transition Π admetdeux valeurs propres et deux vecteurs propres (a gauche) distincts :

Π =

[1 0

1/2 1/2

]

→{

λ1 = 1, v1 =[

1 0]

λ2 = 12

v2 =[−1 +1

] .

La chaıne admet donc une unique distribution stationnaire µ∗ = [ 1 0 ] pour laquelle

le seul etat possible est l’etat absorbant ”homozygote”.

2. Autofecondation d’un individu tetraploıde. La matrice de transition Π donneeen 2.1 (page 23) admet cinq valeurs propres distinctes :

λ1 = 1, λ2 =7 +√

33

16, λ3 =

1

2, λ4 =

1

6, λ5 =

7−√

33

16.

Le vecteur propre associe a λ1 constitue donc l’unique distribution stationnaire :

µ∗ =

[1 0 0 0 0

].

Pour cette distribution, le seul etat possible est donc l’etat absorbant M = ”mo-noallelique”.

3. Modele de Wright. La matrice de transition donnee page 25 est de dimensions(2N − 1)×(2N − 1). On peut montrer que, pour tout N , elle admet la valeur propreλ = 1 avec un ordre de multiplicite 2. Cette chaıne admet donc deux distributionsstationnaires definies par les deux vecteurs propres (a gauche) associes a λ = 1 :

λ = 1 →{

µ∗1 =

[1 0 · · · 0

],

µ∗2 =

[0 · · · 0 1

].

Pour chacune des ces distributions, le seul etat possible est l’un des deux etatsabsorbants 0 et 2N qui correspondent a une population genetiquement pure.

Si on introduit la mutation, le nombre de distributions stationnaires change.

– Il est clair que si une seule mutation est possible (par exemple de a en A, soitα > 0, β = 0) la seule distribution stationnaire est celle qui ne contient quedes genes A et qui correspond a l’etat 2N :

{α > 0, β = 0} ⇒ µ∗ =[

0 · · · 0 1].


– Si les deux mutations sont possibles, on obtient une distribution stationnairequi depend des taux de mutations α et β. Par exemple, pour N = 10, α = 0.05et β = 0.1, on obtient la distribution presentee en Fig.3.1 plutot defavorablea l’allele A, ce qui est naturel puisqu’il mute plus facilement vers a que lecontraire.

Fig. 3.1 – Distribution stationnaire pour le modele de Wright avec mutation (N = 10,α = 0.05, β = 0.1).

3.2.2 Distribution limite

Definition. On appelle distribution limite µ∗ l’eventuelle limite de la suite µm :

µ∗ = lim

m→∞µm si elle existe.

Propriete 13 Si le vecteur µm admet une limite µ∗, alors µ

∗ correspond a une distribu-tion stationnaire.

Demonstration. Les vecteurs µm sont lies par la relation de recurrence µm+1 = µm.Π.Par definition de la limite d’une suite recurrente, la limite µ∗ (si elle existe) doit verifierµ

∗ = µ∗.Π. �

Remarques. Ce theoreme ne garantit pas l’existence d’une distribution limite doncd’un comportement ((stable)). Il ne suffit pas que la chaıne admette une distribution sta-tionnaire pour qu’elle converge vers elle.

Ce theoreme ne garantit pas non plus l’unicite de cette distribution limite. Un com-portement stable n’est pas forcement unique : il peut notamment dependre des conditionsinitiales. Meme si un comportement stable existe, il n’est pas certain que le processusl’atteigne.


Existence d’une distribution limite

Theoreme 14 Une chaıne finie irreductible et aperiodique converge vers son unique dis-tribution stationnaire. Cette convergence est independante de la distribution initiale.

Demonstration. Puisque la chaıne est finie et irreductible, elle est recurrente. Puisqu’elleest aperiodique, sa periode est τ = 1 . On est donc dans les conditions d’application dutheoreme 7 page 35 et de son corollaire 9 page 35 et on a :

limm→∞

πm (i, j) =1

ρ (j, j).

On en deduit que la matrice Πm tend vers une matrice dont toutes les lignes sont egales :

limm→∞

Πm =

µ∗1 · · · µ∗

n

µ∗1 · · · µ∗

n

= 1.µ∗ ;

µ∗ constitue donc la distribution limite puisque

limm→∞

µm = limm→∞

µ0.Πm = µ0.

(

limm→∞

Πm)

= (µ0.1)=1

.µ∗ = µ∗.

Cette distribution est necessairement une distribution stationnaire (cf propriete 13, page39).

Enfin, cette distribution stationnaire est unique d’apres le corollaire 12, page 37. �On peut donner une autre demonstration de ce theoreme en utilisant le second corol-

laire du theoreme de Perron-Frobenius (cf annexe A.1.3, page A.1.3).En pratique, on calcule la distribution limite comme une distribution stationnaire en

determinant le vecteur propre a gauche associe a la valeur propre 1 (unique).

Esperance du temps de retour Dans le cas d’une chaıne finie, irreductible et aperio-dique, on peut calculer les esperances des temps de retour ρ (i, i) a partir de la distributionstationnaire.

Propriete 15 Dans une chaıne finie, irreductible et aperiodique, on a :

ρ (i, i) =1

µ∗i

.

Demonstration. Cette propriete est une consequence immediate du theoreme 7 page 35et du corollaire 9 page 35. �3.2.3 Cas particuliers

Matrice de transition diagonalisable avec λ1 = 1 d’ordre 1 Si Π est diagonali-sable, i.e.s’il existe V , Λ et W tel que

Π = V.Λ.W


ou Λ est la matrice diagonale des valeurs propres ordonnees par module decroissant (1 =λ1 ≥ |λ2| ≥ ...|λn|) :

Λ =

λ1

λ2

. . .

λn

et V et W verifient :V.W = W.V = I,

les vecteurs colonnes de V sont les vecteurs propres (v1, ...vn) a droite de Π et les vecteurslignes de W sont les vecteurs propres a gauche (w1, ...wn) de Π ( on a donc V = W−1 ).

La matrice de transition en m etapes est donc

Πm = (V.Λ.W)m = V.Λm.W

avec

Λm =

λm1

λm2

. . .

λmn

.

Si λ1 = 1 est la seule valeur propre de module 1 (i.e. ∀i > 1, |λi| < 1), alors

limm→∞

Λm = limm→∞

1m

λm2

. . .

λmn

=

10

. . .

0

et donclim

m→∞Πm = V. lim

m→∞Λm.W = v1.w1.

La distribution limite est donc

limm→∞

µm = limm→∞

µ0.Πm = µ0.v1.w1 ;

or, puisque v1 = 1 et que µ0 est une distribution de probabilite, on a

µ0.v1 =

i=n∑

i=1

µ0 (i) = 1

et donclim

m→∞µm = w1.

Si λ1 = 1 est d’ordre 1, la distribution limite est l’unique distribution stationnaire : elle estegale au vecteur propre a gauche associe a λ1 = 1 et ne depend pas la distribution initale.Quelque soit l’etat initial du processus, il aura le meme comportement asymptotique.


Un exemple de chaıne periodique Si λ1 = 1 n’est pas la seule valeur propre demodule 1, le comportement asymptotique peut dependre de la distribution initiale. Parexemple, pour

Π =

[0 11 0

]

=

[1 11 −1

]

︸︷︷︸

V

[1 00 −1

]

︸︷︷︸

Λ

[12

12

12−1

2

]

︸︷︷︸

W

,

les deux valeurs propres sont de module 1 (qui sont les deux racines de l’unite). Πm

n’admet pas de limite car

Π2m =

[1 00 1

]

et Π2m+1 =

[0 11 0

]

.

Si on applique le theoreme 7 page 35 et son corollaire 9 page 35, on a une chaıne deperiode τ = 2 et ρ (1, 1) = ρ (2, 2) = 2. On obtient ainsi pour j 6= i :

pour r = 1 :

limm→∞

πmτ+r (i, i) = 0, limm→∞

πmτ+r (i, j) =τ

ρ (j, j)= 1 ;

pour r = 2 :

limm→∞

πmτ+r (i, i) =τ

ρ (i, i)= 1, lim

m→∞πmτ+r (i, j) = 0

car j n’est pas accessible depuis i en 2 etapes.Si µ0 =

[1 0

], alors :

µ2m = µ0.Π2m =

[1 0

],

µ2m+1 = µ0.Π2m+1 =

[0 1

]

et le processus n’adopte jamais un comportement stable.Mais si µ0 =

[12

12

], alors :

µm = µ0.Πm =

[12

12

].

[12

12

]est la distribution stationnaire : le processus a un comportement stable des le

debut.

43

Chapitre 4

Exemples

4.1 Croisement frere-soeur

On s’interesse ici a l’evolution du genotype pour un locus (non situe sur le chromosomesexuel) ayant deux alleles a et b dans le cadre d’une reproduction fortement endogamique :le croisement entre un frere et une soeur. Cet exemple est traite plus en detail dans Karlin3, p420.

Espace des temps. L’evolution est observee au cours de generations numerotees apartir de 0 :

T = {0, 1, 2, ...} .

Espace des etats. Pour un individu, il existe trois genotypes possibles : homozygote(aa), heterozygote (ab) et homozygote (bb). Pour le couple frere-soeur, il existe donc 6combinaisons differentes :

X = {(aa× aa) , (aa× ab) , (aa× bb) , (ab× ab) , (ab× bb) , (bb× bb)} .

Probabilites de transition. On calcule les probabilites de transition en considerantd’abord les probabilites des differents genotypes possibles pour un seul descendant. Enappliquant simplement la loi de Mendel, on obtient les probabilites suivantes :

Genotype du Genotype du descendantcouple parent aa ab bb

aa× aa 1 0 0aa× ab 1/2 1/2 0aa× bb 0 1 0ab× ab 1/4 1/2 1/4ab× bb 0 1/2 1/2bb× bb 0 0 1

.

44 CHAPITRE 4. EXEMPLES

Pour obtenir les probabilites de transitions vers le couple descendant, il suffit de com-biner les probabilites des genotypes (independants) des deux descendants supposes etreun frere et une soeur. On obtient la matrice de transition Π =

aa×aa

aa×ab

aa×bb

ab×ab

ab×bb

bb×bb

(aa× aa) 1 0 0 0 0 0(aa× ab) 1/4 1/2 0 1/4 0 0(aa× bb) 0 0 0 1 0 0(ab× ab) 1/16 1/4 1/8 1/4 1/4 1/16(ab× bb) 0 0 0 1/4 1/2 1/4(bb× bb) 0 0 0 0 0 1

(4.1)

Les valeurs propres de cette matrices sont

λ1 = λ2 = 1, λ3 =1 +√

5

4, λ4 =

1

2, λ5 =

1

4, λ6 =

1−√

5

4.

La valeur propre 1 est donc d’ordre 2.

Classes d’etats. La graphe associe a cette matrice est donne dans la Fig.4.1.

Fig. 4.1 – Graphe de transition du processus de croisement frere-soeur

Les six etats se repartissent en trois classes de communications :

Ca = {(aa× aa)} ,Cab = {(aa× ab) , (ab× bb) , (ab× ab) , (aa× bb)} ,

Cb = {(bb× bb)} .

4.1. CROISEMENT FRERE-SOEUR 45

Les classes Ca et Cb correspondent a la presence d’un seul allele dans le couple, elle consti-tue donc des classes absorbantes. La classe Cab est transiente. Cette chaıne n’est pasirreductible.

Distributions stationnaires. Il existe deux distributions stationnaires correspondantaux deux vecteurs propres a gauche associes a la valeur propre 1 :

µ∗1 =

[1 0 0 0 0 0

],

µ∗2 =

[0 0 0 0 0 1

].

Ces deux distributions correspondent aux deux etats absorbants (aa× aa) et (bb× bb).Tot ou tard, le processus se figera dans un de ces deux etats.

Evolution de la distribution. Le comportement du processus depend fortement del’etat initial.

1. Si le couple initial est compose de deux homozygotes de meme type (aa ou bb), leprocessus part d’un etat absorbant et ne peut en sortir. Tous les couples descendantsseront semblables au couple intial.

2. Si le couple initial est du type (aa× ab), le premier couple descendant pourra etrede differents types, il finira dans tous les cas (pour etre precis, avec probabilite 1)par atteindre l’un des deux etats absorbants. L’intuition suggere qu’il aura plusde chance d’etre absorbe par l’etat (aa× aa) que par l’etat (bb× bb). La Fig.4.2presente l’evolution de la distribution µm au cours des generations.

Fig. 4.2 – Processus de croisement frere-soeur : etat inital = (aa× ab)

On observe qu’elle converge vers une distribution qui ne charge que les deux etatsabsorbants avec probabilite 3/4 pour (aa× aa) et 1/4 pour (bb× bb). Cela ne si-gnifie pas que le processus va se stabiliser dans cette distribution puisque ces deux


etat ne communiquent pas! Cela signifie que le processus va se figer dans l’un desetats absorbants, et ce avec probabilite 3/4 et 1/4. Ces probabilites sont appeleesprobabilites d’absorption. Si le processus est absorbe par l’etat (aa× aa), on dit quele gene a est fixe.

Si on part d’un couple (ab× bb), on obtient evidemment les resultats symetriques.

3. Si on part d’un couple (ab× ab), on observe l’evolution presentee dans la Fig.4.3 quiconverge vers la distribution pour laquelles (aa× aa) et (bb× bb) sont equiprobableset sont les seuls etats possibles. La encore, cela ne signifie pas que le processus vafinir par adopter cette distribution (qui est d’aileurs stationnaire!), mais qu’il vafinir par etre absorbe par l’un de ces deux etats avec probabilite 1/2 pour chacun.

Fig. 4.3 – Processus de croisement frere-soeur : etat inital = (ab× ab)

4. Si on part d’un couple (aa× bb), on est dans un cas analogue au precedent puisquele couple descendant d’un tel couple est necessairement dans l’etat (ab× ab). Onobserve donc la meme evolution, retardee d’une generation.

Tous ces resultats sont demontres en annexe B.2, page 65.

4.2 Galton-Watson : cas d’une chaıne infinie

Les processus de ramification sont un cas particulier des chaınes de Markov a espaced’etats infini denombrable. Ils ont ete inspires en 1874, par le Reverend Watson et FrancisGalton qui voulaient decrire la transmission des noms de famille au cours des generationssuccessives, n’acceptant pas l’idee que les familles nobles aient plus de chances de dis-paraıtre que les familles ordinaires. Par la suite, les processus de ramification ont etegeneralises a de nombreux autres domaines d’application, notamment en genetique pourmodeliser la survivance des genes d’une generation a la suivante.

4.2. GALTON-WATSON : CAS D’UNE CHAINE INFINIE 47

4.2.1 Definition

On considere des individus qui produisent un nombre aleatoire de descendants dumeme type.

On note Y mr le nombre de descendants de l’individu r de la generation m et X0, X1, X2, ...

les nombres d’individus des generations 0, 1, 2, etc. Les descendants de la generation mforment les individus de la (m + 1)-eme generation. On a donc :

Xm =

Xm−1∑

r=1

Y mr .

Modele probabiliste. Les individus sont independants deux a deux, c’est a dire quele nombre de descendants d’un individu ne depend pas des nombres de descendants desautres individus (de sa generation ou d’une autre).

On part d’une population de taille 1 :

X0 = 1.

X1 est donc distribue comme Y .

Les Y mr sont identiquement et independamment distribues :

Pr {Y = k} = p (k) avec∞∑

k=0

p (k) = 1.

Consequences immediates. Si la taille de la generation m est connue, alors la loi deXm+1 ne depend pas des tailles des generations precedant la generation m, elle ne dependque de Xm. La suite de variables aleatoires (X0, X1, X2,...) forme alors une chaıne deMarkov.

Les probabilites de transition ne dependent pas de m. Le processus est homogene dansle temps.

Le processus {Xm}m∈N est donc une chaıne de Markov homogene dont l’espacedes etats est infini :

E = N .

Generalisation au cas ou X0 > 1. Si X0 = i0 (constante) la generalisation desresultats a venir est immediate, il suffit de considerer

X1 =

i0∑

r=1

Y 1r .


Exemple historique de Galton et Watson. On fait l’hypothese que la distributionde probabilite du nombre de descendants males est la meme pour tous les hommes, atoutes les generations. On recherche alors la probabilite que la lignee masculine s’eteigneapres r generations ou plus generalement la probabilite pour une generation donnee deproduire un nombre donne de descendants males.

4.2.2 Probabilites de transition

La loi conditionnelle de Xm+1 sachant Xm = k est la loi de la somme de k variablesindependantes Yr (r = 1..k).

π (i, j) = Pr {Xm+1 = j | Xm = i} m, i, j = 0, 1, 2, ...

Ce probabilites se calculent par recurrence :

i = 0 : π (0, 0) = 1 et π (0, j) = 0 si j 6= 0 ;

i = 1 : π (1, j) = Pr {Xm+1 = j | Xm = 1} = Pr {X1 = j | X0 = 1} = p (j) ;

i = 2 : π (2, j) = Pr {Xm+1 = j | Xm = 2} = Pr {Y1 + Y2 = j}=

∑j

k=0 Pr {Y1 = k, Y2 = j − k} =∑j

k=0 p (k) p (j − k) ;

i = 3 : π (3, j) = Pr {Xm+1 = j | Xm = 3} = Pr {Y1 + Y2 + Y3 = j}=

∑j

k=0 Pr {Y1 = l, Y2 = k − l, Y3 = j − k}=

∑j

k=0

∑k

l=0 p (l) p (k − l) p (j − k)

=∑j

k=0 π (2, k) p (j − k) .

De facon generale, on a :

π (i, j) =

j∑

k=0

π (i− 1, k) p (j − k) .

Si on note pi (j) = π (i, j), on obtient une formule de la forme

pi (j) =

j∑

k=0

pi−1 (k) p (j − k) = pi−1 ∗ p (j)

qui est appele produit de convolution des lois pi−1 et p . On en deduit

pi (j) = p ∗ p ∗ · · · ∗ p︸︷︷︸

i fois

(j) .

Exemple de matrice de transition. Si on considere une population dans laquellechaque individu a une chance sur trois d’avoir 0, 1 ou 2 descendants (et jamais plus), laloi de Y est :

p (k) =1

3si k = 0, 1, 2

= 0 sinon.


Dans ce cas la matrice de transition est :

Π =

1 0 0 0 0 0 ... ... ...1/3 1/3 1/3 0 0 0 ... ... ...1/9 2/9 3/9 2/9 1/9 0 ... ... ...1/27 3/27 6/27 7/27 6/27 3/27 1/27 0 ...1/81 ... ... ... ... ... ... ... ...... ............

4.2.3 Loi de Xm

Les fonctions generatrices sont particulierement adaptees au processus de ramifica-tions, puisqu’elles permettent d’obtenir directement la loi et les moments de la variableXm.

Fonction generatrice de Y . On definit pour 0 ≤ s ≤ 1, la fonction generatrice g deY :

g (s) =∞∑

k=0

p (k) sk = E (sY

).

Fonction generatrice de Xm. On definit pour 0 ≤ s ≤ 1, la fonction generatrice gm

de Xm :

gm (s) =

∞∑

k=0

Pr {Xm = k} sk = E (sXm

).

On s’interesse ici a gm qui caracterise la loi de Xm.

Propriete 16 La fonction generatrice de Xm est la composee de la fonction generatricede Xm−1 et de la fonction generatrice de Y .

gm (s) = gm−1 [g (s)]

= g ◦ · · · ◦ g︸︷︷︸

m fois

(s) .

Demonstration. Voir annexe B.3.1, page 66. �


Exemple. Reprenons le processus donne dans l’exemple page 48 de loi initiale : p (k) = 13

si k ≤ 2 et p (k) = 0 si k ≥ 3.La fonction generatrice de Y est :

g (s) = E (sY

)=

∞∑

k=0

p (k) sk =1

3+

1

3s +

1

3s2

donc

g2 (s) = g [g (s)] =1

3+

1

3

(1

3+

1

3s +

1

3s2

)

+1

3

(1

3+

1

3s +

1

3s2

)2

=13

27+

5

27s +

2

9s2 +

2

27s3 +

1

27s4.

On deduit de ce resultat la distribution de X2. Par exemple, la probabilite pour que lapopulation soit eteinte a la deuxieme generation est Pr {X2 = 0} = 13

27≃ 0.48.

Moments de Xm.

– On peut calculer les moments de Xm a partir de sa fonction generatrice (voir annexeA.2.3, page 59), on a pour tout m :E (Xm) = g′

m (1) ,V (Xm) = g′′m (1) + g′

m (1)− [g′m (1)]

2.

Propriete 17 Si µ et σ2 sont l’esperance et la variance de Y , alorsEXm = µm,VXm =

σ2µm

(µm+1 − 1

µ− 1

)

si µ 6= 1

mσ2 si µ = 1.

La variance augmente geometriquement si µ est superieur a 1, decroit geometriquementsi µ est inferieur a 1 et augmente lineairement si µ = 1.

Demonstration. La demonstration se fait par recurrence (voir annexe B.3.2, page 67).�Exemple. Reprenons l’exemple de la page 48 dont la loi initiale est p (k) = 1/3 pour

k ≤ 2 et p (k) = 0 sinon. On obtientE (Y ) = µ = g′ (1) = 1, V (Y ) = σ2 =2

3

et E (Xm) = 1, V (Y ) = mσ2 =2m

3.


4.2.4 Probabilite d’extinction

On cherche a expliciter la probabilite d’extinction de la population. Le nom de famille,le gene mute, vont-ils disparaıtre? en combien de temps? et avec quelles probabilites?

Etat absorbant. Si Xm = 0 alors Xk = 0 ∀k > m. L’etat {0} est donc un etatabsorbant :

Pr {Xm+1 = 0 | Xm = 0} = 1.

Il y a donc extinction definitive de la population lorsque la chaıne de Markov atteintl’etat 0.

Probabilite d’extinction de la population. La probabilite que la population soiteteinte a la date m est :

qm = Pr {Xm = 0} = gm (0) .

Il n’y a jamais extinction si p (0) = 0 et l’extinction n’est certaine que si p (0) = 1,l’etude de la probabilite d’extinction ne se fera donc que sous l’hypothese suivante :

0 < p (0) < 1.

Definition. La probabilite d’extinction de la population ρ est la limite, si elle existe,de qm quand m tend vers l’infini :

ρ = limm→∞

qm.

Theoreme d’existence. Sous l’hypothese 0 < p (0) < 1, ρ existe avec

0 < ρ ≤ 1

et est la plus petite solution de l’equation g (s) = s.Demonstration. Voir annexe B.3.3, page 68. �Propriete 18 ρ depend de la valeur de µ :

ρ = limm→∞

Pr {Xm = 0} = 1 si µ ≤ 1,

< 1 si µ > 1.

Demonstration. Voir annexe B.3.3, page 68. �Propriete 19 ρ est la limite de la fonction generatrice de Xm pour tout s :

∀s ∈ [0 ; 1[ , limm→∞

gm (s) = ρ.

Demonstration. Voir annexe B.3.3, page 69. �


Loi de la date d’extinction. On appelle date d’extinction T , le numero de lapremiere generation dont l’effectif est nul. La loi de cette date est donnee par :

Pr {T ≤ m} = Pr {Xm = 0} = gm (0) .

4.2.5 Probabilite d’explosion

Dans le cas ou la population ne s’eteint pas, il est interessant de savoir quel compor-tement elle adopte et notamment si elle explose.

Propriete 20 La probabilite que la m-eme generation ait un effectif positif donne quel-conque tend vers 0 :

∀k > 0 limm→∞

Pr {Xm = k} = 0.

Demonstration. Voir annexe B.3.4, page 69. �Cette propriete montre que, en dehors de l’etat absorbant 0, la distribution de pro-

babilite des effectifs devient ”diffuse” au fur et a mesure de generations. Ce type decomportement est caracteristique d’une chaıne infinie : dans une chaıne a espace d’etatsfini, les probabilites ne peuvent pas toutes tendre vers zero en meme temps.

Propriete 21 Si la population ne s’eteint pas, elle explose :

Pr{

limm→∞

Xm =∞}

= 1− ρ.

Demonstration. Voir annexe B.3.4, page 69. �Cette propriete semble montrer que le processus n’adopte pas un comportement sta-

tionnaire. C’est ce que nous allons etudier dans ce qui suit.

Conclusion La chaıne de Markov (X0, X1, X2,...) a donc un seul etat absorbant {0} ettous les autres etats sont transients :

limm→∞

fmij = 0 pour 1 ≤ i, j <∞.

4.2.6 Distribution stationnaire

L’existence d’une distribution stationnaire depend du nombre moyen de descendantsµ :

– µ ≤ 1 : La chaıne rejoint l’etat 0 avec probabilite 1 [ 1]. La distribution stationnaireest alors triviale :

{p (0) = 1, p (k) = 0 ∀k > 0}

1. Nous avons vu la condition supplementaire p(0) + p(1) < 1. Cette condition ecarte la seule autredistribution stationnaire p∗ = {0, 1, 0, 0, ...} qui correspond au cas p(1) = 1.


– µ > 1 : Il n’existe pas de distribution stationnaire puisqu’on a, entre autre :EXm+1 = µEXm > EXm .

Soit la population s’eteint avec probabilite ρ, soit elle explose avec une esperancequi croıt lineairement et une variance qui croıt geometriquement.

Intuitivement, si la population doit s’eteindre, on voit que cet evenement se produiradans les premieres generations, car au dela, des qu’elle aura commencer a s’elargir, sadisparition deviendra numeriquement impossible.

Voir annexe B.3.5, page 70.

Remarque. La loi de T , temps d’extinction (numero de la premiere generation vide)est donnee par :

gm (0) = Pr {Xm = 0} = Pr {X1 = 0 ∪X2 = 0 ∪ ... ∪Xm = 0}= Pr {T ≤ m} .

Exemple. On reprend l’exemple de la page 48. ρ est la plus petite racine de l’equationg (s) = s(cf theoreme d’existence, page 51). On obtient ici

g (s) = s ⇔ 13

+ 13s + 1

3s2 = s

⇔ 13− 2

3s + 1

3s2 = 0

⇔ 13(s− 1)2 = 0

⇔ s = 1.

La probabilite d’extinction ρ vaut donc 1 : si un individu ne peut donner naissance qu’a0, 1 ou 2 descendants (avec probabilites egales), l’extinction de la population est certaine.

4.2.7 Recapitulatif

Le Tab.4.1 (page 54) recapitule les differentes proprietes du processus de Galton-Watson en fonction du nombre moyen de descendants µ et de la probabilite p0 de n’enavoir aucun.


p0 µ Esperance VarianceProbabilited’extinction

p0 = 0 µ > 1µm

(→ +∞)σ2µm−1 µm−1

µ−1

(→ +∞)

ρ = 0(explosion certaine)

µ > 1µm

(→ +∞)σ2µm−1 µm−1

µ−1

(→ +∞)

0 < ρ < 1(extinction ou

explosion)

0 < p0 < 1 µ = 1 1mσ2

(→ +∞)ρ = 1

(extinction certaine)

µ < 1µm

(→ 0)σ2µm−1 µm−1

µ−1

(→ 0)

ρ = 1(extinction certaine)

p0 = 1 µ = 0 0 0ρ = 1

(extinction certaine)

Tab. 4.1 – Recapitulatif des proprietes du processus de Galton-Watson

BIBLIOGRAPHIE 55

Bibliographie

[1] Chung, K. L. (67). Markov chains with stationnary transition probabilities, Springer-Verlag.

[2] Feller, W. (68). An introduction to probability theory and its applications, vol I, 3-rded., Wiley.

[3] Karlin, S. (69). Initiation aux processus aleatoires, Dunod.

[4] Karlin, S., Taylor H. M.(81). A second course in stochastic processes, Acad. Press.

[5] Hillion, A. (86). Theorie mathematique des populations, P.U.F., col. Que-sais-je?

[6] Renshaw, E. (91). Modelling biological populations in space and time, Cambridge Uni-versity Press

[7] Rueg. A. (89). Processus stochastique, Presses Polytechniques Romandes, col.Methodes Math. pour l’Ingenieur.

Remerciements. En plus des ouvrages cites cette liste, ce document est en partie ins-pire des notes (non publiees) du groupe de travail sur les Chaınes de Markov du laboratoirede Statistiques Medicales de l’Universite Paris V.

56 BIBLIOGRAPHIE

57

Annexe A

Outils mathematiques

A.1 Algebre lineaire

A.1.1 Produit de matrices stochastiques

On veut montrer que le produit de deux matrices stochastiques est une matrice sto-chastique. Soient A et B deux matrices stochastiques et C = A.B leur produit. PuisqueA et B verifient les proprietes (a) et (b) (donnees page 20), il est clair que C les verifieegalement. La propriete (c) est equivalent a la propriete suivante : 1 est vecteur propre (adroite) de A associe a la valeur propre 1. En effet :

A.1 = 1 ⇐⇒

a11 · · · a1n

...an1 · · · ann

.1 =

∑

i ai1...

∑

i ain

=

1...1

.

Pour montrer que C est stochastique, il reste donc a montrer que C.1 = 1. On a :

C.1 =(A.B) .1 = A. (B.1) = A.1 = 1 C.Q.F.D.

A.1.2 Valeurs propres d’une matrice stochastique

Par definition d’un matrice stochastique, A.1 = 1, donc λ1 = 1 est valeur propre deA associee au vecteuur propre a droite v1 = 1.

Soit x un vecteur propre associe a une valeur propre λ, on a :

A.x =λx ⇔ ∀i,∑

j aijxj = λxi

⇒ ∀i,∑

j aij |xj | ≥ |λ| |xi|h : |xh| = sup

i

|xi| ⇒ |λ| |xh| ≤∑

j aij |xj | ≤ |xh|∑

j aij = |xh|⇒ |λ| ≤ 1.

58 ANNEXE A. OUTILS MATHEMATIQUES

A.1.3 Theoreme de Perron-Frobenius

Theoreme de Perron-Frobenius. Si A est une matrice a elements strictementpositifs, alors

λ1 est reelle positive et toutes les autres valeurs propres λi lui sont inferieures stricte-ment en module : |λi| < λ1 ;

il existe un vecteur propre a droite x1 tel que A.x1 = λ1.x1 dont toutes les coordonneessont positives ;

le sous espace propre associe a λ1 est de dimension 1.

Demonstration. On pourra trouver une demonstration dans Karlin 3. �Ce theoreme porte sur les vecteurs propres a droite ; pour l’appliquer aux vecteurs

propres a gauche, il suffit de considerer la matrice A′.

Premier corollaire du theoreme de Perron-Frobenius. Si tous les elementsde A sont positifs ou nuls et s’il existe une puissance Am dont tous les elements sontstrictement positifs, alors le premier theoreme de Perron-Frobenius est encore valable.

Voir Karlin 3.

Second corollaire du theoreme de Perron-Frobenius. Si tous les elements de Asont positifs ou nuls et s’il existe une puissance Am dont tous les elements sont strictementpositifs, alors

limm→∞

Am

λm1

= v1.w1

en notant :λ1 la plus grande valeur propre de A ;v1 le vecteur propre a droite (vecteur colonne) associe a λ1 : A.v1 = λ1v1 ;w1 le vecteur propre a gauche (vecteur ligne) associe a λ1 : w1.A = λ1w1.

Voir Karlin 3.

A.1.4 Existence et unicite d’une distribution stationnaire pour

une chaıne finie

Demonstration du theoreme sur l’existence. En appliquant le theoreme dePerron-Frobenius et son premier corollaire a la matrice A = Π′, on s’assure, sous lesconditions indiquees, de l’existence d’une distribution stationnaire. Pour cela, il suffit derappeler que les vecteurs propres a droite (vecteurs colonnes) de Π′ sont les transposesdes vecteurs propres a gauche (vecteurs lignes) de Π. �

A.2. FONCTIONS GENERATRICES 59

A.2 Fonctions generatrices

A.2.1 Definition

Soit X une variable aleatoire discrete de loi pk = Pr {X = k} pour k ≥ 0. Sa fonctiongeneratrice notee gX (s) est definie par :

gX (s) =∑

k≥0

pksk = E

(sX

).

On dit encore que gX (s) est la fonction generatrice de la distribution de probabilitespk ( k ≥ 0).

A.2.2 Remarques

1. gX (0) = E (0X

)= p0

2. gX (1) = E (1X

)=

∑∞k=0 pk = 1

La serie est donc convergente sur le disque unite car | gX (s) |≤ gX (1) pour | s |≤ 1.

A.2.3 Propriete fondamentale

La fonction generatrice gX caracterise completement la variable aleatoire X ; elle definitsa distribution de probabilites et ses moments.

Distribution de probabilites. La distribution de X est donnee par les coefficients dudeveloppement en serie entiere de gX :

p0 = gX (0) ,

pk =g

(k)X (0)

k!pour k ≥ 1.

en notant g(k)X (0) la derivee k -eme de gx au point 0.

Moments. Les moments de X se calculent a partir des derivees de gX au point s = 1

µ1 = E (X) =∑

k≥0

kpk =∑

k≥1

kpk = g′X (1) ,

µ2 = E (X2

)=

∑

k≥0

k2pk

=∑

k≥2

(k2 − k

)pk +

∑

k≥1

kpk =∑

k≥2

k (k − 1) pk +∑

k≥1

kpk

= g′′X (1) + g′

X (1) .

On a donc : E (X) = g′X (1) ,V (X) = µ2 − (µ1)

2 = g′′X (1) + g′

X (1)− (g′X (1))

2.


A.2.4 Fonction generatrice d’une somme de variables aleatoires

independantes

Propriete 22 Si X1 et X2 sont deux variables aleatoires independantes de fonctionsgeneratrices respectives gX1

et gX2, alors la fonction generatrice de leur somme est :

gX1+X2= gX1

× gX2.

Demonstration. On a

Pr {X1 + X2 = k} =k∑

l=0

Pr {X1 = l, X2 = k − l}

et donc

gX1+X2(s) =

∑∞

k=0Pr {X1 + X2 = k} sk

=∑∞

k=0

∑k

l=0Pr {X1 = l, X2 = k − l} sk

=∑∞

k=0

∑k

l=0Pr {X1 = l}Pr {X2 = k − l} slsk−l

=∑∞

l=0

∑∞

k=lPr {X1 = l}Pr {X2 = k − l} slsk−l,

en posant k − l = h, on obtient finalement

gX1+X2(s) =

∑∞

h=0Pr {X2 = h} sh

∑∞

l=0Pr {X1 = l} sl = gX1

(s)× gX2(s) .�

Propriete 23 Si X1, X2, ,Xm sont m variables aleatoires independantes de meme lois etde fonctions generatrice gX, alors la fonction generatrice de la somme de ces m variablesZ =

∑m

i=1 Xi est :

gZ (s) = [gX (s)]m .

Demonstration. C’est la generalisation de la proposition 22 : gZ (s) = E(sZ

)= E

(sX1

).E

(sX2

)...E

(s

[gX (s)]m . �Propriete 24 Si X1, X2, ,XM sont M variables aleatoires independantes de meme loiset de fonctions generatrice gX, et si M est une variable aleatoire de fonction generatricegM , alors la fonction generatrice de leur somme Z =

∑M

i=1 Xi est :

gZ (s) = gM ◦ gX (s) .

A.2. FONCTIONS GENERATRICES 61

Demonstration. En decomposant selon les valeurs de Xm, on a :

gZ (s) =∑∞

k=0Pr {Z = k} sk

=∑∞

k=0

∑∞

j=0Pr {Z = k |M = j}Pr {M = j} sk,

comme on travaille sur des series absolument convergentes, on peut inverser les sommes,donc

gZ (s) =∑∞

j=0Pr {M = j}

∑∞

k=0Pr {Z = k |M = j} sk

=∑∞

j=0Pr {M = j}

∑∞

k=0Pr {X1 + X2 + ... + Xj = k} sk.

Et d’apres la proposition 2, on obtient :

gZ (s) =∑∞

j=0Pr {M = j} [gX (s)]j = gM ◦ gX (s) .�


63

Annexe B

Demonstrations

B.1 Proprietes generales

B.1.1 Fonctions generatrices

Relation entre Fii (s) et Pii (s). En multipliant l’equation 2.2 (page 28) par sm et ensommant sur m > 0, il vient :

– a gauche :∑

m>0 πm (i, i) sm = Pii (s)− 1 (car π0 (i, i) = 1) ;

– a droite :∑

m>0

∑m

l=0 fl (i, i) πm−l (i, i) sm

=∑

m≥0

∑m

l=0 fl (i, i) πm−l (i, i) sm (puisque f0 (i, i) = 0)

=∑

m≥0

∑m

l=0 fl (i, i) slπm−l (i, i) sm−l

=∑

l≥0

∑

m≥l fl (i, i) slπm−l (i, i) sm−l

=∑

l≥0 fl (i, i) sl∑

k≥0 πk (i, i) sk (avec k = m− l) ou on reconnaıt Fii (s)Pii (s),

on a donc bien : Pii (s)− 1 = Fii (s) Pii (s). �Relation entre Fij (s) et Pij (s). En multipliant l’equation 2.3 (page 28) par sm et ensommant sur m ≥ 0, il vient

– a gauche :∑

m≥0 πm (i, j) sm = Pij (s),

– a droite :∑

m≥0

∑m

l=0 fl (i, j) πm−l (j, j) sm

=∑

m≥0

∑m

l=0 fl (i, j) slπm−l (j, j) sm−l

=∑

l≥0 fl (i, j) sl∑

m≥l πm−l (j, j) sm−l

=∑

l≥0 fl (i, j) sl∑

k≥0 πk (j, j) sk (avec k = m− l) ;

on a donc bien Pij (s) = Fij (s)Pjj (s). �

64 ANNEXE B. DEMONSTRATIONS

B.1.2 Classification des etats

Etat recurrent. Si i est recurrent, alors Fii (1) =∑

m≥0 fm (i, i) = 1.Or on a Pii (s) =

[1− Fii (s)]−1 pour |s| < 1, donc :

lims→1−

Pii (s) = lims→1−

∑

m≥0πm (i, i) sm = +∞.

En invoquant le lemme d’Abel, on en deduit que :Pii (1) =

∑

m≥0 πm (i, i) = +∞ . �Etats communicants. Si i et j communiquent, alors

∃l0 : πl0 (j, i) > 0,

∃m0 : πm0(i, j) > 0.

– Pour i recurrent : on sait (voir corollaire 2, page 27) que πl0+l+m0(j, j) est superieur

ou egal a πl0 (j, i) πl (i, i) πm0(i, j), donc :

∑

l≥0πl0+l+m0

(j, j) ≥∑

l≥0πl0 (j, i) πl (i, i)πm0

(i, j)

= πl0 (j, i) πm0(i, j)

∑

l≥0πl (i, i)

et puisque i est recurrent, on a :∑

l≥0 πl (i, i) = +∞ ce qui implique que∑

l≥0 πl (j, j) =+∞, donc j est recurent.

– Pour i transient : on obtient de la facon analogue :

∑

l≥0πm0+l+l0 (i, i) ≥ πm0

(i, j) πl0 (j, i)∑

l≥0πl (j, j)

et puisque∑

m≥0 πm (i, i) < +∞, on a aussi :∑

m≥0 πm (j, j) < +∞ et donc j esttransient.

De plus si i et j sont recurrents alors

– si i est recurrent positif : on a limm→+∞ πmτi(i, i) = τi/ρ (i, i) > 0 car par definition

ρ (i, i) < +∞. Or

πl0+mτi+m0(j, j) ≥ πl0 (j, i) πmτi

(i, i) πm0(i, j) > 0

et la somme l0 + m0 est necessairement multiple de τi = τj puisque i et j commu-niquent. On a donc :

limm→+∞

πmτj(j, j) = lim

l→+∞πl0+lτj+m0

(j, j) > 0

donc j est recurrent positif.

– si i est recurrent : la demonstration est analogue.

B.2. CROISEMENT FRERE-SOEUR 65

Etats transients dans une chaıne finie. Comme pour tout m, Πm est une matricestochastique, on a pour tout i :

∑

j∈E πm (i, j) = 1. De plus, si j est transient, on a, pourtout i : limm→∞ πm (i, j) = 0 (dans le cas contraire, on aurait

∑

m≥1 πm (i, j) = +∞, doncnotamment

∑

m≥1 πm (j, j) = +∞ et j serait recurrent). Si tous les etats sont transients,la somme

∑

j∈E πm (i, j) est une somme finie de termes qui tendent tous vers 0 et ne peutdonc rester egale a 1 quand m tend vers l’infini. �B.2 Croisement frere-soeur

La matrice de transition Π donnee en (4.1 ), page 44 admet 1 comme valeur propredouble (λ1 = λ2 = 1), les vecteurs propres associes sont

a droite v1 =[

1 3/4 1/2 1/2 1/4 0]′

,

v2 =[

0 1/4 1/2 1/2 3/4 1]′

;

a gauche w1 =[

1 0 0 0 0 0],

w2 =[

0 0 0 0 0 1].

Comme ces vecteurs propres (a gauche ou a droite) sont independants et que les autresvaleurs propres sont distinctes, Π est diagonalisable et on peut ecrire :

Π = V.Λ.W

ou V est la matrice des vecteurs propres a droite (en colonne), W la matrice des vecteurspropres a gauche (en ligne) et Λ la matrice diqgonale des valeurs propres associees :

Λ =

λ1

λ2

λ3

λ4

λ5

λ6

=

11

1+√

54

12

14

1−√

54

.

On a donc

limm→∞

Πm = V.(

limm→∞

Λm)

.W,

or, puisque λ3, λ4, λ5 et λ6 sont inferieures a 1 en module, on a

limm→∞

Λm =

11

00

00

.


On en deduit

limm→∞

Πm =

1 0 0 0 0 03/4 0 0 0 0 1/41/2 0 0 0 0 1/21/2 0 0 0 0 1/21/4 0 0 0 0 3/40 0 0 0 0 1

;

les vecteurs colonnes non-nuls de cette matrice sont les vecteurs propres v1 et v2.Dans la suite on notera Π∗ = limm→∞ Πm.La distribution limite limm→∞ µm est definie par

limm→∞

µm = µ0.(

limm→∞

Πm)

= µ0.Π∗

ou µ0 est la distribution initiale. Le tablename B.1, page 66, reprend les cas donnes enexemple page 45.

Etat initialX0

Distribution initialeµ0

Distribution limitelimm→∞ µm

(aa× aa)[

1 0 0 0 0 0] [

1 0 0 0 0 0]

(aa× ab)[

0 1 0 0 0 0] [

3/4 0 0 0 0 1/4]

(aa× bb)[

0 0 1 0 0 0] [

1/2 0 0 0 0 1/2]

(ab× ab)[

0 0 0 1 0 0] [

1/2 0 0 0 0 1/2]

(ab× bb)[

0 0 0 0 1 0] [

1/4 0 0 0 0 3/4]

(bb× bb)[

0 0 0 0 0 1] [

0 0 0 0 0 1]

Tab. B.1 – Distribution limite en fonction des differents etats initiaux

On peut remarquer que chacune de ces distributions limites correspond a un vecteurligne de la matrice Π∗.

B.3 Galton-Watson

B.3.1 Fonction generatrice de Xm

On utilise la proposition 3 precedente et la definition de Xm, (Xm =∑Xm−1

i=1 Yi),avecgm, fonction generatrice de Xm et g fonction generatrice de Y , d’ou :

gm (s) =∑∞

j=0Pr {Xm−1 = j} [g (s)]j .

gm (s) = gm−1 [g (s)] .

Par hypothese X0 = 1, donc g0 (s) = s et g1 (s) = g (s). D’apres le theoreme precedent, ilvient

gm (s) = g ◦ g ◦ g ◦ · · · ◦ g︸︷︷︸

m fois

(s) .

B.3. GALTON-WATSON 67

B.3.2 Moments de Xm

Les proprietes classiques des fonctions generatrices nous donnent :

gm (1) = 1, g′m (1) = EXm , g′′

m (1) = VXm + EXm (EXm − 1) .

En particulier, pour m = 1, g′ (1) = µ, g′′ (1) = σ2 + µ2 − µ.

On suppose ces proprietes vraies au rang m :

g′m (1) = µm,

g′′m (1) = σ2µm (1 + µ + ... + µm) + µ2m − µm.

On a d’une part :

g′m+1 (s) = g′ [gm (s)]× g′

m (s)

et donc :

g′m+1 (1) = g′ [gm (1)]× g′

m (1) = g′ (1)× µm = µm+1 ;

D’autre part :

g′′

m+1 (s) = g′ [gm (s)]× g′′

m (s) + g′′

[gm (s)]× [g′m (s)]

2

et donc :

g′′

m+1 (1) = g′ [gm (1)]× g′′

m (1) + g′′

[gm (1)]× [g′m (1)]

2

= µg′′

m (1) +(σ2 + µ2 − µ

)µ2m

= µ[σ2µm (1 + µ + ... + µm) + µ2m − µm

]+

(σ2 + µ2 − µ

)µ2m

= σ2µm+1(1 + µ + ... + µm+1

)− µm+1 + µ2m+2.

On a finalement : EXm+1 = g′m+1 (1) = µm+1

et VXm+1 = g′′m+1 (1) + g′

m+1 (1)−[g′

m+1 (1)]2

= g′′m+1 (1) + µm+1 − µ2m+2

= σ2µm+1(1 + µ + ... + µm+1

)

=

σ2µm+1

(µm+2 − 1

µ− 1

)

si µ 6= 1

(m + 1)σ2 si µ = 1.


B.3.3 Probabilite d’extinction

Demonstration de l’existence.

1. La suite (qm) est strictement croissante et bornee par 1.

En effet on a :qm+1 = gm+1 (0) = g [gm (0)] = g (qm)

or g (s) =∑∞

k=0 p (k) sk et g′ (s) =∑∞

k=1 kp (k) sk−1 avec p (k) ≥ 0 pour au moinsun k puisque p (0) < 1.Donc g′ (s) ≥ 0 pour tout s et g est une fonction strictementcroissante.

On a :q1 = g (0) = p (0) > 0 ;q2 = g (q1) > g (0) = q1 (la propriete est donc vraie au premier rang) ;Et si qm > qm−1 alors qm+1 = g (qm) > g (qm−1) = qm soit qm+1 > qm.

On montre ainsi par recurrence que la suite (qm) est strictement croissante et qu’elleest bornee par 1 puisque les qm sont des probabilites.

2. ρ est la plus petite racine positive de l’equation g (s) = s.

3. En effet, comme g est continue pour 0 ≤ s ≤ 1, on en deduit que ρ est solution deg (s) = s.

ρ = limm→∞

qm = limm→∞

qm+1 = limm→∞

g (qm) = g(

limm→∞

qm

)

= g (ρ) .

Il reste a demontrer que ρ est la plus petite racine positive :

– Si s0 est une une racine positive, alors q1 = g (0) < g (s0) = s0 soit q1 < s0.

– De meme puisque g est strictement croissante q2 = g (q1) < g (s0) = s0 soit q2 < s0.

– Et si qm < s0 alors qm+1 = g (qm) < g (s0) = s0 soit qm+1 < s0.

On montre ainsi par recurrence que pour tout m, qm < s0. En particulier, on a : ρ < s0.�Demonstration de la propriete 18.

– Si p (0) + p (1) < 1 alors g′′ (s) =∑∞

k=2 k (k − 1) p (k) sk−2 > 0 pour tout s ∈]0 ; 1].Donc g (s) est convexe sur ]0 ; 1] et le graphe de g ne peut couper la bissectrice qu’endeux points au plus. Comme g (1) = 1, il y a deja un point d’intersection en (1,1).La Fig.B.1 presente les deux cas de figures qui peuvent se presenter.

L’extinction n’est certaine que si le nombre moyen µ de descendants par individune depasse pas 1.

– Si p (0) + p (1) = 1, on a : p (1) < 1 d’apres l’hypothese 0 < p (0) < 1.

On obtient µ = g′ (1) = p (1) d’ou µ < 1.

– La solution de s = g (s) = p (0)+ p (1) s, soit de p (0) = p (0) s vaut 1 et donc ρ = 1.

– Il n’y alors jamais plus d’un individu par generation.et l’extinction est certaine carun individu restera tot ou tard sans descendant. �

B.3. GALTON-WATSON 69

Fig. B.1 – Probabilite d’extinction en fonction de g′(1)

Demonstration de la propriete 19.

– Pour 0 ≤ s ≤ ρ on a : g (s) ≤ g (ρ) = ρ car g est croissante. Et on montre parrecurrence que gm (s) ≤ ρ pour tout m.D’autre part qm = gm (0) et gm (0) ≤ gm (s) car si g est croissante, gm est aussicroissante.On a ainsi : qm ≤ gm (s) ≤ ρ ce qui, par passage a la limite, implique

limm→∞

qm ≤ limm→∞

gm (s) ≤ ρ

soit finalement :

limm→∞

gm (s) = ρ pour 0 ≤ s ≤ ρ.

– Pour ρ < s < 1 on a : ρ < g (s) < s < 1 (voir Fig.B.1, page 69) ce qui entraineρ < g [g (s)] < g (s) < s < 1 et par recurrence ρ < gm (s) < gm−1 (s) < ... < s < 1.En passant aux limites on obtient ρ ≤ limm→∞ gm (s) < 1.Mais la limite doit etreegale a ρ car si limm→∞ gm (s) = ρ′ avec ρ < ρ′ < 1, alors g (ρ′) < ρ′ ce qui estimpossible puisque limm→∞ gm+1 (s) = limm→∞ g [gm (s)] implique g (ρ′) = ρ′. On adonc :

limm→∞

gm (s) = ρ pour 0 ≤ s < 1.�B.3.4 Probabilite d’explosion

Demonstration de la propriete 20. On a montre precedemment que limm→∞ gm (s) =ρ pour 0 ≤ s < 1 avec gm (s) =

∑∞k=0 Pr {Xm = k} sk. Or ρ = limm→∞ qm = limm→∞ Pr {Xm = 0},

donc on a : Pr {Xm = k} sk → 0 quand m→∞ pour tout k > 0 d’ou la propriete. �Demonstration de la propriete 21. Pour µ > 1 on a : ρ < 1 . Il existe alors d’apresla propriete qui precede une probabilite non nulle d’explosion definie par Pr {Xm →∞} =1− ρ. �


B.3.5 Distribution stationnaire en fonction de µ

– Si Π est la matrice de transition de la chaıne (X0, X1, X2,...) et si p∗ est unedistribution stationnaire pour Π, alors, par definition, on a :

p∗ (i) =

∞∑

j=0

p∗ (j)π (j, i) et

∞∑

i=0

p∗ (i) = 1.

Etant donne que Pr {Xm = 0 | Xµ = 0} = 1, ∀m, ∀µ, (µ < m) , il est evident que [ 1 0 0 ...]est une distribution stationnaire. On peut montrer qu’il n’en existe qu’une.

On distingue deux cas :

1. p (0) = Pr {Y = 0} > 0 :

dans ce cas π (j, 0) > 0 pour tout j. De l’equation

p∗ (0) = p∗ (0)π (0, 0) + p∗ (1)π (1, 0) + p∗ (2)π (2, 0) + ...

et du fait que π (0, 0) = 1, on voit que :

∀i > 0, p∗ (i) = 0.

2. p (0) = 0 :on a alors π (i, j) = 0 pour tout i et j avec j < i et donc

p∗ (i) = p∗ (1)π (1, i) + p∗ (2)π (2, i) + ... + p∗ (i)π (i, i) .

Soit a le plus petit entier tel que p∗ (a) soit different de 0, l’egalite precedente devientp∗ (a) = p∗ (a) π (a, a). Or

π (a, a) = Pr {Xm+1 = a | Xm = a} = Pr {X2 = a | X1 = a} .

Deux cas se posent alors :

– π (a, a) = 1 ce qui signifie que a individus donnent toujours naissance a aindividus. Donc chaque individu d’une generation produit au moins un individupuisque p (0) = 0 et au plus 1 puisque π (a, a) = 1. Donc p (1) = 1 ce qui estcontraire a l’hypothese µ < 1.

– π (a, a) < 1, ce qui entraıne p∗ (a) = 0 ce qui est contraire a la definition de a

Donc p∗ (i) = 0 pour tout i strictement positif. �

Documents

Introduction aux chaˆınes de Markov homogènes9 Chapitre 1 Introduction aux processus 1.1 Processus aléatoire 1.1.1 Exemples On présente ici quelques exemples introductifs de