Processos Estoca19 asticos, Notas de aula - dcm.ffclrp.usp.brdcm.ffclrp.usp.br/~rrosales/aulas/mc.pdf · 3.5 Processos de Markov..... 65 3.5.1 Cadeia de transi¸c˜ao e tempos de

Rafael A. Rosales

Processos Estocasticos

Notas de Aula

7 de dezembro de 2009

Matematica Aplicada a NegociosFaculdade de Filosofia Ciencias e Letras de Ribeirao Preto

Conteudo

1 Introducao . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1

2 Tempo discreto . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32.1 Cadeias de Markov . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3

2.1.1 Propriedade de Markov . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42.1.2 Probabilidades de n passos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62.1.3 Exercıcios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8

2.2 Classes de comunicacao . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102.3 Tempos do primeiro retorno e da primeira chegada . . . . . . . . . . . . . . . . . . . . . . 12

2.3.1 Exercıcios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 212.4 Propriedade forte de Markov . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 222.5 Recorrencia e transitoriedade . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24

2.5.1 Exercıcios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 282.5.2 Passeios aleatorios simples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 292.5.3 Exercıcios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32

2.6 Distribuicao invariante . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 322.6.1 Exercıcios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37

2.7 Convergencia ao equilıbrio . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 382.7.1 Exercıcios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43

2.8 Teorema ergodico . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 442.8.1 Exercıcios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46

2.9 Aplicacoes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 462.9.1 Processos de ramificacao∗ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 462.9.2 Exercıcios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49

3 Tempo contınuo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 513.1 Processos a tempo contınuo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 513.2 Matriz Q . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 533.3 Propriedades da distribuicao exponencial . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 573.4 Processo de Poisson . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60

3.4.1 Exercıcios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 643.5 Processos de Markov . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65

3.5.1 Cadeia de transicao e tempos de permanencia . . . . . . . . . . . . . . . . . . . . . 653.5.2 Equacoes de Forward e Backward . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 673.5.3 Exercıcios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68

3.6 Estrutura de classe . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69

VI Conteudo

3.7 Tempos da primeira chegada e probabilidades de absorcao . . . . . . . . . . . . . . . . 693.8 Recorrencia e transitoriedade . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 703.9 Distribuicao invariante . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 713.10 Convergencia . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 723.11 Teorema Ergodico . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73

4 Apendice . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 754.1 Relacoes de Recorrencia . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75

4.1.1 Forma matricial . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 774.2 Funcoes geradoras . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80

Referencias Bibliograficas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81

Indice . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83

Prefacio

As seguintes notas constituem um curso elementar sobre processos aleatorios. O curso eelementar pois evita utilizar a teoria da medida e por outro lado considera os topicos maissimples que geralmente sao apresentados em um curso introdutorio. Uma excelente alterna-tiva a estas notas esta constituida pela referencia [4]. Esta utima esta baseada no ponto devista construtivista, o qual descansa sobre as nocoes de acoplamento e simulacao. A aborda-gem adotada na apresentacao destas notas e tradicional, entretanto a demonstracao de umdos Teoremas mais importantes utiliza o argumento de acoplamento. Seguindo o enfoquetradicional, os processos a tempo continuo sao introduzidos ‘construtivamente’ utilizando oprocesso de Poisson. Finalmente, tambem e encorajada a simulacao de processos em variosexercıcios com o proposito de ganhar uma maior intuicao sobre os conceitos introduzidos nateoria.

Nada nestas notas e original. A apresentacao segue de perto os livros de J. Norris, [7] eGrimmett, Stirzacker, [5]. Em particular, a primeira parte dedicada ao estudo de processosem tempo discreto, inclui boa parte dos capıtulos 1.1-1.10 de [7]. A segunda parte a qualrepresenta uma introducao aos processos a tempo contınuo esta inspirada nos capıtulos2.1-3.8 em [7] e os capıtulos 6.8-6.12 em [5].

Supoe-se um conhecimento da teoria de probabilidade a nıvel de graduacao assim comoconhecimentos basicos sobre equacoes diferenciais e em diferenca, e finalmente tambemalguns rudimentos de algebra linear.

Estas notas foram preparadas para a materia titulada Introducao a Processos Es-tocasticos, ministrada durante o segundo semestre do ano 2007 aos alunos do curso deMatematica Aplicada a Negocios da USP.

1

Introducao

Um processo estocastico e uma sequencia de variaveis aleatorias X = (Xt), t ∈ T , ondet usualmente representa o tempo. Neste caso conjunto dos ındices T e identificado com Nou R+. A sequencia (Xt) geralmente e utilizada com o proposito de representar a evolucaoaleatoria de um fenomeno fısico. Neste curso so serao consideradas sequencias de variaveisaleatorias Xt definidas sobre o mesmo espaco de probabilidade, todas com valores no con-junto S o qual suporemos finito ou enumeravel. Seguindo a convencao usual utilizaremos anotacao t para os ındices contınuos e n para o caso discreto.

Ressaltamos que Xt e realmente uma funcao X(ω, t) onde ω e um evento elementardo espaco Ω das trajetorias do processo. Ao considerar a sequencia (Xt) estamos portantoconsiderando um espaco de funcoes aleatorias. A fim de entender isto melhor, lembramosalgumas nocoes de teoria de probabilidade. Dado um espaco de probabilidade (Ω,A, P),uma variavel aleatoria e uma funcao ξ : (Ω,A) → (R,B), tal que

ξ−1(B) = ω ∈ Ω : ξ(ω) ∈ B ∈ A

para todo B ∈ B, onde B e a menor sigma algebra gerada pelos conjuntos abertos de R.Seja agora

σ(ξ) = ξ−1(B) = ξ−1(B) : B ∈ B ⊂ A,

a sigma algebra gerada pela variavel aleatoria ξ, i.e. intuitivamente σ(ξ) denota a ‘porcao dainformacao’ contida no espaco de probabilidade inerente a ξ. A distribuicao de probabilidade,P , de ξ e definida como

P (ξ ∈ B) = Pξ−1(B).

Observamos que esta definicao permite determinar a probabilidade de qualquer evento asso-ciado a ξ, desde que esta inclui as probabilidades de todos os conjuntos ξ−1(B) = σ(ξ) ⊂ A.

A fim de generalizar estes conceitos para processo X, suponhamos que existe um espacode probabilidade (Ω,A, P) tal que σ(X) ⊂ A. Neste caso se X e um processo com ındicesdiscretos e valores em S temos que

X : (Ω,A) → (S∞, σ(S∞)),

sendo σ(S∞) a sigma algebra gerada pelos conjuntos abertos de S. Se S = C, o espaco dasfuncoes continuas em [0,∞), entao X e um processo com trajetorias continuas.

A suposicao, nada trivial, de que os eventos definidos sobre os espaco dos caminhos deum processo, Ω, podem ser medidos por uma funcao de probabilidade P representa um dosproblemas mais fundamentais da teoria dos processos estocasticos. Durante o curso, nossuporemos que isto e possıvel e nao faremos mais referencia a este assunto. Os interessados

2 1 Introducao

nos detalhes podem consultar o apendice em [7] ou os textos mais avancados tais como [1],e [8], procurando pelas secoes referentes aos π-sistemas1. Estas referencias e todas as outrasmencionadas na bibliografia podem guiar o estudo posterior e mais profundo da teoria dosprocessos estocasticos.

1 Estas classes de conjuntos tambem sao conhecidos em teoria de probabilidade como os sistemasπ-λ, seguindo a nomenclatura introduzida por Eugene B. Dynkin. Dynkin realmente utilizou umresultado ja estabelecido em um contexto mais geral conhecido como o Teorema de Classes deW. Sierpinski.

2

Tempo discreto

2.1 Cadeias de Markov

Para desenvolver a intuicao, o seguinte exemplo introduze de maneira informal a propriedadeque define uma ampla variedade de processos conhecidos como cadeias de Markov.

Exemplo 2.1. Um sapo que habita num lago pode pular em procura de alimento entre noveVitorias regias dispostas de acordo ao seguinte desenho

v1

v2111

v3 SSv4

kk

v5

v6

%%%

v7

DDv8

v9zz

No instante n = 0 o sapo encontra-se na planta v1 de tal maneira que com probabilidadep, 0 < p < 1, este pode pular a planta v2 e com q = 1 − p a planta v9. As mesmas regrasdeterminam os pulos a partir de vi para vi+1 ou vi−1, i = 1, . . . , 9 (se i = 9 entao i+1 = 1, ese i = 1 entao i−1 = 9). Denotamos por Xn ∈ v1, v2, . . . , v9 a posicao do sapo no instanten, n ∈ N. A sequencia de variaveis aleatorias (Xn), n ≥ 0, que correspondem as posicoes dosapo formam um processo aleatorio. Temos portanto que

P(X0 = v1) = 1,

P(X1 = v2 |X0 = v1) = p, P(X1 = v9 |X0 = v1) = q,

Utilizando probabilidade condicional podemos calcular a probabilidade de que o sapo seencontre numa determinada planta apos de n ≥ 2 pulos, por exemplo,

P(Xn = v5|Xn−1 = v4, . . . , X0 = v1) = P(Xn = v5|Xn−1 = v4) = p,

o qual e consequencia imediata das regras que determinam os movimentos do sapo. Emparticular esta equacao enfatiza o fato de que a distribuicao de Xn dado (X0, . . ., Xn−1) sodepende de Xn−1. Esta unica simplificacao fornece a estrutura necessaria para desenvolvera maior parte da teoria. Em particular, esta permite responder as seguintes perguntas.

(i) Qual a distribuicao de Xn?, (ii) Qual a distribuicao do evento Xn |X0 = v1? Demaneira equivalente, no contexto deste exemplo, (iii) qual e a probabilidade de encontrar osapo na planta v5 apos 37 pulos?, (iv) ou a probabilidade de que este esteja na planta v3

4 2 Tempo discreto

apos de 53 pulos, dado que este inicio o seu trajeto na procura de alimento na planta v1?As seguintes perguntas relacionadas sao geralmente tambem de interesse: (v) Sera possıvelcalcular a distribuicao de Xn no limite n → ∞? (vi) Qual e o numero esperado de pulosrealizados pelo sapo ate voltar pela primeira vez a planta v1? (vii) Se a planta v6 e realmentea cabeca de um jacare faminto, qual e o numero de pulos em media realizados pelo sapoantes de ser devorado pelo jacare?

2.1.1 Propriedade de Markov

Seja S um conjunto enumeravel. Um elemento i ∈ S e chamado de estado, e S o espaco deestados. Seja λ = (λ1 : i ∈ S) uma distribuicao de probabilidade em S, isto e,

0 ≤ λi ≤ 1,∑i∈S

λi = 1.

Definicao 2.1. A distribuicao inicial do processo X e a distribuicao

λi = P(X0 = i) = P(ω ∈ Ω : X0(w) = i

), i ∈ S.

Definicao 2.2. Uma matriz P = (pij : i, j ∈ S) e estocastica se cada linha (pij : j ∈ S) euma distribuicao em S.

Um grafo e definido por dois conjuntos, um conjunto de vertices e outro de elos.Denotamos por G = (E, V ) o grafo formado pelos elos E = e1, e2, . . . com verticesV = v1, v2, . . .. Observamos que existe uma correspondencia um-a-um entre uma ma-triz estocastica e um grafo G com vertices em S. Por exemplo, para S = 1, 2, 3, podemosconsiderar o par

P =

b a ca c bc b a

v1F

aa

X

cc

222

2222

2

b

v2 ob

b /

c

MMv3

a

QQ

onde a > 0, b > 0, e c > 0, sao constantes tais que a + b + c = 1. Para o exemplo 2.1, ondeS = v1, v2, . . . , v9, temos

P =

0 p 0 0 0 0 0 0 qq 0 p 0 0 0 0 0 00 q 0 p 0 0 0 0 00 0 q 0 p 0 0 0 00 0 0 q 0 p 0 0 00 0 0 0 q 0 p 0 00 0 0 0 0 q 0 p 00 0 0 0 0 0 q 0 pp 0 0 0 0 0 0 q 0

v1

v2

q

p

X1111

v3)

q

piSSS

v4

5q

pukkk

v5

Fq

p

v6

R

q p

%%%%

v7

b

q

p

"DDDD

v8oq

p /

v9

| q

p <zzzz

qpL

A continuacao definimos formalmente um processo conhecido como cadeia de Markov. Oresto da secao esta dedicado a mostrar que a estrutura basica deste processo e determinadaem sua totalidade por P e λ.

Definicao 2.3 (cadeia de Markov). X = (Xn), n ∈ N e uma cadeia de Markov comdistribuicao inicial λ e matriz de probabilidade de transicao P , se P e estocastica e

2.1 Cadeias de Markov 5

(i) X0 tem distribuicao λ,(ii)Para quaisquer n ≥ 0, e (i0, i1, . . . , in+2) ∈ Sn+1,

P(Xn+1 = in+1 |X0 = i0, . . . , Xn = in) = P(Xn+1 = in+1 |Xn = in) (2.1)= pinin+1 .

A relacao em (2.1) e conhecida como a propriedade de Markov. Intuitivamente estarelacao indica que o processo nao apresenta memoria dos lugares visitados no passado. Seo processo X = (Xn), n ∈ N satisfaz as condicoes (i) e (ii) diremos que X e Markov(λ, P )ou simplesmente uma cadeia de Markov.

Teorema 2.1. X e uma cadeia de Markov se, e somente se para todo i0, i1, . . . , iN ∈ SN ,

P(X0 = i0, X1 = i1, . . . , XN = iN ) = λi0pi0i1pi1i2 · · · piN−1iN.

Demonstracao. Seja X Markov(λ, P ), entao

P(X0 = i0, X1 = i1, . . . , XN = iN )= P(XN = iN |X0 = i0, . . . , XN−1 = iN−1)· P(XN−1 = iN−1 |X0 = i0, . . . , XN−2 = iN−2)· · · P(X1 = i1 |X0 = i0)P(X0 = i0)

= λi0pi0i1pi1i2 · · · piN−1iN,

onde a ultima igualdade segue (i) e (ii) da definicao 3.8, utilizando-se como hipotese que Xe Markov (λ, P ). Para verificar a equivalencia no sentido oposto somamos iN sobre todo Sa ambos lados da igualdade no Teorema,∑

iN∈SP(X0 = i0, . . . , XN = iN ) =

∑iN∈S

λi0pi0i1pi1i2 · · · piN−1iN,

o qual implica

P(X0 = i0, . . . , XN−1 = iN−1) = λi0pi0i1pi1i2 · · · piN−2iN−1 ,

uma vez que P(X0 = i0, . . . , XN = iN ) e a distribuicao conjunta de X0, . . ., XN−1, XN , e∑iN∈S piN−1iN

= 1, ja que P e estocastica. Utilizando inducao deduzimos que para cada nem 1, . . . , N − 1,

P(X0 = i0, . . . , Xn = in) = λi0pi0i1 · · · pin−1in,

e em particular que P(X0 = i0) = λi0 . Assim, para n = 0, 1, . . . , N − 1,

P(Xn+1 = in+1 |X0 = i0, . . . , Xn = in) =P(X0 = i0, . . . , Xn+1 = in+1)

P(X0 = i0, . . . , Xn = in)

=λi0pi0i1 · · · pinin+1

λi0pi0i1 · · · pin−1in

= pinin+1 ,

o qual mostra que X e Markov (λ, P ).

O seguinte resultado fornece uma interpretacao crucial da propriedade referida anterior-mente como “perda de memoria”. Seja δi = (δij : j ∈ S), uma distribuicao de probabilidadeconcentrada em i, ou seja δij = 1 se i = j e δij = 0 se i 6= j.

6 2 Tempo discreto

Teorema 2.2 (Propriedade fraca de Markov). Seja X Markov(λ, P ). Dado o eventoXm = i, o processo Xm+n, n ∈ Z+, e Markov(δi, P ) e independente de X0, . . ., Xm.

Demonstracao. A prova consiste em mostrar que a seguinte igualdade

P(Xm = im, . . . , Xm+n = im+n ∩A|Xm = i

)= δiimpimim+1 · · · pim+n−1im+n P(A|Xm = i)

e valida para qualquer evento A determinado pelas variaveis aleatorias X0, . . ., Xm. Istoe consequencia da nocao de independencia (condicional) de eventos da forma Xm, . . .,Xm+n e A. Segue imediatamente desta igualdade e do Teorema 2.1 que Xm+n, n ∈ N eMarkov(δi, P ).

Consideramos primeiro o caso particular A = X0 = i0, . . . , Xm = im de tal forma que

P(Xm = im, . . . ,Xm+n = im+n ∩A |Xm = i)

=P(Xm = im, . . . , Xm+n = im+n, A, im = i)

P(Xm = i),

mas o numerador e dado por

P(Xm = im, . . . , Xm+n = im+n, A, im = i)= P(A, im = i)P(Xm = im, . . . , Xm+n = im+n |A, im = i)= P(A, im = i)P(Xm = im, . . . , Xm+n = im+n |Xm = i)= P(A,Xm = im)δiim

pimim+1 · · · pim+n−1im+n,

sendo que Tanto a segunda como a terceira igualdade segue diretamente do Teorema 2.1.No caso geral temos que qualquer evento A pode ser representado como

A =⋃k

Ak,

onde Ak sao eventos elementares disjuntos determinados por X0, X1, . . . , Xm = i. Oresultado neste caso segue utilizando o mesmo argumento mas somando sobre os eventosAk.

2.1.2 Probabilidades de n passos

Voltamos agora a uma das perguntas inicialmente formuladas no exemplo 2.1 que e a decomo calcular as distribuicoes condicionais e nao condicionais do processo no instante n,

P(Xn = j|X0 = i) e P(Xn = i) para i, j ∈ S.

A propriedade de Markov e as operacoes basicas do produto matricial permitem obter estasprobabilidades de maneira eficiente. Se representamos a distribuicao inicial como um vetor(fila) em S, entao

(λP )j =∑

i∈S λipij =∑

i∈S P(X0 = i)P(X1 = j |X0 = i)= P(X esta em j no instante 1)

Utilizando o produto matricial introduzimos agora a seguinte notacao,

(PP )ij = (P 2)ij , i, j ∈ S


isto e,

(P 2)ij =∑

k∈S pikpkj = p2ij

=∑

k∈S P(X2 = j |X1 = k)P(X1 = k |X0 = i)= P(X realiza uma transicao de i a j em dois passos)

Definicao 2.4. Para n ≥ 0, definimos o n-esimo iterado da probabilidade de transicao como

pnij = P(Xn = j |X0 = i)

A matriz formada pelos elementos (pnij), i, j ∈ S sera denotada por Pn.

Com o proposito de enfatizar a condicao inicial X0 = i, as vezes tambem sera empregadaa notacao pn

ij = Pi(Xn = j).

Definicao 2.5. Seja X uma cadeia de Markov. X e temporalmente homogenea se paraquaisquer i, j ∈ S e m,n,

P(Xm+n = j|Xm = i) = P(Xn = j|X0 = i).

Todos os processos considerados adiante sao temporalmente homogeneos.

Teorema 2.3. Seja X Markov(λ, P ). Para todo n, m ≥ 0 temos que

(i) P(Xn = j) = (λPn)j.(ii) Pi(Xn = j) = P(Xm+n = j |Xm = i) = P(Xn = j |X0 = i) = pn

ij.

Demonstracao. Do Teorema 2.1, da definicao 2.4 e da notacao introduzida temos

P(Xn = j) =∑io∈S

· · ·∑

in−1∈SP(X0 = i0, . . . , Xn−1 = in−1, Xn = j)

=∑io∈S

· · ·∑

in−1∈Sλi0pi0i1 · · · pin−1j

= (λPn)j ,

o qual termina a prova do primeiro item. Seguindo a propriedade de Markov exposta noTeorema 2.2, dado o evento Xm = i, (Xm+n) e Markov(δi, P ). Resulta portanto suficienteconsiderar λ = δi para o primeiro item, i.e., Pi(Xn = j) = (δiP

n)j = pnij .

Observamos que P 1 = P e P 0 = I, onde I denota a matriz identidade.

Teorema 2.4 (Chapman-Kolmogorov). Seja X uma cadeia de Markov(λ, P ), entao

Pm+n = PmPn.

Antes de proceder com a prova observamos que este resultado e uma generalizacao de(PP )ij =

∑k pikpkj ao caso (Pm+n)ij =

∑k pm

ikpnkj .

Demonstracao.

pm+nij = Pi(Xm+n = j)

=∑k∈S

P(Xm+n = j, Xm = k |X0 = i)

=∑k∈S

P(Xm+n = j |Xm = k,X0 = i)P(Xm = k |X0 = i)

=∑k∈S

P(Xm+n = j |Xm = k)P(Xm = k |X0 = i) =∑k∈S

pmikpn

kj .

8 2 Tempo discreto

2.1.3 Exercıcios

Exercıcio 2.1. (i) Mostre que (λP )j e uma distribuicao de probabilidade em S. (ii) Mostreque Pn e uma matriz estocastica em S para qualquer n ≥ 0.

Exercıcio 2.2. Suponha que os movimentos da BOVESPA podem ser modelados por umacadeia de Markov com valores em S = −,+, sendo que “− ” representa um dia onde abolsa fecha em valor negativo e “+” um dia com fechamento positivo. Nesta caso o grafo ea matriz de transicao que definem a evolucao dia a dia da BOVESPA sao dados por

−α

**1−α 88 +

β

jj 1−βffP =

[1− α α

β 1− β

]

0 < α, β < 1. (i) Se a cadeia comeca num dia do tipo −, e α = β = 34 , mostrar que

λn =(P(Xn = −), P(Xn = +)

)=(1

2(1 + 2−n),

12(1− 2−n)

)(λn e a distribuicao do processo em n, isto e a probabilidade de que a BOVESPA fecheem “−” ou “+” respectivamente, sendo que λ0 = (1, 0)). (ii) Interpretar limn→∞ λn. (iii)Calcular pn

11 = P(Xn = 1|X0 = 1) no caso geral para qualquer 0 < α ≤ 1 e 0 < β ≤ 1.[Dica: utilize a equacao de Chapman-Kolmogorov Pn+1 = PnP para obter uma relacao derecorrencia para pn

11. O apendice apresenta brevemente a teoria necessaria para resolver estetipo de recorrencia.]

Exercıcio 2.3. Uma consultora financeira classifica emprestamos de carros em quatro ca-tegorias: o emprestimo foi pago em sua totalidade (F ), o contrato encontra-se em boascondicoes sendo que todos os juros estao ao dia (G), a conta esta em situacao irregular comum ou mais pagamentos pendentes (A), ou a conta se encontra em pessimas condicoes e foivendida a uma agencia de colecao do credito (B). O historico indica que cada mes 10% doscontratos do tipo G paga em sua totalidade os juros, 80% permanecem em G, e 10% viramdo tipo B. Logo 10% das contas do tipo A pagam os juros totalmente, 40% viram do tipoG, 40% permanecem em A, e 10% viram do tipo B. (i) Calcule a proporcao de contratosdo tipo B que pagarao a sua divida totalmente no futuro. (ii) Qual sera a proporcao decontratos de tipo G que num futuro serao do tipo B.

Exercıcio 2.4. Seja (Xn)n≥0 uma cadeia de Markov com valores em S = v1, v2, v3, e oseguinte grafo e matriz de transicao

v1

1

v2

1/2;;

1/2 77 v3 1/2gg1/2

kkP =

0 0 11/2 1/2 00 1/2 1/2

,

onde as filas e as colunas de P estam dispostas de acordo com a ordem (v1, v2, v3). Encontreuma equacao geral para pn

v1v1. [Dica: utilize a diagonalizacao da matriz P .]

Exercıcio 2.5. Seja (Xn)n≥0 uma sequencia de v.a. independentes e identicamente dis-tribuıdas, temos entao

(a) Sn =∑n

i=1 Xi,

(b) Mn = X1 ∧X2 ∧ . . . ∧Xn,

(c) Ln = X1 ∨X2 ∨ . . . ∨Xn,

(d) Kn = Xn + Xn−1.


(i) Qual das sequencias Xn, Sn, Mn, Ln e Kn e Markov? (ii) Encontre a matriz de proba-bilidade de transicao para as sequencias que sao cadeias de Markov.

Exercıcio 2.6. Suponha agora que Z0, Z1, . . . sao variaveis aleatorias independentes e iden-ticamente distribuıdas tais que Zi = 1 com probabilidade p e Zi = 0 com probabilidade1 − p. Seja S0 = 0 e Sn = Z1 + . . . + Zn. Em cada um dos seguintes casos determine se(Xn)n≥0 e uma cadeia de Markov:(a) Xn = Zn, (b) Xn = Sn, (c) Xn = S0 + . . . + Sn, (d) Xn = (Sn, S0 + . . . + Sn).Encontre o espaco de estados e a matriz de probabilidade de transicao nos casos em nosquais (Xn)n≥0 e uma cadeia de Markov.

Exercıcio 2.7. Seja (Xn)n≥0 Markov (λ, P ). Se Yn = Xkn, mostrar que (Yn)n≥0 e Markov(λ, P k). Em geral, a amostragem de (Xn)n≥0 a intervalos constantes de comprimento k gerauma cadeia chamada o k-esqueleto de (Xn)n≥0.

Exercıcio 2.8. Seja X0 uma v.a. com valores no conjunto enumeravel S. Seja U1, U2, . . .uma sequencia de v.as. independentes e com distribuicao uniforme em [0, 1]. Sejam as funcoes

F : S × [0, 1] → S, f : [0, 1] → S

tais que

Xn =

F (Xn−1, Un), se n ≥ 1,

f(U0), se n = 0.

(i) Mostre que (Xn)n≥0 e uma cadeia de Markov e encontre a matriz de probabilidade detransicao P em termos de F . Escreva a distribuicao inicial λ em termos de f . (ii) E possıvelconstruir qualquer cadeia desta forma?

Exercıcio 2.9. Utilize o exercıcio anterior para simular o processo seguido pelo sapo noexemplo 2.1 tomando p = 1/2. (i) Faca um grafico de Xn(ω) versus n para diferentes ω. (ii)Utilize a matriz de probabilidade de transicao apresentada no exercıcio 2.4 para simular estacadeia e estime utilizando as suas simulacoes a probabilidade p50

v1v1. Dica: utilize o seguinte

estimador (justificado pelo Teorema 2.22 adiante)

p50v1v1

= # vezes em v1 no instante 50/# total de caminhos simulados.

Exercıcio 2.10. Uma pulga pula sobre os vertices de um triangulo de maneira que qualquerpulo tem a mesma probabilidade. Encontrar a probabilidade de que depois de n pulos a pulgaencontra-se no lugar de partida. Uma segunda pulga tambem decide pular sobre os verticesdo triangulo, mas a probabilidade de pular no sentido horario e duas vezes a probabilidadeno sentido contrario. Qual a probabilidade de que apos de n pulos esta ultima esteja nomesmo lugar onde iniciou. [Lembrar que e±iπ/6 =

√3/2± i/2.]

Exercıcio 2.11. † Seja (Xn)n≥0 uma cadeia de Markov em S, e seja I : Sn → 0, 1. Mostreque a distribuicao condicional de Xn, Xn+1, . . . dado o evento I(X1, . . . , Xn) = 1 ∩ Xn =i e identica a distribuicao de Xn, Xn+1, . . . dado Xm = i.

Exercıcio 2.12. Seja X uma cadeia de Markov em Z+ e probabilidades de transicao

p01 = 1, pi,i+1 + pi,i−1 = 1, pi,i+1 =( i + 1

i

)2

pi,i−1, i ≥ 1.

Mostre que se X0 = 0 entao a probabilidade de que Xn ≥ 1 para todo n ≥ 1 e 6/π2.

10 2 Tempo discreto

Exercıcio 2.13. Seja (Xn)n≥0 uma cadeia de Markov com espaco de estados S, e suponhaque h : S → T e bijetiva. Mostre que Yn = h(Xn) define uma cadeia de Markov em T . htem que ser bijetiva?

Exercıcio 2.14. O seguinte exercıcio mostra como trabalhar com uma cadeia de Markovquando so se tem informacao sobre algumas das transicoes do processo. Seja J um sub-conjunto do espaco de estados finito S de uma cadeia de Markov com matriz de transicaoparticionada da seguinte forma,

J J c

P =JJ c

[A BC D

]Suponhamos e possıvel registrar as entradas a J , e neste caso e observada uma cadeia deMarkov (Xn) com valores em J . (i) Mostre que a matriz de transicao de Xn e

P = A + B∑n≥0

DnC = A + B(I −D)−1C.

(ii) O Dr. P. Silva fica a maior parte do seu tempo em Ribeirao Preto no trabalho (T ), noseu flat (F ), em uma boate (B), ou com uma amante (A). Cada hora, ele muda de um destespossıveis estados de acordo com uma matriz de probabilidade de transicao P , mas a suamulher que desconhece da existencia da amante acha que as mudancas estao determinadaspela matriz PE ,

T F B A

P =

TFBA

1/3 1/3 1/3 00 1/3 1/3 1/3

1/3 0 1/3 1/31/3 1/3 0 1/3

,

T F B

PE =TFB

1/3 1/3 1/31/3 1/3 1/31/3 1/3 1/3

.

As pessoas so encontram com o Dr. Silva quando esta se encontra em J = T, F,B. (ii)Calcule a matriz P que aparentemente controla os movimentos do Dr. Silva.

As aventuras do Dr. Silva serao continuadas no exercıcio 2.38.

2.2 Classes de comunicacao

Iniciamos a continuacao o estudo de grupos de estados que apresentam certas caracterısticasem comum. Um dos objetivos e o de restringir o estudo do processo definido em S a partesmais simples tais que juntas estas permitam fornecer uma visao geral do processo sobre S.

Definicao 2.6. Sejam i e j dois pontos quaisquer em S. O estado i conduz a j, denotadoi → j, se existe n > 0 tal que pn

ij > 0. Utilizamos a notacao i 9 j para indicar que i naoconduz a j.

Definicao 2.7. O estado i comunica com o estado j, denotado i ↔ j, se i → j e j → i.Utilizamos a notacao i = j para indicar i 9 j ou j 9 i, ou i 9 j e j 9 i.

Ressaltamos que na ultima definicao o numero de passos num sentido nao e ne-cessariamente igual ao numero no sentido contrario.

2.2 Classes de comunicacao 11

Teorema 2.5. Para quaisquer dois estados i, j ∈ S, i 6= j, as seguintes afirmacoes saoequivalentes.

(i) i → j.(ii)pi0i1pi1i2 · · · pin−1in

> 0 para uma sequencia de estados i0, i1, . . . , in com i0 = i e in = j.(iii)pn

ij > 0 para algum n ≥ 0.

Demonstracao. Observamos primeiro que

pnij ≤ Pi(Xn = j para alguns n ≥ 0) ≤

∞∑n=0

pnij ,

ja que

Xn = j |X0 = i ⊆⋃

alguns k ≥ n

Xk = j |X0 = i ⊆∞⋃

k≥n

Xk = j |X0 = i

demonstrando a equivalencia entre (i) e (iii). Segue-se do Teorema 2.4 que

pnij =

∑i1,i2,...,in−1

pii1pi1i2 . . . pin−1j ,

o qual implica a equivalencia entre (ii) e (iii).

E simples verificar que relacao ↔ e uma relacao de equivalencia em S (faca isto comoum exercıcio). A relacao ↔ pode ser utilizada portanto para classificar os elementos de S,uma vez que esta induz una particao de S. As classes desta particao sao conhecidas comoas classes de comunicacao de S .

Definicao 2.8. Uma classe de comunicacao C e fechada se

i ∈ C : i → j ⇒ j ∈ C.

A classe fechada relacionada a i sera denotada por C(i) = j ∈ S : i → j. Uma classe serachamada de aberta se esta nao e fechada.

Uma classe fechada e uma classe sem saıda ja que se em algum instante X atinge umestado da classe fechada, entao X nao consegue se comunicar com um estado de outra classe.

Definicao 2.9. Um estado i ∈ S e chamado de estado absorvente se o conjunto i e umaclasse fechada.

Neste sentido uma classe de comunicacao fechada e uma classe absorvente.

Definicao 2.10. X e uma cadeia de Markov irredutıvel se S e a unica classe de comunicacaoinduzida por ↔.

Se X e irredutıvel entao diremos que P e uma matriz irredutıvel, ou equivalentementeque S e irredutıvel.

Exemplo 2.2. A procura das classes de comunicacao e simplificada ao achar o grafo G as-sociado a matriz de probabilidade de transicao P . Consideramos por exemplo a seguintematriz

12 2 Tempo discreto

P =

1/2 1/2 0 0 0 00 0 1 0 0 0

1/3 0 0 1/3 1/3 00 0 0 1/2 1/2 00 0 0 0 0 10 0 0 0 1 0

.

Neste caso se chamamos os estados de v1, v2, . . ., v6, e os associamos nesta ordem as filas eas colunas de P , entao encontramos o seguinte grafo,

v1

v4

v3

kk 33

++v2

@@

v5** v6jj

Diretamente do grafo deduzimos que esta cadeia apresenta as classes de comunicacaov1, v2, v3, v4 e v5, v6. A classe v5, v6 e fechada ja que uma vez que X entra nesteconjunto de estados X nao pode mais sair destes. Observamos que v1, v2, v3 formam umaclasse desde que v1 → v2 e v1 → v3, v2 → v1 e v2 → v3, e finalmente v3 → v1, v3 → v2. Logov4 /∈ v1, v2, v3 ja que v4 9 v1 (e tambem v4 9 v2 e v4 9 v3). As classes v1, v2, v3e v4 sao classes abertas desde que estas comunicam com estados de outras classes. Istoconclui a descricao das classes de comunicacao de S.

Exercıcio 2.15. Seja X uma cadeia de Markov com grafo de transicao

c

b oo //

EE d //

a

<<

DD e ddjj

(i) Encontre as classes de estados fechadas. (ii) Diga se X e irredutıvel.

2.3 Tempos do primeiro retorno e da primeira chegada

Grande parte dos problemas encontrados no estudo das cadeias de Markov e em geral dosprocessos estocastico podem ser reduzidos ao estudo de duas variaveis aleatorias conhecidascomo o primeiro tempo de retorno e o primeiro tempo de chegada.

Definicao 2.11. Seja X Markov(λ, P ) com valores em S. O primeiro tempo de chegada aoconjunto A ⊂ S e a variavel aleatoria σA : Ω → Z+ dada por

σA(ω) = infn ≥ 0 : Xn(ω) ∈ A.

(sendo inf∅ = ∞.) . O primeiro tempo de retorno a A ⊂ S e a variavel aleatoria τA :Ω → Z+ definida como

τA(ω) = infn ≥ 1 : Xn(ω) ∈ A.

2.3 Tempos do primeiro retorno e da primeira chegada 13

Segue diretamente desta definicao que

τA = σA1X0 /∈A q.c.1

As seguintes notacoes serao utilizada em numerosas ocasioes. Condicionando pelo eventoinicial X0 = i, a probabilidade de que X chegue a A e denotada por

hAi = Pi(σA < ∞) =

∑n≥0

Pi(σA = n).

O tempo esperado para chegar ate A a partir de i e denotado por

kAi = Ei[σA] =

∑n≥0

nP(σA = n) +∞P(σA = ∞).

Definicao 2.12. Se A e uma classe fechada, entao hAi e chamada de probabilidade de ab-

sorcao em A.

Exemplo 2.3. O seguinte exemplo ilustra o calculo de hAi e kA

i num caso elementar. Seja Xuma cadeia com valores em S = 1, 2, 3, 4 e o seguinte grafo de transicao

1 oo12

2

12

((3

12

hh 4//12

Se X e iniciada no estado 2, qual a probabilidade de X ser absorvida em 4? Logo, quantotempo demora X para ser absorvida em 1 ou em 4?

Seja A = 1, 4, claramente das definicoes de hi e ki temos

h41 = 0, h4

4 = 1, kA1 = kA

4 = 0.

Suponhamos agora que X0 = 2 e a seguir consideramos as possibilidades apos da primeiratransicao, isto e, com probabilidade 1/2 pulamos de 2 a 1 e com 1/2 de 2 a 3, logo

h42 =

12h4

1 +12h4

3, (a)

kA2 = 1 +

12kA1 +

12kA3 . (b)

A justificativa destas equacoes esta baseada essencialmente na propriedade de Markov. Para(a), seja E = X e absorvida em 4 entao

h42 = P(E |X0 = 2) =

∑k∈SP(E,X1 = k |X0 = 2)

= P(E,X1 = 1 |X0 = 2) + P(E,X1 = 3 |X0 = 2)= P(E |X1 = 1, X0 = 2)P(X1 = 1 |X0 = 2)

+ P(E |X1 = 3, X0 = 2)P(X1 = 3 |X0 = 2)= P(E |X1 = 1)p21 + P(E |X1 = 3)p23,

1 q.c. e a forma abreviada de ‘quase certamente’. A afirmacao ϕ sobre uma variavel aleatoria se dizquase certa se Pω : ϕ e verdadeira = 1, ou equivalentemente se Pω : ϕ nao e verdadeira = 0.E claro que existe diferenca entre “ϕ e verdade” e “ϕ e verdade q.c.”

14 2 Tempo discreto

sendo que a ultima linha segue do Teorema 2.1. Um argumento similar pode ser utilizadopara comprovar (b), mais a justificativa formal sera deixada para o Teorema 2.7 adiante.Com probabilidade p21 = 1/2 ocorre a primeira transicao ao estado 1, logo temos queconsiderar k4

1 como o valor esperado dos passos ate a absorcao. A outra possibilidade, aqual corresponde a transicao de 2 a 3 inclui as quantidades p23 = 1/2 e h4

3. Utilizandoexatamente este mesmo procedimento agora obtemos h4

3 e kA3 ,

h43 =

12h2 +

12h4

4 (c)

kA3 = 1 +

12kA2 +

12kA4 (d)

Substituindo (c) em (a) e lembrando que h14 = 0, h4

4 = 1, obtemos

h42 =

12

(12h4

2 +12

), logo h4

2 =13.

Finalmente, de (d) em (b) e kA1 = kA

4 = 0,

kA2 = 1 +

12

(1 +

12kA2

), entao kA

2 = 2.

Este exemplo tem por objetivo mostrar o argumento central baseado na decomposicaoassociada a primeira transicao. Dependendo da simetria inerente ao grafo de transicao,sucessivas decomposicoes podem levar diretamente a resposta final. Em geral este metodopermite construir uma equacao em diferenca a qual pode ser resolvida utilizando diversastecnicas. O apendice a estas notas apresenta um metodo geral para resolver este tipo deequacoes.

Em geral temos o seguinte resultado.

Teorema 2.6 (probabilidade da primeira chegada). O vetor da probabilidade dostempos da primeira chegada ao conjunto A ⊂ S, hA = (hA

i : i ∈ S), e a solucao naonegativa mınima ao sistema linear

hAi =

1, se i ∈ A,∑

j∈S pijhAj , se i /∈ A.

(2.2)

h e a solucao mınima se para uma outra solucao g = (gi : i ∈ S) tal que gi ≥ 0, entaopontualmente gi ≥ hi.

Demonstracao. Mostraremos primeiro que hAi e uma solucao ao sistema indicado. Trivial-

mente, se X0 = i ∈ A entao σA = 0 implica hAi = 1. Se X0 = i /∈ A, entao σA ≥ 1 e seguindo

a propriedade de Markov,

Pi(σA < ∞|X1 = j) = P(σA < ∞|X1 = j, X0) = P(σA < ∞|X1 = j)

= Pj(σA < ∞) = hAj ,

logo,

hAi =

∑j∈S

Pi(σA < ∞, X1 = j) =∑j∈S

Pi(σA < ∞|X1 = j)Pi(X1 = j)

=∑j∈S

pijhAj .


Mostramos agora que hA e a solucao mınima. Suponhamos que g = (gi : i ∈ S) e uma outrasolucao qualquer portanto se i ∈ A entao gi = 1 = hA

i . Porem, se i /∈ A entao

gi =∑j∈S

pijgj =∑j∈A

pij +∑j /∈A

pijgj .

Substituindo da mesma maneira mais uma vez para gj ,

gi =∑j∈A

pij +∑j /∈A

pij

(∑k∈A

pjk +∑k/∈A

pjkgk

)= Pi(X1 ∈ A) + Pi(X1 /∈ A,X2 ∈ A) +

∑j /∈A,k/∈A

pijpjkgk.

Repetindo este argumento por inducao tem-se

gj = Pi(X1 ∈ A) + . . . + Pi(X1 /∈ A, . . . ,Xn−1 /∈ A,Xn ∈ A)

+∑

j1 /∈A...jn /∈A

pij1pj1j2 . . . pjn−1jngjn

.

Se g e nao negativa entao o ultimo termo da equacao acima e nao negativo. Por outro lado,os termos restantes tem soma igual a Pi(σ ≤ n), portanto

gi ≥ Pi(σA ≤ n), n ≥ 1,

Assim, no limite n →∞,

gi ≥ limn→∞

Pi(σA ≤ n) = Pi

(⋃n

σA ≤ n)

= Pi(σA < ∞) = hi.

Este Teorema quando aplicado ao exemplo 2.3 leva diretamente ao seguinte sistema

h44 = 1, h4

2 =12h4

1 +12h4

3, h43 =

12h4

2 +12h4

4,

o qual expressa h42 em terminos do valor desconhecido h4

1. Da minimalidade da solucaopodemos considerar h4

1 = 0, o qual leva ao valor h42 = 1/3.

Apresentamos a continuacao dois exemplos classicos da aplicacao do principio de de-composicao da primeira transicao. Cada um destes resulta em uma equacao em diferencaparticular.

Exemplo 2.4 (ruına do jogador). Seja X Markov(λ, P ) com valores em Z+ e probabilidadesde transicao p0,0 = 1, pi,i−1 = q, pi,i+1 = p para 0 < p < 1, q = 1 − p. Este processoapresenta a seguinte representacao interessante. Suponha que voce entra num cassino comi R$. Cada vez que voce joga, voce pode ganhar um real com probabilidade p ou perderum real com probabilidade q = 1 − p. Desta forma Xn representa a sua fortuna depois dan-esima aposta. Suponha que o cassino apresenta uma fonte ilimitada de dinheiro, portantonao existe em principio um limite superior para a quantidade da sua fortuna. A figura 2.2apresenta uma caminho tıpico deste processo. Qual a probabilidade de voce perder tudo oseu dinheiro? Nao e difıcil chegar a seguinte resposta

Pi(Xn chega a 0) = Pi(σ0 < ∞) = h0i .

Da decomposicao da primeira transicao obtemos entao que

16 2 Tempo discreto

h00 = 1,

h0i = ph0

i+1 + qh0i−1, i ≥ 1. (2.3)

Um metodo geral para resolvermos a equacao em diferenca de segunda ordem e apresentadono apendice. Apresentamos a seguir um outro metodo parecido com o metodo utilizado pararesolver equacoes diferenciais ordinarias lineares, o qual consiste em encontrar duas solucoes,α1 e α2, linearmente independentes tais que

h0i = c1(α1)i + c2(α2)i.

Propomos primeiro uma solucao da forma h0i = αi, de maneira que a recorrencia em (2.3)

toma a forma αi = pαi+1 + qαi−1, i ≥ 1. Em particular para i = 1 temos a equacaocaracterıstica

pα2 − α + q = 0

com raızes

α− =1−

√1− 4pq

2pα+ =

1 +√

1− 4pq

2p.

Duas situacoes sao possıveis, A: 1 − 4pq = 0 (quando p = q = 12 ), e B: 1 − 4pq 6= 0.

Analisamos cada caso separadamente.Caso A. Se p = q entao temos α− = α+ = α = 1. Logo propomos mais uma solucao

(linearmente independente de αi) da forma iαi e entao em geral obtemos

h0i = c1(α)i + c2i(α)i = c1 + c2i.

Esta solucao tem que ser valida para todo i ≥ 0, o qual forca c2 = 0 de maneira que nolimite i → ∞, h0

i ainda possa satisfazer h0i ≤ 1. A nossa solucao agora apresenta a forma

h0i = c1, mas da condicao inicial do problema h0

0 = 1 = c1 + c2 inferimos que c1 = 1,logo finalmente h0

i = 1. Isto implica que mesmo quando o cassino e honesto, com certezasempre acabaremos arruinados, independentemente da nossa quantidade inicial de dinheiro.(E melhor saber retirarse a tempo!)

Caso B. Se p 6= q, entao

α− =1−

√1− 4p(1− p)

2p=

1−√

(2p− 1)2

2p= 1

e

α− =1 +

√(2p− 1)2

2p=

q

p

Neste caso a solucao geral ja toma a forma desejada

h0i = c1(1)i + c2

(q

p

)i

,

porem ainda fica por ser determinados os valores de c1 e c2. Observamos que se p < q,entao no limite i → ∞ temos que (q/p)i diverge, portanto seguindo o mesmo argumentoempregado no caso A concluımos que h0

i = 1 para i ≥ 1. Isto e, se a chance de perder cadaaposta e maior que a chance de ganhar, entao com certeza tambem acabaremos arruinados!Finalmente se p > q, utilizando a condicao inicial na solucao geral temos

h0i = c1 + (1− c1)

(q

p

)i

=(q

p

)i

+ c1

(1−

(q

p

)i).


Sendo p > q, necessariamente 1 − (q/p)i > 0, o qual implica que c1 ≥ 0 e entao h0i ≥ 0.

Utilizamos a propriedade minimal de h0i demonstrada no Teorema 2.6 para justificar a

escolha c1 = 0. A solucao neste caso e portanto

h0i =

(q

p

)i

.

Concluımos que com probabilidade positiva podemos perder todo o nosso dinheiro mas amesma diminui geometricamente com i, isto e, a medida que entramos com mais dinheirono cassino. Finalmente no limite i →∞ temos que a probabilidade de nao ficar arruinadose 1.

Exemplo 2.5 (processo de nascimento e morte simples). Seja X uma cadeia de Markov comvalores em Z+ e probabilidades de transicao p0,1 = 0, pi,i+1 = pi, e pi,i−1 = qi. Esteprocesso e muito parecido com o processo que descreve a ruına do jogador, mas agora asprobabilidades de transicao em cada instante dependem do estado atual do processo. Acadeia assim definida pode ser utilizada para modelar o crescimento de uma populacao aqual no instante n apresenta i indivıduos, i.e., Xn = i.

Uma quantidade importante nesta aplicacao e a probabilidade de extincao da populacao.Dado que a populacao apresenta inicialmente i indivıduos temos

Pi(chegar a 0 indivıduos) = Pi(σ0 < ∞) = h0i .

Utilizando a decomposicao da primeira transicao temos que esta probabilidade satisfaz aseguinte relacao de recorrencia

h0i = pih

0i+1 + qih

0i−1, i = 1, 2, . . .

Observamos que, a diferenca do exemplo 2.4, a equacao em diferenca que descreve h0i agora

nao e homogenea pois os coeficientes qi, pi dependem do estado atual do processo. Mesmoassim, neste caso ainda e possıvel encontrar a solucao diretamente. Seja

δi = h0i−1 − h0

i ,

logo

piδi+1 = pih0i − pih

0i+1 = pih

0i − (h0

i − qih0i−1)

= −h0i (1− pi) + qih

0i−1 = qi(h0

i−1 − h0i ) = qiδi,

e portantoδi+1 =

qi

piδi.

Desta forma, utilizando inducao sobre i conseguimos

δi+1 =qi

pi

qi−1

pi−1· · · q1

p1δ1.

Se γi =∏i

k=1 qk/pk, para i ≥ 1, entao

δi+1 = γiδ1.

Por outro lado observamos que

δ1 + δ2 + . . . + δi = h00 − h0

i .

18 2 Tempo discreto

Combinando estes dois resultados temos a forma geral para a probabilidade de extincao

h0i = 1− δ1(γ0 + γ1 + . . . + γi−1).

Para obtermos h0i , ainda temos que calcular δ1. Consideramos a tal fim separadamente os

seguintes casos, A:∑∞

i=0 γi = ∞, e B:∑∞

i=0 γi < ∞.Caso A. A fim de garantirmos h0

i ≤ 1 para todo i ≥ 1 neste caso e necessario que δ1 = 0.Desta forma h0

i = 1, i ≥ 1, isto e, com certeza a populacao sera extinta para qualquernumero inicial de indivıduos.

Caso B. Se∑∞

i=0 γi < ∞, entao deve existir um ındice k < ∞ tal que

qk+n · · · q1

pk+n · · · p1= 0,

para todo n ≥ 0. Portanto e possıvel considerar δ1 > 0 sempre e quando δ1(γ0+ . . .+γi−1) <1, para i ≥ 1. Utilizando o Teorema 2.6 escolhemos

δ1 =( ∞∑

i=0

γi

)−1

,

ja que neste caso obtemos a solucao mınima para h0i . Obviamente a escolha satisfaze δ1(γ0 +

. . . + γi−1) < 1 e entao da expressao geral para h0i temos

h0i = 1−

∑i−1j=0 γj∑∞j=0 γj

=

∑∞j=i γj∑∞j=0 γj

< 1, i ≥ 1.

Concluımos que para qualquer quantidade inicial de indivıduos, i ≥ 1, a probabilidade deextincao h0

i < 1, ou equivalentemente Pi(sobrevivencia) = 1− h0i > 0.

Este exemplo, igualmente ao anterior, mostra como a condicao de minimalidade e utilna solucao de equacoes em diferenca para calcular hA

i , em especial quando S nao e finitopois neste caso usualmente nao temos uma das condicoes de contorno necessarias.

Voltamos agora a considerar os tempos esperados da primeira chegada a um conjuntoA ⊂ S, isto e kA

i . Para esta quantidade apresentamos o seguinte resultado geral.

Teorema 2.7 (tempo esperado da primeira chegada). O vetor de tempos esperadosde chegada kA = (kA

i : i ∈ S), e a solucao mınima, nao-negativa ao sistema de equacoeslineares

kAi =

0, se i ∈ A,

1 +∑

j 6=A pijkAj , se i /∈ A.

Demonstracao. Mostramos primeiro que kA = (Ei[σA] : i ∈ S) satisfaz este sistema. SeX0 = i ∈ A entao σA = 0, logo Ei[σA] = Ei[0] = 0. Se X0 = i /∈ A entao σA ≥ 1.Observamos primeiro que

Ei[σA |X1 = j] = Ei[σA |X1 = j, X0 = i]= E[infn ≥ 0 : Xn ∈ A |X1 = j,X0 = i]= E[infn ≥ 1 : Xn ∈ A |X1 = j]= 1 + E[infn ≥ 0 : Xn ∈ A |X0 = j] = 1 + Ej [σA]

sendo que a primeira e a terceira igualdade seguem da propriedade de Markov. A terceiratambem utiliza X0 = i /∈ A, e a quarta e consequencia da homogeneidade (temporal) doprocesso. Agora


kAi = Ei[σA] =

∑j∈S

Ei[σA1X1=j] =∑j∈S

∑ω

σA(ω)1X1=j(ω) Pi(ω)

=∑j∈S

∑n

nPi(σA(ω) = n, X1(ω) = j)

=∑j∈S

∑n

nPi(σA(ω) = n |X1 = j) Pi(X1 = j)

=∑j∈S

Ei[σA |X1 = j] pij ,

e portanto da primeira parte da prova

kAi =

∑j∈S

(1 + Ej [σA]) pij = 1 +∑j∈S

Ej [σA]) pij = 1 +∑j /∈A

pijkAj .

A restricao do somatorio ao complemento de A e devida a que kAj = 0 para j ∈ A.

Mostramos agora que (kAi : i ∈ S) e de fato a solucao mınima. Suponhamos que r =

(ri : i ∈ S) e qualquer outra solucao ao sistema. Entao kAi = ri = 0 para qualquer i ∈ A. Se

i /∈ A, dado que ri satisfaz o sistema,

ri = 1 +∑j /∈A

pijrj = 1 +∑j /∈A

pij

(1 +

∑k/∈A

pjkrk

)= 1 +

∑j /∈A

pij +∑

j /∈A,k/∈A

pijpjkrk

= Pi(σA ≥ 1) + Pi(σA ≥ 2) +∑

j /∈A,k/∈A

pijpjkrk

Utilizando inducao

ri =n∑

k=1

Pi(σA ≥ k) +∑

j1 /∈A,...,jn /∈A

pij1pj1j2 · · · pjn−1jnrjn .

Se r e nao negativa, entao necessariamente

ri ≥n∑

k=1

Pi(σA ≥ k),

o qual e valido para todo n ≥ 1, logo no limite

ri ≥∞∑

k=1

Pi(σA ≥ k) = Ei[σA] = kAi .

Nesta ultima linha utilizamos a identidade∑

k≥0 P(ξ > k) = E[ξ], valida para qualqervariavel aleatoria ξ nao negativa.

Existe uma outra maneira para calcular os valores esperados do primeiro tempo deretorno, baseada no metodo da funcao geradora.

Definicao 2.13. Seja ξ uma variavel aleatoria com valores em um conjunto enumeravel S.A funcao geradora de probabilidade de ξ e definida por

G(z) = E[zξ] =∑i∈S

ziP (ξ = i),

para tudo |z| ≤ 1 pertencente ao raio de convergencia da serie de potencia a direita.

20 2 Tempo discreto

O seguinte Lema apresenta algumas das propriedades basicas destas funcoes. A suademonstracao e deixada como um exercıcio.

Lema 2.1. Se ξ tem funcao geradora G(z), entao (i) G(1) = 1, (ii) G(0) = P (ξ = 0), e

(iii) E[ξ] = G′(1) =dG(z)

ds

∣∣∣z=1

.

Seja hji (n) a distribuicao do primeiro tempo de retorno de i a j, isto e,

hji (n) = Pi(τj = n), n = 0, 1, 2, . . .

Consideramos agora as seguintes funcoes geradoras

Gij(z) =∞∑

n=0

znpnij , Hi(z) =

∞∑n=0

znhii(n).

Lema 2.2. Seja X uma cadeia de Markov e i ∈ S em estado qualquer. Neste caso, Gii(z) =1 + Hi(z)Gii(z) e Gij(z) = Hi(z)Gjj(z) se i 6= j.

Demonstracao. Veja [5], pagina 85.

Estes resultados podem ser utilizados para calcular o tempo medio do primeiro retorno.Do Lema 2.2 temos que Hi(z) = 1− (Gii(z))−1, o qual combinado com o Lema 2.1 resultaem

kii = Ei[σi] = H ′

i(z)∣∣z=1

=

(1− 1

Gii(z)

)′∣∣∣∣∣z=1

.

Exemplo 2.6. Duas cadeias de Markov estao definidas pelas seguintes matrizes de probabi-lidade de transicao,

(a)

1− 2p 2p 0p 1− 2p p0 2p 1− 2p

, (b)

0 p 0 1− p

1− p 0 p 00 1− p 0 pp 0 1− p 0

Calculamos a seguir os tempos de recorrencia esperados para cada um dos possıveis estadosem (a) e (b). Encontramos primeiramente a funcao geradora Gii(z), para o qual calculamosPn = NDnN−1. Da equacao caracterıstica associada obtemos os tres autovalores 1, (1−2p),e (1− 4p), logo

N =

1 1 11 0 −11 −1 1

, N−1 =

1/4 1/2 1/41/2 0 −1/21/4 −1/2 1/4

Dn =

1 0 00 (1− 2p)n 00 0 (1− 4p)n

e entao calculando o produto NDnN−1 obtemos os elementos da diagonal

pn11 =

14

+12(1− 2p)n +

14(1− 4p)n, pn

22 =12

+14(1− 4p)n, pn

33 = pn11.

Desta forma


G11(z) =∑n≥0

zn(1

4+

12(1− 2p)n +

14(1− 4p)n

)=

14(1− z)

+1

2(1− z(1− 2p))+

14(1− z(1− 4p))

,

e logo utilizando os resultados do Lema 2.2,

k11 = H ′

1(z)∣∣z=1

=16p4

4p4= 4,

o qual tambem e o valor de k33. Analogamente para pn

22, temos

G22(z) =∑n≥0

zn(1

2+

12(1− 4p)n

)=

12(1− z)

+1

2(1− z(1− 4p)),

portanto

k22 = H ′

2(z)∣∣∣z=1

=8p2

4p2= 2.

Para a cadeia definida por (b) procedemos da mesma forma. Neste caso os autovalores sao−1,1, i(2p− 1), e −i(2p− 1), logo

pnjj =

14

(1 + (−1)n + (i(2p− 1))n + (−i(2p− 1))n

),

para qualquer j = 1, 2, 3, 4; e entao finalmente do Lema 2.2,

k11 = k2

2 = k33 = k4

4 = 4.

2.3.1 Exercıcios

Exercıcio 2.16. Uma cadeia de Markov com espaco de estados 1, 2, 3 apresenta a seguintematriz de probabilidade de transicao

P =

13

13

13

0 12

12

0 0 1

.

Mostre que o estado 3 e absorvente. Dado que X0 = 1, encontre o tempo esperado ateabsorcao.

Exercıcio 2.17. Uma moeda honesta e lancada repetidas vezes. Calcule o numero esperadode lancamentos ate aparecer a sequencia cara, coroa, cara pela primeira vez.

Exercıcio 2.18. (i) Calcule a probabilidade da sua ruına sendo que o seu capital inicial e i,isto e calcule h0

i , mas agora suponha que voce se encontra jogando contra uma outra pessoacom capital inicial j = a− i. (ii) Calcule a probabilidade da ruına do seu oponente.

Exercıcio 2.19. Responda a pergunta (vii) formulada no exemplo 2.1.

Exercıcio 2.20. Considere o enunciado do exercıcio 2.18 e neste caso (i) calcule o tempoesperado da sua ruına. (ii) Calcule o tempo esperado da ruına do seu oponente.

22 2 Tempo discreto

Exercıcio 2.21. Este exercıcio e uma continuacao do exercıcio exercıcio 2.3. Qual e onumero medio de meses no qual uma conta do tipo A permanecera no sistema? (isto e,o numero de meses em media para que esta vire do tipo F ou B.)

Exercıcio 2.22. Um tabuleiro apresenta nove quadros, duas escadas, e duas cobras dispos-tas de acordo ao desenho na figura 2.1. Suponha que voce inicia o jogo no quadro 1, e logoem cada turno voce joga uma moeda (honesta) de tal maneira que se o resultado e caraentao voce avanca dois quadros, mas se o resultado e coroa voce avanca so um quadro. Sevoce se encontra com o pe de uma escada voce imediatamente sobe ate o final dela, mas sevoce se encontra com a cabeca de uma cobra voce desce ate o final da cauda. (i) Quantasturnos sao necessarios em media para chegar ate o quadro 9? (ii) Qual a probabilidade deque um jogador que tenha chegado ate ao quadro 5 consiga chegar ate o 9 sem voltar ate oquadro 1? (iii) Calcule a quantidade de turnos esperados se em lugar de uma moeda agorae utilizado um dado de tal forma que voce avanca n quadros quando a face superior e n.

Figura 2.1. ‘Serpentes e escadas’. A origem deste jogo remonta-se a 200 A.C., estandopossıvelmente relacionado ao jogo hindu de nome Moksha-Patamu. Este ultimo foi utilizado porlideres religiosos para ensinar a diferenca entre o bem e o mal para as criancas. A versao atual foipopularizada na Inglaterra Vitoriana ao redor de 1890.

Exercıcio 2.23. Seja (Xn)n≥0 Markov em 0, 1, 2, . . . com matriz de transicao definidapor

p0j = aj se j ≥ 0, pii = r, pi,i−1 = 1− r se i ≥ 1.

Encontre o valor esperado dos tempos de retorno.

2.4 Propriedade forte de Markov

Um avanco significativo na teoria e conseguido ao considerar eventos do tipo

XT+1, . . . XT+n |XT = i, . . . , X0 = i

para o instante aleatorio T (ω), em lugar de

Xm+1, . . . Xm+n |Xm = i, . . . , X0 = i

onde m e um instante fixo determinado a priori

2.4 Propriedade forte de Markov 23

Definicao 2.14. A variavel aleatoria T : Ω → 0, 1, . . . ∪ ∞ e um tempo de parada parao processo X, se o evento T = m so depende de X0, . . . , Xm.

Exemplo 2.7. Seja X um processo aleatorio com valores em S. (i) O primeiro tempo deretorno ao estado i, τi, e um tempo de parada para X uma vez que

τi = n = X0 6= i,X1 6= i, . . . , Xn−1 6= i,Xn = i.

(ii) O primeiro tempo de chegada a i, σi, tambem e um tempo de parada para X. (iii) Oultimo tempo de saıda de A ⊂ S,

iA = supn ≥ 0 : Xn ∈ A

nao e um tempo de parada para X, ja que iA = n claramente depende do evento Xn+m ∈A : m ≥ 1.

A propriedade de Markov ainda e valida se variavel aleatoria T e um tempo de parada. Oponto crucial e observar que se B e um evento determinado por X0, . . . , XT , entao B∩T =m esta determinado por X0, . . . , Xm.

Teorema 2.8 (Propriedade forte de Markov). Seja X Markov(λ, P ) e B um eventodeterminado por X0, . . . , XT . Dado o evento T < ∞, XT = i, o processo (XT+n), n ≥ 0,e Markov(δi, P ) e independente de X0, . . . , XT .

Demonstracao. Seja B = X0, . . . , XT entao B ∩ T = m esta determinado porX0, . . . , Xm. Agora

P(XT = j0, . . . , XT+n = jn ∩ B, T < ∞, XT = i)

=∑m≥0

P(XT = j0, . . . , XT+n = jn ∩ B, T = m,XT = i),

logo

P(XT = j0, . . . , XT+n = jn, B |T < ∞, XT = i)

=∑m≥0

P(XT = j0, . . . , XT+n = jn, B, T = m,XT = i)

· P(T = m,XT = i)−1,

mas se T = m, entao XT = Xm. Desta forma temos que∑m≥0

P(Xm = j0, . . . , Xm+n = jn, X0, . . . , Xm, T = m,Xm = i)P(T = m,Xm = i)−1

=∑m≥0

P(Xm = j0, . . . , Xm+n = jn |X0, . . . , Xm, Xm = i, T = m)

· P(X0, . . . , Xm, Xm = i, T = m)P(T = m,Xm = i)−1,

assim, da propriedade fraca de Markov,∑m≥0

P(Xm = j0, . . . , Xm+n = jn |Xm = i)P(X0, . . . , Xm |T = m,Xm = i).

Da homogeneidade do processo, concluımos portanto que

Pi(X0 = j0, . . . ,Xn = jn)∑m≥0

P(X0, . . . , Xm |T = m,Xm = i)

= Pi(X0 = j0, . . . , Xn = jn)P(B |T < ∞, XT = i).

24 2 Tempo discreto

τ0i

i

τ1i τ5

i

E1i E2

i E3i E4

i E5i E6

i

Xn(ω)

Figura 2.2. tempos de excursao e do primeiro retorno a i.

2.5 Recorrencia e transitoriedade

Existe uma outra maneira de classificar os estados em S de acordo a se estes podem servisitados um numero infinito de vezes ou nao. Veremos que esta classificacao e essencialpara estudar as propriedades de Xn no limite n →∞. Baseamos a exposicao das nocoes derecorrencia e transitoriedade nos tempos do primeiro retorno τA. Posteriormente veremosque existem caracterizacoes alternativas.

Definicao 2.15. Seja X Markov(λ, P ) com valores no conjunto enumeravel S. O estadoi ∈ S e recorrente2 se

Pi(Xn = i para infinitos n) = 1.

O estado i ∈ S e transitorio se

Pi(Xn = i para infinitos n) = 0.

A cadeia e recorrente se S e recorrente.

Um estado e recorrente se este e visitado infinitas vezes, caso contrario este e transitorio.Se um estado e transitorio entao eventualmente existe um instante a partir do qual a cadeianao visita mas este estado. Mostraremos que S pode ser particionado em classes de estadosrecorrentes e transitorias, porem mais importante-mente desenvolveremos varios criterios derecorrencia e transitoriedade equivalentes.

Seja τi o primeiro tempo de retorno a i. Se τ0i = 0, e τ1

i = τi, entao o k-esimo tempo deretorno a i e definido indutivamente para k = 0, 1, . . . como

τk+1i (ω) = infn ≥ τk

i (ω) + 1 : Xn(ω) = i

Logo a duracao da k-esima excursao a i e

Eki =

τki − τk−1

i , se τk−1i < ∞,

0, caso contrario.

A relacao entre τki e Ek

i e apresentada na figura 2.2.A primeira caracterizacao das nocoes de recorrencia e transitoriedade a ser descrita estara

baseada na distribuicao conjunta da duracao dos tempos de excursao. Com este propositoapresentamos dois resultados preliminares.2 as vezes tambem denominado persistente

2.5 Recorrencia e transitoriedade 25

Lema 2.3. Para k = 2, 3, . . ., dado τk−1i < ∞, Ek

i e independente de Xm : m ≤ τk−1i , e

P(Eki = n | τk−1

i < ∞) = Pi(τi = n).

Demonstracao. A prova consiste em mostrar as duas igualdades

P(Ek

i = n, Xm : m ≤ τk−1i | τk−1

i < ∞)

= P(Ek

i = n | τk−1i < ∞

)P(Xm : m ≤ τk−1

i | τk−1i < ∞

)(2.4)

= P(τi = n |X0 = i)P(Xm : m ≤ τk−1

i | τk−1i < ∞

). (2.5)

Observamos primeiramente que T = τk−1i e um tempo de parada o qual implica

P(Ek

i = n∩ Xm : m ≤ T |T < ∞)

= P(τk

i − T = n ∩ Xm : m ≤ T |T < ∞)

= P(XT , . . . , XT+n = i, X0, . . . , XT |T < ∞).

Embora, no instante T a cadeia esta em i, portanto

P(XT , . . . , XT+n, X0, . . . , XT |XT = i, T < ∞)= P(XT . . . , XT+n |XT = i, T < ∞)P(X0, . . . , XT |XT = i, T < ∞)

= P(Eki = n | τk−1

i < ∞)P(X0, . . . , XT | τk−1i < ∞).

A segunda igualdade segue diretamente ao aplicarmos o Teorema 2.8 para o tempo deparada T . Isto prova (2.4). Para (2.5) e suficiente observar, mais uma vez do Teorema 2.8,que (XT+n), n ≥ 0 e Markov(δi, P ). Neste caso

Eki = infn ≥ 1 : XT+n = i

e o primeiro tempo de retorno a i para esta cadeia, logo o resultado e imediato.

Seja agora

Vi =∞∑

n=0

1Xn=i,

isto e, Vi denota o numero de vezes nas quais X passa pelo estado i. Entao

Ei[Vi] = Ei

[ ∞∑n=0

1Xn=i

]=

∞∑n=0

Ei[1Xn=i] =∞∑

n=0

Pi(Xn = i) =∞∑

n=0

pnii.

Definicao 2.16. Denotamos por fki , k ≥ 1, a probabilidade do k-esimo retorno a i, isto e,

fki = Pi(τk

i < ∞).

Mostramos a continuacao que e possıvel calcular a distribuicao de Vi a partir da proba-bilidade do primeiro retorno a i, fi = Pi(τi < ∞).

Lema 2.4. Para k = 0, 1, . . . temos que Pi(Vi > k) = fki .

26 2 Tempo discreto

Demonstracao. Observamos primeiro que a igualdade e valida para k = 0. Se X0 = i entaoVi > 0 = τ0

i < ∞, ja que neste caso Vi = 1 e por definicao τ0 = 0. O resultado segueutilizando inducao sobre k. Suponhamos que condicionalmente dado X0 = i para k > 0temos Vi > k + 1 = τk+1

i < ∞. Agora, se τk+1i − τk

i = Ek+1i , entao τk+1

i = Ek+1i + τk

i ,assim

Pi(τk+1i < ∞) = Pi(Ek+1

i < ∞, τki < ∞)

= Pi(Ek+1i < ∞| τk

i < ∞)Pi(τki < ∞).

Do Lema 2.3, o primeiro termino a direta da ultima igualdade e Pi(τi < ∞). Desta forma

Pi(Vi > k + 1) = Pi(τi < ∞)Pi(τki < ∞) = fif

ki = fk+1

i .

Exercıcio 2.24. Suponha que V e uma variavel aleatoria com valores em Z+. Mostre queE[V ] =

∑∞k=0 P(V > k). (Esta relacao e conhecida como a formula telescopica para a

esperanca.)

Mostramos agora que a recorrencia de um estado pode ser caracterizada utilizando asprobabilidades do primeiro retorno fi, ou os n-esimos iterados da matriz de probabilidade.

Teorema 2.9 (recorrencia-transitoriedade). Seja X Markov com valores em S, e i ∈S. Entao

(i) Se fi = 1 entao i e recorrente e∑

n≥0 pnii = ∞.

(ii)Se fi < 1 entao i e transitorio e∑

n≥0 p∞ii < ∞.

Demonstracao. Se Pi(τi < ∞) = fi = 1, entao f2i = 1. Isto segue do Teorema 2.8, ja que se

(Xn) e Markov(λ, P ) entao (Xτi+n) e Markov(δi, P ) e independente de X0, . . . , Xτi , mas,de forma analoga ao Lema 2.3,

τ2i = infn ≥ 1 : Xτi+n = i

e o primeiro tempo de retorno a i de (Xτi+n). Sendo que os dois processos apresentam amesma lei, necessariamente a distribuicao de τ2

i dado τi < ∞ e a mesma de τi dado X0 = i.Utilizando este argumento indutivamente obtemos

limk→∞

Pi(τki < ∞) = lim

k→∞fk

i = 1.

Agora, utilizando o Lema 2.4 temos

1 = limk→∞

fki = lim

k→∞Pi(Vi > k) = Pi

(⋂k

Vi > k)

= Pi(Vi = ∞),

isto e, com probabilidade 1 Xn visita o estado i infinitas vezes, portanto i e recorrente. Maisainda, se Pi(Vi > k) = fk

i = 1, para k ≥ 0, entao∑k≥0

pkii = Ei[Vi] =

∑k≥0

Pi(Vi > k) = ∞.

Se Pi(τi < ∞) < 1 entao fi < 1, o qual implica∑k≥0

pkii =

∑k≥0

Pi(Vi > k) =∑k≥0

fki =

11− fi

< ∞.

No sentido contrario, se fi < 1, entao Pi(Vi = ∞) = limn→∞ fki = 0, i.e., a probabilidade

de que X pase por i infinitas vezes e zero por tanto i e transitorio.


Observamos que recorrencia ou a transitoriedade sao propriedades de solidariedade nosentido de que estas sao compartilhadas pelos membros de uma classe de comunicacao.

Teorema 2.10. Seja C ⊆ S uma classe de comunicacao. Todos os estados de C sao recor-rentes ou transitorios.

Demonstracao. Sejam i, j ∈ C portanto existem inteiros n, m (positivos) tais que pnij >

0 e pmji > 0. Agora, para todo k ≥ 0, diretamente da relacao de Chapman-Kolmogorov

(Teorema 2.4) obtemospn+k+m

ii =∑j∈S

pnijp

kjjp

mji ≥ pn

ijpkjjp

mji .

Assim, ∑k≥0

pn+k+mii ≥

∑k≥0

pnijp

kjjp

mji ,

e entao ∑k≥0

pkjj ≤

∑k≥0 pn+k+m

ii

pnijp

mji

.

Se i e transitorio, entao∑

k pn+k+mii < ∞, mas entao da desigualdade acima j tambem e

transitorio.

Teorema 2.11. Toda classe recorrente e fechada.

Demonstracao. Da definicao, lembramos que C ⊆ S e fechada se para qualquer i ∈ C, entaoi → j implica j ∈ C. De esta forma se C e aberta e i ∈ C, entao existem j /∈ C, m ≥ 1 taisque Pi(Xm = j) > 0. Neste caso Pi(Xm = j ∩ Xn = i para infinitos n) = 0, ja que sea cadeia sai de C a j, entao esta nao pode mais voltar a C (caso contrario j ∈ C). EntaoPi(Xn = i para infinitos n) = Pi(∅) = 0, e entao i nao e recorrente. Do Teorema 2.10, Ce transitoria.

Teorema 2.12. Toda classe finita e fechada e recorrente.

Demonstracao. Suponhamos que C e fechada e finita, e que X0 ∈ C. Sejam i ∈ C, A =Xn = i para infinitos n, e seja B = Xn = i para alguns n. Observamos que B ⊂ A,e tambem que B pode ser expressado como o evento X0, . . . , XT , XT = i, T < ∞ sendoT = τk

i para um k < ∞ qualquer. Imediatamente da propriedade forte de Markov temos

0 < P(A) = P(A ∩ X0, . . . , XT , XT = i, T < ∞)= Pi(A)P(Xn = i para alguns n),

e disto Pi(Xn = i para infinitos n) > 0. Portanto da definicao 2.15, i e nao transitorio eneste caso, do Teorema 2.9, i e necessariamente recorrente. Finalmente do Teorema 2.10, Ce recorrente.

Este Teorema e bastante util pois se C e uma classe finita, entao e possıvel determinarse esta e fechada ou aberta e portanto se e recorrente ou nao. A classificacao e mais delicadase a classe C nao e finita. Neste caso e possıvel encontrar exemplos onde C e fechada etransitoria. Um exemplo disto e a ruına do jogador (exemplo 2.4) onde C = S = Z+ efechada, mas se p > q entao com probabilidade positiva existe a chance de nao visitar aorigem, isto e de nao perder todo o dinheiro. Um outro exemplo classico deste fenomenosera apresentado na proxima secao.

O seguinte resultado sera necessario para mostrar o principal Teorema de convergenciana secao 2.7.

28 2 Tempo discreto

Teorema 2.13. Se P e irredutıvel e recorrente, entao P(τi < ∞) = 1, para todo i ∈ S.

Sob as hipoteses de recorrencia e irredutibilidade, este teorema mostra que independente-mente do estado inicial, o primeiro tempo de retorno a um estado e finito. O Teorema 2.9 emcambio fornece um criterio de recorrencia a partir da probabilidade condicional do primeirotempo de retorno dado o estado inicial.

Demonstracao. Notamos primeiro que

P(τj < ∞) =∑i∈S

P(τj < ∞, X0 = i) =∑i∈S

Pi(τj < ∞)P(X0 = i).

Logo sera suficiente verificar que Pi(τj < ∞) = 1 para todo i ∈ S. Seja m : pmij > 0. Se P e

recorrente, entao

1 = Pj(Xn = j infinitas vezes)= Pj(Xn = j para alguns n ≥ m + 1)

=∑k∈S

Pj(Xn = j para alguns n ≥ m + 1 |Xm = k)Pj(Xm = k)

=∑k∈S

Pj(Xn = j para alguns n ≥ m + 1 |Xm = k)pmjk

=∑k∈S

Pk(τj < ∞)pmjk.

A ultima igualdade segue da propriedade fraca de Markov. Finalmente, dado que∑

k pmjk = 1,

necessariamente temos que Pk(τj < ∞) = 1 para todo k ∈ S.

2.5.1 Exercıcios

Exercıcio 2.25. Identifique as classes recorrentes e transitorias da cadeia definida noexercıcio 2.2.

Exercıcio 2.26. Seja X Markov(λ, P ), com matriz de probabilidade de transicao

P =

1/2 0 0 0 1/20 1/2 0 1/2 00 0 1 0 00 1/4 1/4 1/4 1/4

1/2 0 0 0 1/2

.

Quais sao os estados transitorios? e os recorrentes?

Exercıcio 2.27. Mostre que para a cadeia definida no exercıcio 2.12,

P(Xn →∞ quando n →∞) = 1.

Suponha agora que a cadeia apresenta as seguintes probabilidades de transicao

pi,i+1 =( i + 1

i

)α

pi,i−1.

Para cada α ∈ (0,∞) encontre o valor de P(Xn →∞ quando n →∞).


2.5.2 Passeios aleatorios simples

Apresentamos primeiro o passeio aleatorio simples com valores em Z, ou Z+. Este processoja foi introduzida no exemplo 2.4, mas agora o o identificamos explicitamente como umacadeia de Markov.

Seja X0, X1, . . . , Xn uma sequencia de variaveis aleatorias independentes e identicamentedistribuıdas com distribuicao Bernoulli(p) e valores −1, 1 tal que P(Xn = 1) = p. Consi-deramos agora as somas parciais para n ≥ 0,

Sn = S0 +n∑

i=1

Xi, S0 = 0.

A sequencia (Sn) assim definida e um passeio aleatorio simples com valores em Z. No casop = q = 1/2, chamamos (Sn) de passeio aleatorio simetrico . Este processo restrito a Z+ ecom valor inicial S0 = k poderia representar a fortuna de um jogador no instante n, mas asaplicacoes deste processo sao bem mais amplas. A figura 2.2 mostra um caminho tıpico deum passeio aleatorio simetrico com S0 = i = 0.

E simples ver que (Sn) e uma cadeia de Markov, de fato,

P(Sn+1 = j |S0 = 0, . . . , Sn = i)= P(Xn+1 + i = j |S0 = 0, . . . , Sn = i)= P(Xn+1 = j − i) = P(Sn+1 = j |Sn = i)

sendo que a segunda igualdade e valida uma vez que o incremento Xn+1 e independente deS0, . . . , Sn. Esta observacao relativamente trivial e importante pois mostra que os processoscom incrementos independentes apresentam a propriedade de Markov.

Exercıcio 2.28. Seja (Sn) um passeio aleatorio simples. Mostre que para quaisquer doisinteiros positivos a, b,

P(Sn = j |S0 = a) = P(Sn = j + b |S0 = a + b).

(o passeio aleatorio simples e espacialmente homogeneo.)

A matriz de probabilidade de transicao do passeio aleatorio simples em Z segue imedia-tamente da sua definicao,

P =

. . .... . . .

0 p 0 0 0q 0 p 0 0

· · · 0 q 0 p 0 · · ·0 0 q 0 p0 0 0 q 0

. . ....

. . .

Desta matriz podemos observar que o passeio aleatorio simples e irredutıvel (desenhe o grafoassociado), sendo S = Z a unica classe fechada.

Voltamos agora a nossa atencao ao estudo da recorrencia-transitoriedade deste processo.Sendo S irredutıvel, do Teorema 2.10 sabemos que todo S e recorrente ou transitorio, logoe suficiente restringir o estudo da recorrencia a um unico estado, por exemplo a origem.Neste caso de acordo com o Teorema 2.9, a quantidade a ser estudada e

∑n pn

00. Saindo da

30 2 Tempo discreto

origem, o numero de passos requeridos para retornar deve ser par, por exemplo 2n, logo esimples ver que

p2n00 = P(S2n = 0 |S0 = 0) =

(2n

n

)pnqn. (2.6)

A fim de facilitar o estudo da serie envolvida, utilizamos a aproximacao de Stirling para n!,isto e,

n! ∼√

2πne−nnn,

onde an ∼ bn se limn→∞ an/bn = 1. Utilizando esta aproximacao obtemos entao

p2n00 =

(2n!)n!n!

(pq)n ∼√

2π · 2ne−2n(2n)2n

(√

2πne−nnn)2(pq)n =

1√πn

(4pq)n.

No caso simetrico p2n00 ∼ (πn)−1/2, logo∑

n≥0

p2n00 = π−1/2

∑n≥0

1√n

= ∞,

e concluımos que o passeio retorna infinitas vezes a origem, portanto este e recorrente. Nocaso nao simetrico, seja r = 4pq. Observamos que 0 < r < 1, uma vez que r = 4p − 4p2

alcanca o valor maximo de 1 para p = 1/2, mas este ultimo corresponde ao caso simetrico.Logo,

p2n00 ∼

rn

√πn

<rn

√2π

,

entao ∑n≥0

p2n00 .

1√2π

∑n≥0

rn =1√2π

11− r

< ∞.

Desta forma se p 6= q, o passeio e transitorio. Conseguimos desta maneira uma cadeia deMarkov onde S e a unica classe fechada, porem dependendo das probabilidades de transicaoo processo pode ser recorrente ou transitorio. Se p > q entao com probabilidade positiva“Sn pode chegar a ∞” para mais nunca retornar a origem.

Consideramos agora o passeio aleatorio simetrico em Z2. O caso nao simetrico seradeixado como um exercıcio. A fim de retornar a origem em duas dimensoes o passeio deverealizar o mesmo numero de transicoes a direita do que a esquerda e tambem o mesmonumero para acima do que para abaixo. Portanto neste caso tambem so sao permitidostempos de retorno pares. Qualquer caminho que retorna em 2n passos tem probabilidade1/42n. O numero de caminhos que conseguem voltar com k transicoes pra cima, k pra baixo,n− k a esquerda, e n− k a direita e(

2n

k, k, n− k, n− k

)=

(2n)!k!k!(n− k)!(n− k)!

.

De esta forma

p200n =

142n

n∑k=0

(2n)!k!k!(n− k)!(n− k)!

=1

42n

n∑k=0

(2n)!n!n!

n!n!k!k!(n− k)!(n− k)!

=1

42n

(2n

n

) n∑k=0

(n

k

)2

,


masn∑

k=0

(n

k

)(n

k

)=

n∑k=0

(n

n− k

)(n

k

)=(

2n

n

).

O ultimo coeficiente a direita corresponde ao numero de maneiras de escolher n bolas deum total de 2n, e os dois coeficientes no meio correspondem a escolha sendo que existem nbolas brancas e n pretas3. Entao

p2n00 =

(1

22n

(2n

n

))2

, (2.7)

o qual e o quadrado do resultado obtido para o passeio em Z. Concluımos desta maneiraque ∑

n≥0

p2n00 ∼

∑n≥0

1πn

= ∞

e portanto o passeio aleatorio simetrico em Z2 e recorrente.Uma comparacao das equacoes (2.6) e (2.7) sugere que a probabilidade do retorno a ori-

gem do passeio aleatorio em Z2 e igual a probabilidade do retorno de dois passeios aleatoriosindependentes, um destes no eixo x e o outro em y. Isto e de fato verdade e pode ser mos-trado da seguinte maneira. Considere a rotacao em 45 graus dos eixos x, y, o qual geraos eixos x, y. A seguinte figura mostra estes eixos assim como tambem as coordenadas dapossıvel posicao de um passeio apos da primeira transicao em ambos sistemas.

x

x

yy

1

1

√

2

−1

−1

x, y x, y(0, 1)

(1√2, 1√

2

)(0,−1)

(− 1√

2,− 1√

2

)(1, 0)

(1√2,− 1√

2

)(−1, 0)

(− 1√

2, 1√

2

)

Suponhamos agora que temos dois passeios aleatorios independentes, ambos com valoresem 1√

2Z mas um deste no eixo x e o outro em y. Se projetamos as suas posicoes apos

da primeira transicao nos eixos x − y, vemos que estas coincidem com as quatro possıveisposicoes do passeio aleatorio simples em Z2. Isto e, nao e possıvel distinguir os movimentos dedois passeios independentes com valores em 1√

2Z sobre x− y, dos movimentos de um passeio

com valores em Z2 sobre os eixos x − y. Mais ainda, a probabilidade de qualquer uma dasquatro posicoes em ambos casos e (1/2) ·(1/2) = 1/4. Dado que a probabilidade do retorno aorigem nao depende da magnitude dos incrementos, concluımos que a probabilidade de queos dois passeios aleatorios independentes iniciados em (0, 0) se encontrem apos de 2n pulosem (0, 0) e [(1/22n)

(2nn

)]2. Esta ultima e de fato e a probabilidade do retorno do processo

original em Z2.3 Esta igualdade e conhecida como a convolucao de Vandermonde em honra a A. Vandermonde,

quem a finais de 1700 escreveu um artigo sobre varias identidades relacionadas. Porem estaigualdade ja era conhecida por Chu Shih-Chieh na China em 1303. Este ultimo tambem notoa relacao entre o triangulo de Pascal e os coeficientes binomiais na expansao de (a + b)n, bemantes que Pascal.

32 2 Tempo discreto

2.5.3 Exercıcios

Exercıcio 2.29. Seja k um intero e n um inteiro tais que k ≤ n. Se (Sn) e um passeioaleatorio simples em Z, mostre que

P(Sn = k) =

0 se n e k nao tem a mesma paridade(n

n+k2

)p(n+k)/2q(n−k)/2 caso contrario

[Dica: Suponha que s(ω) denota o numero de transicoes a direita (com valor +1) e que t(ω)denota o numero de transicoes a esquerda (com valor -1) ate o instante n. Assim, Sn = kocorre se s(ω)− t(ω) = k e s(ω) + t(ω) = n.]

Exercıcio 2.30. Seja Sn = X0 + X1 + . . . + Xn um passeio aleatorio simples. Encontre asseguintes probabilidades: (i) P (S4 = k) para todos os posıveis valores de k, (ii) P (Sn ≥0 para n = 1, 2, 3, 4), (iii) P (Sn 6= 0 para n = 1, 2, 3, 4), (iv) P (Sn ≤ 2 para n = 1, 2, 3, 4), eP (|Sn| ≤ 2 para n = 1, 2, 3, 4).

Exercıcio 2.31. Suponha que um passeio aleatorio simples e iniciado no vertice central dografo apresentado abaixo.

Desde um vertice qualquer o passeio apresenta a mesma probabilidade p de pular a qualqueroutro dos seus vertices vizinhos. Se o grafo e infinito, isto e, se este apresenta infinitosvertices, mostre que o passeio (Sn) e transitorio.

Exercıcio 2.32. (i) Mostre que o passeio aletorio simples simetrico em Z3 e transitorio. (ii)Generalize para o processo com valores em Zd, d > 3.

A transitoriedade do passeio aleatorio simples em Z3 foi descrita primeiramente pelomatematico G. Polya. O livro [3] contem uma demonstracao deste resultado baseada emum argumentos diferentes dos utilizados aqui. Esta referencia mostra tambem que nao epossıvel utilizar uma projecao de tres passeios aleatorios independentes para o caso em Z3.Mais geralmente, [3] e uma excelente referencia para aprender sobre passeios aleatorios emgrafos e mais geralmente sobre processos com valores em conjuntos dicretos.

2.6 Distribuicao invariante

As propriedades de uma cadeia de Markov apos de muitas transicoes estam relacionadascom a nocao de distribuicao invariante.

2.6 Distribuicao invariante 33

Definicao 2.17. Seja X Markov(λ, P ) e ν uma distribuicao de probabilidade em S. ν e umadistribuicao invariante para X se

νP = ν.

Neste caso ν tambem e conhecida como distribuicao de equilıbrio de X.

Teorema 2.14. Seja X Markov(λ, P ) tal que λ e invariante para X. Entao (Xm+n) eMarkov(λ, P ) para qualquer m ∈ N.

Demonstracao. Sendo λ invariante, do Teorema 2.3 temos que para qualquer i, λi =(λPm)i = P(Xm = i). Dado Xm+n = i, da propriedade fraca de Markov, temos queXm+n+1 e independente de Xm, . . . , Xm+n e tem distribuicao (pij : j ∈ S).

Teorema 2.15 (Limite estacionario). Seja S finito. Se para qualquer i,

pnij → πj , quando n →∞,

para todo j, entao π = (πj : j ∈ S) e invariante para P . Neste caso π e chamada dedistribuicao estacionaria.

Demonstracao. Mostramos primeiro que π e uma distribuicao de probabilidade. De fato∑j∈S

πj =∑j∈S

limn→∞

pnij = lim

n→∞

∑j∈S

pnij = 1.

Mostramos agora que π e invariante para P ,

πj = limn→∞

pnij = lim

n→∞

∑k∈S

pn−1ik pkj =

∑k∈S

πkpkj .

Sendo S finito e possıvel trocar a ordem dos somatorios.

Observamos que se Sn e um passeio aleatorio simetrico em Z ou Z2, entao pnij → 0

quando n →∞ para todo i, j ∈ S. Este limite e portanto invariante ja que

0P = 0,

mas 0 nao e uma distribuicao de probabilidade.

Exemplo 2.8. Sejam 0 < a < 1, 0 < b < 1, logo

P =[1− a a

b 1− b

].

Para esta matriz obtemos

pn11 =

b

a + b+

a

a + b(1− a− b)n, pn

22 =a

a + b+

b

a + b(1− a− b)n,

portanto

Pn →[b/(a + b) a/(a + b)b/(a + b) a/(a + b)

]e entao, do Teorema 2.15, a distribuicao de probabilidade invariante para P e (b/(a +b), a/(a + b))

34 2 Tempo discreto

Dependendo da forma da matriz ou equivalentemente do grafo de transicao, as vezesresulta bastante simples encontrar a distribuicao invariante diretamente do sistema πP = π.

Exemplo 2.9. Para a cadeia do exercıcio 2.4, os componentes do sistema πP = π sao

π1 =12π3, π2 =

12π2 + π1, π3 =

12π2 +

12π3.

Alem disto temos que 1 = π1 + π2 + π3, ja que π e distribuicao de probabilidade, logo asolucao e π = (1/5, 2/5, 2/5).

A continuacao mostraremos que se P e irredutıvel e recorrente entao P apresenta umaunica distribuicao invariante. A tal fim consideramos primeiro

γki = Ek

[ τk−1∑n=0

1Xn=i

],

isto e, γki e o numero esperado de vezes que X passa pelo estado i antes de retornar a k,

dado que X e iniciada em k.

Teorema 2.16. Seja P irredutıvel e recorrente, entao

(i) γkk = 1,

(ii) γk = (γki : i ∈ S) e invariante para P ,

(iii) 0 < γki < ∞, para todo i ∈ S.

Demonstracao. (i) e direto. (ii) Para n ≥ 1, observamos que n ≤ τk so depende deX0, X1, . . . , Xn−1, entao da propriedade (fraca) de Markov em n− 1,

Pk(Xn−1 = i, Xn = j, n ≥ τk) = P(Xn = j |Xn−1 = i)Pk(Xn−1 = i, n ≤ τk).

Se P e recorrente, condicinando pelo evento X0 = k temos que τk < ∞ quase certamente,i.e. Pk(τk < ∞) = 1, portanto P(X0 = Xτk

= k) = 1. Entao,

γkj = Ek

[ τk∑n=1

1Xn=j

]= Ek

[ ∞∑n=1

1Xn=j, n≤τk

]=

∞∑n=1

Pk(Xn = j, n ≤ τk) =∑i∈S

∞∑n=1

Pk(Xn−1 = i, Xn = j, n ≤ τk),

e da primeira igualdade apresentada na demonstracao este ultimo termino e

∑i∈S

∞∑n=1

P(Xn = j |Xn−1 = i)Pk(Xn−1 = i, n ≤ τk)

=∑i∈S

pijEk

[ ∞∑n=1

1Xn−1=i, n≤τk

]=∑i∈S

pij

τk−1∑n=0

Ek[1Xm=i]

=∑i∈S

pijγki .

Concluımos entao que γk e invariante, mas devido a (i), nao e uma distribuicao de proba-bilidade. (iii) Por ultimo, γk

i e finito ja que se P e irredutıvel, entao para cada estado i ∈ Sexistem n, m ≥ 0 tais que pn

ik > 0, pmki > 0. Neste caso,


γki ≥ γk

kpnki > 0,

eγk

i pmik ≤ γk

k = 1.

O resultado que demonstra a unicidade da distribuicao invariante e finalmente o seguinte.

Teorema 2.17 (Unicidade do invariante). Seja P irredutıvel e λ uma distribuicao in-variante para P tal que λk = 1. Entao

λ ≥ γk.

Adicionalmente, se P e recorrente entao

λ = γk.

Demonstracao. Para cada j ∈ S temos que

λj =∑i0∈S

λi0pi0j =∑i 6=k

λi0pi0j + λkpkj =∑i 6=k

λi0pi0j + pkj

=∑i1∈S

∑i0 6=k

λi1pi1i0pi0j + pkj =∑i1 6=k

∑i0 6=k

λi1pi1i0pi0j + pkj +∑i0 6=k

λkpki0pi0j

a quarta igualdade segue do fato de que λ e invariante. Se iteramos este calculo n vezesobtemos

λj =∑

i0 6=k,...,in 6=k

λinpinin−1 · · · pi0j + pkj +

∑i0 6=k

pki0pi0j +∑

i1 6=k,i0 6=k

pki1pi1i0pi0j

+ . . . +∑

i0 6=k,...,in−1 6=k

pkin−1 · · · pi1i0pi0j

≥ Pk(X1 = j, τk ≥ 1) + Pk(X2 = j, τk ≥ 2) + . . . + Pk(Xn = j, τk ≥ n)

onde a desigualdade segue ja que por hipotese λ e uma distribuicao em S, isto e, λi ≥ 0para qualquer i ∈ S. Utilizando inducao, no limite n →∞,

∞∑n=1

Pk(Xn = j, τk ≥ n) =∞∑

n=1

Pk(Xn−1 = j, τk−1 ≥ n− 1),

ja que X0 = k, logo X0 = j, . . . = ∅. Desta forma

λj ≥∞∑

n=0

Pk(Xn = j, τk−1 ≥ n) = Ek

[ τk−1∑n=0

1Xn=j

]= γk

j ,

mostrando que γk e a solucao mınima. Se agora P e recorrente, pelo Teorema 2.16 sabemosque γk e invariante. Seja

µ = λ− γk,

de forma queµP = λP − γkP = λ− γk = µ

logo µ e invariante para P . Da primeira parte da prova temos que µ ≥ 0. Se P e irredutıvel,entao existe em inteiro positivo n tal que pn

ik > 0, portanto

µk = λk − γkk = 1− 1 = 0 =

∑j∈S

µjpnjk,

o qual implica que se µ = 0 entao λ = γk. Isto concluı a demonstracao da unicidade dadistribuicao invariante γk.

36 2 Tempo discreto

Em conclusao, se uma cadeia de Markov com valores enumeraveis e irredutıvel e recor-rente, entao esta apresenta uma distribuicao invariante. Neste caso a distribuicao invariantee unica. A existencia de uma distribuicao invariante nao implica necessariamente que estaseja uma distribuicao de probabilidade. Com o objetivo de considerar esta possibilidadeintroduzimos a nocao de recorrencia nula e positiva.

Definicao 2.18. Seja i um estado recorrente. Dizemos que i e nulo recorrente se o tempoesperado do primeiro retorno e infinito, isto e, se

mi = Ei[τi] = ∞.

No casomi = Ei[τi] < ∞,

dizemos que i e positivo recorrente.

Teorema 2.18 (Distribuicao de probabilidade invariante). Seja P irredutıvel. Osseguintes enunciados sao equivalentes

(i) Todo estado e positivo recorrente.(ii)Um estado i e positivo recorrente.(iii) P tem distribuicao de probabilidade invariante π dada por

πi =1

mi, i ∈ S.

Demonstracao. A equivalencia entre (i) e (ii) segue da definicao 2.18, da definicao 2.15 e doTeorema 2.10. Mostraremos a continuacao que (ii) e equivalente a (iii). Se i e positivo recor-rente entao e recorrente. Se adicionalmente P e irredutıvel, isto implica que P e recorrente.Do Teorema 2.16 temos portanto que γi e invariante. Logo,

∑j∈S

γij =

∑j∈S

Ei

[ τi−1∑n=0

1Xn=j

]= Ei[τi] = mi < ∞,

de tal forma que uma distribuicao de probabilidade invariante para P e

πj =γi

j

mi.

Sendo P recorrente e irredutıvel, necessariamente do Teorema 2.17 temos que π e a unicadistribuicao de probabilidade invariante.

Por ultimo mostraremos que (iii) e equivalente a (i). Seja k um estado qualquer, logo seP e irredutıvel e

∑i πi = 1, entao

πk =∑i∈S

πipnik > 0.

Consideramos agora λi = πi/πk, logo λ e invariante ja que∑j

πi

πkpij =

πj

πk= λj , j ∈ S.

Se P e recorrente entao necessariamente λ = γk, mas no caso que P nao seja recorrentetemos do Teorema 2.17 que λ ≥ γk. Desta forma,


mk =∑i∈S

γki ≤

∑i∈S

λi =∑i∈S

πi

πk=

1πk

< ∞,

e entao k e positivo recorrente, mas se P e irredutıvel entao P e recorrente. Finalmente seλ = γk entao mk = π−1

k .

O ultimo item do Teorema 2.18, o qual mostra a relacao entre a distribuicao de proba-bilidade invariante e os tempos de retorno, e as vezes conhecido como o Lema de Kac.

Exemplo 2.10. Contra-exemplos!

2.6.1 Exercıcios

Exercıcio 2.33. Seja (Xn)n≥0 um passeio aleatorio simples definido sobre os vertices docubo abaixo,

x •

•

•

• •

•

z

tal que a probabilidade de ir de um vertice aos vertices adjacentes e p = 1/3. Calcular (i)Ex[τx], (ii) Ex

[∑τx−1n=0 1Xn=z

], (iii) Ex[τz], (iv) π, a distribuicao invariante de (Xn)n≥0.

Exercıcio 2.34. Seja (Xn)n≥0 um passeio aletorio simples em Z com pi,i−1 = q < p =pi,i+1. Encontre

γ0i = E0

[ τ0−1∑n=0

1Xn=i

]e verifique que

γ0i = inf

λλi para todo i,

onde o ınfimo e tomado sobre todos os invariantes λ tais que λ0 = 1.

Exercıcio 2.35. Seja P uma matriz estocastica sobre o conjunto finito S. Mostre que adistribuicao π e invariante para P se, e somente se, π(I−P +A) = a, onde A = (aij : i, j ∈ S)com aij = 1 para todo i e j, e a = (ai : i ∈ S) para tudo i ∈ S. Demonstre que se P eirredutıvel, entao I − P + A e invertıvel. Isto permite calcular a distribuicao invarianteutilizando qualquer metodo existente para inverter matrizes.

Exercıcio 2.36. Moleculas de gas realizam movimentos aleatorios numa urna particionadaem duas partes iguais. Um furo e realizado na parede que comunica os compartimentos.Suponha que existem N moleculas na caixa. (i) Mostre que o numero de moleculas numdos compartimentos evolui como uma cadeia de Markov. (ii) Quais sao as probabilidades detransicao desta cadeia? (iii) Qual e a distribuicao invariante?

Exercıcio 2.37. Determine a distribuicao invariante da cadeia com matriz de probabilidadede transicao

P =

1− α α 00 1− β βγ 0 1− γ

onde α, β, γ ∈ (0, 1).

38 2 Tempo discreto

Exercıcio 2.38. Este exercıcio e uma continuacao do exercıcio 2.14. Se o Dr. Silva estaem J = T, F,B e muda de locacao, ele liga a sua mulher. (i) Encontre a matriz detransicao que determina a sequencia de locais desde os quais o Dr. Silva liga, e calcule a suadistribuicao invariante.

A mulher do Dr. Silva anota apos cada ligacao o local da chamada, e atualmente suspeitaque algo esta errado: Silva nao fica suficientemente no seu flat! Ante este problema, Silvadecide mudar de estrategia assumindo a seguinte matriz de transicao,

T F B A

P ∗ =

TFBA

1/4 1/4 1/2 01/2 1/4 1/4 00 3/8 1/8 1/2

2/10 1/10 1/10 6/10

,

(ii) Levantara esta escolha alguma suspeita na mulher?

Exercıcio 2.39. Mostre que se P e uma matriz de transicao de probabilidade de uma cadeiairredutıvel entao T = (1/2)(I+P ) e tambem a matriz de transicao de uma cadeia aperiodicae irredutıvel. Mostre que a distribuicao estacionaria de P e a distribuicao estacionaria de T .

Exercıcio 2.40. Seja X uma cadeia de Markov com matriz de probabilidade de transicao

P =

1 0 01/4 1/2 1/40 0 1

.

Mostre que X apresenta mais de uma distribuicao estacionaria. Encontre a matriz Pn

quando n → ∞ e verifique que esta nao apresenta todas as linhas iguais. [Dica: observeque os estados 1 e 3 sao absorventes (isto evita a procura da forma diagonal para P !).]

2.7 Convergencia ao equilıbrio

Como consequencia do Teorema 2.15, se S e finito e se existe o limite pnij quando n → ∞,

entao o limite tem que ser uma distribuicao invariante. Porem, quais sao as condicoes quegarantem a existencia do limite?

Exemplo 2.11. Este exemplo simples mostra que nao toda matriz estocastica sobre S finitoapresenta o limite limn Pn. Seja X uma cadeia com a seguinte matriz de probabilidade detransicao

P =[

0 11 0

]Neste caso P 2n = I, e P 2n+1 = P para n ≥ 1.

Definicao 2.19. O estado i e aperiodico se pnii > 0 para todo n suficientemente grande. A

matriz P e aperiodica se todos os estados sao aperiodicos.

Lema 2.5. Seja P irredutıvel com um estado aperiodico i. Entao para quaisquer dois estadosj, k temos que pn

jk > 0 sempre e quando n seja o suficientemente grande.

Demonstracao. Existem r, s ≥ 0 tais que prji > 0 e ps

ik > 0, portanto, para um n suficiente-mente grande temos que pn+n+s

jk ≥ prjip

niip

sik > 0.

2.7 Convergencia ao equilıbrio 39

Definicao 2.20. O perıodo di de um estado i e definido por

di = mdcn ≥ 1 : pnii > 0.

Se n ≥ 1 : pnii > 0 = ∅, entao di = 1.

O perıodo de um estado i e o maximo divisor comum dos tempos do primeiro retorno ai. A definicao de perıodo fornece uma maneira para clasificar os estados em periodicos eaperiodicos. Se di = 1 entao dezimos que i e aperiodico, no caso contrario, di > 1, i eperiodico.

Tendo todos estes pre-requisitos chegamos agora ao resultado mais importante desta pri-meira parte da teoria, o qual afirma que uma cadeia irredutıvel, aperiodica e com invarianteπ converge a este limite qualquer que seja a condicao inicial λ.

Teorema 2.19 (Convergencia ao equilıbrio). Seja P irredutıvel e aperiodica e comdistribuicao de probabilidade invariante π. Seja λ uma distribuicao inicial e X uma cadeiade Markov(λ, P ). Neste caso

P(Xn = j) → πj , se n →∞ para todo j ∈ S. (2.8)

Em particularpn

ij → πj , se n →∞, para todo i, j,∈ S. (2.9)

Demonstracao. O argumento a ser utilizado para demonstrar o Teorema e conhecido comoo metodo de acoplamento4.

Seja (X ′n), n ≥ 0 Markov(π, P ) e independente de (Xn), n ≥ 0. Fixamos um estado de

referencia qualquer, por exemplo b, e entao consideramos

Tb = infn ≥ 1 : Xn = X ′n = b,

isto e, o primeiro tempo de encontro de Xn e X ′n em b. Observamos que Tb e um tempo de

parada para o processo conjunto Xn = (Xn, X ′n) com valores em S2.

Mostraremos primeiro que P(Tb < ∞) = 1. Devido a independencia entre Xn e X ′n, a

probabilidade de transicao de Xn e dada por

p(i,k);(j,l) = pijpkl, (i, k), (j, l) ∈ S2,

e a distribuicao inicial porµ(i, k) = λiπk.

Se P e aperiodica entao para quaisquer i, j, k e l

p(i,k);(j,l) = pnijp

nkl > 0,

para um n suficientemente grande, portanto P = (p(i,k);(j,l) : i, j, k, l ∈ S) e irredutıvel. Aunica distribuicao invariante de P e

π(i, k) = πiπk.

Agora, seguindo o Teorema 2.18, se P e irredutıvel e tem invariante π, entao todos osestados em S2 sao positivo-recorrentes. Tb e o primeiro tempo de retorno a (b, b) do processoXn, mas se (Xn) e positivo recorrente entao do Teorema 2.13 imediatamente temos queP(Tb < ∞) = 1.4 O primeiro acoplamento de duas cadeias de Markov foi descrito por W. Doeblin en 1933. Os

acoplamentos tem-se constituıdo uma ferramenta fundamental para o estudo dos processosaleatorios, inclusive na teoria contemporanea. Maiores detalhes sobre esta tecnica podem serencontrados em [4].

40 2 Tempo discreto

Xn

X ′n

Tb

b

Zn

Figura 2.3. Um acoplamento de Xn.

Seja

Zn =

Xn, se n < Tb

X ′n, se n ≥ Tb.

Uma trajetoria do processo Zn e mostrada na figura 2.3. Mostraremos agora que (Zn),n ∈ N e Markov(λ, P ). Pelo exposto anteriormente temos que (Xn) e Markov(µ, P ), logoda propriedade forte de Markov em Tb temos que (XTb+n, X ′

Tb+n) e Markov(δ(b,b), P ). Porsimetria, podemos substituir o processo (XTb+n, X ′

Tb+n) pelo processo (X ′Tb+n, XTb+n), o

qual tambem e Markov(δ(b,b), P ). Consideramos agora Zn = (Zn, Z ′n), onde

Z ′n =

X ′

n, se n < Tb

Xn, se n ≥ Tb.

Temos entao que (Zn), e Markov(λ, P ).Como um ultimo passo na demostracao provaremos uma igualdade conhecida como a

desigualdade do acoplamento. Temos que

P(Zn = j) = P(Xn = j, n < Tb) + P(X ′n = j, n ≥ Tb),

mas, tambem para n < Tb,

|P(Xn = j)− πj | = |P(Xn = j, n < Tb)− P(X ′n = j, n < Tb)| .

Desta forma a distancia entre a distribuicao de Xn a distribuicao invariante π, e dada por∣∣P(Zn = j)− πj

∣∣ = ∣∣P(Xn = j, n < Tb) + P(X ′n = j, n ≥ Tb)− P(X ′

n = j)∣∣

=∣∣P(Xn = j, n < Tb) + P(X ′

n = j, n ≥ Tb)

− P(X ′n = j, n < Tb)− P(X ′

n = j, n ≥ Tb)∣∣

= |P(Xn = j, n < Tb)− P(X ′n = j, n < Tb)| ,

mas esta ultima expressao pode ser escrita como∣∣P(Xn = j |n < Tb)P(n < Tb)− P(X ′n = j |n < Tb)P(n < Tb)

∣∣=∣∣P(Xn = j |n < Tb)− P(X ′

n = j |n < Tb)∣∣P(n < Tb)

≤ P(n < Tb).

o qual mostra que distribuicao de Xn coincide com π no limite n → ∞, uma vez queP(Tb < ∞) = 1.


A fim de entendermos melhor o papel jogado pela aperiodicidade nesta demonstracaopodemos considerar novamente o exemplo 2.11, o qual apresenta um exemplo simples deuma cadeia que nao converge ao invariante. Resolvendo o sistema πP = π e utilizando arestricao

∑i πi = 1, encontramos a distribuicao invariante π = (1/2, 1/2). Se Xn e iniciada

em 0 e X ′n e iniciada de acordo a π, isto e, se P(X ′

0 = 1) = P(X ′0 = 2) = 1/2 entao o Teorema

de convergencia pode ser aplicado, porem se P(X ′0 = 1) = 1, entao devido a periodicidade

as duas cadeias Xn e X ′n nunca podem se encontrar.

Uma cadeia de Markov irredutıvel, aperiodica e com uma unica distribuicao de proba-bilidade invariante como a descrita pelo Teorema 2.19 e chamada de ergodica.

O resto desta secao apresenta a generalizacao do Teorema de convergencia para os ca-sos onde X pode ser periodica, transitoria ou nula-recorrente. Estes resultados nao seraoutilizados posteriormente e podem ser omitidos numa primeira leitura.

Teorema 2.20. Seja P irredutıvel. Existe um inteiro d ≥ 1 e uma particao

S = C0 ∪ C1 ∪ · · · ∪ Cd−1

tal que, para Cnd+r = Cr,

(i) pnij > 0 so se i ∈ Cr e j ∈ Cr+n para algum r;

(ii)pndij > 0 para todo n suficientemente grande, e para todo i, j ∈ Cr, r.

Demonstracao. Seja k ∈ S fixo, e entao I = n ≥ 0 : pnkk > 0. Escolhemos n1, n2 ∈ I,

n1 < n2, tais que d = n2 − n1 seja o menor possıvel. Para r = 0, . . . , d− 1 definimos

Cr = i ∈ S : pnd+rki > 0 para algum n ≥ 0.

Entao, sob irredutibilidade, C0∪· · ·∪Cd−1 = S. Agora, se pnd+rki > 0 e pnd+s

ki > 0 para algunsr, s ∈ 0, 1, . . . , d− 1, entao, ao escolher m ≥ 0 tal que pm

ik > 0, temos que pnd+r+mkk > 0 e

pnd+s+mkk > 0 e entao, dada a minimalidade de d, r = s. Isto implica a existencia da particao.

Para demonstrar (i) suponha que pnij > 0 e i ∈ Cr. Considere m tal que pmd+r

ki > 0,entao pmd+rk

ki > 0 e j ∈ Cr+n. Se i = j = k, entao d deve dividir cada um dos elementos deI, em particular n1.

Se md ≥ n21, entao e possıvel escrever que nd = qn1+r para inteiros q ≥ n1 e 0 ≤ r ≤ n1−

1. Como d divide n1, entao r = md para algum inteiro m. Neste caso nd = (q−m)n1 +mn2,logo

pndkk ≥

(pn1

kk

)q−m(pn2

kk

)m> 0

e entao nd ∈ I. Para demonstrar (ii) tomemos i, j ∈ Cr e fixemos m1 e m2 tal que pm1ik > 0

e pm2kj > 0, logo

pm1+nd+m2ij ≥ pm1

ik pndkkpm2

kj > 0

sempre e quando nd ≥ n21. Isto termina a prova ja que m1 + m2 e necessariamente um

multiplo de d.

Em particular o Teorema mostra que d e o maior divisor comum (mdc) do conjunton ≥ 0 : pn

ii > 0.O seguinte resultado constitui a descricao definitiva do comportamento limite para ca-

deias irredutıveis. Contrariamente ao Teorema 2.19, agora nao serao feitas as hipoteses deaperiodicidade e recorrencia positiva.

42 2 Tempo discreto

Teorema 2.21. Seja P irredutıvel com perıodo d e seja C0, C1, . . . , Cd−1 a particao obtidano Teorema 2.20. Seja λ uma distribuicao tal que

∑i∈C0

λi = 1. Suponha que (Xn)n≥0 eMarkov(λ, P ). Entao para r = 0, 1, . . . , d− 1 e j ∈ Cr tem-se

P(Xnd+r = j) → d/mj quando n →∞

onde mj e o tempo esperado de retorno a j. Em particular, para i ∈ C0 e j ∈ Cr

pnd+rij → d/mj quando n →∞.

Demonstracao. Paso 1. Consideramos primeiro o caso aperiodico. Fixamos ν = λP r. PeloTeorema A temos que ∑

i∈Cr

νi = 1.

Seja Yn = Xnd+r, entao (Yn)n≥0 e Markov(ν, P d) e pelo Teorema A, P d e irredutıvel eaperiodica em Cr. Logo para j ∈ Cr o tempo esperado de retorno de (Yn)n≥0 a j e mj/d.Entao se o Teorema e valido no caso aperiodico temos que

P(Xnd+r = j) = P(Yn = j) → d/mj quando n →∞

e o Teorema e valido em geral.Passo 2. Suponhamos que P e aperiodica. Se P e positiva-recorrente entao 1/mj = πj , ondeπ e a unica distribuicao invariante, logo o resultado segue do Teorema 18. No outro casomj = ∞, e entao devemos mostrar que

P(Xn = j) → 0 quando n →∞.

Se P e transitoria, o resultado e simples e unicamente fica por ser considerado o caso nulo-recorrente.Passo 3. Suponha que P e aperiodica e nula-recorrente. Logo

∞∑k=0

Pj(τj > k) = Ej(τj) = ∞.

Dado ε > 0, escolhemos K tal que

∞∑k=0

Pj(τj > k) ≥ 2ε.

Em consequencia, para n ≥ K − 1

1 ≥n∑

k=n−K+1

P(Xk = j, Xm 6= j para m = k + 1,≤, n)

=n∑

k=n−K+1

P(Xk = j)Pj(τj > n− k) =K−1∑k=0

P(Xn−k = j)Pj(τj > k)

pelo que deve existir ε > 0 tal que P(Xn−k = j) ≤ ε/2 para algum k ∈ 0, 1, . . . ,K − 1.Retornemos ao argumento do acoplamento introduzido no Teorema 18, e so agora con-

sideremos (Yn)n≥0 como Markov(µ, P ), onde µ sera escolhida adiante. Seja Wn = (Xn, Yn).Ao igual que antes, a aperiodicidade de (Xn)n≥0 garante a irredutibilidade de (Wn)n≥0. Se(Wn)n≥0 e transitoria, entao tomando µ = λ resulta


P(Xn = j)2 = P(Wn = (j, j)) → 0

Suponhamos agora que (Wn)n≥0 e recorrente. Entao, seguindo a notacao definida no Teo-rema 18 temos que P(T < ∞) = 1, e o argumento do acoplamento mostra que∣∣P(Xn = j)− (Yn = j)

∣∣→ 0 quando n →∞.

Este tipo de convergencia pode ser utilizada ao considerar

µ = λP k, k = 1, . . . ,K − 1

de modo que P(Yn = j) = P(Xn+k = j). E possıvel encontrar-nos um N tal que para n ≥ Ne k = 1, . . . ,K − 1, ∣∣P(Xn = j)− (Xn+k = j)

∣∣ ≤ ε

2.

Mas para cada n podemos encontrar-nos k ∈ 0, 1, . . . ,K − 1 tal que P(Xn+k = j) ≤ ε/2.Logo, para n ≥ N

P(Xn = j) ≤ ε.

Sendo ε > 0 arbitrario, isto mostra que P(Xn = j) → 0 quando n →∞.

2.7.1 Exercıcios

Exercıcio 2.41. Mostre que se i ↔ j, i.e. i e j comunicam, entao di = dj .

Exercıcio 2.42. Suponha que a cadeia (Xn)n≥0 e aperiodica, isto e di = 1, ∀ i ∈ S (veja adefinicao de di no exercicio anterior). Suponha que S e finito. Mostre que sob estas hipotesesdeve existir N < ∞ tal que

pnii > 0

para todo i ∈ S e todo n ≥ N . [Utilize o seguinte resultado elementar de teoria dos numeros:Seja A = a1, a2, . . . um conjunto de inteiros positivos tais que (i) mdca1, a2, . . . = 1, e(ii) se a ∈ A e a′ ∈ A, entao a + a′ ∈ A. Se A satisfaze (i) e (ii), entao existe um enteiroN < ∞ tal que n ∈ A para tudo n ≥ N .]

Exercıcio 2.43. Um dado honesto e jogado repetidas vezes. Seja Xn a soma dos primeirosn lancamentos. Encontre

limn→∞

P(Xne multiplo de 13)

enunciando cuidadosamente todos os teoremas utilizados.

Exercıcio 2.44. Considere uma cadeia de Markov com valores em S = 1, 2, . . . , 10 ematriz de transicao

P =

12 0 1

2 0 0 0 0 0 0 00 1

3 0 0 0 0 23 0 0 0

1 0 0 0 0 0 0 0 0 00 0 0 0 1 0 0 0 0 00 0 0 1

313 0 0 0 1

3 00 0 0 0 0 1 0 0 0 00 0 0 0 0 0 1

4 0 34 0

0 0 14

14 0 0 0 1

4 0 14

0 1 0 0 0 0 0 0 0 00 1

3 0 0 13 0 0 0 0 1

3

.

(i) Encontre os conjuntos de estados fechados e irredutıveis. (ii) Quais sao os estados tran-sitorios? (iii) Quais estados nao sao nem transitorios nem zero-recorrentes? (iv) Os conjuntos1, 3, 2, 7, 9 e 6 formam um conjunto fechado de estados irredutıveis recorrentes naonulos e aperiodicos. Justifique. (v) Existem estados absorventes?

44 2 Tempo discreto

2.8 Teorema ergodico

Os Teoremas ergodicos concernem o comportamento limite esperado de funcoes da cadeia,e constituem uma generalizacao da lei dos grandes numeros para a soma de sequencias devariaveis aleatorias dependentes, em particular quando a dependencia e Markov. A maneirade exemplo, esta secao apresenta um teorema ergodico para a proporcao do tempo que acadeia permanece em cada estado quando n →∞.

Seja Vi(n) o numero de visitas a i durante n− 1,

Vi(n) =n−1∑k=0

1Xk=i.

Logo, Vi(n)/n e a proporcao do tempo durante n− 1 na qual a cadeia permanece em i.Para estabelecer o resultado lembramos a versao forte da lei dos grandes numeros.

Lema 2.6 (Lei forte dos grandes numeros). Sejam X1, . . . , Xn variaveis aleatorias naonegativas, independentes e identicamente distribuıdas tais que E[X1] = µ e Var(X1) < ∞.Seja Yn =

∑ni=1 Xn. Entao para qualquer ε > 0

P(

limn→∞

∣∣∣Yn

n− µ

∣∣∣ ≤ ε)

= 1.

Demostracao. Veja o Teorema 5.1 em [6], capitulo 5.

Teorema 2.22 (Theorema ergodico). Seja P irredutıvel e λ uma distribuicao qualquersobre S. Se (Xn)n≥0 e Markov(λ, P ) entao para qualquer ε > 0

limn→∞

P

(∣∣∣Vi(n)n

− 1mi

∣∣∣ ≤ ε

)= 1

onde mi = Ei[τi] e o tempo esperado de retorno a i. No caso positivo-recorrente, paraqualquer funcao limitada f : S → R temos que

limn→∞

P

(∣∣∣∣∣ 1nn−1∑k=0

f(Xk)− f

∣∣∣∣∣ ≤ ε

)= 1

onde f =∑

i∈S πifi e (πi : i ∈ S) e a unica distribuicao invariante.

Demonstracao. Se P e transitoria entao

P(Vi =

∞∑k=0

1Xk=i < ∞)

= 1

ja que neste caso, da definicao de transitoriedade, para todo i ∈ S temos que Ei[∑∞

k=0 Vi(k)] <∞. Logo, se i e transitorio temos que 1/mi = 1/Ei[τi] = 1/∞ = 0 e entao

limn→∞

Vi(n)n

≤ limn→∞

Vi

n= 0 =

1mi

.

Suponhamos agora que P e recorrente. Seja i ∈ S fixo e τ = τi. A recorrencia de Pimplica que P(τ < ∞) = 1 (veja a demonstracao do Teorema 18). Da propriedade forte deMarkov sobre τ temos que (Xτ+n)n≥0 e Markov(δi, P ) e independente de X0, X1, . . . , Xτ .

2.8 Teorema ergodico 45

Se n → ∞ entao o tempo de permanencia em i das cadeias (Xn)n≥0 e (Xτ+n)n≥0 e igual.Neste caso o problema da condicao inicial e irrelevante, sendo suficiente considerar-nos ocaso λ = δi. Seja

Sri =

τ ri − τ r−1

i , se τ r−1i < ∞,

0, caso contrario.

Sob recorrencia, do Lema 1 visto em aula, temos que Sri sao variaveis aleatorias indepen-

dentes e identicamente distribuıdas tais que Ei[S1i ] = Ei[τi] = mi. Logo

S1i + . . . + S

Vi(n)−1i ≤ n− 1, (2.10)

onde o lado esquerdo da desigualdade representa o tempo da ultima visita a i antes de n.Tambem

S1i + . . . + S

Vi(n)i ≥ n, (2.11)

sendo o lado esquerdo o tempo da primeira visita a i depois de n − 1. De (2.10) e (2.11)temos entao

S1i + . . . + S

Vi(n)−1i

Vi(n)≤ n

Vi(n)≤ S1

i + . . . + SVi(n)i

Vi(n). (2.12)

Segue-se das propriedades da sequencia (Sri ), r ≥ 1 e do Lema 2.6 que

limn→∞

P

(∣∣∣∣∣∑n

r=1 Sri

n−mi

∣∣∣∣∣ ≤ ε

)= 1.

Sob recorrencia temos que Pi(τi < ∞), o qual implica Pi(Vi = ∞) = limn→∞ Pi(Vi(n) =∞) = 1, e entao

limn→∞

P

(∣∣∣∣∣∑Vi(n)

r=1 Sri

Vi(n)−mi

∣∣∣∣∣ ≤ ε

)= lim

n→∞P

(∣∣∣∣∣∑Vi(n)−1

r=1 Sri

Vi(n)−mi

∣∣∣∣∣ ≤ ε

)

= limn→∞

P

(∣∣∣∣∣∑n

r=1 Sri

Vi(n)−mi

∣∣∣∣∣ ≤ ε

)= 1

Deste resultado junto a (2.12) temos que

limn→∞

P

(∣∣∣ n

Vi(n)−mi

∣∣∣ ≤ ε

)= 1

o qual mostra a primeira afirmacao do Teorema. Para a segunda parte suponhamos que(Xn)n≥0 e positiva-recorrente. Seja f : S → R uma funcao limitada, logo |f | ≤ 1. Para todoconjunto finito J ⊂ S temos que∣∣∣∣∣ 1n

n−1∑k=0

f(Xk)− f

∣∣∣∣∣ =∣∣∣∣∣∑

i∈S

Vi(n)n

fi −∑i∈S

πifi

∣∣∣∣∣ ≤∣∣∣∣∣∑

i∈S

(Vi(n)n

− πi

)∣∣∣∣∣=

∣∣∣∣∣∑i/∈J

(Vi(n)n

− πi

)+∑i∈J

(Vi(n)n

− πi

)∣∣∣∣∣≤∑i/∈J

∣∣∣Vi(n)n

− πi

∣∣∣+∑i∈J

∣∣∣Vi(n)n

− πi

∣∣∣≤∑i/∈J

(Vi(n)n

+ πi

)+∑i∈J

∣∣∣Vi(n)n

− πi

∣∣∣

46 2 Tempo discreto

na qual a primeira igualdade deve-se ao fato de que se fi = f(Xn = i) para qualquer nentao ∑

i∈S

Vi(n)n

fi =n−1∑k=0

f(Xk)n

,

em quanto que a primeira desigualdade segue da hipotese |f | ≤ 1. Finalmente, da primeiraparte da demonstracao, com probabilidade 1 temos que Vi(n)/n → πi se n → ∞, logo nolimite ∑

i/∈J

(Vi(n)n

+ πi

)→ 2

∑i/∈J

πi.

Dado o ε considerado na primeira parte da demonstracao, escolhemos J tal que∑i/∈J

πi <ε

4. (2.13)

E possıvel escolher tambem N = N(ω) tal que para n ≥ N(ω),∑i∈J

∣∣∣Vi(n)n

− π∣∣∣ < ε

4. (2.14)

O resultado segue finalmente ao juntar as cotas em (2.13) e (2.14) com a primeira parte doTeorema.

2.8.1 Exercıcios

Exercıcio 2.45. Um dado e lancado repetidas vezes. Seja Sn o total de pontos obtidosate a n-esima jogada. Mostre que existe um valor limite para a proporcao dos primeiros nvalores de Sn que sao divisıveis por 7. Calcule o valor deste limite. [Dica: o limite desejadocorresponde a distribuicao estacionaria de uma cadeia de Markov com 7 estados.]

2.9 Aplicacoes

Apresentamos nesta secao alguns exemplos e aplicacoes classicas de processos estocasticosem tempo discreto.

2.9.1 Processos de ramificacao∗

Suponha que no instante 0 existe um individuo o qual da origem a k filhos com probabilidadepk, k ≥ 0. O conjunto dos filhos e a primeira geracao. Seguidamente, cada um dos indivıduosda primeira geracao procria de forma independente aos outros indivıduos dando origema k novos indivıduos com probabilidade pk. Seja X a variavel aleatoria com distribuicaoP (X = k) = pk, k ≥ 0, e Zn o numero de indivıduos da n-esima geracao. Desta forma

Zn+1 = X1 + X2 + . . . + XZn ,

onde X1, X2, . . . sao copias independentes da variavel aleatoria X. Para fazer a notacaomais precisa, denotamos por Xn

1 , Xn2 , . . . os indivıduos a serem gerados na n-esima geracao,

e neste casoZn+1 = Xn

1 + Xn2 + . . . + Xn

Zn, n ≥ 0.

2.9 Aplicacoes 47

Z0

Z6

Z5

Z3

Z2

Z1

Oservamos que para qualquer Z0 ≥ 1, o processo (Zn), n ≥ 0 e uma cadeia de Markov.Para vermos isto, suponhamos que Zn = k, entao Zn+1 = Xn

1 +Xn2 +. . .+Xn

i , porem, mesmoque as variaveis Zn−1, Zn−2, . . . , Z0 sejam funcoes de Xn−1

1 , Xn−12 , . . . Xn−2

1 , Xn−22 , . . ., te-

mos que Xn1 , Xn

2 , . . . , Xnk sao independentes de Xn−1

1 , Xn−12 , . . . , Xn−2

1 , Xn−22 , . . .. Desta

forma dado Zn = k, Zn+1 e independente de Zn−1, Zn−2, . . ..As propriedades da variavel aleatoria Zn podem ser estudadas considerando a funcao

geradora da variavel X

H(z) = E[zX ] =∞∑

k=0

zkP(X = k),

pois Zn e o resultado da soma∑Zn−1

k=1 Xk. Da expressao para Zn temos que

zZn+1 = zXn1 zX2

2 · · · zXnZn ,

logo

E[zZn+1 ] = E[zXn

1 zXn2 · · · zXn

Zn

]=

∞∑k=0

E[zXn

1 zXn2 · · · zXn

Zn 1Zn=k

]=

∞∑k=0

E[zXn1 ]E[zXn

2 ] · · ·E[zXnk ]E[1Zn=k] =

∞∑k=0

H(z)kP(Zn = k)

= E[H(z)Zn ].

A quarta igualdade segue da independencia das variavel aleatorias Xnj , j = 1, . . . , k. Se

denotamos por Hn a funcao geradora de Zn, Hn(z) =∑∞

k=0 zkP(Zn = k), o resultadoanterior mostra que

Hn+1(z) = Hn(H(z)) (2.15)

Suponhamos que Z0 = 1. Neste caso temos portanto que H0(z) = z e logo de (2.15) segueH1(z) = H0(H(z)) = H(z). Aplicando (2.15) mais uma vez resulta H2(z) = H1(H(z)) =H(H(H(z))

). Em geral para qualquer n ≥ 1 temos

Hn(z) = H(Hn−1(z)

)= H H · · · H(z),

sendo que a operacao de composicao na expressao a direita e efetuada n vezes. Seja τ0

o primeiro tempo de retorno ao estado 0. Observamos que 0 e um estado absorvente. Oseguinte lema mostra a relacao entre h0

1 = P(τ0 < ∞|Z0 = 1), a probabilidade de extincao,e a funcao H.

48 2 Tempo discreto

Lema 2.7. Se E[X1] ≤ 1, entao h01 = 1. Se E[X1] > 1, entao h0

1 < 1 e a unica solucao naonegativa diferente de 1 da equacao z = H(z).

Demonstracao. Observamos primeiro que a probabilidade de extincao, h01, e igual a P(Zn =

0) quando n →∞. De fato,

h01 = P1

( ∞⋃k=1

Zk = 0)

= limn→∞

P1

( n⋃k=1

Zk = 0)

= limn→∞

P1(Zn = 0)

uma vez que Zn = 0 ⊂ Zn+1 = 0. Assim, da definicao de Hn, temos imediatamente queh1

0 = limn→∞Hn(0).Mostraremos agora que h0

1 ∈ z : z = H(z). Seja h01(n) = P1(Zn = 0), logo h0

1(n) e naodecrescente pois Zn = 0 e nao decrescente. Notamos tambem que h0

1(n) → h01 quando

n → ∞. De (2.15) temos que Hn+1(0) = H(Hn(0)) portanto h01(n + 1) = H(h0

1(n)), assimda continuidade de H concluimos que h0

1 = H(h01).

A seguir, mostramos que h01 e a menor solucao de z = H(z). Suponhamos que 0 ≤ w ≤ 1

e uma solucao de z = H(z), ou seja, que w = H(w). Sendo Hn(z) = H(Hn−1(z)), eHn(0) = h0

1(n) quando z = 0, entao

h01(1) = H(h0

1(0)) = H(0) ≤ H(w) = w,

o qual a sua vez implica

h01(2) = H2(0) = H(h0

1(1)) ≤ H(w) = w.

Em geral para n ≥ 1 temos

h01(n) = Hn(0) = H(h0

1(n− 1)) ≤ H(w) = w,

portanto no limite n →∞ segue que h01 ≤ w.

m < 1

H(z)

z

h01

m ≥ 1

H(z)

z

h01

Figura 2.4.

A funcao H e convexa pois

H ′′(z) =∑k≥2

k(k − 1)zk−1P(X = k) ≥ 0.

Por outro lado, H(0) = P(X = 0) = p0 > 0. Isto implica que os graficos das funcoes

2.9 Aplicacoes 49

y = z, y = H(z)

apresentam no maximo dois pontos em comum. Um destes pontos corresponde a z = 1.Observamos que H ′(z) = m, logo se supomos que m ≤ 1, entao numa vizinhanca a esquerdade z = 1, o grafico de y = H(z) nao pode estar por baixo do grafico de y = z. Pelaconvexidade de H, isto implica que a unica intercepcao entre as duas funcoes ocorre quandoz = 1. No outro caso, quando H ′(1) = m > 1, temos que em uma vizinhanca a esquerda de1, o grafico de H(z) se encontra por baixo do grafico de y = z, logo deve existir um outroponto de intercepcao a esquerda do 1. A figura 2.4 ilustra ambas situacoes.

2.9.2 Exercıcios

Exercıcio 2.46. Seja (Zn), n ≥ 0, um processo de ramificacao e E[Zn] = mn. Mostre quemn = mn, onde m = E[X1]. Sugestao: observe que mn = H ′

n(1) e logo utilize Hn(z) =Hn−1(H(z)) considerando o limite z → 1. Seja σ2 = Var(X1), mostre que

Var(Zn+1) =

σ2mn

(1−mn+1

1−m

), se m 6= 1,

σ2(n + 1), se m = 1.

Sugestao: pense em como calcular o segundo momento de Zn+1 utilizando H(z).

3

Tempo contınuo

Este capıtulo apresenta uma introducao aos processos a tempo contınuo, isto e as sequencias(Xt), para t ∈ [0,∞). Um dos objetivos e o de recuperar a maior parte dos resultados docapıtulo anterior como a classificacao de estados em recorrentes e transitorios, e a con-vergencia a distribuicao invariante. Com estes objetivos por frente apresentamos primeirouma breve introducao aos processos a tempo contınuo e logo varios pre-requisitos entre osquais incluimos primeiramente um estudo das matrizes Q. Mostraremos como o exponen-cial da matrix Qt em certa forma joga o papel do n-esimo iterado da matriz P , o qualresultou ser fundamental no caso discreto. Seguidamente apresentaremos algumas propri-edades da distribuicao exponencial, e entao introduziremos o processo de Poisson como oprimeiro exemplo de um processo a tempo contınuo. Finalmente apresentamos os processosde Markov.

3.1 Processos a tempo contınuo

Um processo a tempo contınuo com valores em S e a famılia (Xt : t ≥ 0) de variaveisaleatorias Xt : Ω → S. Seguindo o exposto na introducao destas notas, suponhamos que epossıvel calcular as distribuicoes finito dimensionais deste processo, isto e, suponhamos quepodemos calcular as distribuicoes

P(Xt0 = i0, Xt1 = i1, . . . , Xtn = in),

para n ≥ 0, 0 ≤ t0 ≤ t1 ≤ . . . ≤ tn e qualquer sequencia de estados i0, . . . , in ∈ S.Observamos que se o processo X toma valores em tempo discreto entao para qualquerevento A determinado pelas trajetorias do processo temos que

P( ⋃

n≥0

An

)=∑

n

P(An),

sempre e quando os eventos An sejam disjuntos. Se o processo e a tempo contınuo, entao naoexiste uma regra equivalente para calcular a probabilidade do evento ∪t≥0At, sendo queeste ultimo considera uma uniao nao enumeravel. Porem neste caso existe uma condicao deregularidade sobre o processo a qual permite calcular a probabilidade de qualquer evento apartir das distribuicoes finito dimensionais. Esta condicao e conhecida como a continuidadea direita do processo.

Definicao 3.1. O processo (Xt), t ≥ 0, e contınuo a direita se para todo ω ∈ Ω e t ≥ 0existe um ε > 0 tal que

52 3 Tempo contınuo

Xs(ω) = Xt(ω) para t ≤ s ≤ t + ε.

Toda trajetoria t 7→ Xt(ω) de um processo contınuo a direita deve permanecer constantedurante um perıodo de tempo em cada novo estado, portanto existem tres possıveis formaspara as trajetorias destes processos:

(a) A trajetoria apresenta infinitos pulos, mas o numero de transicoes no intervalo [0, t]sao finitas.

(b) A trajetoria apresenta um numero finito de pulos e portanto existe um instante apartir do qual X nao muda mais de estado.

(c) O processo Xt realiza um numero infinito de transicoes durante o intervalo finito [0, t];neste caso existe um tempo ζ conhecido como o tempo da primeira explosao. Um exemplodeste tempo esta apresentado na figura 3.1. Depois da primeira explosao o processo iniciade novo podendo tal vez explodir posteriormente um numero enumeravel de vezes ou nao.

t

Xt(ω)

J0

S1 S2 S3

ζJ1 J2 J3

. . .

. . .

Figura 3.1. tempos de transicao (Jn), tempos de permanencia (Sn), e tempo da explosao ζ de umprocesso contınuo.

Definicao 3.2. Sejam J0, J1, . . ., os tempos das transicoes e S1, S2, . . . os tempos de per-manencia do processo estocastico (Xt), t ≥ 0, definidos como

J0 = 0, Jn+1 = inft ≥ Jn : Xt 6= XJn, n = 0, 1, . . .

e para n = 1, 2, . . .

Sn =

Jn − Jn−1, se Jn−1 < ∞∞, caso contrario.

Observamos que a propriedade da continuidade a direita implica que Sn > 0 para todon. Se Jn+1 = ∞ para algum n, definimos X∞ = XJn , como o valor final do processo, nocaso contrario X∞ nao esta definido.

Definicao 3.3. O (primeiro) tempo de explosao e definido como

ζ = supn

Jn =∞∑

n=1

Sn.

3.2 Matriz Q 53

Se ζ < ∞, entao (Xt) e um processo explosivo.

Definicao 3.4. Seja (Xt), t ≥ 0, um processo estocastico. O processo a tempo discreto (Yn),n ≥ 0 definido por

Yn = XJn

e chamado de processo de transicao de (Xt) , ou cadeia de transicao, caso este seja umacadeia de Markov.

Observamos que (Yn) e simplesmente a sequencia de valores tomados pelo processo (Xt)ate o tempo da primeira explosao.

Nao sera considerado o que ocorre com um processo depois da primeira explosao. Nestecaso resulta conveniente agregar a S o estado “∞” de tal maneira que Xt = ∞ se t ≥ζ. Um processo que satisfaz esta condicao e chamado de processo mınimo. Um processomınimo pode ser recuperado a partir dos tempos de permanencia e do processo de transicao.Observamos que ao especificar a distribuicao conjunta de S1, S2, . . . e (Yn), n ≥ 0 temosmais uma forma de determinar a distribuicao de (Xt), t ≥ 0, de uma “maneira enumeravel”.Por exemplo, a probabilidade do evento Xt = i e dada por

P(Xt = i) =∞∑

n=0

P(Yn = i e Jn ≤ t < Jn+1)

e tambem

P(Xt = i para algum t ∈ [0,∞)

)= P(Yn = i para alguns n ≥ 0).

3.2 Matriz Q

Definicao 3.5. Seja S um conjunto enumeravel. Uma matriz Q em S e uma matriz comelementos qij, i, j ∈ S os quais satisfazem a seguintes condicoes

(i) 0 ≤ −qii < ∞ para todo i ∈ S.(ii) qij ≥ 0 para todo i 6= j.(iii)∑

j∈S qij = 0 para todo i ∈ S.

No casoqi =

∑j 6=i

qij < ∞,

escrevemos qii = −qi. Consideramos primeiro a relacao de esta matriz com um grafo queagora apresenta os valores de qij associados aos seus elos,

v1

1

1

v2 1 //

2

DD

v3

1

SS

Q =

−2 1 12 −3 11 0 −1

Cada elemento qij , o qual se encontra sobre um dos elos do grafo associado, corresponde ataxa da transicao do vertice i ate o vertice j. Assim, qij representa o numero de transicoesde i a j por unidade de tempo. Seguindo a propriedade (iii) interpretamos qi como a taxa desaıda do vertice i, isto e, o numero de transicoes de i a qualquer outro vertice por unidadede tempo.


Naturalmente o conjunto de tempos discretos 0, 1, . . . esta incluıdo no conjunto [0,∞). Se0 < p < 1, podemos interpolar a sequencia discreta pn, n = 0, 1, . . ., pela funcao etq, t ≥ 0,onde q = log p. Se agora consideramos a matriz P = (pij : i, j,∈ S), sera entao possıvelinterpolar os valores de Pn, n = 0, 1, . . .? Obviamente que a resposta a esta pergunta seraessencial para estabelecer o vinculo com a teoria a tempo discreto.

Suponhamos que a serien∑

k=0

Qk

k!,

converge para todo n ∈ N, e que no limite esta seja igual a eQ. Mais ainda, se Q1 e Q2

comutam, entao

eQ1+Q2 =∞∑

n=0

(Q1 + Q2)n

n!=

∞∑n=0

1n!

n∑k=0

n!k!(n− k)!

Qk1Qn−k

2

=∞∑

k=0

Qk1

k!

∞∑n=k

Qn−k2

(n− k)!= eQ1Q2 .

Suponhamos por ultimo que e possıvel encontrar uma matriz Q tal que P = eQ, entao

enQ = (eQ)n = Pn,

de tal maneira que etQ, para t ≥ 0 pode ser utilizada para interpolar Pn. Definimos destaforma

P (t) = etQ (3.1)

e a seguir apresentamos algumas das propriedades de P (t).

Teorema 3.1. Seja Q uma matriz definida no conjunto finito S. Neste caso (P (t) : t ≥ 0)apresenta as seguintes propriedades

(i) P (t) e um semi-grupo, isto e,

P (s + t) = P (s)P (t), para todo s, t ≥ 0.

(ii) (P (t) : t ≥ 0) e a unica solucao a equacao de forward

d

dtP (t) = P (t)Q, P (0) = I.

(iii) (P (t) : t ≥ 0) e a unica solucao a equacao de backward

d

dtP (t) = QP (t), P (0) = I.

(iv)Para k = 0, 1, . . ., temos qued

dtkP (k)(t)

∣∣∣t=0

= Qk.

Demonstracao. Para quaisquer s, t ∈ R temos que as matrizes sQ e tQ comutam, portantoesQetQ = es+tQ, mostrando a propriedade de semi-grupo. Observamos que

P (t) =∞∑

k=0

(tQ)k

k!(3.2)

3.2 Matriz Q 55

apresenta um raio de convergencia infinito1 portanto cada componente e diferenciavel e comderivada dada por

P ′(t) =∞∑

k=1

tk−1Qk

(k − 1)!= P (t)Q = QP (t).

Desta forma P (t) satisfaze as equacoes de forward e backward. Diferenciando termo a termoobtemos o ultimo item, (iv). So resta mostrar que P (t) e a unica solucao as equacoes deforward e backward. Se L(t) satisfaz a equacao de forward, entao

d

dt(L(t)e−tQ) =

( d

dtL(t)

)e−tQ + L(t)

( d

dte−tQ

)= L(t)Qe−tQ + L(t)(−Q)e−tQ = 0,

e entao deduzimos que L(t)e−tQ e constante, portanto L(t) = P (t). Um argumento similarmostra a unicidade da solucao a equacao de backwards.

O Teorema anterior constitui um resultado importante sobre os exponenciais de umamatriz Q qualquer em S quando S e finito. No caso quando P (t)e estocastica para todo t ≥ 0,dizemos que P (t) e um semi-grupo estocastico. Se Q apresenta a estrutura da definicao 3.5,entao o seu exponencial e um semi-grupo estocastico.

Teorema 3.2. A matriz Q definida em S, com S finito, apresenta a forma determinadapela definicao 3.5 se, e somente se o semi-grupo P (t) = etQ e estocastico.

Demonstracao. Se t ↓ 0, entao,

P (t) = I + tQ +O(t2).

Neste caso a notacao f(t) = O(t) significa que no limite t ↓ 0, f(t)/t < C para todos osvalores t suficientemente pequenos, e C < ∞ constante . Dado que P (t) = (e

tn Q)n = P (t/n)n

para todo n, temos qij ≥ 0 para i 6= j se, e somente se pij(t) ≥ 0 para todo i, j e todo t ≥ 0.Se a soma de cada linha de Q e zero, entao cada linha de Qn tambem e zero,∑

k∈S

qnik =

∑k∈S

∑j∈S

qn−1ij qjk =

∑j∈S

qn−1ij

∑k∈S

qjk = 0.

Para quaisquer dois matrizes A, B em S com elementos aij e bij respectivamente, temosque A = B se aij = bij , portanto de (3.2) resulta

∑j∈S

pij(t) =∑j∈S

∞∑k=0

(tqij)k

k!= 1 +

∞∑k=1

∑j∈S

(tqij)k

k!= 1.

No sentido contrario, se∑

j pij(t) = 1 para todo t ≥ 0, entao seguindo o Teorema 3.1(ii),

∑j∈S

qij =d

dt

∑j∈S

pij(t)∣∣∣t=0

= 0.

Retornamos agora ao problema de interpolar Pn, mas desde o ponto de vista do processo.Suponhamos que P e uma matriz estocastica da forma eQ, onde Q apresenta as propriedades(i)-(iii) em definicao 3.5. Consideramos um inteiro m grande e entao o processo (Xm

n ), n ≥ 0

1 veja o apendice


o qual e Markov(λ, eQ/m), isto e, para m fixo, consideramos um processo com ındices emn/m : n = 0, 1, 2, . . .,

Xm/n = Xmn ,

tal que para m = 1 recuperamos (Xn), o qual e Markov(λ, (eQ/m)m), sendo

(eQ/m)m = eQ = P.

Desta maneira e possıvel encontrar cadeias de Markov com ındices n/m : n = 0, 1, 2, . . .arbitrariamente pequenos, tais que quando amostrados a valores inteiros originam ao umacadeia de Markov(λ, P ). Veremos adiante que existe um processo a tempo contınuo, (Xt),com esta propriedade.

Apresentamos a continuacao um exemplo onde as probabilidade de transicao sao calcu-ladas explicitamente a partir da matriz Q.

Exemplo 3.1. Seja X uma cadeia de Markov com a seguinte matriz Q,

Q =

−2 1 11 −1 02 1 −3

.

Logo a equacao caracterıstica associada e,

0 = det(λ−Q) = λ(λ + 2)(λ + 4),

portanto Q apresenta os autovalores λ1 = 0, λ2 = −2, e λ3 = −4. Q admite por tanto arepresentacao diagonal

Q = N

0 0 00 −2 00 0 −4

N−1,

onde

N =

1 1 −31 −1 11 1 5

, N−1 =

3/8 1/2 1/81/4 −1/2 1/4−1/8 0 1/8

.

Logo

etQ =∞∑

n=0

(tQ)n

n!= N

∞∑n=0

1n!

0n 0 00 (−2t)n 00 0 (−4t)n

N−1 = N

1 0 00 e−2t 00 0 e−4t

N−1

=

38

+14e−2t +

38e−4t 1

2− 1

2e−2t 1

8+

14e−2t − 3

8e−4t

38− 1

4e−2t − 1

8e−4t 1

2+

12e−2t 1

8− 1

4e−2t +

18e−4t

38

+14e−2t − 5

8e−4t 1

2− 1

2e−2t 1

8+

14e−2t +

58e−4t

.

Desta maneira finalmente obtemos

p11(t) =38

+14e−2t +

38e−4t.

3.3 Propriedades da distribuicao exponencial 57

3.3 Propriedades da distribuicao exponencial

A variavel aleatoria T : Ω → [0,∞] apresenta distribuicao exponencial com parametro λ,0 ≤ λ < ∞, se

P(T > t) = e−λt, para todo t ≥ 0.

Neste caso escrevemos T ∼ E(λ). Se λ > 0, entao T tem densidade de probabilidade

fT (t) =

λe−λt se t ≥ 0,

0 se t < 0.

Utilizando a formula telescopica para a media de T obtemos

E[T ] =∫ ∞

0

P(T > t) dt =1λ

A distribuicao exponencial joga um papel fundamental na teoria dos processos de Mar-kov. Em particular esta se encontra relacionada com a propriedade da perda de memoria eportanto com a propriedade de Markov em tempo contınuo.

Teorema 3.3 (Perda de memoria). A variavel aleatoria T : Ω → (0,∞] tem distribuicaoexponencial se, e somente se esta apresenta a seguinte propriedade

P(T > s + t |T > s) = P(T > t), para todo s, t ≥ 0.

Demonstracao. Suponhamos que T ∼ E(λ), entao

P(T > s + t |T > s) =P(T > s + t, T > s)

P(T > s)=

P(T > s + t)P(T > s)

=e−λ(s+t)

e−λs= e−λt

= P(T > t).

Suponhamos agora que T satisfaze a propriedade da perda de memoria, logo seja neste casog(t) = P(T > t). Observamos que

g(s + t) = P(T > s + t) = P(T > s + t, T > s)= P(T > s + t |T > s)P(T > s)= g(t)g(s),

o qual mostra que g(x) e decrescente em x. Por hipotese temos que T > 0, logo existe umn suficientemente grande tal que P(T > 1/n) > 0 e desta forma

g(1) = P(T > 1) = g( 1

n+

1n

+ . . . +1n

)= g( 1

n

)n

> 0,

o qual implica a sua vez que existe 0 ≤ λ < ∞ tal que g(1) = e−λ. Consideramos agora doisinteiros p, q ≥ 1 tais que p/q = r. Entao

P(T > r) = g(r) = g(q−1)p

> 0,

portanto g(r) = e−λr, para todo r ∈ Q. Por ultimo, consideramos t > 0 real, e dois racionaisr e s tais que r ≤ t ≤ s. Neste caso, como g e decresce com o seu argumento,

e−λr = g(r) ≥ g(t) ≥ g(s) = e−λs,

Como Q e denso em R, podemos escolher r e s tao proximos de t como queramos, logo dasdesigualdades acima concluımos que g(t) = e−λt.


O seguinte resultado mostra que uma soma de variaveis aleatorias exponenciais indepen-dentes pode ser quase certamente finita ou infinita. Alem disto tambem fornece um criteriopara determinar qual destas possibilidades e certa. Este resultado sera utilizado para de-terminar se um processo de Markov a tempo contınuo pode realizar um numero infinito detransicoes num intervalo de tempo infinito ou nao, isto e, se o processo e explosivo ou nao.

Teorema 3.4. Sejam S1, S2, . . . uma sequencia de variaveis aleatorias tais que Sn ∼ E(λn),0 < λn < ∞ para todo n.

(i) Se∞∑

n=1

λ−1n < ∞, entao P

( ∞∑n=1

Sn < ∞)

= 1.

(ii)Se∞∑

n=1

λ−1n = ∞, entao P

( ∞∑n=1

Sn = ∞)

= 1.

Demonstracao. Suponhamos primeiro que∑∞

n=1 λ−1n < 0, pelo Teorema de Convergencia

Monotona (veja [1] ou [5]),

E

( ∞∑k=1

Sk

)= lim

k=∞E( k∑

n=1

Sn

)=

∞∑k=1

1λk

< ∞,

portanto

P( ∞∑

k=1

Sk < ∞)

= 1.

Se agora∑∞

n=1 λ−1n = ∞ entao

∏∞n=1(1 + 1/λn) = ∞. Neste caso temos,

E[

exp(−

∞∑k=1

Sk

)]= E

(lim

n→∞

n∏k=1

e−Sk

)= lim

n→∞E( n∏

k=1

e−Sk

)

=∞∏

k=1

E(

e−Sk

)=

∞∏k=1

(1 +

1λk

)−1

= 0

sendo que a segunda igualdade segue do Teorema de Convergencia Monotona, a terceira porindependencia das variaveis aleatorias Sn, e a quarta simplesmente da integral

E[e−Sk

]=∫ ∞

0

e−tλke−λkt dt =λk

λk + 1.

Desta forma, se E[e−

Pk≥0 Sk

]= 0, entao

P( ∞∑

k=1

Sk = ∞)

= 1.

O seguintes dois resultados serao utilizados adiante.

Lema 3.1. Seja K um conjunto enumeravel e sejam Tk, k ∈ K, variaveis aleatorias expo-nenciais independentes, Tk ∼ E(qk), tais que 0 < q =

∑k∈K qk < ∞. Seja T = infk Tk. O

infimo e alcancado para um unico valor aleatorio K de k com probabilidade 1. Pelo outrolado, as variaveis aleatorias T e K sao independnetes tais que T ∼ E(q) e P(K = k) = qk/q.

3.3 Propriedades da distribuicao exponencial 59

Demonstracao. Se Tk < Tj para todo j 6= k, entao seja K = k. Caso nao exista tal indicek, K nao esta definido. Agora, simplesmente da definicao de T e K,

P(K = k, T ≥ t) = P(Tk ≥ t, Tj > Tk ∀j 6= k),

porem o termino a direita da igualdade e

P(Tk ≥ t, Tj > t ∀j 6= k) = P(Tk ≥ t) P(Tj > t ∀j 6= k)

=∫ ∞

t

qke−qkuP(Tj > u j 6= k) du

=∫ ∞

t

qke−qku∏j 6=k

e−qju du

=∫ ∞

t

qke−qu du =qk

qe−qt.

Temos portanto que T e K sao variaveis aleatorias independentes com distribuicoesP(T ≥ t) = e−qt e P(K = k) = qk/q. Segue disto ultimo que P(K = k para algum k) =∑

k∈K P(K = k) =∑

k∈K qk/q = 1.

Lema 3.2. Sejam S ∼ E(λ) e R ∼ E(µ) para t ≥ 0, entao

µP(S ≤ t < S + R) = λP(R ≤ t < R + S).

Demonstracao.

P(S ≤ t < S + R) = P(S = s,R = r), s ∈ [0, t], r ∈ [t− s,+∞),

logo, da independencia entre S e R

P(S = s,R = r) =∫ ∞

t−s

∫ t

0

µP(S = s)λP(R = r)dsdr

= λµ

∫ t

0

e−λs

∫ ∞

t−s

e−µr dr

ds = λµ

∫ t

0

e−λse−µ(t−s) ds

= µλ

∫ t

0

e−λ(t−s)e−µt ds = P(R ≤ t < R + S).

Exercıcio 3.1. Sejam S e T duas variaveis aleatorias exponenciais com parametros α e βrespectivamente. Qual a distribuicao de minS, T? Qual a probabilidade do evento S ≤T? Mostre que os dois eventos S < T e minS, T sao independentes.

Exercıcio 3.2. Sejam T1, T2, . . . variaveis aleatorias independentes identicamente distribui-das com distribuicao exponencial com parametro λ. Seja N uma variavel aleatoria geometricacom parametro β,

P(N = n) = β(1− β)n−1, n = 1, 2, . . .

Mostre que T =∑N

i=1 Ti tem distribuicao exponencial com parametro λβ.

Exercıcio 3.3. Sejam S1, S2, . . . variaveis aleatorias exponenciais independentes comparametros λ1, λ2, . . . respectivamente. Mostre que λ1S1 e exponencial com parametro1. Utilize a lei dos grandes numeros para mostrar que

P( ∞∑

n=1

Sn = ∞)

= 1,

quando λn = 1 para tudo n ≥ 1, e logo tambem para o caso quando supn λn < ∞. Sera estaultima condicao necessaria?


3.4 Processo de Poisson

O processo de Poisson e um dos exemplos mais simples de uma cadeia de Markov em tempocontınuo o qual a sua vez joga um papel fundamental na construcao de outros processos.Na pratica, o processo de Poisson e utilizado para modelar o numero de ocorrencias de umcerto evento em tempo contınuo.

Definicao 3.6. Um processo (Nt), t ≥ 0, contınuo a direita com valores em Z+ e umprocesso de Poisson com taxa λ, 0 < λ < ∞ se os seus tempos de permanecia (Sn), n =1, 2, . . ., sao variaveis aleatorias independentes, com distribuicao exponencial de parametroλ, e sua cadeia de transicao e dada por Yn = n.

O grafo e a matriz Q do processo de Poisson sao

v1λ // v2

λ // v3λ // · · · Q =

−λ λ

−λ λ−λ λ

. . . . . .

Observamos que para este processo

∑∞n=1 1/λ = ∞, portanto, do Teorema 3.4, P(

∑∞n=1 Sn =

∞) = 1, o qual implica que este processo e nao explosivo e entao que as distribuicoes finitodimensionais do processo (Nt), t ≥ 0, se encontram unicamente determinadas.

Uma maneira simples de construir o processo de Poisson com taxa λ e consideraruma sequencia de variaveis aleatorias exponenciais independentes (Sn), n = 1, 2, . . . comparametro λ, e entao J0 = 0, Jn = Sn de tal forma que

Nt = n se Jn ≤ t < Jn+1.

O seguente desenho apresenta uma trajetoria possıvel desta construcao.

S3 S4S1 S2

J0

tJ1 J2 J3 J4

· · ·

· · ·Nt(ω)

v4

v3

v2

v1

Figura 3.2. tempos de permanencia e tempos de transicao em uma trajetoria tipica de um processode Poisson.

Mostramos agora como a propriedade da perda de memoria dos tempos de permanenciaexponenciais, Teorema 3.3, determina a propriedade de perda de memoria do processo dePoisson.

3.4 Processo de Poisson 61

Teorema 3.5 (Propriedade de Markov do processo de Poisson). Seja (Nt), t ≥ 0um processo de Poisson de taxa λ. Para qualquer s ≥ 0, o processo (Ns+t − Ns), t ≥ 0, eum processo de Poisson de taxa λ, independente de (Nr : r ≥ s).

Demonstracao. Suponhamos, sem perda de generalidade que Xs = i. Seja (Sn), n ≥ 1, asequencia de tempos definida por

S1 = Si+1 − (s− Ji), Sn = Si+n, n ≥ 2,

O seguente desenho ilustra esta definicao. Claramente a sequencia (Sn), n ≥ 0, corresponde

S2

0 tJis Ji+1 Ji+2

S1

aos tempos de permanencia do processo Nt = Ns+t − Ns, t ≥ 0. Notamos que se ocorreNs = i = Ji ≤ s < Ji+1, entao necessariamente Si+1 > s− Ji. Logo,

P(S1 > u|Ns = i,S1 = t1, . . . , Si = ti)= P(Si+1 > u + (s− Ji)|Ns = i, S1 = t1, . . . , Si = ti)

= P(

Si+1 > u +(s−

i∑n=1

tn

)∣∣∣Si+1 > s−i∑

n=1

tn

)= P(Si+1 > u),

A ultima igualdade segue da propriedade da perda de memoria de Si+1, o qual a sua vezsegue por hipotese pois Si+1 e exponencial. Isto mostra que S1 dado Ns = i e independentede S1, . . . Si e tambem que S1 ∼ E(λ). Diretamente da sua definicao, os tempos S2, S3,. . . sao independentes de S1, S2, . . ., Si, e exponencialmente distribuıdos com parametro λ.Assim, dado o evento Ns = i, os tempos de permanencia S1, S2, . . . sao independentesE(λ) e independentes de S1, . . . , Si. Concluımos desta forma que (Nt), t ≥ 0 e Poisson comparametro λ e incrementos independentes de (Nu : u ≤ s).

O seguinte resultado considera a generalizacao do Teorema anterior para um tempo deparada T .

Teorema 3.6 (Propriedade de Markov forte do processo de Poisson). Seja (Nt),t ≥ 0 um processo de Poisson com taxa λ e seja T um tempo de parada para este processo.Dado o evento T < ∞, o processo (NT+t − NT ), t ≥ 0 e um processo de Poisson comtaxa λ, independente de (Ns : s ≤ T ).

Demonstracao. Veja [7], Teorema 6.5.4.2

O seguinte Teorema fundamental fornece tres maneiras diferentes de caraterizar umprocesso de Poisson: (a) a partir de processo de transicao e os tempos de permanencia, vejaa secao 3.1, (b) uma definicao “infinitesimal”, e (c) utilizando a probabilidade de transicao.Em (b) utilizamos a notacao f(t) = o(t), com o significado f(t)/t → 0 quando t → 0.2 Para esta demonstracao e necessario ter conhecimentos da teoria da medida.


Teorema 3.7 (Caraterizacao do processo de Poisson). Seja (Nt), t ≥ 0, um pro-cesso contınuo a direita com valores interos iniciado na origem. As seguintes condicoes saoequivalentes.

(a) Os tempos de permanencia S1, S2, . . . de (Nt) sao variaveis aleatorias independentese identicamente distribuıdas com distribuicao E(λ), a cadeia de transicao associada edada por Yn = n;

(b) (Nt), t ≥ 0, apresenta incrementos independentes, e quando h ↓ 0, uniformemente emt, temos que

P(Nt+h −Nt = 0) = 1− λh + o(h),P(Nt+h −Nt = 1) = λh + o(h);

(c) (Nt), t ≥ 0 apresenta incrementos estacionarios independentes, e, para cada t, Nt temdistribuicao Poisson com parametro λt.

Se o processo Nt : t ∈ R+ satisfaz qualquer uma destas tres condicoes, entao este echado de processo de Poisson de taxa λ.

Demonstracao. Mostramos primeiro (a) ⇒ (b). Suponhamos que (a) seja certa, entao dapropriedade de Markov, para quaisquer s, t ≥ 0, o incremento Nh+t − Nt tem a mesmadistribuicao de Nh e e independete de (Ns : s ≥ t). Portanto (Nt), t ≥ 0, tem incrementosindependentes e no limite h ↓ 0, temos

P(Nt+h −Nt ≥ 1) = P(Nh ≥ 1) = P(J1 ≤ h) = 1− e−λh = λh + o(h),P(Nt+h −Nt ≥ 2) = P(Nh ≥ 2) = P(J2 ≤ h)

≤ P(S1 ≤ h e S2 ≤ h) = (1− e−λh)2 = o(h),

o qual implica (b).Mostramos agora (b) ⇒ (c). Se (b) e valida, entao, para i = 2, 3, . . ., temos que unifor-

memente em t,P(Nt+h −Nt = i) = o(h) quando h ↓ 0.

Seja pj(t) = P(Nt = j). temos entao que para j = 1, 2, . . .,

pj(t + h) = P(Nt+h = j) =j∑

i=0

P(Nt+h = j, Nt = j − i)

=j∑

i=0

P(Nt+h −Nt = i)P(Nt = j − i)

=(1− λh + o(h)

)pj(t) +

(λh + o(h)

)pj−1(t) + o(h).

Assim,pj(t + h)− pj(t)

h= −λpj(t) + λpj−1(t) +

o(h)h

,

e entao no limite h → 0 temos finalmente o seguinte sistema de equacoes para j = 1, 2, . . .,

d pj(t)dt

= −λpj(t)− λpj−1(t).

O caso j = 0 pode ser considerado de forma parecida, resultando

3.4 Processo de Poisson 63

p0(t) = −λ0(t).

Dado que N0 = 0, as concicoes iniciais dos sistema sao pj(0) = 0, j ≥ 0, e p0(0) = 1.Neste caso e possıvel encontrar uma solucao analıtica ao sistema. Observamos primeiro quep0(t) = e−λt. Logo para j = 1 temos que (eλtp1(t))′ = eλtp0(t), assim p1(t) = eλt/1!. Emgeral para j ≥ 1 temos (eλtpj(t))′ = eλtpj−1(t), portanto ressolvendo de maneira recursivaobtemos

pj(t) = e−λt (λt)j

j!, j ≥ 0.

Concluımos desta forma que Nt apresenta distribuicao Poisson com parametro λt. Agora,se Nt satisfaze (b), entao este apresenta incrementos independentes. Por outro lado, como(Ns+t −Ns) satisfaze (b), entao para qualquer s > 0 temos que Ns+t −Ns ∼Poisson(λt), oqual implica (c).

Mostramos por ultimo que (c) ⇒ (a). Sejam (Jn), n ≥ 1, os tempos de transicao doprocesso de Possoin Nt. Suponhamos que a distribuicao conjunta de J = (J1, . . . , Jk), edada por

fJ(t1, . . . , tk) = λke−λtk10≤t1≤...≤tk,

Neste caso, os tempos de permanencia S = (S1, . . . , Sk), tem distribuicao

fS(s1, s2, . . . , sk) = fJ(s1, s1 + s2, . . . , s1 + . . . + sk)

= λke−λ(s1+...+sk)1s1>0,...,sk>0

=k∏

i=1

λe−λsi1si>0,

o qual mostra que as variaveis aleatorias Sn sao independentes e identicamente distribuıdascom distribuicao exponencial de parametro λ. Desta forma so fica por ser mostrado quefJ de fato apresenta a forma assumida acima. A distribuicao de J , pode ser derivada aoconsiderar o limite h = (h1, . . . , hk) → 0 na quantidade P(∩k

i=1Ji ∈ (ti, ti + hi])/h. SejamAi = Nti+hi −Nti = 1 e Bi = Nti+1 −Nti+hi = 0, logo

k⋂i=1

Ji ∈ (ti, ti + hi]

=

Nt1 = 0 k−1⋂

i=1

(Ai ∩Bi) ∩

Ntk+hk−Ntk

≥ 1

,

sempre e quando h1, . . . , hk sejam o suficientemente pequenos. Neste caso, seguindo a in-dependencia entre os incrementos temos que o evento a direita da ultima igualdade temprobabilidade

P(Nt1 = 0)k−1∏i=1

P(Ai ∩Bi) P(Ntk+hk−Ntk

≥ 1)

mas, sob (c), os incrementos de Nt sao estacionarios e Nt apresenta distribuicao Poisson(λt),assim a probabilidade acima e

eλt1e−λh1λh1e−λ(t2−t1−h1)e−λh2λh2e

−λ(t3−t2−h2) · · · (1− e−λhk),

isto e,

e−λt1

k−1∏i=1

(e−λhiλhie

−λ(ti+1−ti−hi))(1− e−λhk)

= λk−1h1 · · ·hk−1e−λtk(1− e−λhk).


Temos portanto que

limhi→0

λk−1h1 · · ·hk−1e−λtk(1− e−λhk)

h1 · · ·hk−1hk

= λk−1e−λtk limhk→0

1− e−λhk

hk

= λke−λtk .

3.4.1 Exercıcios

Exercıcio 3.4. 2. Seja N(t) : t ≥ 0 um processo de Poisson com taxa λ e seja X(t) :t ≥ 0 com valores em S = −1, 1 o processo definido por

X(t) = X(0)× (−1)N(t).

(i) Verifique se X(t) e uma cadeia de Markov. (ii) Encontre o semigrupo de X(t). (iii)Encontre o gerador Q.

Exercıcio 3.5. 1. Seja N(t) : t ≥ 0 um processo de Poisson com taxa λ, e probabilidadesde transicao pij(t) = (Pt)ij . (i) Mostre que Pt e um semigrupo. (ii) Verifique se Pt euniforme. (iii) Encontre o gerador do processo Q. (3,5 pontos)

Exercıcio 3.6 (Processo de nascimento (simples)). Seja λn = nλ. O seguinte modelodescreve uma populacao na qual cada individuo tem um descendente com probabilidadeλh + o(h) no intervalo (t, t + h). O numero de nascimentos M no intervalo (t, t + h) satisfaz

P(M = m|N(t) = n) =(

n

m

)(λh)m(1− λh)n−m + o(h),

isto e,

P(M = m|N(t) = n) =

λnh + o(h) = 1− nλh + o(h) se m = 0,

o(h) se = m > 1,

λnh + o(h) = nλh + o(h) se m = 1.

Analogamente ao processo de Poisson, sejam as probabilidades de transicao

pij(t) = P(N(s + t) = j|N(s) = i) = P(N(t) = j|N(0) = i).

(i) Deduzir o sistema de equacoes adiantadas (forward),

p′ij(t) = λj−1pi,j−1(t)− λjpij(t), j ≥ i

e o sistema retardado (backward),

p′ij(t) = λipi+1,j(t)− λipij(t), j ≥ i.

Exercıcio 3.7. Resolva os sistemas forwards e backwards para o processo de nascimentosimples, considerando a mesma condicao inicial pij(0) = δij onde δij = 1 se i = j e δij = 0se i 6= j.

3.5 Processos de Markov 65

Exercıcio 3.8. Um processo de Poisson nao homogeneo e um processo N(t) definido damesma forma que o processo de Poisson exceto que neste caso a probabilidade de umachegada no intervalo (t, t + h) e λ(t)h + o(h), onde λ(t) varia com t. Obtenha as equacoesde forward e backward para N .

Exercıcio 3.9. Mostre partindo da definicao da probabilidade de transicao do processo dePoisson que

P(t1 < J1 ≥ t2 < J2) = e−λt1λ(t2 − t1)e−λ(t2−t1)

e portanto que J2 − J1 = S2 apresenta distribuicao exponencial com parametro λ, indepen-dentemente de J1.

Exercıcio 3.10. As chegadas dos onibuses da linha 1 formam um processo de Poisson comtaxa 1 (1 onibus por hora), e os da linha 7 um processo de Poisson com taxa 7 e indepen-dentemente dos da linha 1. (i) Qual e a probabilidade de que exatamente 3 onibus chegemdurante a primeira hora? (ii) Qual e a probabilidade de que exatamente 3 onibus da li-nha 7 cheguem ao ponto quando voce esta esperando por uno da linha 1? (iii) Qual e aprobabilidade de que voce fique aguardando por 30 minutos sem que passe nenhum onibus?

3.5 Processos de Markov

3.5.1 Cadeia de transicao e tempos de permanencia

Nesta secao damos inicio propriamente a teoria dos processos de Markov. Estes processosserao definidos apartir da distribuicao conjunta do processo de transicao e os tempos depermanencia. Observamos que esta abordagem corresponde a seguida em uma das definicoesdo processo de Poisson, i. e., em Teorema 3.7 (a).

Seja S um conjunto enumeravel. A informacao essencial que determina um processo deMarkov com valores em S e dada por uma matriz Q, isto e, pelos numeros qij , i, j ∈ S, osquais satisfazem as condicoes: (i) 0 ≤ qi = −qii < ∞ para todo i ∈ S, (ii) qij ≥ 0 para todoi 6= j, e (iii)

∑j∈S qij = 0 para todo i ∈ S.

Definicao 3.7. A matriz estocastica Π = (πij : i, j ∈ S), e a matriz de probabilidade detransicao associada a matriz Q se

πij =

qij/qi, se j 6= i e qi 6= 00, se j 6= i, e qi = 0

πii =

0, se qi 6= 01, se qi = 0

Desta forma para a i-esima fila de Q tomamos todos os elementods nao diagonais e osre-escalamos de forma que a sua soma seja igual a 1. Este procedimento nao e possıvel setodos os elementos no diagonais sao 0, neste caso fazemos os elementos no diagonais iguaisa 0 e a diagonal igual a 1. Por exemplo, para a seguinte matriz Q e o seu grafo

v1

1

1

v2 1 //

2

AA

v3

1

TT

Q =

−2 1 12 −3 11 0 −1


temosv1

12

12

v2

13

//

23

AA

v3

1

TT

Π =

0 1/2 1/21 0 0

2/3 1/3 0

.

Definicao 3.8 (processo de Markov). Um processo mınimo contınuo a direita (Xt),t ≥ 0, com valores em S, e um processo de Markov com distribuicao inicial λ e matrizgeradora Q se a sua cadeia de transicao (Yn), n ≥ 0, e uma cadeia de Markov(λ, Π), e dadoY0, Y1, . . . , Yn−1, os seus tempos de permanencia S1, S2, . . . , Sn sao variaveis aleatoriasindependetes e exponencias com parametros q(Y0), q(Y1), . . . , q(Yn−1) respectivamente. Nestecaso dezimos que (Xt) e Markov(λ, Q).

Apresentamos a seguir tres maneiras diferentes para construir um processo de Markov,cada uma fornece uma interpretacao complementar e permitem identificar quando um de-terminado processo e uma processo de Markov.

Construicao A. Seja (Yn), n ≥ 0, uma cadeia de Markov(λ, Π) e T1, T2, . . . variaveisaleatorias independentes, exponencialmente distribuıdas com parametro 1, e independentesde (Yn), n ≥ 0. Consideramos Sn = Tn/q(Yn−1), Jn = S1 + . . . + Sn, e logo

Xt =

Yn se Jn ≤ t < Jn+1 para algum n

∞ caso contrario.

Neste caso (Xt), t ≥ 0, e Markov(λ, Π). Para vermos isto e suficiente observar que se Tn ∼E(1), entao Sn ∼ E(q(Yn−1)). Seja φ a bijecao φ : Tn → Sn dada por φ(Sn) = Tn/q(Yn−1),e em particular sejam Tn = t, Sn = s e q(Yn−1) = λ. A densidade de Sn pode ser calculadautilizando a densidade de Tn,

fSn(s) = |J |−1fTn

(φ−1(s)),

onde fTn(t) = e−t, se t ≥ 0 (e fTn

(t) = 0 se t < 0), e |J | e o determinante do Jacobiano datransformacao φ, |J | = |dφ(s)/dt| = 1/λ.

Construicao B. Definimos primeiro X0 = Y0, com distribuicao λ, e logo consideramosa colecao (T j

n : n ≥ 1, j ∈ S) de variaveis aleatorias independentes e com distribuicaoexponencial com parametro 1. Inductivamente para n ≥ 0 fazemos

Sjn+1 = T j

n+1/qij , quando j 6= i,

Sn+1 = infj 6=i

Sjn+1,

Yn+1 =

j se Sj

n+1 = Sn+1 < ∞,

i se Sn+1 = ∞.

Assim, dado o evento Yn = i, temos que as variaveis Sjn+1 sao independentes e expo-

nencialmente distribuıdas com paratremo qij para tudo j 6= i. Assim, dado Yn = i, doLema 3.1 temos que Sn+1 e exponencial com parametro qi =

∑j 6=i qij , Yn+1 tem distribuicao

(πij : j ∈ S), e Sn+1 e Yn+1 sao independentes, e independentes de Y0, . . . , Yn e S1, . . . , Sn.

3.5 Processos de Markov 67

3.5.2 Equacoes de Forward e Backward

A definicao de um processo de Markov baseada nos tempos de permanencia e transicao e utilpara desenvolver a intuicao, embora esta nao permite encontrar propriedades fundamentaiscomo as probabilidade de transicao Pi(Xt = j). De maneira analogo ao feito com o processode Poison, deduzimos primeiramente a propriedade (forte) de Markov para a cadeia dostempos de transicao.

Teorema 3.8 (Propriedade forte de Markov, tempo continuo). Seja (Xt), t ≥ 0,Markov(λ, Q) e seja T um tempo de parada de (Xt), t ≥ 0. Dados T < ∞ e XT = i,(XT+t), t ≥ 0, e Markov(δi, Q), e independente de Xu : u ≤ T .

Demonstracao. Veja [7], Teorema 6.5.4, p. 227.

Apresentamos a seguir um resultado chave para caraterizar um processo de Markov.Analogamente a o apresentado no Teorema 3.7, a caraterizacao consiste em fornecer trespossıveis maneiras diferentes de definir o processo.

Teorema 3.9 (Caraterizacao do processo de Markov). Seja (Xt), t ≥ 0, um processocontınuo a direita com valores em S finito. Seja Q uma matriz Q sobre S com matriz detransicao Π. As seguintes tres condicoes sao equivalentes.

(a) (definicao pela cadeia de transicao e os tempos de permanencia) dado o evento X0 = i,a cadeia de transicao (Yn), n ≥ 0, de (Xt), t ≥ 0, e uma cadeia de Markov(δi,Π),e para cada n ≥ 1 dados Y0, . . . , Yn−1, os tempos de permanencia S1, . . . , Sn saovariaveis aleatorias independentes, exponencialmente distribuıdas com parametros q(Y0),. . ., q(Yn−1) respectivamente.

(b) (definicao infinitesimal) para todo t, h ≥ 0, dado Xt = i, Xt+h e independente de(Xu : u ≤ t) e quando h ↓ 0 uniformemente em t, temos que

P(Xt+hj|Xt = i) = δij + qijh + o(h),

(c) (definicao pela probabilidade de transicao) para todo n ≥ 0, e 0 ≤ t0 ≤ t1 ≤ . . . ≤ tij(t)e quaisquer estados i0, . . . , in+1,

P(Xtn+1 = in+1|Xt0 = i0, . . . , Xtn= in) = pinin+1(tn+1 − tn),

onde (pij(t) : i, j ∈ I, t ≥ 0) e a solucao da equacao de forward

dP (t)dt

= P (t)Q, P (0) = I.

Se (Xt), t ≥ 0, satisfaze qualquer uma destas condicoes, entao chamamos este procesode uma cadeia de Markov com gerador Q, e o denotamos por Markov(λ, Q), onde λ0 e adistribuicao de X0.

Demonstracao. (Teorema 3.9) Mostramos primeiramente que (a) ⇒ (b). Suponhamos que(a) e valida, assim quando h ↓ 0

P (Xh = i|X0 = i) ≥ P (Ji > h|X0 = i) = e−qih = 1 + qiih + o(h).

... finish!


3.5.3 Exercıcios

Exercıcio 3.11. Seja X uma cadeia de Markov a tempo continuo com semigrupo Pt evalores em S (enumeravel). (i) Mostre que pij(t) e uma funcao continua de t. (ii) Seja

q(t) = − ln pii(t).

Mostre que q e uma funcao continua tal que q(0) = 1 e

q(s + t) ≤ q(s)q(t).

Neste case q e chamada sub-aditiva. E conhecido que estas funcoes obedecem

limt→0

q(t)t

= λ existe e λ = supt>0

q(t)t≤ ∞.

(iii) Demostre que qii = limt→0(1/t)(pii(t)− 1) existe, mas pode ser −∞.

Exercıcio 3.12. (i) Mostre que nao toda cadeia de Markov com ındice discreto pode serembebida numa cadeia com ındice continuo. Isto e, seja

P =[

α 1− α1− α α

], 0 < α < 1

uma matriz de transicao. Mostre que existe um semigrupo uniforme Pt de probabilidadesde transicao a tempo continuo tais que P1 = P se, e somente se 1

2 < α < 1. Neste casomostre que Pt e unico. Calcule Pt em termos de α.

Exercıcio 3.13. Mostre da definicao do processo de nascimento que se j < i ou j > i + 1,entao,

qii = −λi,

qi,i+1 = λi,

qij = 0.

Logo

Q =

−λ0 λ0 0 0 0 · · ·0 −λ1 λ1 0 0 · · ·0 0 −λ2 λ2 0 · · ·...

......

......

(i) Mostre que

limh→0

1h

(Ph − I) = Q

(ii) Obtenha as equacoes de forward e backward

p′ij(t) =∑

k

pik(t)qkj ou P ′t = PtQ

p′ij(t) =∑

k

qikpkj(t) ou P ′t = QPt.

3.7 Tempos da primeira chegada e probabilidades de absorcao 69

3.6 Estrutura de classe

Quando (Xt), t ≥ 0, e um processo de Markov mınimo, as suas classes de comunicacaocorrespondem as classes de comunicacao da cadeia de transicao (Yn), n ≥ 0.

Definicao 3.9. O estado i conduz ao estado j, denotado i → j, se P(Xt = j para algumt ≥ 0|X0 = i) > 0. i comunica com j, denotado i ↔ j, se i → j e j → i.

As nocoes de classe de comunicacao, classe aberta, classe fechada, estado absorvente, eirredutibilidade seguem das nocoes para a cadeia de transicao (Yn), n ≥ 0.

Teorema 3.10. Sejam i, j ∈ S dois estados diferentes. As seguintes afirmacoes sas equiva-lentes.

(a) i → j.(b) i → j para a cadeia de transicao.(c) qi0i1qi1i2 . . . qin−1in > 0 para alguma sequencia de estados i0, i1, i2, . . . , in com i0 = i,

in = j.(d) pij(t) > 0 para todo t > 0.(e) pij(t) > 0 para algum t > 0.

3.7 Tempos da primeira chegada e probabilidades de absorcao

Seja (Xt), t ≥ 0, uma cadeia de Markov com matriz geradora Q.

Definicao 3.10. O primeiro tempo de chegada ao conjunto A ⊂ S, denotado DA e dadopela expressao

DA(ω) = inft ≥ 0 : Xt(ω) ∈ A

(onde inf∅ = ∞)

Se (Xt), t ≥ 0, e mınimo e HA denota o primeiro tempo de chegada ao conjunto A paraa cadeia de transicao, entao HA < ∞ = DA < ∞, logo para os ω neste conjunto temosque DA = JHA . A probabilidade de que (Xt), t ≥ 0, chegue ate A dado que X0 = i e

hAi = Pi(DA < ∞) = Pi(HA < ∞).

Se A e uma classe fechada, entao hAi e uma . Como as probabilidades do retorno corres-

pondem as probabilidades de retorno da cadeia de transicao, estas sao calculadas da mesmamaneira ao descrito no caso discreto.

Teorema 3.11. O vetor das probabilidades da primeira chegada a A, hA = (hAi : i ∈ S) e a

solucao mınima nao negativa ao seguinte sistema linear

hAi =

1, se i ∈ A,∑

j∈S qijhAj , se i /∈ A.

Demonstracao. A prova segue ao aplicarmos diretamente o argumento do Teorema 2.6 paraa cadeia de transicao ao re-escrever (2.2) em terminos de Q.

Definicao 3.11. O tempo esperado para que (Xt), t ≥ 0, atinja o conjunto A ⊂ S e

kAi = Ei[DA]


Para calcularmos kAi devemos considerar os tempos de permanencia, (Sn : n ≥ 1). O

seguinte fornece um exemplo para um caso simples.

Exemplo 3.2. Seja (Xt) um processo de Markov com o seguinte grafo de transicao

v11 //

1

v22oo

22~~~~

v33

//3

OO3

??~~~~v4

Calculamos o tempo medio para que o processo chegue de v1 ate v4. Seja ki = Ei[ tempoate v4]. Se X0 = 1, o processo fica um tempo medio igual a 1/q1 = 1/2 em v1, logo com amesma probabilidade realiza uma transicao ate v2 ou v3. Assim

k1 =12

+12k2 +

12k3

e analogamente

k2 =16

+13k1 +

13k3, k3 =

19

+13k1 +

13k2.

e portanto k1 = 17/12.

De forma geral tem-se o seguinte resultado.

Teorema 3.12 (Tempo esperado da primeira chegada). Seja qi > 0 para i /∈ A ⊆ S.O vetor do valor esperado para o primeiro tempo de chegada a A, kA = (kA

i : i ∈ S) e amenor solucao nao negativa do sistema,

kAi = 0, se i ∈ A

−∑j∈S

qijkAj = 1 se i /∈ A. (3.3)

Exercıcio 3.14. Seja (Xt) um processo de Markov com valores em S = 1, 2, 3, 4 e gerador

Q =

−1 1/2 1/2 01/4 −1/2 0 1/41/6 0 −1/3 1/60 0 0 0

.

(i) Calcule a probabilidade de chegar pela primeira vez ate o estado 3 dado que inicialmenteX0 = 1. (ii) Calcule o tempo esperado para chegar pela primeira vez ate o estado 4 desde oestado inicial 1.

3.8 Recorrencia e transitoriedade

Definicao 3.12. Suponhamos que (Xt), t ≥ 0, e um processo de Markov mınimo com matrizgeradora Q. O estado i e recorrente se

Pi(t ≥ 0 : Xt = ie nao limitado) = 1.

O estado i e transitorio se

Pi(t ≥ 0 : Xt = ie nao limitado) = 0.


Observamos que (Xt) explode dado que X0 = i entao i nao e recorrente. Da mesma ma-neira como a estrutura de classe e determinada pela cadeia de transicao, a recorrencia e atransitoriedade de um processo de Markov tambem e dada pela cadeia de transicao.

Teorema 3.13. Seja (Xt), t ≥ 0, um processo de Markov.

(i) Se i e um estado recorrente para a cadeia de transicao (Yn), n ≥ 0, entao i e recorrentepara (Xt).

(ii) Se i e transitorio para a cadeia de transicao, entao i e transitorio para (Xt), t ≥ 0.(iii) Todo estado e recorrente ou transitorio.(iv) A recorrencia e a transitoriedade sao propriedades de classe.

Definicao 3.13. Seja Ti o primeiro tempo de retorno de (Xt), t ≥ 0 ao estado i,

Ti(ω) = inft ≥ J1(ω) : Xt(ω) = i.

e Ti = ∞, caso nao exista ω : Xt(ω) = i.

O seguinte resultado fornece condicoes de recorrencia e transitoriedade em tempocontınuo analogas as descritas no Teorema 2.9

Teorema 3.14. Seja (Xt), t ≥ 0 um processo de Markov com gerador Q. Neste caso,

(i) se qi = 0 ou Pi(Ti < ∞) = 1, entao i e recorrente e∫∞0

pii(t)dt = ∞.(ii) se qi > 0 e Pi(Ti) < 1, entao i e transitorio e

∫∞0

pii(t)dt < ∞.

Mostramos finalmente que as propriedades de recorrencia e transitoriedade se encontramdeterminadas por qualquer k-esqueleto de (Xt), t ≥ 0.

Teorema 3.15. Seja k > 0 uma constante e entao Zn = Xnk, n ≥ 0.

(i) se i e recorrente para (Xt), t ≥ 0, entao i e recorrente para (Zn), n ≥ 0.(ii) se i e transitorio para (Xt), t ≥ 0, entao i e transitorio para (Zn), n ≥ 0.

3.9 Distribuicao invariante

Apresentamos brevemente a nocao de distribuicao invariante no caso contınuo. Se λ e umadistribuicao em S, dezimos que λ e invariante se

λQ = 0

Teorema 3.16. Seja Q uma matriz Q com matriz de transicao Π e seja λ uma distribuicao.As seguintes afirmacoes sao equivalentes,

(i) λ e invariante.(ii) µΠ = µ, onde µi = λiqi.

A relacao entre invariancia e a matriz de transicao Π observada acima, junto as condicoesde existencia e unicidade estudadas na secao 2.6, fornecem a unicidade do invariante no casocontınuo.

Teorema 3.17. Suponha que Q e irredutıvel e recorrente. Neste caso Q apresenta um in-variante λ unico sob multiplicacao por uma constante.


Lembramos que um estado i e recorrente se qi = 0 ou se Pi(Ti < ∞) = 1 . Quandoqi = 0 ou mi = Ei[Ti], o tempo do retorno esperado, e finito entao dezimos que i e positivorecorrente.. No caso contrario dezimos que i e nulo recorrente.. Analogamente a situacao emtempo discreto, a nocao de recorrencia positiva esta estreitamente relacionada a existenciade uma distribuicao de probabilidade invariante.

Teorema 3.18. Seja Q uma matriz irredutıvel. As seguintes afirmacoes sao equivalentes,

(i) cada estado e positivo recorrente,(ii) algum estado i e positivo recorrente,(ii) Q e nao explosiva e apresenta distribuicao de probabilidade invariante λ. Neste caso

temos que mi = 1/(λiqi) para tudo i ∈ S.

No caso a tempo contınuo, a existencia de uma distribuicao de probabilidade invariantenao e sufficiente para garantir recorrencia positiva ou recorrencia. Isto pode ser mostradomediante um contra-exemplo.

O seguinte teorema mostra por que a distribuicao λ, λQ = 0 e conhecida como a distri-buicao invariante.

Teorema 3.19. Seja Q irredutıvel e recorrente, e seja λ uma distribuicao. Seja u > 0 umaconstante. As seguintes afirmacoes sao equivalentes,

(i) λQ = 0,(ii) λP (u) = λ.

Teorema 3.20. Seja Q uma matriz irredutıvel, nao explossiva, e com distribuicao invari-ante λ. Se (Xt), t ≥ 0, e Markov(λ, Q), entao (Xt+u), t ≥ 0 tambem e Markov(λ, Q) paraqualquer u ≥ 0.

3.10 Convergencia

Estudamos a seguir o comportamento limite de pij(t) quando t → ∞ e a sua relacao asdistribuicoes invariantes. A analise e similar ao caso do tempo discreto, so que agora naoexiste o problema da periodicidade. Apresentamos primeiramente um ressultado auxiliar.

Lema 3.3. Seja Q uma matriz Q com semigrupo P (t) : t ≥ 0. Para tudo t, h ≥ 0,

|pij(t + h)− pij(t)| ≥ 1− e−qih.

Teorema 3.21. Seja Q uma matriz irredutıvel, nao explosiva, com semi-grupo P (t), e comdistribuicao invariante λ. Neste caso, para todo i, j ∈ S tem-se que

pij(t) → λj quando t →∞.

A descricao completa do comportamento limite para processos de Markov irredutıveis efornecido pelo seguinte resultado. A demonstracao utiliza um argumentos similar ao apre-sentado no Teorema 2.21 e a cota fornecida pelo Lema 3.3.

Teorema 3.22. Seja Q uma matriz Q irredutıvel e seja η uma distribuicao qualquer em S.Suponha que (Xt), t ≥ 0, e Markov(η, Q), entao

P(Xt = j) → 1qjmj

quando t →∞ para tudo i, j,∈ S.

3.11 Teorema Ergodico 73

Exercıcio 3.15. Encontre a distribuicao invariante λ para a seguinte matriz Q

Q =

−2 1 14 −4 02 1 −3

,

e verifique que limt→∞ p11(t) = λ1.

Exercıcio 3.16. Calcule o limite limt→∞ P(Xt = 2|X0 = 1) onde (Xt) e um processo deMarkov com valores em S = 1, 2, 3, 4 e a seguinte matriz Q,

Q =

−2 1 1 0

0 −1 1 00 0 −1 11 0 0 −1

3.11 Teorema Ergodico

A medias temporais para certas funcoes de um processo de Markov apresentam o mesmotipo de comportamento ao descrito no caso do tempo discreto.

Teorema 3.23 (Theorema ergodico). Seja Q irredutıvel e η uma distribuicao em S. Se(Xt), t ≥ 0 e Markov(η, Q), entao

P(

1t

∫ t

0

1Xu=idu → 1miqi

quando t →∞)

= 1

onde mi = ei[Ti] denota o tempo do retorno esperado a i. No caso positivo recorrente, paraqualquer funcao f : S → R limitada, tem-se que

P(

1t

∫ t

0

f(Xu)du → f∗ quando t →∞)

= 1

paraf∗ =

∑i∈S

λifi,

e (λi : i ∈ S) e a unica distribuicao invariante.

4

Apendice

4.1 Relacoes de Recorrencia

Revisamos neste apendice a teoria necessaria para resolver equacoes da forma

xn+k = c1xn+k−1 + c2xn+k−2 + . . . + ckxn (4.1)

onde ci sao constantes em R. Este tipo de equacao e conhecida com uma relacao de re-correncia linear homogenea de ordem k. Dados x0, x1, . . ., xk−1, (4.1) e conhecida como umproblema de valor inicial. Observamos que dados os valores de x0, . . . , xk−1, sempre e posıvelcalcularmos xk utilizando (4.1). Subsequentemente, com x1, . . . , xk podemos calcular xk+1 eassim por diante qualquer termino da sequencia (xn), n ≥ 0, a qual chamaremos de solucaode (4.1). Consideremos o seguinte exemplo de um problema inicial de segunda ordem,

xn+2 = 3xn+1 − 2xn, x0 = 2, x1 = 3.

A sequencia gerada e(2, 3, 5, 9, 17, 33, 65, 129, 257, 513, . . .)

Suponhamos agora temos interesse os problemas iniciais x0 = 2, x1 = 5 e x0 = 3, x1 = 1,ambos definidos tambem por meio da recorrencia acima. As solucoes geradas nestes casossao respectivamente

(2, 5, 11, 23, 47, 95, 191, 383, 767, 1535, . . .)(3, 1,−3,−11,−27,−59,−123,−251,−507,−1019, . . .)

Para o primeiro problema resulta simples encontrar uma formula para xn, de fato xn = 2n+1.Se observamos que 23 = 24−1, 47 = 48−1, 95 = 96−1, . . . entao deduzimos que a sequenciapara o segundo problema inicial e xn = 2n3 − 1. Analogamente, para o terceiro problematemos xn = 5 − 2n+1. Estes exemplos simples tem como proposito mostrar que os tresproblemas iniciais apresentam formulas similares, todas contem 2n, pois estes foram todosdefinidos a partir da mesma equacao de recorrencia.

O problema a ser estudado consiste em entender a estrutura do espaco de todas assolucoes a uma equacao de recorrencia linear homogenea de ordem k quando as condicoesiniciais pertencem ao conjunto de todas a k-tuplas de numeros reais. Sabemos que o espacode todas as sequencias reais, i.e. das funcoes x : N → R, forma um espaco vetorial poispara quaisquer duas sequencias (xn), (yn) temos que (xn) + (yn) = (xn + yn) e para umescalar qualquer λ, λ(xn) = (λxn). Logo o conjunto de todas as solucoes de (4.1) forma umsubespaco do espaco de todas as sequencias. Denotamos este conjunto por H. Observamos a

76 4 Apendice

seguir que cada sequencia em H se encontra determinada pelos seus k primeiros elementos.Neste caso existe um mapa π : H → Rk o qual escolhe estes elementos e forma um vetor emRk, ou seja,

π((xn)

)= (xk−1, . . . , x1, x0)T . (4.2)

Lema 4.1. Seja H o espaco das solucoes de uma recorrencia linear homogenea de ordemk. O mapa π e um isomorfismo entre os espacos vetoriais H e Rk. Em particular, H e umespaco real k-dimensional.

Demonstracao. Qualquer sequencia inicial de k terminos x0, x1, . . . , xk−1 pode ser extendidapela relacao (4.1) a uma sequencia infinita em H, portanto π e sobrejetora. Por outro lado,como cada problema inicial apresenta uma unica solucao em H, entao π e um a um, istoe, se π(x) = π(y) para x, y ∈ H, entao necessariamente x = y. Decorre disto que π e umabijecao e portanto apresenta uma inversa. A inversa de π e o mapa π−1 o qual leva o vetorα = (αk−1, . . . , α0)T ∈ R a sequencia em H com terminos iniciais x0 = α0, x1 = α1, . . .,xk−1 = αk−1.

Observamos agora que para duas solucoes (xn), (yn) em H, e dois escalares c1 e c2

quaisquer em R temos que

c1π((xn)

)+ c2π

((yn)

)= c1

xk−1

...x0

+ c2

yk−1

...y0

=

c1xk−1 + c2yk−1

...c1x0 + c2y0

= π

(c1(xn) + c2(yn)

).

Isto mostra que π e linear e assim portanto um isomorfismo.

Cada elemento de um espaco vetorial pode ser escrito de forma unica como uma com-binacao linear dos elementos da base do espaco. Assim, o lemma anterior fornece um metodopara construir as solucoes (xn) em H utilizando as k sequencias geradas pelas condicoesiniciais e1 = (1, 0, . . . , 0), e2 = (0, 2, 0, . . . , 0), . . ., ek = (0, . . . , 0, 1). A pre-imagem deπ−1(ei) = (xn) e dada pela solucao cujas condicoes iniciais sao todas iguais a 0, excetoxk−i = 1. Uma vez que e1, . . . , ek forma uma base para Rk e π e um isomorfismo entreRk e H, entao π−1(e1), . . . , π−1(ek) forma uma base para H. A importancia disto e que asolucao (xn) ao problema inicial determinado por

x0 = α0, x1 = α1, . . . , xk=1 = αk−1

pode ser calculada como

α0π−1(ek) + α1π

−1(e2) + . . . + αk−1π−1(e1).

Mesmo que possa parecer mais dificil do que aplicar diretamente a recursao (4.1), esta repre-sentacao e realmente vantajosa como sera visto adiante. Illustramos esta tecnica utilizandodois exemplos. Seja o problema inicial

Fn+2 = Fn+1 + Fn, F1 = 1, F0 = 0.

e a sua solucao dada pela sequencia

(0, 1, 1, 2, 3, 5, 8, 13, 21, 34, 55, 89, . . .).

Esta sequencia e conhecida como sequencia de Fibonacci, em honra ao seu descobridorLeonardo Fibonacci (1170 - 1250). Neste caso temos as sequencias basicas

4.1 Relacoes de Recorrencia 77

π−1(e1) = (0, 1, 1, 2, 3, 5, 8, 13, 21, . . .)

π−1(e2) = (1, 0, 1, 1, 2, 3, 5, 8, 13, . . .)

e assimFn = π−1(e1) + π−1(e2) = (1, 1, 2, 3, 5, 8, 13, 21, . . .).

Se agora consideramos a condicao inicial F0 = −1 e F1 = 3, entao a solucao toma a forma

Fn = 3π−1(e1)− π−1(e2)= 3(0, 1, 1, 2, 3, 5, . . .)− (1, 0, 1, 1, 2, 3, 5, . . .)= (−1, 3, 2, 5, 7, 12, 19, 31, . . .)

Assim, o conhecimento das sequencias basicas de uma relacao de recorencia linear ho-mogenea permitem calcular o n-esimo termino da solucao de qualquer problema inicialdeterminado pela recorencia. Assim, o espaco das solucoes H pode ser estudado ao estudarcombinacoes lineares das sequencias basicas. Para proseguirmos com este argumento e ne-cessario procurar uma maneira geral para calcular estas sequencias, ou seja, para determinara base de H.

4.1.1 Forma matricial

Consideremos novamente a recorencia xn+2 = 3xn+1 − 2xn com os valores iniciais x0 = 2 ex1 = 3. Em forma matricial podemos escrever,(

xn+2

xn+1

)=[

3 −21 0

](xn+1

xn

),

(x1

x0

)=(

32

).

Da mesma maneira, para a recorencia de Fibonacci temos(Fn+2

Fn+1

)=[1 11 0

](Fn+1

Fn

),

(F1

F0

)=(

10

).

De forma geral, para a relacao de ordem k definimos para todo n ≥ 0,

Xn =

xn+k−1

xn+k

...xn+1

xn

e A =

c1 c2 · · · ck−1 ck

1 0 · · · 0 00 1 · · · 0 0...

. . ....

0 0 · · · 0 1

(4.3)

verifica-se que Xn+1 = AXn. Assim, podemos encontrar a sequencia de interesse recursiva-mente como X1 = AX0, X2 = AX1, . . ., isto e,

Xn = AnX0.

Para os dois exemplos acima temos(xn+1

xn

)=[

3 −21 0

]n(32

)e

(Fn+1

Fn

)=[

1 11 0

]n(10

).

Desta maneira estamos forcados a calcular An, n ≥ 0, o qual na maioria do casos e possıvelquando A e diagonalizavel. Para o primeiro exemplo temos que o polinomio caracteristicode A e

78 4 Apendice

chA(λ) = det(A− λI) = det([

3− λ −21 −λ

])= λ2 − 3λ + 2 = (λ− 2)(λ− 1).

Assim, os autovalores para A sao λ1 = 2 e λ2 = 1, e os autovetores correspondentes v1 =(2, 1)T e v2 = (1, 1)T . Logo An admite a forma diagonal

An = PDnP−1, para D =[2 00 1

], P =

[2 11 1

].

Desta maneira obtemos a solucao

Xn =[2n+1 − 1 −2n+1 + 22n − 1 −2n + 2

](32

)=(

2n+1 + 12n + 1

),

e deduzimos de imediato que xn = 2n + 1, n ≥ 0.

Exercıcio 4.1. Mostre que para n ≥ 0, a sequencia de Fibonacci e dada pela seguinteformula

Fn =1√5

[(1 +

√5

2

)n

−(

1−√

52

)n].

Esta formula conhecida como a formula de Binet.

Vimos na secao anterior como os autovalores da matriz A jogam um papel fundamen-tal para encontrar a solucao de uma relacao recorrencia. Um estudo mais detalhado dosautovalores de A permite encontrar uma base para H. Seja

chA(λ) = λk − c1λk−1 − . . .− ck−1λ− ck

o polinomio caracterıstico associado a A. As raızes λ1, . . . , λk deste polinomio sao conhe-cidas como os autovalores da recorrencia. Decorre da forma da matriz A, que o aoutovalorλi apresenta aoutovector

vλi= (λk−1

i , λk−2i , . . . , 1)T .

De fato, se Av − λIv = 0, para v = (vi, . . . , vk)T , entao

c1v1 + . . . ckvk = λv1

v1 = λv2, v2 = λv3, . . . , vk−1 = λvk.

Substituındo sucessivamente estas equacoes umas nas outras obtemos

vk

k∑i=1

ciλk−i = λkvk,

logo

A(λk−1, λk−2, . . . , λ, 1)T =( k∑

i=1

ciλk−i, λk−1, . . . , λ2, λ

)T

= (λk, λk−1, . . . , λ2, λ)T

= λ(λk−1, λk−2, . . . , λ, 1)T .

Deduzimos portanto que o vetor vλ = (λk−1, λk−2, . . . , λ, 1)T e o autovetor de A correspon-dente ao autovalor λ.

4.1 Relacoes de Recorrencia 79

Teorema 4.1. Seja a seguinte recorrencia linear homogenea de ordem k,

xn = c1xn−1 − . . .− ck−1xn−k+1 − ckxn−k.

(i) Seja λ um autovalor da recorrencia, logo π−1(vλ) = (λn), onde π e o isomorfismo entreH e Rk definido por (4.2). Neste caso (λn) ∈ H.(ii) Se a recorrencia apresenta k autovalores diferentes, λ1, λ2, . . . , λk, entao as k sequencias(λ1), . . . , (λk) formam uma base para H e cada solucao (xn) apresenta a forma

xn = a1λn1 + a2λ

n2 + . . . + akλn

k , (4.4)

para algumas constantes a1, a2, . . . , ak ∈ R.

Demonstracao. Consideramos para tudo n ≥ 0, xn = λn, e logo definimos os vetores Xn

seguindo (4.3). Assim Xn = λnvλ, portanto

AXn = λnAvλ = λn+1vλ = Xn+1,

Deduzimos disto que (xn) ∈ H, onde (x0) apresenta a condicao inicial X0 = vλ. Para a parte(ii), se a recorrencia apresenta k autovalores diferentes λi, entao os vetores vλi formamuma base para Rk. Dado que π e um isomorfismo entre H e Rk, entao π−1(vλi) = (λn

i )e uma base para H. Isto implica que qualquer elemento de H pode ser escrito como umacombinacao linear das sequencias (λn

i ).

Suponhamos que a condicao inicial α = (x0, x1, . . . , xk−1)T e conhecida. Descrevemos acontinucao um metodo geral para calcular os valores ai em (4.4). Primeiro, das propriedadesde π obtemos vλi = π

((λn

i )), entao

α = π(a1(λ1) + . . . + ak(λn

k ))

= a1π((λn

1 ))

+ . . . + akπ((λn

k ))

= a1vλ1 + . . . akvλk

Na forma matricial podemos escrever esta igualdade como

α =

1 1 1 · · · 1λ1 λ2 λ3 · · · λk

......

.... . .

...λk−1

1 λk−12 λk−1

3 · · · λk−1k

a1

a2

...ak

(4.5)

A matriz de coeficientes em (4.5) e conhecida como a matriz de Vandermonde de λ1, . . . , λk.Como cada vetor de condicoes iniciais α corresponde a uma unica solucao em H, entao, dadoα, o sistema (4.5) apresenta uma unica solucao. Isto implica que a matrix de Vandermontesempre e invertivel. Se denotamos por V a matriz de Vandermonte, entao

(a1, . . . , ak)T = V −1α.

Exemplo 4.1. Suponhamos que c21 6= −4c2, logo consideremos a seguinte recorrencia,

xn+2 = c1xn+1 + c2xn, x0 = α1, x1 = α2.

Este problema inicial apresenta polinomio caracterıstico ch(λ) = λ2 − c1λ − c2, com doisautovalores λ1 6= λ2 (pois o discriminante D = c2

1 + 4c2 6= 0). Neste caso,

λ1 = (c1 +√

D)/2, λ2 = (c1 −√

D)/2.

80 4 Apendice

Po outro lado, a matriz de Vandermonde associada e a sua inversa sao

V =[

1 1λ1 λ2

], V −1 =

1√D

[−λ2 1

λ1 −1

].

Assim (a1

a2

)= V −1

(α1

α2

)=

1√D

[−λ2x0 x1

λ1x0 −x1

].

Existe em geral uma maneira eficiente para invertir V . Sejam os polinomios

li(λ) =k∏

j=1,j 6=i

(λ− λj) = bi,1 + bi,2λ + . . . + bi,kλk−1,

definidos para todo i = 1, . . . , k. Como os autovalores λj sao tudos diferentes, entao li(λi) 6=0 para todo i, e em particular para j 6= i temos que li(λj) = 0.

Teorema 4.2. Seja B uma matrix k×k cuja i-esima linha apresenta os coeficientes de li(λ),dispostos seguindo as potencias crescentes de λ. Entao V −1 = DB, onde D corresponde amatriz diagonal com entradas 1/li(λi), i = 1, . . . , k.

Demonstracao. Veja o Teorema 2.3.2 na pagina 20 em [2].

Exemplo 4.2. Seja xn+2 = xn+1 +2xn, e x0 = 1, x1 = 5. Nesta caso temos ch(λ) = x2−x−2 = (x− 2)(x + 1), logo λ1 = 2, λ2 = −1, portanto l1(λ) = 1 + λ, e l2(λ) = −2 + λ. Assim

B =[

1 1−2 1

],

e para l1(2) = 3, l2(−1) = −3 resulta

D =13

[1 00 −1

], V −1 =

13

[1 12 −1

].

Desta forma obtemos os coeficientes(a1

a2

)= V −1

(15

)=

13

[1 12 −1

](15

)=(

2−1

),

e seguindo (4.4)xn = 2λn

1 − λn2 = 2n+1 + (−1)n+1.

Exercıcio 4.2. Mostre que qualquer combinacao linear de solucoes de (4.1) tambem e umasolucao.

Exercıcio 4.3. Seja xn+2 = c1xn+1 + c2xn uma recorrencia de segundo ordem com auto-valores λ1 = (c1 +

√D)/2, λ2 = (c1 −

√D)/2, onde D = c2

1 + 4c2. Se D 6= 0, mostre que asquencia cujo n-esimo termino e

1√D

(− α0λ1λ2(λn−1

1 − λn−12 ) + α1(λn

1 − λ2))

,

e a unica solucao com condicoes iniciais x0 = α0, x1 = α1.

4.2 Funcoes geradoras

Referencias Bibliograficas

1. P. Billingsley. Probability and Measure. Wiley & Sons, New York, 1995.2. P. Cull, M. Flahive, and R. Robson. Difference Equations. From Rabbits to Chaos. Undergra-

duate Texts in Mathematics. Springer Verlag, 2005.3. P. G. Doyle and J. L. Snell. Random Walks and Electric Networks. Carus Mathematical Mono-

graphs. Mathematical Association of America, 1984. http://arxiv.org/abs/math/0001057.4. P. A. Ferrari and A. Galves. Acoplamento em Processos Estocasticos. SBM, IMPA, Rio de

Janeiro, 1997. http://www.ime.usp.br/~pablo.5. G. Grimmett and P. Stirzacker. Probability and Random Processes. Oxford University Press,

Oxford, 3a edition, 2001.6. B. J. James. Probabilidade: um curso intermediario. Projeto Euclides. IMPA, Rio de Janeiro,

2002.7. J. R. Norris. Markov chains. Cambridge Series in Statistical and Probabilistic Mathematics.

Cambridge University Press, Cambridge, UK, 1997.8. D. Williams. Probability with Martingales. Cambridge University Press, Cambridge, UK, 1991.

Indice

acoplamento, 39aproximacao de Stirling, 30

cadeiade transicao de (Xt), 53

cadeia de Markovk-esqueleto, 9definicao, 4ergodica, 41irredutıvel, 11recorrente, 24temporalmente homogenea, 7

Chapman-Kolmogorov, 7classe

aberta, 69fechada, 69

classe de comunicacao, 69classe de comunicacao, 11

aberta, 11fechada, 11

finita, recorrente, 27continuidade a direita, veja processo, 51

decomposicao da primeira transicao, 14desigualdade do acoplamento, 40distribuicao

de equilıbrio, 33do primeiro tempo de retorno, 20estacionaria, 33exponencial, 57finito dimensional, 51inicial λ, 4invariante, 33, 71

unicidade, 35Doeblin, W., 39

equacaode backward

semigrupo, 54de forward

Markov, 67semigrupo, 54

em diferenca, 14ergodicidade, 41, 44espaco

de estados, S, 4das trajetorias, Ω, 1de probabilidade, 1

estado, 4absorvente, 11, 69aperiodico, 38, 39numero de visitas, V , 25nulo recorrente

tempo contınuo, 72nulo recorrente

tempo discreto, 36periodico, 39positivo recorrente

tempo contınuo, 72tempo discreto, 36

recorrentetempo contınuo, 70tempo discreto, 24

transitoriotempo contınuo, 70tempo discreto, 24

formulade Binet, 78

Fibonaccirecorrencia de, 76sequencia de, 76

funcao O, 55funcao o, 61funcao geradora

de probabilidade, 19de hi

i(n), 20de pn

ij , 20

grafo, 4

84 Indice

homogeneidade temporal, 7

irredutibilidade, 11, 69

Lei forte dos grandes numeros, 44Lema de Kac, 37

maior divisor comum, mdc, 41matriz

Q, 53Π, 65aperiodica, 38de probabilidade de transicao, P , 4de Vandermonde, 79estocastica, 4geradora, 66

passeio aleatoriorecorrencia em Z, 29recorrencia em Z2, 30simetrico, 29simples, 29

perıodo, 39perda de memoria, 5perda de memoria

da distribuicao exponencial, 57do processo de Poisson, 61

Polya, G., 32primeiro tempo de chegada, σ, 12primeiro tempo de retorno, τ , 12probabilidade

de absorcao, 13da primeira chegada, h, 13de absorcao, 69de extincao, 17do k-esimo retorno, fk, 25do primeiro retorno, f , 25

problema inicial, 75processo

contınuo a direita, 51de ramificacao, 46de Markov, 65

construcao, 66definicao, 66

de nascimento e morte simples, 17de nascimento simples, 64de Poisson, 60–65

definicao, 60nao homogeneo, 65

de transicao de (Xt), 53estocastico, 1explosivo, 53mınimo, 53

propriedade de Markov, 5propriedade forte de Markov, 22

propriedade fraca de Markov, 6

recorrenciade um estado, 24de uma cadeia de Markov, 24

relacao de recorrencia, 75ruına do jogador, 15

semi-grupo, 54estocastico, 55

solidariedade, 27

taxa de transicao, qij , 53taxa de saıda de i, qi, 53tempo

da primeira chegada, σ, 12da primeira chegada, D, 69da primeira explosao, ζ, 52de excursao, E, 24de explosao, 52de parada, 23de permanencia, Sn, 52de transicao, Jn, 52do primeiro retorno

caso discreto, τ , 12do primeiro retorno

caso contınuo, T , 71esperado da primeira chegada, 13esperado do primeiro retorno, m, 36

TeoremaChapman-Kolmogorov, 7classe finita e fechada, 27classe recorrente, 27Convergencia ao equilıbrio, 39distribuicao de probabilidade invariante, 36ergodico


limite estacionario, 33perda de memoria, 57perda de memoria do processo de Poisson, 61probabilidade da primeira chegada

tempo discreto, 14processo de Markov, 67processo de Poisson, 62Propriedade forte de Markov

tempo continuo, 67tempo discreto, 23

Propriedade forte de Markov do processo dePoisson, 61

Propriedade fraca de Markov, 6Recorrencia-Transitoriedade, 26tempo esperado da primeira chegada


transitoriedade, 24

Indice 85

variavel aleatoria, 1 exponencial, 57

Documents

Processos Estoca19 asticos, Notas de aula - dcm.ffclrp.usp.brdcm.ffclrp.usp.br/~rrosales/aulas/mc.pdf · 3.5 Processos de Markov..... 65 3.5.1 Cadeia de transi¸c˜ao e tempos de