FIMCP Ingeniera y Administracion de la Produccion Industrial
Cadenas de MarkovInvestigacion de Operaciones II
Andres G. Abad, [email protected]
ESCUELA SUPERIOR POLITECNICA DEL LITORALIngeniera y Administracion de la Produccion Industrial
Andres G. Abad, Ph.D. [email protected] Cadenas de Markov
FIMCP Ingeniera y Administracion de la Produccion Industrial
Cadenas de MarkovEjemplo: Modelo del clima en un pueblo I
Supongamos que en cierto pueblo se ha observado que 90% detodos los das soleados son seguidos por otro da soleado, y 80%de los das nublados son seguidos por otro da nublado. Comopodramos utilizar esta informacion para modelar el clima de estepueblo?
Andres G. Abad, Ph.D. [email protected] Cadenas de Markov
FIMCP Ingeniera y Administracion de la Produccion Industrial
Definicion de Cadenas de Markov I
Se dice que un proceso estocastico {Xt}, (t = 0, 1, . . . ) es unacadena de Markov con estados finitos si posee las siguientescaractersticas
I Un numero finito de estados
I Un conjunto de probabilidades iniciales P{X0 = i} para todo iI Probabilidades de transicion estacionarias
I La propiedad Markoviana
Andres G. Abad, Ph.D. [email protected] Cadenas de Markov
FIMCP Ingeniera y Administracion de la Produccion Industrial
Propiedad Markoviana
Se dice que un proceso estocastico Xt tiene la propiedadmarkoviana si
P{Xt+1 = j|Xt = i,Xt1 = kt1, . . . ,X0 = k0} = P{Xt+1 = j|Xt = i}
para t = 0, 1, 2, . . . y toda sequencia de estados k0, . . . , kt1, i, j
Andres G. Abad, Ph.D. [email protected] Cadenas de Markov
FIMCP Ingeniera y Administracion de la Produccion Industrial
Probabilidades de transicion
La probabilidad condicional P{Xt+1 = j|Xt = i} son llamadasprobabilidades de transicion
Probabilidades de transicion estacionariaSi para cada i y j tenemos
P{Xt+1 = j|Xt = i} = P{X1 = j|X0 = i}
entonces decimos que las probabilidades de transicion sonestacionarias y las denotamos por pij
Andres G. Abad, Ph.D. [email protected] Cadenas de Markov
FIMCP Ingeniera y Administracion de la Produccion Industrial
Ejemplo: Sacando bolas de una urna I
Una urna contiene inicialmente dos bolas sin pintar. Escogemosuna bola al azar y lanzamos una moneda. Si la bola escogida estasin pintar y obtenemos una cara en la moneda, entonces pintamosla bola color rojo; si la bola esta sin pintar y obtenemos un sello enla moneda, entonces pintamos la bola color negro. Si la bola yaesta pintada, entonces (independientemente del resultado de lamoneda) cambiamos el color de la bola (de rojo a negro o denegro a rojo).
Andres G. Abad, Ph.D. [email protected] Cadenas de Markov
FIMCP Ingeniera y Administracion de la Produccion Industrial
Ejemplo: Modelo del clima en un pueblo 2 I
Supongamos ahora que el clima de manana depende de los dosultimos das de la siguiente manera:
1. Si los dos ultimos das han sido soleados, 95% de las vecesmanana es soleado tambien;
2. Si ayer fue nublado y hoy es soleado, manana sera soleadoun 70% de las veces;
3. Si ayer fue soleado y hoy es nublado, entonces manana seranublado un 60% de las veces; y
4. Si los dos ultimos das ha sido nublado, entonces mananasera nublado un 80%.
Utilizando esta informacion, modele el clima de este pueblo comouna cadena de Markov.
Andres G. Abad, Ph.D. [email protected] Cadenas de Markov
FIMCP Ingeniera y Administracion de la Produccion Industrial
Ejemplo: Reparacion de maquinas I
Una compana tiene dos maquinas. Durante cualquier da, cadamaquina que esta funcionando al inicio del da tiene unaprobabilidad de 13 de que se dane. Si una maquina se danadurante el da, es enviada a reparacion y estara reparada dos dasdespues de que se dano (as, si una maquina se dana durante elda 3, estara funcionando al inicio del da 5.) Haciendo que losestados del sistema sean el numero de maquinas funcionando alinicio de cada da, obtenga la matriz de transicion para estasituacion.
Andres G. Abad, Ph.D. [email protected] Cadenas de Markov
FIMCP Ingeniera y Administracion de la Produccion Industrial
Ejemplo: Problema de inventario I
Una tienda almacena camaras que pueden ser ordenadassemanalmente. Sea D1,D2, . . . la demanda de la camara durantela primera semana, la segunda semana, y as respectivamenteI Asumimos que los Di s son variables aleatorias
independientes e identicamente distribuidas
Sea X0 el numero de camaras al inicio, X1 el numero de camarasal final de la 1era semana, X2 el numero de camaras al final de la2nda semana, y as sucesivamenteI Asumimos que X0 = 3
Andres G. Abad, Ph.D. [email protected] Cadenas de Markov
FIMCP Ingeniera y Administracion de la Produccion Industrial
Ejemplo: Problema de inventario II
La tienda utiliza la siguiente poltica de ordenamiento (s,S)I Si el numero de camaras al final de la semana es menor a
s = 1, entonces se enva una orden de S = 3I Caso contrario, la tiendo no enva una orden esta semana
Asi, {Xt} para t = 0, 1, es un proceso estocasticoI Las variables aleatorias Xt s son claramente dependientes y
pueden ser evaluadas iterativamente por la expresion
Xt+1 ={
max{(3 Dt+1), 0} si Xt < 1;max{(Xt Dt+1), 0} si Xt 1.
Andres G. Abad, Ph.D. [email protected] Cadenas de Markov
FIMCP Ingeniera y Administracion de la Produccion Industrial
Ejemplo: Problema de inventario III
Matriz de transicion
P =
p00 p01 p02 p03p10 p11 p12 p31p20 p21 p22 p32p30 p31 p32 p33
Asumiendo que Dt+1 sigue una distribucion de Poisson con media1, tal que
P{Dt+1 = n} = (1)ne1
n!, n = 0, 1, . . .
Andres G. Abad, Ph.D. [email protected] Cadenas de Markov
FIMCP Ingeniera y Administracion de la Produccion Industrial
Ejemplo: Problema de inventario IV
P{Dt+1 = 0} =e1 = 0.368P{Dt+1 = 1} =e1 = 0.368
P{Dt+1 = 2} =e1
2= 0.184
P{Dt+1 3} =1 P{Dt+1 2} = 0.080
Andres G. Abad, Ph.D. [email protected] Cadenas de Markov
FIMCP Ingeniera y Administracion de la Produccion Industrial
Ejemplo: Problema de inventario V
Dado que si Xt = 0, entonces Xt+1 = max{3 Dt+1, 0}
p03 = P{Dt+1 = 0} =e1 = 0.368p02 = P{Dt+1 = 1} =e1 = 0.368
p01 = P{Dt+1 = 2} =e1
2= 0.184
p00 = P{Dt+1 3} =0.080
Andres G. Abad, Ph.D. [email protected] Cadenas de Markov
FIMCP Ingeniera y Administracion de la Produccion Industrial
Ejemplo: Problema de inventario VI
De manera similar podemos encontrar los demas pij s, obteniendoas
P =
0.080 0.184 0.368 0.3680.632 0.368 0 00.264 0.368 0.368 00.080 0.184 0.368 0.368
Andres G. Abad, Ph.D. [email protected] Cadenas de Markov
FIMCP Ingeniera y Administracion de la Produccion Industrial
Ejemplo: Problema de inventario VII
Andres G. Abad, Ph.D. [email protected] Cadenas de Markov
FIMCP Ingeniera y Administracion de la Produccion Industrial
Ejemplo: Apuestas
Supongamos que un jugador tiene $2 y en cada juego gana $1con probabilidad p o pierde $1 con probabilidad 1 p. El juegotermina cuando el juegador acumula $4 o pierde todo.
P =
1 0 0 0 0
1 p 0 p 0 00 1 p 0 p 00 0 1 p 0 p0 0 0 0 1
Andres G. Abad, Ph.D. [email protected] Cadenas de Markov
FIMCP Ingeniera y Administracion de la Produccion Industrial
Probabilidades de transicion de n pasos I
La existencia de probabilidades de transicion estacionarias implicaque para cada i , j , y n (n = 0, 1, 2, . . . )
P{Xt+n = j|Xt = i} = P{Xn = j|X0 = i}
para todo t = 0, 1, . . . .
Para simplificar notaciones escribiremos:
pij = P{Xt+1 = j|Xt = i},
p(n)ij = P{Xt+n = j|Xt = i}.
Andres G. Abad, Ph.D. [email protected] Cadenas de Markov
FIMCP Ingeniera y Administracion de la Produccion Industrial
Probabilidades de transicion de n pasos II
Naturalmente, las probabilidades condicionales p(n)ij , satisfaceran
p(n)ij 0, para todo i, j, y n = 0, 1, 2, . . .
Mj=0
p(n)ij = 1, para todo i y n = 0, 1, 2, . . .
Andres G. Abad, Ph.D. [email protected] Cadenas de Markov
FIMCP Ingeniera y Administracion de la Produccion Industrial
Representacion matricial de las probabilidades detransicion I
Una representacion conveniente de las probabilidades detransicion son las matrices
State 0 1 M0 p(n)00 p(n)0M
P(n) = 1...
......
......
M p(n)M0 p(n)MMO equivalentemente
P(n) =
p(n)00 p(n)0M...
...p(n)M0 p(n)MM
Andres G. Abad, Ph.D. [email protected] Cadenas de Markov
FIMCP Ingeniera y Administracion de la Produccion Industrial
Ejemplo: La cola I
Supongamos que la industria total de bebidas gaseosas producensolo dos colas. Dado que la ultima compra de una persona es lacola 1, hay un 90% de probabilidad de que su siguiente comprasea cola 1. Dado que la ultima compra de una persona es la cola2, entonces hay un 80% de probabilidad de que su siguientecompra sea la cola 2.
1. Si la persona acaba de comprar la cola 2, cual es laprobabilidad de que compre la cola 1 dos compras despues.
2. Si la persona acaba de comprar la cola 1, cual es laprobabilidad de que compre la cola 1 tres compras despues.
Andres G. Abad, Ph.D. [email protected] Cadenas de Markov
FIMCP Ingeniera y Administracion de la Produccion Industrial
Ecuaciones de Chapman-Kolgomorov I
Las ecuaciones de Chapman-Kolgomorov proporcionan unmetodo para calcular las probabilidades de transicion p(n)ij :
p(n)ij =M
k=0
p(m)ik p(nm)kj ,
para todo i = 1, 2, . . . ,M, j = 1, 2, . . . ,M y cualquierm = 1, 2, . . . , n 1 y n = m + 1,m + 2, . . .
Andres G. Abad, Ph.D. [email protected] Cadenas de Markov
FIMCP Ingeniera y Administracion de la Produccion Industrial
Ecuaciones de Chapman-Kolgomorov II
En particular, con m = 1 y m = n 1 obtenemos
p(n)ij =M
k=0
pikp(n1)kj y p
(n)ij =
Mk=0
p(n1)ik pkj
Estas ecuaciones nos permiten obtener las probabilidades detransicion de n pasos recursivamente de las probabilidades pij s
Andres G. Abad, Ph.D. [email protected] Cadenas de Markov
FIMCP Ingeniera y Administracion de la Produccion Industrial
Ecuaciones de Chapman-Kolgomorov IIIPara n = 2, tenemos
p(2)ij =M
k=0
pikpkj , para todo estado i y j
Andres G. Abad, Ph.D. [email protected] Cadenas de Markov
FIMCP Ingeniera y Administracion de la Produccion Industrial
Ecuaciones de Chapman-Kolgomorov IV
Notemos que los elementos p(2)ij son los elementos de la matriz
P(2) = P P = P2
Por induccion se puede mostrar entonces que
P(n) = P P(n1) = P Pn1 = Pn
P(n) = P(n1) P = Pn1 P = Pn
Andres G. Abad, Ph.D. [email protected] Cadenas de Markov
FIMCP Ingeniera y Administracion de la Produccion Industrial
Ecuaciones de Chapman-Kolgomorov V
P(2) = P2 =
0.080 0.184 0.368 0.3680.632 0.368 0 00.264 0.368 0.368 00.080 0.184 0.368 0.368
0.080 0.184 0.368 0.3680.632 0.368 0 00.264 0.368 0.368 00.080 0.184 0.368 0.368
=
0.249 0.286 0.300 0.1650.283 0.252 0.233 0.2330.351 0.319 0.233 0.0970.249 0.286 0.300 0.165
Andres G. Abad, Ph.D. [email protected] Cadenas de Markov
FIMCP Ingeniera y Administracion de la Produccion Industrial
Ecuaciones de Chapman-Kolgomorov VI
P(4) = P4 =
0.249 0.286 0.300 0.1650.283 0.252 0.233 0.2330.351 0.319 0.233 0.0970.249 0.286 0.300 0.165
0.249 0.286 0.300 0.1650.283 0.252 0.233 0.2330.351 0.319 0.233 0.0970.249 0.286 0.300 0.165
=
0.289 0.286 0.261 0.1640.282 0.285 0.268 0.1660.284 0.283 0.263 0.1710.289 0.286 0.261 0.164
Andres G. Abad, Ph.D. [email protected] Cadenas de Markov
FIMCP Ingeniera y Administracion de la Produccion Industrial
Ecuaciones de Chapman-Kolgomorov VII
Probabilidades incondicionales de estadosLas probabilidades incondicionales de estados P{Xn = j} puedenser obtenidas utilizando las probabilidades del estado inicialP{X0 = i}, asi
P{Xn = j} =P{X0 = 0}p(n)0j + P{X0 = 1}p(n)1j + + P{X0 = M}p(n)Mj
=Mi=0
P{X0 = i}p(n)0i
Andres G. Abad, Ph.D. [email protected] Cadenas de Markov
FIMCP Ingeniera y Administracion de la Produccion Industrial
Ecuaciones de Chapman-Kolgomorov VIII
Ejemplo: InventarioDado que asumimos que inicialmente haban 3 camaras tenemos
P{X0 = 0} = P{X0 = 1} = P{X0 = 2} = 0 y P{X0 = 3} = 1
y por consiguiente tenemos que
P{X2 = 3} = (1)p(2)33 = 0.165
Andres G. Abad, Ph.D. [email protected] Cadenas de Markov
FIMCP Ingeniera y Administracion de la Produccion Industrial
Estados accesibles y comunicados I
Decimos que un estado j es accesible desde otro estado i (i j)si p(n)ij > 0 para algun n
I En general, una condicion suficiente para que todos losestados sean accesibles es que exista un valor n para el cualp(n)ij > 0, para todo i y j
Andres G. Abad, Ph.D. [email protected] Cadenas de Markov
FIMCP Ingeniera y Administracion de la Produccion Industrial
Estados accesibles y comunicados II
Si i j y j i , entonces decimos que los estados i y j secomunican (i j)
1. Cualquier estado se comunica consigo mismo (ya quep(0)ii = P{X0 = i|X0 = i}=1)
2. Si i j , entonces j i3. Si i j y el estado j k , entonces i k
Andres G. Abad, Ph.D. [email protected] Cadenas de Markov
FIMCP Ingeniera y Administracion de la Produccion Industrial
Estados accesibles y comunicados III
Por consiguiente, los estados pueden ser particionados en una omas clases separadas tal que aquellos estados que se comunicanentre ellos esten en una misma clase
I Una clase puede consistir en un solo estado
Si solo existe una clase, i.e. todos los estados se comunican,decimos que la cadena de Markov es irreducible
Andres G. Abad, Ph.D. [email protected] Cadenas de Markov
FIMCP Ingeniera y Administracion de la Produccion Industrial
Estados recurrentes y transitorios I
Decimos que un estado es transitorio si, despues de entrar alestado, es posible que el proceso no regrese a este estado
I Un estado i es transitorio si y solo si existe un estado j (i 6= j)accesible del estado i pero no viceversa (i.e. el estado i no esaccesible desde el estado j)
Como consecuencia, un estado transitorio solo sera visitado unnumero finito de veces
Andres G. Abad, Ph.D. [email protected] Cadenas de Markov
FIMCP Ingeniera y Administracion de la Produccion Industrial
Estados recurrentes y transitorios II
Decimos que un estado es recurrente si, despues de entrar alestado, el proceso definitivamente regresara a este estado
I Un estado es recurrente si y solo si no es transitorio
Dado que un estado recurrente sera definitivamente visitadodespues de cada visita, entonces sera visitado un numero infinitode veces si el proceso continua por siempre
Andres G. Abad, Ph.D. [email protected] Cadenas de Markov
FIMCP Ingeniera y Administracion de la Produccion Industrial
Estados recurrentes y transitorios III
La recurrencia es una propiedad de las clasesI Todos los estado pertenecientes a una clase son recurrentes
o transitorios
En una cadena de Markov con estados finitos, no todos losestados pueden ser transitoriosI Todos los estados en una cadena de Markov irreducible son
recurrentes
Uno puede identificar una cadena de Markov irreducible deestados finitos (y por consiguiente concluir que todos los estadosson recurrentes) mostrando que todos los estados del proceso secomunican
Andres G. Abad, Ph.D. [email protected] Cadenas de Markov
FIMCP Ingeniera y Administracion de la Produccion Industrial
Estados recurrentes y transitorios IV
Decimos que un estado es absorbente si, despues de entrar alestado, el proceso nunca deja este estado
I El estado i es absorbente si y solo si pii = 1
Andres G. Abad, Ph.D. [email protected] Cadenas de Markov
FIMCP Ingeniera y Administracion de la Produccion Industrial
Estados recurrentes y transitorios V
Ejemplo
P =
14
34 0 0 0
12
12 0 0 0
0 0 1 0 00 0 13
23 0
1 0 0 0 0
I El estado 0 y 1 son recurrentesI El estado 2 es absorbente (recurrente)I El estado 3 es transitorioI El estado 4 es transitorio
Andres G. Abad, Ph.D. [email protected] Cadenas de Markov
FIMCP Ingeniera y Administracion de la Produccion Industrial
Perioricidad de un estado I
Perioricidad de un estadoDefinimos el periodo de un estado i como el entero t (t 1) talque p(n)ii = 0 para todo n distinto a t , 2t , 3t , . . . y t es el entero masgrande con esta propiedad.
Considere el ejemplo del apostador
Andres G. Abad, Ph.D. [email protected] Cadenas de Markov
FIMCP Ingeniera y Administracion de la Produccion Industrial
Perioricidad de un estado II
Si existen dos numeros consecutivos s y s + 1 tal que p(s)ii > 0 y
p(s+1)ii > 0 decimos que el estado tiene periodo 1
I Es un estado aperiodico
Se puede demostrar que la perioricidad es una propiedad de lasclases
I Si un estado i que pertenece a una clase C tiene periodo d ,entonces el periodo de todos los estados en C es d
Andres G. Abad, Ph.D. [email protected] Cadenas de Markov
FIMCP Ingeniera y Administracion de la Produccion Industrial
Probabilidades de estado estable
En el ejemplo de inventario observamos que
P(8) = P8 = P(4) P(4) =
0.286 0.285 0.264 0.1660.286 0.285 0.264 0.1660.286 0.285 0.264 0.1660.286 0.285 0.264 0.166
Andres G. Abad, Ph.D. [email protected] Cadenas de Markov
FIMCP Ingeniera y Administracion de la Produccion Industrial
Probabilidades de estado estable - pij I
Una cadena es ergodica si es aperiodica, irreducible, y recurrente.Para cualquier cadena de Markov ergodica, lim
n p(n)ij existe y es
independiente de i . Mas aun:
limn p
(n)ij = pij > 0
Andres G. Abad, Ph.D. [email protected] Cadenas de Markov
FIMCP Ingeniera y Administracion de la Produccion Industrial
Probabilidades de estado estable - pij II
Aqu, pij satisface de manera unica las siguientes ecuaciones deestados estables
pij =Mi=0
piipij , para j = 0, 1, . . . ,M
Mj=0
pij = 1
Andres G. Abad, Ph.D. [email protected] Cadenas de Markov
FIMCP Ingeniera y Administracion de la Produccion Industrial
Probabilidades de estado estable - pij III
Notas:I Es importante notar que las probabilidades de estado estable
no implica que el proceso se queda estable en algun estadoI El proceso continua haciendo transiciones de un estado al otroI En cualquier estado n la probabilidad de ir de un estado i a un
estado j se mantiene como pij
Andres G. Abad, Ph.D. [email protected] Cadenas de Markov
FIMCP Ingeniera y Administracion de la Produccion Industrial
Obtencion de probabilidades pij I
Tenemos M + 2 ecuaciones en M + 1 variables.En el ejemplo de inventario tenemos
pi0 = pi0p00 + pi1p10 + pi2p20 + pi3p30pi1 = pi0p01 + pi1p11 + pi2p21 + pi3p31pi2 = pi0p02 + pi1p12 + pi2p22 + pi3p32pi3 = pi0p03 + pi1p13 + pi2p23 + pi3p331 = pi0 + pi1 + pi2 + pi3
Ipij = 1 es necesaria
Andres G. Abad, Ph.D. [email protected] Cadenas de Markov
FIMCP Ingeniera y Administracion de la Produccion Industrial
Obtencion de probabilidades pij II
Substituyendo los pij tenemos
pi0 = 0.080pi0 + 0.632pi1 + 0.264pi2 + 0.080pi3pi1 = 0.184pi0 + 0.368pi1 + 0.368pi2 + 0.184pi3pi2 = 0.368pi0 + 0.368pi2 + 0.368pi3pi3 = 0.368pi0 + 0.368pi31 = pi0 + pi1 + pi2 + pi3
Andres G. Abad, Ph.D. [email protected] Cadenas de Markov
FIMCP Ingeniera y Administracion de la Produccion Industrial
Obtencion de probabilidades pij III
Lo que nos da
pi0 = 0.286 pi1 = 0.285 pi2 = 0.263 pi3 = 0.166
Andres G. Abad, Ph.D. [email protected] Cadenas de Markov
FIMCP Ingeniera y Administracion de la Produccion Industrial
Resultados adicionales de probabilidades de largo plazo
I Si i y j son dos estados recurrentes correspondientes aclases distintas, entonces
p(n)ij = 0, para todo n
I Si j es un estado transitorio, entonces
limn p
(n)ij = 0, para todo i
Andres G. Abad, Ph.D. [email protected] Cadenas de Markov
FIMCP Ingeniera y Administracion de la Produccion Industrial
Probabilidad de los tiempos de la primera pasada I
Muchas veces es de interes hacer una afirmacion probabilsticasobre el numero de transiciones que le toma a un proceso en ir delestado i al estado j por primera vez
I A este numero de transiciones llamaremos tiempo de laprimera pasada
Andres G. Abad, Ph.D. [email protected] Cadenas de Markov
FIMCP Ingeniera y Administracion de la Produccion Industrial
Probabilidad de los tiempos de la primera pasada II
Supongamos en el ejemplo de inventario que observamos lasiguiente realizacion de la cadena de Markov {Xt}
X0 = 3,X1 = 2,X2 = 1,X3 = 0,X4 = 3,X5 = 1
I El tiempo de la primera pasada del estado 3 al estado 1 son 2semanas
I El tiempo de la primera pasada del estado 3 al estado 0 son 3semanas
Andres G. Abad, Ph.D. [email protected] Cadenas de Markov
FIMCP Ingeniera y Administracion de la Produccion Industrial
Probabilidad de los tiempos de la primera pasada III
Hagamos que f (n)ij denote la probabilidad de que el tiempo de laprimera pasada del estado i al estado j sea igual a nLas siguientes relaciones recursivas son satisfechas:
f (1)ij =p(1)ij = pij ,
f (2)ij =k 6=j
pik f(1)kj ,
f (n)ij =k 6=j
pik f(n1)kj
Andres G. Abad, Ph.D. [email protected] Cadenas de Markov
FIMCP Ingeniera y Administracion de la Produccion Industrial
Probabilidad de los tiempos de la primera pasada IV
En el ejemplo del inventario tenemos:
f (1)30 = p30 = 0.080
f (2)30 =k 6=j
p3k f(1)k0 = p31f
(1)10 + p32f
(1)20 + p33f
(1)30
= 0.184(0.632) + 0.368(0.264) + 0.368(0.080) = 0.243
Andres G. Abad, Ph.D. [email protected] Cadenas de Markov
FIMCP Ingeniera y Administracion de la Produccion Industrial
Probabilidad de los tiempos de la primera pasada V
Notemos que para valores fijos de i y j , los valores f (n)ij son valoresno negativos tales que
n=1
f (n)ij 1
ya que un sistema en un estado inicial i puede que nunca llegue aun estado jSolo cuando
n=1 f
(n)ij = 1 podemos considerar a los valores f
(n)ij
como la distribucion de probabilidad de los tiempos de llegada
Andres G. Abad, Ph.D. [email protected] Cadenas de Markov
FIMCP Ingeniera y Administracion de la Produccion Industrial
Valor esperado de los tiempos de la primera pasada I
Aun cuando puede ser tedioso encontrar los valores de f (n)ij ,encontrar los valores esperados de los tiempos de la primerapasada (denotados por ij ) es relativamente simple
ij =
{, si n=1 f (n)ij < 1
n=1 nf(n)ij , si
n=1 f
(n)ij = 1
Andres G. Abad, Ph.D. [email protected] Cadenas de Markov
FIMCP Ingeniera y Administracion de la Produccion Industrial
Valor esperado de los tiempos de la primera pasada II
Si
n=1
f (n)ij = 1
entonces ij satisfacera de manera unica la ecuacion
ij = 1 +k 6=j
pikkj
Andres G. Abad, Ph.D. [email protected] Cadenas de Markov
FIMCP Ingeniera y Administracion de la Produccion Industrial
Valor esperado de los tiempos de la primera pasada III
En el ejemplo del inventario, tenemos las siguientes ecuaciones:
30 =1 + p3110 + p3220 + p333020 =1 + p2110 + p2220 + p233010 =1 + p1110 + p1220 + p1330
Andres G. Abad, Ph.D. [email protected] Cadenas de Markov
FIMCP Ingeniera y Administracion de la Produccion Industrial
Valor esperado de los tiempos de la primera pasada IV
Remplazando valores tenemos
30 =1 + 0.18410 + 0.36820 + 0.3683020 =1 + 0.36810 + 0.3682010 =1 + 0.36810
Andres G. Abad, Ph.D. [email protected] Cadenas de Markov
FIMCP Ingeniera y Administracion de la Produccion Industrial
Valor esperado de los tiempos de la primera pasada V
Resolviendo el sistema tenemos
30 =3.50 semanas
20 =2.51 semanas
10 =1.58 semanas
Andres G. Abad, Ph.D. [email protected] Cadenas de Markov
FIMCP Ingeniera y Administracion de la Produccion Industrial
Valor esperado de los tiempos de la primera pasada VI
Para el caso de i = j , el valor esperado ii (el tiempo esperadopara regresar a un estado i por primera vez) es obtenido como
ii =1pii
donde pii es la probabilidad de estado estableAs en el ejemplo del inventario tenemos
00 =1pi0
= 3.5 semanas 11 =1pi1
= 3.51 semanas
22 =1pi2
= 3.8 semanas 33 =1pi3
= 6.02 semanas
Andres G. Abad, Ph.D. [email protected] Cadenas de Markov
FIMCP Ingeniera y Administracion de la Produccion Industrial
Estados absorbentes I
Un estado k es absorbente si pkk = 1Si el proceso se encuentra en un estado i , la probabilidad de serabsorbido por el estado k es llamada probabilidad de absorcionpor el estado k
I Denotada por fik
Andres G. Abad, Ph.D. [email protected] Cadenas de Markov
FIMCP Ingeniera y Administracion de la Produccion Industrial
Estados absorbentes II
Las probabilidades de absorcion satisfacen las siguientesecuaciones
fik =Mj=0
pij fjk , para i = 0, 1, . . . ,M
sujeto a:
fkk = 1
fik = 0, si el estado i es recurrente y i 6= k
Andres G. Abad, Ph.D. [email protected] Cadenas de Markov
FIMCP Ingeniera y Administracion de la Produccion Industrial
Ejemplo I
Considere la siguiente matriz de transicion
P =
1 0 0 0
0.7 0.2 0.1 00.5 0.1 0.2 0.20 0 0 1
f13 =p10f03 + p11f13 + p12f23 + p13f33f23 =p20f03 + p21f13 + p22f23 + p23f33
Andres G. Abad, Ph.D. [email protected] Cadenas de Markov
FIMCP Ingeniera y Administracion de la Produccion Industrial
Ejemplo II
Ya que f03 = 0 y f33 = 1, tenemos
(1 p11)f13 =p12f23 + p13(1 p22)f23 =p21f13 + p23
Reemplazando los valores de pij y resolviendo el sistemaobtenemos
f13 = 0.032 y f23 = 0.254
Andres G. Abad, Ph.D. [email protected] Cadenas de Markov
FIMCPIngeniera y Administracin de la Produccin Industrial