Upload
kemper-rivera
View
14.324
Download
6
Tags:
Embed Size (px)
Citation preview
4. Cadenas de Markov
Instituto Tecnológico de Puebla
INVESTIGACIÓN DE OPERACIONES IIEquipo 5:
Mayra Priscila Fernanda Escalona ContrerasIvannia
Alejandra Méndez MéndezJesús Antonio Rivera Sánchez
UlisesJuan Carlos Marín Rosas
ÍNDICE
4.1 Introducción.
4.2 Formulación de las cadenas de Markov.
4.3 Procesos estocásticos.
4.4 Propiedad Markoviana de primer orden.
4.5 Probabilidad de transición estacionarias de un solo paso.
4.6 Probabilidad de transición estacionarias de “n” pasos.
4.7 Estados absorbentes.
4.8 Probabilidad de transición estacionarias de estados estables.
Tiempos de primer paso.
4.1 INTRODUCCIÓN
“Cuando, conociendo el pasado
y el presente, el comportamiento
probabilístico del futuro inmediato sólo depende del estado
presente”
Matemáticas aplicadas a la administración y a la economía/PEARSON/Arya y Lardner
Un proceso o sucesión de eventos que se desarrolla en el tiempo en el cual el resultado en cualquier etapa contiene algún elemento que depende del azar se denomina proceso aleatorio o proceso estocástico. Por ejemplo, la sucesión podría ser las condiciones del tiempo en una serie de días consecutivos: el tiempo cambia día a día de una manera que en apariencia es algo aleatoria.
Un ejemplo simple de un proceso estocástico es una sucesión de ensayos de Bernoulli, por ejemplo, una sucesión de lanzamientos de una moneda. En este caso, el resultado en cualquier etapa es independiente de todos los resultados previos.
Sin embargo, en la mayoría de los procesos estocásticos, cada resultado depende de lo que sucedió en etapas anteriores del proceso. Por ejemplo, el tiempo en un día determinado no es aleatorio por completo sino que es afectado en cierto grado por el tiempo de días previos.
Matemáticas aplicadas a la administración y a la economía/PEARSON/Arya y Lardner
El caso más simple de un proceso estocástico en que los resultados dependen de otros, ocurre cuando el resultado en cada etapa sólo depende del resultado de la etapa anterior y no de cualquiera de los resultados previos.
Tal proceso se denomina proceso de Markov o cadena de Markov (una cadena de eventos, cada evento ligado al precedente). Estas cadenas reciben su nombre del matemático ruso Andrei Andreevitch Markov (1856-1922) que desarrollo el método en 1907.
Como mencionamos antes, estas cadenas tiene memoria, recuerdan el último evento y eso condiciona las posibilidades de los eventos futuros. Esto justamente las distingue de una serie de eventos independientes como el hecho de tirar una moneda. Este tipo de proceso presenta una forma de dependencia simple, pero muy útil en muchos modelos, entre las variables aleatorias que forman un proceso estocástico.
Cadena de Márkov
• Proceso estocástico discreto en el que la probabilidad de que ocurra un evento depende del evento inmediatamente anterior.
• Una cadena de Márkov es una secuencia X1, X2, X3,... de variables aleatorias.
• El rango de estas variables, es llamado espacio estado, el valor de Xn es el estado del proceso en el tiempo n. Si la distribución de probabilidad condicional de Xn+1 en estados pasados es una función de Xn por sí sola, entonces:
• Donde xi es el estado del proceso en el instante i. La identidad mostrada es la Propiedad de Márkov.
Cadenas irreducibles
• Una cadena de Markov se dice irreducible si se cumple cualquiera de las siguientes condiciones (equivalentes entre sí):
• 1. Desde cualquier estado de E se puede acceder a cualquier otro.
• 2. Todos los estados se comunican entre sí.• 3. C(x)=E para algún x∈E.• 4. C(x)=E para todo x∈E.• 5. El único conjunto cerrado es el total.
Cadenas positivo-recurrentes
• Una cadena de Markov se dice positivo-recurrente si todos sus estados son positivo-recurrentes. Si la cadena es además irreducible es posible demostrar que existe un único vector de probabilidad invariante y está dado por:
Cadenas regulares
• Se dice regular (también primitiva o ergódica) si existe alguna potencia positiva de la matriz de transición cuyas entradas sean todas estrictamente mayores que cero.
• Cuando el espacio de estados E es finito, si P denota la matriz de transición de la cadena se tiene que:
donde W es una matriz con todos sus renglones iguales a un mismo vector de probabilidad w, que resulta ser el vector de probabilidad invariante de la cadena.
Cadenas absorbentes
• Una cadena de Markov con espacio de estados finito se dice absorbente si se cumplen las dos condiciones siguientes:
• 1. La cadena tiene al menos un estado absorbente.
• 2. De cualquier estado no absorbente se accede a algún estado absorbente.
• Si denotamos como A al conjunto de todos los estados absorbentes y a su complemento como D, tenemos los siguientes resultados:
• Su matriz de transición siempre se puede llevar a una de la forma
donde la submatriz Q corresponde a los estados del conjunto D, I es la matriz identidad, 0 es la matriz nula y R alguna submatriz.
• esto es, no importa en donde se encuentre la
cadena, eventualmente terminará en un estado absorbente.
Cadenas de Markov en tiempo continuo
• Si en lugar de considerar una secuencia discreta X1, X2,..., Xi,.. con i indexado en el conjunto de números naturales, se consideran las variables aleatorias Xt con t que varía en un intervalo continuo del conjunto de números reales, tendremos una cadena en tiempo continuo. Para este tipo de cadenas en tiempo continuo la propiedad de Márkov se expresa de la siguiente manera:
•
• tal que
Ejemplo: la ruina del jugador
En el tiempo 0, tengo $2. en los tiempos 1,2 … n participo en un juego en el que apuesto $1. con la probabilidad P, gano el juego, y con probabilidad 1-P, pierdo el juego. Mi objetivo es incrementar mi capital a $4, y cuando lo logre se termina el juego. El juego también se termina si mi capital se reduce a $0.
1.-Encuentre la matriz de transición.
2.-Desarolle el diagrama de transición.
Algunas veces nos encontramos interesados en cómo cambia una variable aleatoria con el tiempo. Por ejemplo, es posible que se desee
saber cómo evoluciona el precio de una parte de las acciones o la participación en el mercado de una empresa. El estudio de cómo una variable aleatoria cambia a través del tiempo incluyen los procesos
estocásticos.
¿Qué es un proceso estocástico?
Suponga que se observan algunas características de un sistema en puntos discretos en el tiempo (identificados con 0,1,2,….). Sea Xt el valor de la característica del sistema en el tiempo t. En la mayoría de las situaciones, Xt NO SE CONOCE CON CERTEZA ANTES DEL TIEMPO t y se podría considerar como una variable aleatoria.
Un proceso estocástico discreto en el tiempo es simplemente una descripción de la relación entre las variables aleatorias X0, X1, X2….
• Se dispone de 4 módulos de atención que se van activando secuencialmente a medida que la cantidad de usuarios que deben ser atendidos aumenta.
• Cada módulo tiene un máximo de usuarios a los que puede entregar servicio.
• Cuando un módulo está completamente utilizado, entra en servicio el siguiente módulo.
• Si un módulo deja de ser utilizado, el módulo se desactiva temporalmente, quedando en servicio los módulos anteriores.
Central Telefónica
1 2 3 4
• La definición de estados para el ejemplo será:
– Estado 1: El módulo 1 está siendo utilizado.
– Estado 2: El módulo 2 está siendo utilizado.
– Estado 3: El módulo 3 está siendo utilizado.
– Estado 4: El módulo 4 está siendo utilizado.
Central Telefónica
1 2 3 4
• Si consideramos los siguientes porcentajes, para pasar de curso, repetir o retirarse en cada año:
Repetir 1º año: 2%
Pasar a 2º año: 97%
Retirarse al final del 1º año: 1%
Repetir 1º año: 2%
Pasar a 2º año: 97%
Retirarse al final del 1º año: 1%
Repetir 3º año: 4%
Pasar a 4º año: 92%
Retirarse al final del 3º año: 2%
Repetir 2º año: 3%
Pasar a 3º año: 95%
Retirarse al final del 2º año: 2%
Repetir 4º año: 1%
Egresar: 96%
Retirarse al final del 4º año: 3%
• Definición de estados:– Estado 1: Estar en primer año.– Estado 2: Estar en segundo año.– Estado 3: Estar en tercer año.– Estado 4: Estar en cuarto año.– Estado 5: Egresar del establecimiento.– Estado 6: Retirarse del establecimiento.
• La representación gráfica de los estados definidos es:
1 2 3 4 5 6
El clima de Centerville puede cambiar con rapidez de un día a otros. Sin embrago, las posibilidades de tener clima seco (sin lluvia) mañana es de alguna forma mayor si hoy esta seco, es decir, no llueve. Esta probabilidades no cambian si se considera la información acerca del clima en los días anteriores a hoy.
La evolución del clima día tras día en Centerville es un proceso estocástico. Si se comienza en alguna día inicial (etiquetado como el día 0), el clima se observa cada día t puede ser:
Estado 0= El día es seco
O bien Estado 1= El día t es lluvioso
Así, para = 0, 1, 2, …, la variable aleatoria Xt
Toma los valores ,
0 sí día t es seco
Xt
1 sí día t es lluvioso
El proceso estocástico {Xt}= {X0, X1, X2….} proporciona una representación matemática de la forma como evaluación el clima de Centerville a través del tiempo.
PROPIEDAD DE MARKOV
• Nos dice que el futuro depende únicamente del valor del estado del presente y es independiente del pasado.
• Como son probabilidades condicionales deben satisfacer:
• Y
• Donde M es el numero finito asociado a los diferentes estados por donde puede pasar el proceso
Una matriz de transición P se dice que es regular si para algún entero positivo k, la matriz k P no tiene elementos iguales a cero. Si P es una matriz de transición regular, entonces sin importar la matriz de estado inicial, las matrices de estado sucesivas se aproximan a alguna matriz de estado fija B en donde B.P = B. La matriz B se denomina matriz estacionaria del sistema.
Por definición, la suma de las probabilidades p1+ p2 =1 y además B.P = B, o sea:
De allí, resolviendo el sistema que queda planteado podemos calcular la matriz
estacionaria buscada.
Ejemplo: Suponga que toda la industria de bebidas de cola produce solo 2. Dado que una persona la ultima vez compro cola 1, hay 67% de probabilidades de que su siguiente compra se cola 1. Dado que la ultima compra de una persona fue cola 2, hay un 33% de probabilidad de que su siguiente compra se cola 2.
Si una persona en la actualidad es comprador de cola 2, ¿cual es la probabilidad de que compre cola 1 dos
veces a partir de ahora?
Solución: vemos las compras de cada persona como una cadena de Markov con el estado, en cualquier tiempo dado, el tipo de cola que compro la persona en la ultima vez. Así, la compras de cada individuo puede representarse como una cadena de Markov
donde.
Estado 1 = la persona compro cola del tipo 1 la ultima vezEstado 2= la persona compro cola del tipo 2 la ultima vez
Si se define xn como el tipo de cola que una persona compra en su n-ésima compra futura (compra actual de cola = x0) ,
entonces x0 ,x1... se podría describir como la cadena de Markov con la siguiente matriz de transición:
Respondiendo a la pregunta se tiene una probabilidad del 67% de que el comprador de cola dos compre cola 1 dos veces a partir de ahora.
Suponga que se está estudiando una cadena de Markov con una matriz de probabilidad de transición conocida P. (puesto que las cadenas con las que se tratará son estacionarias, no nos molestaremos en marcar nuestras cadenas de Markov como estacionarias). Una pregunta de interés es:
Si una cadena de Markov está en el estado i en el tiempo m, ¿cuál es la probabilidad de que n periodos después la cadena esté en el estado j? Puesto que se trata con una cadena de Markov estacionaria, esta probabilidad es independiente de m, así que se podría escribir
donde se llama probabilidad del n-ésimo paso de una transición del estado i al estado j.
Resulta claro que = Pu: Para determinar , observe que si el sistema ahora está en el estado i, entonces para que el sistema termine en el estado j dos periodos a partir de ahora, se debe ir del estado i a algún estado k y luego del estado k al estado j (véase la figura 3). Este razonamiento nos permite escribir
0( | ) ( | ) ( )n m m n ijP X j X i P X j X i P n
( )ijP n
(1)ijP (2)ijP
Usando la definición de P, la matriz de probabilidad de transición, se reescribe la última ecuación como
…………(3)
El lado derecho de (3) es sólo el producto escalar del renglón i de la matriz P con la columna J de la matriz P. Por consiguiente, es el ij-ésimo elemento de la matriz . Al
ampliar este razonamiento, se puede demostrar que para
n > 1,
1
(2)k s
ijk
P PikPjk
1
(2) probabilidad de transici n de i a k X probabilidad de transicion de k a jk s
ijk
P ó
(2)ijP 2P
……..(4)Por supuesto, para n = O, , así que se debe escribir
Se ilustra
el uso de la
ecuación (4)
en el ejemplo 4.
( ) emesimo elemento de P nijP n ij 0 0(0) ( | )ijP P X j X i
l si j = i.0 si j i
(0)ijP
Suponga que toda la industria de bebidas produce solo 2 refrescos. Dado que una persona la ultima vez compro refresco 1, hay 90% de probabilidades de que su siguiente compra sea refresco 1. dado que la ultima compra de una persona fue refresco 2, hay un 80% de probabilidades de que su siguiente compra se refresco 2.
•1 Si una persona en la actualidad es comprador de cola 2, ¿cuál es la probabilidad de que compre cola 1 dos veces a partir de ahora?
EJEMPLO DE BEBIDA
• 2 Si una persona en la actualidad es comprador de cola 1, ¿cuál es la probabilidad de que compre cola 1 tres ocasiones a partir de ahora?
SOLUCION:
Vemos las compras de cada persona como una cadena de Markov con el estado, en cualquier tiempo dado, del tipo de cola que compró la persona en la última vez. Así, las compras de cada individuo pueden representarse como una cadena de Markov de dos estados, donde;
• Estado l = La persona compró cola del tipo 1 la última vez.
• Estado 2 = La persona compró cola del tipo 2 la última vez.
Si se define Xn como el tipo de cola que una persona compra en su n-ésima compra futura (compra actual de cola = Xo), entonces X0, X1,… se podría describir como la cadena de Markov con la siguiente matriz de transición:
21
80.20.
10.90.
2
1RR
R
RP
Ahora se pueden contestar las preguntas 1 y 2.
Se busca P(X2 = 1|X0 = 2) = p21(2) = elemento 2,1 de P 2:
•Por consiguiente, P21(2) = .34. Esto significa que la probabilidad de que un bebedor de cola 2 en el futuro compre dos veces cola l es .34. Mediante la teoría de probabilidad básica, se podría obtener esta respuesta de una manera distinta (véase la figura 4).
66.34.
17.83.
80.20.
10.90.
80.20.
10.90.2P
• Observe que P21 (2) = (probabilidad de que la siguiente compra sea cola 1 y la segunda compra sea cola 1) + (probabilidad de que la siguiente compra sea cola 2 y la segunda compra sea cola
1) = P21P11 + P22P21= (.20)(.90) + (.80)(.20) = .34.
2 Se busca P11(3) = elemento 11 de P 3 :
562.438.
219.781.
66.34.
17.83.
80.20.
10.90.)( 23 PPP
Ahora analizaremos el concepto importante de probabilidades de estado estable, que se puede usar para describir el comportamiento a largo plazo de una cadena de Markov.
El resultado es vital para comprender las probabilidades de estado estable y el comportamiento a largo plazo de las cadenas de Markov.
PROBABILIDADES DE ESTADOS ESTABLES
Sea P la matriz de transición de una cadena ergódica de estado estable. Entonces existe un vector π = [π1 π2 … πs] tal que:
• El vector π = [π1 π2 … πs] se llama distribución de estado estable, o distribución de equilibrio, para la cadena de Marcos. Para una cadena determinada con matriz de transición P, ¿cómo se puede hallar la distribución de probabilidades de estado estable? A Partir del teorema 1, se observa que y toda i
( 1) ( )ij ij jP n P n
π (m + n) = π(n) [P]m Lo cual define una relación de
recurrencia, la cual permite conocer la evolución del vector de
probabilidad de estado en el instante m, conociendo el vector
de probabilidad inicial, hacienda n = 0
A medida que aumenta el número de instantes m, las
matrices convergen a un valor estable, independiente del
vector de probabilidad inicial. Por lo tanto, cuando el sistema
llega a un estado j, la probabilidad en estado estable llegara
ser:
Entonces la ecuación quedaría de la siguiente manera.
Ya que con la ecuación anterior se tendrían un número infinito de soluciones debido a que el rango de la matriz P siempre resulta ser menor o igual a s - 1. Para obtener valores únicos de las probabilidades de estado, observe que para cualquier n y cualquier i
limm
j ijm
P
P
Para ejemplificar estas probabilidades utilizaremos el ejemplo anterior de los refrescos donde P:
1 2( ) ( ) ... ( ) 1i i isP n P n P n
1jj
Refresco 1 refresco 2
P = refresco 1 0.9 0.1
refresco 2 0.2 0.8
π1 π2 = π1 π20.9 0.1
0.2 0.8
Ejemplo:
Se considera una señal con amplitud entre −2A y 2A, el cual
solo puede tomar valores múltiplos de A. En cualquier instante
n, la señal puede, ya sea quedarse en el mismo valor,
aumentar A o disminuir A. Al asumir que los cambios tienen
igual probabilidad, determine:
1. La matriz de transición de estados.
2. La probabilidad de que en el segundo instante, la señal pase el
estado −A al estado A.
3. La probabilidad de estado de la señal en estado estable.
El diagrama de transición de estados que se ilustra en la
siguiente figura, determina el proceso de Markov donde:
Luego, la matriz de transición de estados es igual a:
Luego P−A,A = 1/9 = 0.111. Nótese que dicha probabilidad puede hallarse usando la matriz de transición de estado inicial P−A,A = P−A,0P0,A = 1/3*1/3 = 0.111. En estado estable se debe satisfacer el sistema de ecuaciones, dado por 2.26, y eliminando el término π5:
Suponga que cada cliente realiza una compra de refresco durante
cualquier semana. Suponiendo que hay 100 mil clientes que
consumen refresco. A la compañía le cuesta 1 dólar producir un
refresco y lo vende en 2 dólares. Por $500 mil al año, una empresa
publicitaria garantiza disminuir de 10 a 5% la fracción de clientes de
refresco 1que cambian a refresco 2 después de una compra. ¿Debe
la compañía que fabrica refresco 1 contratar a la empresa
publicitaria?
En la actualidad, una fraccion π1 = 2/3 de las compras de
refresco 1. Cada compra de refresco 1produce a la compañia
una gananci de 1 dolar. Puesto que hay un total 52(100 000),
compras de refresco al año, ganancia de la compañoa que
produce refresco 1 es:
•2/3(5 200 000) = $3466666
La compañía publicitaria esta ofreciendo cambiar la matriz P a Refresco 1 refresco 2
P = refresco 1 0.95 0.05
refresco 2 0.2 0.8
Para P, las ecuaciones de estado estable son
Π1 = .95π1 + .20π2Π2 = .05π1 + .80π2
Sustituyendo la ecuación por π1 + π2 = 1 y resolviendo, se obtiene π1 = .80 y π2 = .20. Ahora la ganancia anual de la compañia que produce refresco 1 será
.80 (5 200 000) – 500 000 = $3660000
•Por lo tanto, la compañía que produce refresco 1 debe contratar a la agencia de publicidad.
Cadenas absorbentes
• Muchas aplicaciones interesantes de las cadenas de markov tienen que ver con cadenas en las que algunos de los estados son absorbentes y el resto son estados transitorios. Este tipo de cadena se llama cadena absorbente. Considere una cadena de markov absorbente; si se comienza en un estado transitorio, entonces finalmente se esta seguro de salir del estado transitorio y terminar en uno de los estados absorbentes
• Muchas aplicaciones interesantes de las cadenas de markov tienen que ver con cadenas en las que algunos de los estados son absorbentes y el resto son estados transitorios. Este tipo de cadena se llama cadena absorbente. Considere una cadena de markov absorbente; si se comienza en un estado transitorio, entonces finalmente se esta seguro de salir del estado transitorio y terminar en uno de los estados absorbentes
Cadenas absorbentes
• En este formato, los renglones y las columnas de P corresponden (en orden) a los estados
• Aquí I es una matriz identidad de m x m que refleja el hecho de que nunca se puede dejar un estado absorbente: Q es una matriz de (s – m) x (s – m) que representa estados transitorios; R es una matriz de (s – m) x m que representa transiciones a estados absorbentes; 0 es una matriz de m x (s – m) que consiste por completo en ceros. Esto refleja el echo de que es imposible ir de un estado absorbente a un
transitorio.
Ejemplo planificación de fuerza de trabajo
• El bufete jurídico de Mason y Burger emplea tres tipos de abogados: principiantes, experimentados y asociados. Durante un año determinado, hay una probabilidad .15 de que un abogado principiante sea promovido a experimentado y una probabilidad .05 de que salga de la empresa. También, hay una probabilidad .20 de que el abogado experimentado sea promovido asocio y una probabilidad .10 de que salga de la empresa. La probabilidad de que un asociado salga de la empresa es de .05
• 1 ¿Cuál es el tiempo promedio que un abogado principiante recién contratado dure trabajando en la empresa ?
• 2 ¿Cuál es la probabilidad de que un abogado principiante se convierta en asociado ?
• 3 ¿Cuál es el tiempo promedio que un asociado pasa en la empresa ?
Matriz de probabilidades de transición.
principianteexperimentad
o asociado sale como no
asociadosale como
asociado
principiante 0.8 0.15 0 0.05 0
experimentado 0 0.7 0.2 0.1 0
asociado 0 0 0.95 0 0.05
sale como no asociado 0 0 0 1 0
sale como asociado 0 0 0 0 1
Entonces s=5, m=2
Solución
0.8 0.15 0Q= 0 0.7 0.2
0 0 0.95
0.05 0R= 0.1 c0
0 0.05
Entonces:
0.2 -0.15 0I -Q = 0 0.3 -0.2
0 0 0.05
Por lo tanto:
3x3
3x2
Solución
a1 a2t1 0.5 0.5
(I-Q)^-1 R= t2 0.33 0.66t3 0 1
Por lo tanto:
5 2.5 10(I-Q)^-1 = 0 3.33 13.33
0 0 20
Esta matriz tiene por nombre matriz fundamental de la cadena de markov.
Ejemplo : cuentas por cobrar
• Suponga que una empresa asume que una cuenta es incobrable si se tiene mas de tres meses de atraso. Entonces al comienza de cada mes, cada cuenta se puede clasificar en uno de los siguientes estados:
• Estado 1 Cuentas nuevas.
• Estado 2 El pago de la cuenta tiene un mes de atraso.
• Estado 3 El pago de la cuenta tiene dos meses de atraso.
• Estado 4 El pago de la cuenta tiene tres meses de atraso.
• Estado 5 La cuenta ha sido pagada.
• Estado 6 La deuda se borra como deuda incobrable.
Los datos se muestran en la siguiente cadena de markov
• ¿ cual es la probabilidad de que finalmente se cobre una cuenta nueva?
• ¿Cuál es la probabilidad de una cuenta de un mes de retraso en algún momento sea una deuda incobrable?
nueva 1 mes 2 meses 3 meses pagada incobrable
nueva 0 0.6 0 0 0.4 0
1 mes 0 0 0.5 0 0.5 0
2 meses 0 0 0 0.4 0.6 0
3 meses 0 0 0 0 0.7 0.3
pagada 0 0 0 0 1 0
deuda incobrable 0 0 0 0 0 1
Matriz de probabilidad de transición
Entonces s=6, m=2
Solución 1 -0.6 0 00 1 -0.5 0
I - Q = 0 0 1 -0.40 0 0 1
t1 t2 t3 t4t1 1 0.6 0.3 0.12
(I - Q)^-1= t2 0 1 0.5 0.2t3 0 0 1 0.4t4 0 0 0 1
Se encuentra que ;
a1 a2t1 0.964 0.036
(I - Q)^-1 R = t2 0.94 0.06t3 0.88 0.12t4 0.7 0.3
Para las preguntas 1 y 3 es necesario calcular;
Interpretación
• 1.- Así finalmente de que se cobre una cuenta nueva es de = .964 el 96%.
• 2.- por consiguiente, la probabilidad de una cuenta con un mes de retraso se convierta en una deuda incobrable es de = .06
• Ahora analizaremos el concepto importante de probabilidades de estado estable, que se puede usar para describir el comportamiento a largo plazo de una cadena de Markov.
• El resultado es vital para comprender las probabilidades de estado estable y el comportamiento a largo plazo de las cadenas de Markov.
PROBABILIDADES DE ESTADOS ESTABLES
• Sea P la matriz de transición de una cadena ergódica de estado estable. Entonces existe un vector π = [π1 π2 … πs] tal que
• El vector π = [π1 π2 … πs] se llama distribución de estado estable, o distribución de equilibrio, para la cadena de Marcos. Para una cadena determinada con matriz de transición P, ¿cómo se puede hallar la distribución de probabilidades de estado estable? A Partir del teorema 1, se observa que y toda i
• π (m + n) = π(n) [P]m Lo cual define una
relación de recurrencia, la cual permite
conocer la evolución del vector de
probabilidad de estado en el instante m,
conociendo el vector de probabilidad inicial,
hacienda n = 0
• A medida que aumenta el número de instantes m,
las matrices convergen a un valor estable,
independiente del vector de probabilidad inicial.
Por lo tanto, cuando el sistema llega a un estado j,
la probabilidad en estado estable llegara ser:
• Entonces la ecuación quedaría de la siguiente manera.
Ya que con la ecuación anterior se tendrían un número
infinito de soluciones debido a que el rango de la matriz P
siempre resulta ser menor o igual a s - 1. Para obtener
valores únicos de las probabilidades de estado, observe
que para cualquier n y cualquier i
• Para ejemplificar estas probabilidades utilizaremos el ejemplo anterior de los refrescos donde P:
Refresco 1 refresco 2
P = refresco 1 0.9 0.1
refresco 2 0.2 0.8
π1 π2 = π1 π20.9 0.1
0.2 0.8
• Ejemplo 2.7 Se considera una señal con
amplitud entre −2A y 2A, el cual solo
puede tomar valores múltiplos de A. En
cualquier instante n, la señal puede, ya
sea quedarse en el mismo valor, aumentar
A o disminuir A. Al asumir que los cambios
tienen igual probabilidad, determine:
• La matriz de transición de estados.
• La probabilidad de que en el segundo
instante, la señal pase el estado −A al
estado A.
• La probabilidad de estado de la señal en
estado estable.
El diagrama de transición de estados que se ilustra en
la siguiente figura, determina el proceso de Markov
donde:
• Luego P−A,A = 1/9 = 0.111. Nótese que dicha probabilidad puede hallarse usando la matriz de transición de estado inicial P−A,A = P−A,0P0,A = 1/3*1/3 = 0.111. En estado estable se debe satisfacer el sistema de ecuaciones, dado por 2.26, y eliminando el término π5:
• Suponga que cada cliente realiza una compra de refresco
durante cualquier semana. Suponiendo que hay 100 mil
clientes que consumen refresco. A la compañía le cuesta 1
dólar producir un refresco y lo vende en 2 dólares. Por $500
mil al año, una empresa publicitaria garantiza disminuir de 10
a 5% la fracción de clientes de refresco 1que cambian a
refresco 2 después de una compra. ¿Debe la compañía que
fabrica refresco 1 contratar a la empresa publicitaria?
• En la actualidad, una fraccion π1 = 2/3 de las
compras de refresco 1. Cada compra de refresco
1produce a la compañia una gananci de 1 dolar.
Puesto que hay un total 52(100 000), compras de
refresco al año, ganancia de la compañoa que
produce refresco 1 es:
• 2/3(5 200 000) = $3466666
• La compañía publicitaria esta ofreciendo cambiar la matriz P a
Refresco 1 refresco 2
P = refresco 1 0.95 0.05
refresco 2 0.2 0.8Para P, las ecuaciones de estado estable son
Π1 = .95π1 + .20π2Π2 = .05π1 + .80π2