UNIVERSIDAD DE TARAPAC ARICA CHILE

rea de Ingeniera en Computacin e Informtica

CADENAS DE MARKOV DISCRETAS

INTEGRANTES

: JONATHAN CEA ALVARO ARAYA GONZALO PIONES HECTOR CONTRERAS : MODELACION S.C.

ASIGNATURA

INDICE

II.-INTRODUCCION . ......................................................................................... 3 II.-EXPLICACION ................................................................................................. 3 Conceptos Bsicos .......................................................................................... 4 III.-EJEMPLOS ...................................................................................................... 7 IV.-CONCLUSION ..............................................................................................16 IV.-ANEXO ............................................................................................................17

II.-INTRODUCCIONLas cadenas de Markov comprenden un captulo particularmente importante de ciertos fenmenos aleatorios que afectan a sistemas de naturaleza dinmica y que se denominan procesos estocsticos. Deben su nombre a Andri Andryevich Markov, matemtico ruso que postul el principio de que existen ciertos procesos cuyo estado futuro solo depende de su estado presente y es independiente de sus estados pasados. Dichos procesos, denominados proceso de Markov, as como un subconjunto de ellos llamados cadenas de Markov, constituyen una herramienta matemtica muy general y poderosa para el anlisis y tratamiento de un sinnmero de problemas de caracterstica aleatoria en campos de muy diversa ndole, como ser la fsica, la Ingeniera y La Economa por citar slo unos pocos.

II.-EXPLICACIONLas cadenas de Markov son una herramienta para analizar el comportamiento de determinados tipos de procesos estocsticos, esto es, la probabilidad de que ocurra un evento depende del evento inmediatamente anterior. Para tener una idea ms clara debemos saber que un proceso estocstico es un concepto matemtico que sirve para caracterizar una sucesin de variables aleatorias (estocsticas) que evolucionan en funcin de otra variable, generalmente el tiempo. En efecto, las cadenas de este tipo tienen memoria. Recuerdan el ltimo evento y esto condiciona las posibilidades de los eventos futuros. Esta dependencia del evento anterior distingue a las cadenas de Markov de las series de eventos independientes, como tirar una moneda al aire o un dado.

Conceptos BsicosProbabilidades de transicin:Pi,j(n) = la probabilidad de que el proceso estando en el estado i en el tiempo n, pase al estado j en el instante siguiente. Cuando pi,j(n) = pi,j (esto es, no depende de n) se dice que las probabilidades de transicin son estacionarias. La probabilidad de transicin para ir del estado i al estado j en un paso es: Pi,j = P[Xn+1= j | Xn = i] Dnde: Xn = i es estar en el estado i en el tiempo n

En general Pi,j(n) depende de n y cuando Pi,j(n) no depende de n, la probabilidad de transicin desde el estado i al j no vara en el tiempo. El estudio de las Cadenas de Markov se restringen a casos en los que existe un nmero finito de estados (espacio discreto), en los que las probabilidades de transicin permanecen constantes en el tiempo (tiempo discreto), donde la probabilidad de encontrarse en un estado determinado en cualquier lapso depende slo del estado del proceso en el periodo inmediatamente anterior.

Cadenas Homogneas y no Homogneas Una cadena de Markov se dice homognea si la probabilidad de ir del estado i al estado j en un paso no depende del tiempo en el que se encuentra la cadena, esto es:

Si para alguna pareja de estados y para algn tiempo n la propiedad antes mencionada no se cumple diremos que la cadena de Markov es no homognea.

Representacin Grafica Es posible representar una cadena de Markov por un grafo en el que: nodo representa a un elemento del espacio muestral. arco dirigido representa a la probabilidad de transicin Pi,j (desde i a j) asociada al par de estados que conecta (i, j)

Figura 1.- Ejemplo representacin grfica de estados por medio de un grafo.

Matriz de Probabilidad de Transicin: Las probabilidades definen la matriz P = [pi,j] que satisface: a) pi,j 0 b) j pi,j = 1 para todo i, j para todo i

Las probabilidades de transicin Pi,j tambin puede representarse mediante una matriz cuadrada llamada Matriz de Probabilidad de Transicin de la cadena.

De acuerdo a un diagrama de estados, se le puede hacer su representacin en forma matricial de la siguiente manera:

i

jFigura 2.- Representacin Matricial

Las propiedades de la matriz de transicin de probabilidad son: a) 1 Pi,j 0 ; i,j = 0, 1, 2,

Como cada elemento de la matriz representa una probabilidad, esta debe tener un valor entre 0 y 1.

b) Pi,j = 1 ; para i = 0,1,2,j=0

Esto significa que para cada estado la suma de todas las probabilidades de transicin sea 1. Adems, dentro de cada fila los valores son no negativos, estos valores estn entre 0 y 1. La suma de los valores de la fila es 1, luego, se dice que la matriz es de tipo estocstica.

III.-EJEMPLOSA continuacin se presentan 3 ejemplos de los cuales dos estn hechos con Matlabs y el ltimo ser un ejemplo real aplicando las cadenas de Markov. a) Procesos Migratorios entre dos zonas de Norte a Sur y viceversa. (Matlabs) Supongamos que los procesos migratorios entre dos zonas geogrficas, que llamaremos Norte y Sur, son como siguen. Cada ao el 50% de la poblacin del Norte emigra al Sur, mientras que el 25% de la poblacin del Sur emigra al Norte. Este proceso se puede representar como aparece en la figura:

Queremos estudiar la evolucin de la poblacin a largo plazo. Sea nt la proporcin de la poblacin total que vive en el Norte al final del ao t, y st la correspondiente para la que vive en el Sur. El modelo de migracin establece que las proporciones de poblacin en cada regin al final del ao t+1 son:

Si escribimos:

Para indicar el vector de poblacin en el instante m , entonces la ecuacin (7.1.1) se puede escribir como:

Es la matriz de transicin, porque contiene las probabilidades de transicin de un estado a otro en el sistema. Supongamos que el vector de poblacin inicial es:

Creamos un archivo en Matlabs llamado ejem1.m con las siguientes instrucciones:

Llamamos al archivo ejem1.m desde Matlabs. Nos entrega como resultado el siguiente grfico:

Observamos que el sistema se vuelve estable. El vector de estado converge a un estado fijo. En este caso decimos que el proceso ha alcanzado el equilibrio. El vector fijo recibe el nombre de vector de estado estacionario. En este caso tenemos lo siguiente.

ans = 0.3334 0.6666 0.3333 0.6667 0.3333 0.6667

b) Dispositivo electrnico de 3 estados. (Matlabs) Consideremos un dispositivo electrnico que puede estar en tres estados 1,2 y 3, y supongamos que el dispositivo cambia a unos ciclos regulares de reloj. Si se encuentra en los estados 1 o 3 cambia a 2 en el siguiente ciclo. Si se encuentra en 2 cambiar a 1 o a 3 en el siguiente ciclo con igual probabilidad. La matriz de transicin es:

Si partimos de:

El comportamiento del sistema es peridico

En efecto, si escribimos en Matlabs en un archivo llamado ejem2.m:

Obtenemos la siguiente grfica:

c) Cadenas de Markov en tiempo discreto aplicado a la Empresa ELECTRONICA S.A. El problema consiste en que esta empresa productora de medidores electrnicos necesita realizar un inventario de manejo de insumos. La produccin diaria est sujeta a la demanda diaria de medidores las cuales se consideran por medio de llegada de rdenes de compra que arriban de acuerdo a un proceso de Poisson con tasa 2 [rdenes/hora] en la que se piden uno (probabilidad 0.8) o dos (probabilidad 0.2) medidores. Las rdenes pueden ser recibidas desde las 9: 00 AM a las 4: 00 PM y los medidores son despachados en el mismo da antes de las 6: 00 PM. A las 8:00 PM se revisa la cantidad de transductores que hay en bodega y comienza la poltica de reposicin que es la siguiente: Si hay ms de 20 no se pide reposicin. Si es mayor que 10 pero menor o igual que 20 se piden 20 transductores. Si es menor o igual que 10 se piden 50 transductores.

Lo que nos interesa en este caso es poder saber en cada da cuanto marcar el inventario para esto partimos desde un X 0 = 35 transductores. Desarrollo analtico Para el caso del tiempo discreto la cantidad a pedir de transductores depende directamente de las rdenes recibidas durante las horas de atencin y cuantos pedidos hay en cada orden. El tiempo de atencin, la hora del inventario, el momento en que se considera el estado siguiente estn mayormente explicados en la siguiente lnea del tiempo.

A continuacin se definirn las variables aleatorias a utilizar. Nn: Nmero de rdenes recibidas durante el da desde las 9:00 hrs. Hasta las 16:00 hrs. Xn: Nmero de transductores contabilizados a las 8:30 hrs. Yn: Nmero de transductores a reposicin luego del inventario obtenido a las 20:00 hrs.

Se obtendr la relacin de recurrencia dependiendo de intervalos en que se encuentre la variable Xn ya que la relacin con Xn+1 no vara en forma lineal, sino en forma escalonada. Matriz de probabilidades Para poder calcular la matriz de probabilidades en forma general, se necesita analizar una serie de casos relevantes para el desarrollo, es decir, existen una serie de estados en que la probabilidad de transicin hacia otros estados no es constante. Los casos relevantes de la matriz de probabilidades fueron tomadas con respecto a la cantidad total de pedidos recibidos durante el da y la respectiva cantidad con que se inici este. Generalizando en frmulas para cada caso se tiene: Para ir del estado Xn a Xn+1

Caso especial:

Estas son las ecuaciones para lograr sacar cualquier valor de la matriz de probabilidades, pero como se ve a primera vista no hay valores numricos sino ms bien estn dadas como probabilidades dependientes de N(t) que se ha definido como el nmero de pedidos recibidos durante el da.

grafo sera muy tedioso e innecesario, puesto que con la simple matriz se podr observar que todos los estados estn comunicados entre s ya que aunque existen algunas probabilidades iguales a cero de alguna manera indirecta, es decir pasando por otro estado anteriormente se pude llegar desde cualquier estado a cualquier estado y como desde un estado cualquiera puedo llegar al mismo estado con una probabilidad distinta de cero el sistema es aperidico, por consiguiente se existe un solo estado presente recurrente positivo aperidico e irreducible. Tomando lo anteriormente descrito como cierto se puede concluir que al estar todos los estados comunicados entre s no importa el estado inicial en que se encuentre, siempre se podr llegar a cualquiera por lo que se puede considerar que existe una distribucin estacionaria. Resultados tiempo esperado En este problema obtener los resultados en forma analtica es un proceso muy largo y complejo. Por lo tanto slo se obtuvo resultados por medio del computador. Los resultados del tiempo esperado, utilizando el algoritmo implementado para ello que utiliza iteraciones, son:

Se puede apreciar en la tabla que los valores rondan los 42 das aproximadamente. La tabla fue confeccionada utilizando distintas cantidades de iteraciones y por supuesto mientras ms iteraciones se realicen ms exactas es el resultado. Por lo tanto escogeremos como resultado ideal a 42 das (resultado de 50.000 iteraciones). A continuacin se muestran grficos que muestran de mejor manera los resultados.

Un grfico que muestra cmo se forma la recta de valores entre los das y las iteraciones y un grfico que muestra el porcentaje de error tomando como resultado correcto los 42 das.

En los grficos se puede observar claramente que luego de las 500 iteraciones se puede llegar a un resultado razonable de la investigacin. Esto hay que tomarlo muy en cuenta a la hora de simular un proceso, ya que mientras ms iteraciones se realicen en la vida real (estudios reales) el costo se incrementa. Segn estos resultados con 500 iteraciones basta para encontrar una solucin acorde al problema.

IV.-CONCLUSIONComo conclusin de las cadenas de Markov nos permite hacer anlisis sobre el estudio de los comportamientos de ciertos sistemas en ciertos periodos que pueden ser cortos o largos. Adems se tiene una relacin con las probabilidades absolutas. Pero sin embargo lo ms importante es el estudio del comportamiento sistemas a largo plazo, cuando el nmero de transiciones tiene al infinito. Los estados en las cadenas de Markov sern tiles para el estudio del comportamiento de los sistemas a largo plazo. Que todos los estados en una cadena de Markov infinita irreducible pueden pertenecer a una, y slo una, de las siguientes tres clases: estados transitorios, estados recurrentes nulos o estados recurrentes no nulos Al abordar este tema es para conocer ms o menos las probabilidades de un experimento, esto a su vez nos permitir conocer a corto y plazo los estados en que se encontraran en periodos o tiempos futuros y tomar decisiones que afectarn o favorecern nuestros intereses, y tomar una decisin de manera consciente y no se comentan muchos errores. Esto tambin nos proporcionar un tiempo estimado para que identifiquemos cada estado y el periodo en que se encuentra con la implementacin de un proceso, tambin se establece las probabilidades como una herramienta ms en las cadenas de Markov. Las cadenas de Markov son modelos probabilsticos que se usan para predecir la evolucin y el comportamiento a corto y a largo plazo de determinados sistemas. Ejemplos: reparto del mercado entre marcas; dinmica de las averas de mquinas para decidir poltica de mantenimiento; evolucin de una enfermedad. Se dice que la cadena de Markov es absorbente si una o ms estados es un estado absorbente es una cadena de Markov absorbente. Pero para que se puedan resolver o darle solucin a muchas de las preguntas que se generan la cadena de Markov debe seguir un orden primero se dice que los estados deben ser transitorios, luego los estados absorbentes.

IV.-ANEXOArchivos *.m utilizados en los ejemplos 1 y 2 (Matlabs). ejem1.m P=[0.5,0.25;0.5,0.75] p0=[9/10;1/10]; X=zeros(2,10);X(:,1)=p0; for t=2:10,X(:,t)=P*X(:,t-1);end plot(X') legend('Pobl. en el Norte','Pobl. en el Sur') ejem2.m format short g P=[0,0.5,0;1,0,1;0,0.5,0] p0=[1;0;0] X=zeros(3,10);X(:,1)=p0; for t=2:10,X(:,t)=P*X(:,t-1);end plot(X') legend('Primer estado','Segundo estado','Tercer estado')