Cadenas de Markov

Intorducción

Algunas veces se está interesado en cómo cambia una variable aleatoria con el tiempo. Por ejemplo, es posible que se desee saber cómo evoluciona el precio de una parte de las acciones o la participación en elmercado de una empresa. El estudio de comó una variable aleatoria cambia con el tiempo incluye procesos estocásticos. En particular, se fija la atención en un tipo de proceso estocástico conocido como cadena de Markov. Las cadenas de Markov se han aplicado en áreas como educación, comercialización, servicios de salud, finanzas, contabilidad y producción.

¿Que es una cadena de Markov?

En matemáticas, se define como un proceso estocástico discreto que cumple con la propiedad de Markov, es decir, si se conoce la historia del sistema hasta su instante actual, su estado presente resume toda la información relevante para describir en probabilidad su estado futuro.

Una cadena de Markov es una secuencia X₁, X₂, X₃,... de variables aleatorias. El rango de estas variables, es llamado espacio estado, el valor de X_n es el estado del proceso en el tiempo n. Si la distribución de probabilidad condicional de X_n+1 en estados pasados es una función de X_n por sí sola, entonces:

Donde x_i es el estado del proceso en el instante i. La identidad mostrada es la propiedad de Markov.

Clasificación de los estados de una cadena de Markov

• Estado Alcanzable: un estado j es alcanzable desde el estado i si hay una trayectoria que conduzca de i a j.
• Estados que se Comunican: se dice que dos estados i y j se comunican si j es alcanzable desde i, e i es alcanzable desde j.
• Estado Cerrado: un conjunto de estados S en una cadena de Markov es un conjunto cerrado si nungún estado fuera S es alcanzabledesde algún estado en S.
• Estado Absorbente: un estado i es absorbente que cuando j llega ahi no puede salir de él.
• Estado Transitorio: un estado i es un estado transitorio si existe un estado j que es alcanzable desde i, pero el estado i no es alcanzable desde el estado j.
• Estado Recurrente: siempre que parta del estado i sera un estado recurrente si se puedra volver al mismo estado i.
• Estado Periódico: un estado i es periódico con periodo k > 1 si k es el número más pequeño tal que las trayectorias que conducen del estado i de regreso al estado i tienen una longitud que es multiplo de k. Si un estado recurrente no es periódico, se conoce como aperiódico .
• Cadena Ergodica: si los estados en una cadena son recurrentes, aperiódicos y se comunican entre si, se dice que la cadena es ergódica.

Tipos de Cadenas

• Cadenas Absorbentes

Los estados que pueden sucederse a sí mismos y, además, es posible alcanzar, por lo menos, alguno de los restantes desde ellos se llaman estados transitorios.

Un estado tal que si el proceso entra en él permanecerá indefinidamente en este estado (ya que las probabilidades de pasar a cualquiera de los otros son cero), se dice estado absorbente.

 De una cadena de Markov que consta de estados transitorios y absorbentes se dice que es una cadena absorbente de Markov.

 Si una cadena de Markov contiene algún estado absorbente, la línea de la matriz de transición correspondiente a las probabilidades de transición de dicho estado constará de un 1 en la diagonal principal y ceros en los demás  elementos. Será por lo tanto una matriz no regular.

  Para poder estudiar las cadenas de Markov absorbentes es preciso reordenar la matriz de transición de forma que las filas correspondientes a los estados absorbentes aparezcan en primer lugar. Así ordenada se dirá que la matriz de transición está en la forma canónica.

Podemos dividir la matriz en forma canónica en cuatro submatrices. La primera es la matriz unidad I, del orden correspondiente. La segunda , la matriz nula. La tercera contiene las probabilidades de paso de estados transitorios a estados absorbentes. La cuarta contiene las probabilidades de estados transitorios a estados transitorios.

Generalizando:

Una cadena de Markov absorbente  contiene p estados transitorios y q estados absorbentes. La matriz canónica del proceso  presentará el aspecto siguiente:

I: matriz identidad de dimensión q

O: matriz nula de dimensión qxp

Q: matriz de dimensión pxq que contiene las probabilidades de paso de estados transitorios a absorbentes.

M: matriz pxp con las probabilidades de los estados transitorios a estados transitorios.

Aplicaciones

• Física: Las cadenas de Markov son usadas en muchos problemas de la termodinámica y la física estadística. Ejemplos importantes se pueden encontrar en la Cadena de Ehrenfest o el modelo de difusión de Laplace.
• Meteorología: Si consideramos el clima de una región a través de distintos días, es claro que el estado actual solo depende del último estado y no de toda la historia en sí, de modo que se pueden usar cadenas de Markov para formular modelos climatológicos básicos.
• Modelos epidemiológicos: Una importante aplicación de las cadenas de Markov se encuentra en el proceso Galton-Watson. Éste es un proceso de ramificación que se puede usar, entre otras cosas, para modelar el desarrollo de una epidemia.
• Internet: El pagerank de una página web e define a través de una cadena de Markov, donde la posición que tendrá una página en el buscador será determinada por su peso en la distribución estacionaria de la cadena.
• Simulación: Las cadenas de Markov son utilizadas para proveer una solución analitica a ciertos problemas de simulación tales como el Modelo M/M/1.
• Juegos de azar: Son muchos los juegos de azar que se pueden modelar a través de una cadena de Markov. El modelo de la ruina del jugador, que establece la probabilidad de que una persona que apuesta en un juego de azar finalmente termine sin dinero, es una de las aplicaciones de las cadenas de Markov en este rubro.
• Economía y Finanzas: Las cadenas de Markov se pueden utilizar en modelos simples de valuación de opciones para determinar cuándo existe oportunidad de arbitraje, así como en el modelo de colapsos de una bolsa de valores o para determinar la volatilidad de precios. En los negocios, las cadenas de Márkov se han utilizado para analizar los patrones de compra de los deudores morosos, para planear las necesidades de personal y para analizar el reemplazo de equipo.
• Música: Diversos algoritmos de composición musical usan cadenas de Markov, por ejemplo el software Csound o Max

Referencia:
Hillier,FS y GJ Lieberman (2001): Introducción a la investigación de operaciones.McGraw-Hill