Distribución estacionaria de la cadena de Markov
Contenido
Una buena base de conocimientos sobre las cadenas de Markov y las martingalas es esencial para abordar las complejas situaciones que se plantean en el estudio de los procesos estocásticos en tiempo discreto. Este libro presenta más de 100 ejercicios y problemas relacionados con las martingalas y las cadenas de Markov, cada uno con una solución detallada.
4. Cadenas de Markov. Matrices de transición, cadenas de Markov. Construcción y Existencia. Cálculos sobre la cadena canónica. Operadores Potenciales. Problemas de paso. Recurrencia, Transitoriedad. Cadenas Irreducibles Recurrentes. Periodicidad.
Ejercicios de cadenas de Markov
Ejercicio 22.1 (Subcadena de una cadena de Markov) Supongamos que \(X={X_n:n\geq 0\}\) es una cadena de Markov y dejemos que \(\{n_k:k\geq 0\}\) sea una secuencia creciente e ilimitada de enteros positivos. Definir un nuevo proceso estocástico \(Y={Y_k:k\geq 0\}\) tal que \(Y_k=X_{n_k}\). Demuestre que \(Y\) es una cadena de Markov. ¿Es \(Y\k) una cadena de Markov homogénea en el tiempo sin condiciones adicionales?
Demostración. Para la parte (a), dejemos que \N(A_n\) denote el proceso estocástico del número de bolas blancas en la primera urna. Nos interesa \(P(A_{n+1}=j|A_n=i)\N para \N(i=0,1,\cdots,n\). Supongamos que en la etapa \(n\), hay \(i\) (\(i=1,2,\cdots,n-1\)) bolas blancas en la primera urna. Entonces, en la etapa \(n+1\), puede haber \(i\) bolas blancas (si las dos bolas seleccionadas de cada urna son ambas blancas o negras), \(i-1\) bolas blancas (si se selecciona la bola blanca de la primera urna y la negra de la segunda) o \(i+1\) (si se selecciona la bola negra de la primera urna y la blanca de la segunda). Por tanto,
y tenemos que el estado 1 es persistente como deseábamos. Podemos considerar sólo el estado \(\1,2\}\N, entonces también es una cadena de Markov válida con estados finitos. Usando el Lemma 7.1, los estados 1 y 2 son no nulos. Por la misma razón, el estado 4 también es no nulo.
Distribución de probabilidad de la cadena de Markov
Referencia: Bart Sinclair, Modelo de reparación de máquinas. OpenStax CNX. 9 de junio de 2005 Licencia de atribución 1.0 de Creative Commons. Descárguese gratuitamente en http://cnx.org/contents/56f1bed0-bd34-4c28-a2ec-4a3f9ded8e18@3. Este material ha sido modificado por Roberta Bloom, según lo permitido por dicha licencia.
Tendrías que enseñar la estructura de los acordes, los diferentes estilos musicales, etc. ¿Y si pudieras darle al programa ejemplos de piezas que consideraras música y pedirle «escribe algo así para mí»? Así es como funcionaría esencialmente nuestra cadena de Markov. El principio de las cadenas de Markov en la música es generar una tabla de probabilidades para determinar qué nota debe venir a continuación. Alimentando el programa con una pieza musical de ejemplo, el programa puede analizar la pieza y crear una tabla de probabilidades para determinar qué notas es más probable que sigan a una nota dada. Con la matriz de transición de probabilidades se pueden generar notas aleatorias que todavía tienen alguna estructura musical. Construyendo una matriz similar para los tiempos o la duración de las notas, se puede completar un modelo de cadena de Markov para la generación de música.
Ejercicios de procesos estocásticos soluciones
Este libro de texto presentará, de forma rigurosa, la teoría básica de las cadenas de Markov de tiempo discreto y de tiempo continuo, junto con numerosos ejemplos y problemas resueltos. Para ambos temas se utilizará un modelo simple, el Paseo Aleatorio y el Proceso de Poisson respectivamente, para anticipar e ilustrar los conceptos más interesantes definidos rigurosamente en las siguientes secciones. Se prestará una gran atención a las aplicaciones de la teoría de las cadenas de Markov y se afrontarán en el libro muchos resultados tanto clásicos como nuevos. Este libro de texto está destinado a un curso básico sobre procesos estocásticos a un nivel de licenciatura avanzado y los antecedentes necesarios serán un primer curso de teoría de la probabilidad. Se da un gran énfasis al enfoque computacional y a las simulaciones.
