Cómo Resolver Cadenas de Markov en Estado Estable: Guía Paso a Paso

Las cadenas de Markov son herramientas poderosas para modelar sistemas que cambian de estado con el tiempo, como el clima, los hábitos de los consumidores o los procesos biológicos. En este artículo, te enseñaré cómo encontrar la distribución en estado estable (o distribución a largo plazo) de una cadena de Markov utilizando un método práctico y sistemático. Este método utiliza el método de Gauss para resolver un sistema de ecuaciones, y lo explicaré paso a paso. Resolveremos dos ejercicios con matrices 3x3 y un ejercicio con una matriz 2x2 para ilustrar cómo adaptar el método a diferentes tamaños. Además, incluiremos una calculadora interactiva para que puedas probar tus propias matrices.

¿Qué es el estado estable en una cadena de Markov?

El estado estable de una cadena de Markov es un vector de probabilidades [p1, p2, p3] (o [p1, p2] para matrices 2x2) que representa las probabilidades de estar en cada estado después de un número muy grande de transiciones. Este vector satisface la ecuación [p1, p2, p3] = [p1, p2, p3] * P, donde P es la matriz de transición, y la suma de las probabilidades debe ser 1 (es decir, p1 + p2 + p3 = 1).

Pasos para resolver una cadena de Markov en estado estable (matriz 3x3)

Aquí tienes los 15 pasos para encontrar la distribución en estado estable con una matriz 3x3:

1. Formular las 3 ecuaciones a partir de la matriz de transición: Usa la ecuación [p1, p2, p3] = [p1, p2, p3] * P. Multiplica p1 por la primera columna de la matriz, p2 por la segunda columna, y p3 por la tercera columna.
2. Multiplicar por 100 para usar números enteros: Esto elimina los decimales y facilita los cálculos.
3. Igualar las ecuaciones a cero: Traslada todos los términos al mismo lado para que la ecuación iguale 0.
4. Obtener las ecuaciones: Lista las ecuaciones simplificadas para confirmarlas.
5. Agregar la ecuación de normalización: Añade p1 + p2 + p3 = 1, multiplicada por 100 (100 * p1 + 100 * p2 + 100 * p3 = 100).
6. Hacer el tablero de Gauss seleccionando 3 de las 4 ecuaciones: Elige la ecuación de normalización y dos de las ecuaciones originales (normalmente la 2 y la 3).
7. Trazar la diagonal e identificar los 3 números debajo: La diagonal va de la posición (1,1) a (3,3). Los números debajo son (2,1), (3,1), y (3,2).
8. Hacer el primer número debajo de la diagonal igual a cero: Usa F2 = (k * F1) - F2, donde k = número en (2,1) / elemento en (1,1).
9. Hacer el segundo número debajo de la diagonal igual a cero: Usa F3 = (k * F1) - F3, donde k = número en (3,1) / elemento en (1,1).
10. Hacer el tercer número debajo de la diagonal igual a cero: Usa [c1 * F2 + c2 * F3], donde c1 y c2 se eligen para que el número en (3,2) sea cero (por ejemplo, -10 * F2 + 90 * F3 en algunos casos).
11. Convertir la matriz resultante en ecuaciones: Escribe las ecuaciones basadas en las filas de la matriz.
12. Encontrar p3: Resuelve la tercera ecuación.
13. Encontrar p2: Usa la segunda ecuación y el valor de p3.
14. Encontrar p1: Usa la primera ecuación y los valores de p2 y p3.
15. Calcular los resultados en porcentajes: Multiplica p1, p2, p3 por 100 para obtener los porcentajes.

Nota: Para una matriz 2x2, el proceso es similar, pero habrá menos ecuaciones y menos números debajo de la diagonal. Lo veremos en el Ejercicio 3.

Ejercicio 1: Clima diario (3x3)

Supongamos que el clima puede estar en tres estados: soleado (S), nublado (N), y lluvioso (L). La matriz de transición es:

P = [ 0.60  0.30  0.10 ]
    [ 0.40  0.40  0.20 ]
    [ 0.30  0.50  0.20 ]

Queremos encontrar las probabilidades a largo plazo de cada estado.

Solución:

Paso 1: Formular las 3 ecuaciones:

0.60 * p1 + 0.40 * p2 + 0.30 * p3 = p1

0.30 * p1 + 0.40 * p2 + 0.50 * p3 = p2

0.10 * p1 + 0.20 * p2 + 0.20 * p3 = p3

Paso 2: Multiplicar por 100:

60 * p1 + 40 * p2 + 30 * p3 = 100 * p1

30 * p1 + 40 * p2 + 50 * p3 = 100 * p2

10 * p1 + 20 * p2 + 20 * p3 = 100 * p3

Paso 3: Igualar a cero:

-40 * p1 + 40 * p2 + 30 * p3 = 0

30 * p1 - 60 * p2 + 50 * p3 = 0

10 * p1 + 20 * p2 - 80 * p3 = 0

Paso 4: Obtenemos las ecuaciones:

[-40 * p1 + 40 * p2 + 30 * p3 = 0]

[ 30 * p1 - 60 * p2 + 50 * p3 = 0]

[ 10 * p1 + 20 * p2 - 80 * p3 = 0]

Paso 5: Agregar la ecuación de normalización:

100 * p1 + 100 * p2 + 100 * p3 = 100

Paso 6: Hacer tablero de Gauss (usamos ecuación de normalización, 2 y 3):

[ 100  100  100 | 100 ]
[  30  -60   50 |   0 ]
[  10   20  -80 |   0 ]

Paso 7: Trazar la diagonal e identificar los 3 números debajo:

• Diagonal: 100, -60, -80
• Números debajo: 30 (posición 2,1), 10 (posición 3,1), 20 (posición 3,2)

Paso 8: Hacer primer número debajo de la diagonal = cero:

Factor: 30 / 100 = 0.3

0.3 * F1 = [30, 30, 30, |, 30]

F2 = (0.3 * F1) - F2 = [30 - 30, 30 - (-60), 30 - 50, |, 30 - 0] = [0, 90, -20, |, 30]

[ 100  100  100 | 100 ]
[   0   90  -20 |  30 ]
[  10   20  -80 |   0 ]

Paso 9: Hacer segundo número debajo de la diagonal = cero:

Factor: 10 / 100 = 0.1

0.1 * F1 = [10, 10, 10, |, 10]

F3 = (0.1 * F1) - F3 = [10 - 10, 10 - 20, 10 - (-80), |, 10 - 0] = [0, -10, 90, |, 10]

[ 100  100  100 | 100 ]
[   0   90  -20 |  30 ]
[   0  -10   90 |  10 ]

Paso 10: Hacer tercer número debajo de la diagonal = cero:

Tercer número: -10 (posición 3,2). Usamos -10 * F2 + 90 * F3:

-10 * F2 = [0, -900, 200, |, -300]

90 * F3 = [0, -900, 8100, |, 900]

F3 = 90 * F3 + (-10 * F2) = [0, -900 + (-900), 8100 + 200, |, 900 + (-300)] = [0, -1800, 8300, |, 600]

[  100   100   100 |  100 ]
[    0    90   -20 |   30 ]
[    0 -1800  8300 |  600 ]

Paso 11: Convertir esa matriz en ecuaciones:

1. 100 * p1 + 100 * p2 + 100 * p3 = 100

2. 90 * p2 - 20 * p3 = 30

3. -1800 * p2 + 8300 * p3 = 600

Paso 12: Encontrar p3:

-1800 * p2 + 8300 * p3 = 600

90 * p2 - 20 * p3 = 30

De la segunda ecuación: 90 * p2 = 30 + 20 * p3

90 * p2 = 30 + 20 * p3

p2 = (30 + 20 * p3) / 90

Sustituyendo en la primera ecuación:

-1800 * ((30 + 20 * p3) / 90) + 8300 * p3 = 600

Multiplicamos por 90:

-1800 * (30 + 20 * p3) + 8300 * 90 * p3 = 600 * 90

-54000 - 36000 * p3 + 747000 * p3 = 54000

711000 * p3 - 54000 = 54000

711000 * p3 = 108000

p3 = 108000 / 711000 = 108 / 711 = 36 / 237 = 12 / 79 ≈ 0.1519

Paso 13: Encontrar p2:

90 * p2 - 20 * (12 / 79) = 30

90 * p2 - 240 / 79 = 30

90 * p2 = 30 + 240 / 79 = (2370 + 240) / 79 = 2610 / 79

p2 = 2610 / (79 * 90) = 2610 / 7110 = 261 / 711 ≈ 0.3671

Paso 14: Encontrar p1:

100 * p1 + 100 * (261 / 711) + 100 * (12 / 79) = 100

100 * p1 + (100 * 261 / 711) + (100 * 12 / 79) = 100

100 * p1 + 36.71 + 15.19 = 100

100 * p1 + 51.90 = 100

100 * p1 = 48.10

p1 = 48.10 / 100 = 0.481

Paso 15: Resultados en porcentajes:

• p1 = 48.1% (soleado)
• p2 = 36.7% (nublado)
• p3 = 15.2% (lluvioso)

Ejercicio 2: Preferencias de compra (3x3)

Un cliente puede comprar en tres tiendas: Tienda A, Tienda B, Tienda C. La matriz de transición es:

P = [ 0.7  0.2  0.1 ]
    [ 0.2  0.75 0.05 ]
    [ 0.1  0.1  0.8 ]

Solución:

Paso 1: Formular las 3 ecuaciones:

0.7 * p1 + 0.2 * p2 + 0.1 * p3 = p1

0.2 * p1 + 0.75 * p2 + 0.1 * p3 = p2

0.1 * p1 + 0.05 * p2 + 0.8 * p3 = p3

Paso 2: Multiplicar por 100:

70 * p1 + 20 * p2 + 10 * p3 = 100 * p1

20 * p1 + 75 * p2 + 10 * p3 = 100 * p2

10 * p1 + 5 * p2 + 80 * p3 = 100 * p3

Paso 3: Igualar a cero:

-30 * p1 + 20 * p2 + 10 * p3 = 0

20 * p1 - 25 * p2 + 10 * p3 = 0

10 * p1 + 5 * p2 - 20 * p3 = 0

Paso 4: Obtenemos las ecuaciones:

[-30 * p1 + 20 * p2 + 10 * p3 = 0]

[ 20 * p1 - 25 * p2 + 10 * p3 = 0]

[ 10 * p1 + 5 * p2 - 20 * p3 = 0]

Paso 5: Agregar la ecuación de normalización:

100 * p1 + 100 * p2 + 100 * p3 = 100

Paso 6: Hacer tablero de Gauss:

[ 100  100  100 | 100 ]
[  20  -25   10 |   0 ]
[  10    5  -20 |   0 ]

Paso 7: Trazar la diagonal e identificar los 3 números debajo:

• Diagonal: 100, -25, -20
• Números debajo: 20 (posición 2,1), 10 (posición 3,1), 5 (posición 3,2)

Paso 8: Hacer primer número debajo de la diagonal = cero:

Factor: 20 / 100 = 0.2

0.2 * F1 = [20, 20, 20, |, 20]

F2 = (0.2 * F1) - F2 = [20 - 20, 20 - (-25), 20 - 10, |, 20 - 0] = [0, 45, 10, |, 20]

[ 100  100  100 | 100 ]
[   0   45   10 |  20 ]
[  10    5  -20 |   0 ]

Paso 9: Hacer segundo número debajo de la diagonal = cero:

Factor: 10 / 100 = 0.1

0.1 * F1 = [10, 10, 10, |, 10]

F3 = (0.1 * F1) - F3 = [10 - 10, 10 - 5, 10 - (-20), |, 10 - 0] = [0, 5, 30, |, 10]

[ 100  100  100 | 100 ]
[   0   45   10 |  20 ]
[   0    5   30 |  10 ]

Paso 10: Hacer tercer número debajo de la diagonal = cero:

Tercer número: 5 (posición 3,2). Usamos 5 * F2 + 45 * F3:

5 * F2 = [0, 225, 50, |, 100]

45 * F3 = [0, 225, 1350, |, 450]

F3 = 45 * F3 + (-5 * F2) = [0, 225 - 225, 1350 - 50, |, 450 - 100] = [0, 0, 1300, |, 350]

[  100   100   100 |  100 ]
[    0    45    10 |   20 ]
[    0     0  1300 |  350 ]

Paso 11: Convertir esa matriz en ecuaciones:

1. 100 * p1 + 100 * p2 + 100 * p3 = 100

2. 45 * p2 + 10 * p3 = 20

3. 1300 * p3 = 350

Paso 12: Encontrar p3:

1300 * p3 = 350

p3 = 350 / 1300 = 7 / 26 ≈ 0.2692

Paso 13: Encontrar p2:

45 * p2 + 10 * (7 / 26) = 20

45 * p2 + 70 / 26 = 20

45 * p2 = 20 - 70 / 26 = (520 - 70) / 26 = 450 / 26 = 225 / 13

p2 = 225 / (13 * 45) = 225 / 585 = 5 / 13 ≈ 0.3846

Paso 14: Encontrar p1:

100 * p1 + 100 * (5 / 13) + 100 * (7 / 26) = 100

100 * p1 + (500 / 13) + (700 / 26) = 100

100 * p1 + 38.46 + 26.92 = 100

100 * p1 + 65.38 = 100

100 * p1 = 34.62

p1 = 0.3462

Paso 15: Resultados en porcentajes:

• p1 = 34.6% (Tienda A)
• p2 = 38.5% (Tienda B)
• p3 = 26.9% (Tienda C)

Ejercicio 3: Hábitos de estudio (2x2)

Un estudiante puede estudiar en casa (C) o en la biblioteca (B). La matriz de transición es:

P = [ 0.6  0.4 ]
    [ 0.3  0.7 ]

Solución:

Paso 1: Formular las ecuaciones (solo 2 para una matriz 2x2):

0.6 * p1 + 0.3 * p2 = p1

0.4 * p1 + 0.7 * p2 = p2

Paso 2: Multiplicar por 100:

60 * p1 + 30 * p2 = 100 * p1

40 * p1 + 70 * p2 = 100 * p2

Paso 3: Igualar a cero:

-40 * p1 + 30 * p2 = 0

40 * p1 - 30 * p2 = 0

Paso 4: Obtenemos las ecuaciones:

[-40 * p1 + 30 * p2 = 0]

[ 40 * p1 - 30 * p2 = 0]

Paso 5: Agregar la ecuación de normalización:

100 * p1 + 100 * p2 = 100

Paso 6: Hacer tablero de Gauss (usamos la ecuación de normalización y una de las dos ecuaciones):

[ 100  100 | 100 ]
[  40  -30 |   0 ]

Paso 7: Trazar la diagonal e identificar los números debajo:

• Diagonal: 100, -30
• Número debajo: 40 (posición 2,1)

Paso 8: Hacer el número debajo de la diagonal = cero:

Factor: 40 / 100 = 0.4

0.4 * F1 = [40, 40, |, 40]

F2 = (0.4 * F1) - F2 = [40 - 40, 40 - (-30), |, 40 - 0] = [0, 70, |, 40]

[ 100  100 | 100 ]
[   0   70 |  40 ]

(No necesitamos los pasos 9 y 10 porque solo hay un número debajo de la diagonal en una matriz 2x2.)

Paso 9 (ajustado para 2x2): Convertir la matriz en ecuaciones:

1. 100 * p1 + 100 * p2 = 100

2. 70 * p2 = 40

Paso 10: Encontrar p2:

70 * p2 = 40

p2 = 40 / 70 = 4 / 7 ≈ 0.5714

Paso 11: Encontrar p1:

100 * p1 + 100 * (4 / 7) = 100

100 * p1 + 400 / 7 = 100

100 * p1 = 100 - 400 / 7 = (700 - 400) / 7 = 300 / 7

p1 = 300 / (7 * 100) = 3 / 7 ≈ 0.4286

Paso 12: Resultados en porcentajes:

• p1 = 42.9% (casa)
• p2 = 57.1% (biblioteca)

Conclusión

Este método para resolver cadenas de Markov en estado estable es una forma estructurada y efectiva de encontrar las probabilidades a largo plazo, ya sea con matrices 3x3 o 2x2. La clave está en seguir cada paso con cuidado y ajustar el proceso según el tamaño de la matriz. Usa la calculadora interactiva para probar tus propias matrices y practicar con diferentes ejemplos.

¿Tienes más ejemplos que quieras resolver? ¡Déjalos en los comentarios!