Полезные материалы:

Примеры - Теория вероятностей

Цепи Маркова

Задача 1. Задана матрица вероятностей перехода дискретной цепи Маркова из i-го состояния в j-ое за один шаг (i, j=1, 2). Распределение вероятностей по состояниям в начальный момент t=0 определяется вектором =(0,1; 0,9). Найти:

1. матрицу Р2 перехода цепи из состояния i в состояние j за два
шага;

2. распределение вероятностей по состояниям в момент t=2;

3. вероятность того, что в момент t=1 состоянием цепи будет А2;

4. стационарное распределение.

Решение. Для дискретной цепи Маркова в случае ее однородности справедливо соотношение

                                 (4)

где Р1 – матрица переходных вероятностей за один шаг;
Рn -  матрица переходных вероятностей за n шагов;

1. Найдем матрицу Р2 перехода за два шага

Пусть распределение вероятностей по состояниям на S-ом шаге определяется вектором
.
Зная матрицу Pn перехода за n шагов, можно определить распределение вероятностей по состояниям на (S+n) –ом шаге .                              (5)

2. Найдем распределение вероятностей по состояниям системы в момент t=2. Положим в (5) S=0 и n=2. Тогда .

Получим .

3. Найдем распределение вероятностей по состояниям системы в момент t=1.

Положим в (5) s=0 и n=1, тогда .
Откуда видно, что вероятность того, что в момент t=1 состоянием цепи будет А2 ,равна р2(1)=0,69.
Распределение вероятностей по состояниям называется стационарным, если оно не меняется от шага к шагу, то есть
Тогда из соотношения (5) при n=1 получим

или .                      (6)

4. Найдем стационарное распределение. Так как =2 имеем =(р1; р2). Запишем систему линейных уравнений (6) в координатной форме


Последнее условие называется нормировочным. В системе (6) всегда одно уравнение является линейной комбинацией других. Следовательно, его можно вычеркнуть. Решим совместно первое уравнение системы и нормировочное. Имеем 0,6р1=0,3р2, то есть р2=2р1. Тогда р1+2 р1=1 или , то есть . Следовательно, .
Ответ:
1) матрица перехода за два шага для данной цепи Маркова имеет вид ;
2) распределение вероятностей по состояниям в момент  t=2 равно ;
3) вероятность того, что в момент t=1 состоянием цепи будет А2 , равна р2(t)=0,69;
4) стационарное распределение имеет вид

Задана матрица интенсивностей переходов непрерывной цепи Маркова. Составить размеченный граф состояний, соответствующий матрице Λ; составить систему дифференциальных уравнений Колмогорова для вероятностей состояний; найти предельное распределение вероятностей. Решение. Однородная цепь Маркова с конечным числом состояний А1, А2,…А характеризуется матрицей интенсивностей переходов ,

где  - интенсивность перехода цепи Маркова из состояния Аi в состояние Аj; рij(Δt)-вероятность перехода Ai→Aj за интервал времени Δt.

Переходы системы из состояния в состояние удобно задавать с помощью размеченного графа состояний, на котором отмечаются дуги, соответствующие интенсивностям λij>0. Составим размеченный граф состояний для заданной матрицы интенсивностей переходов

Рис. 2

Пусть  - вектор вероятностей рj(t),
j=1, 2,…,, нахождения системы в состоянии Аj  в момент t.

Очевидно, что 0≤рj(t)≤1 и . Тогда по правилу дифференцирования векторной функции скалярного аргумента получим . Вероятности рj(t) удовлетворяют системе дифференциальных уравнений Колмогорова (СДУК), которая в матричной форме имеет вид .                                       (7)

Если в начальный момент система находилась в состоянии Аj, то СДУК следует решать при начальных условиях
рi(0)=1,      рj(0)=0,      j≠i,    j=1, 2,…,.                            (8)
Совокупность СДУК (7) и начальных условий (8) однозначно описывает однородную цепь Маркова с непрерывным временем и конечным числом состояний.
Составим СДУК для заданной цепи Маркова. Поскольку =3, то j=1, 2, 3.

Из соотношения (7) получим
.
Отсюда будем иметь

Последнее условие называется нормировочным.
Распределение  вероятностей по состояниям называется стационарным, если оно не меняется с течением времени, то есть , где рj=const, j=1,2,…,. Отсюда .

Тогда из СДУК (7) получаем систему для нахождения стационарного распределения
                        (9)
Для данной задачи из СДУК будем иметь

Из нормировочного условия получим 3р2+р2+р2=1 или . Следовательно, предельное распределение имеет вид .
Заметим, что этот результат можно получить непосредственно по размеченному графу состояний, если воспользоваться правилом: для стационарного распределения сумма произведений λjipi, j≠i, для стрелок, выходящих из i-го состояния, равна сумме произведений λjipi, j≠i, для стрелок, входящих в i-ое состояние. Действительно,

Очевидно, что полученная система эквивалентна той, которая составлена по СДУК.  Следовательно, она имеет то же решение.
Ответ: стационарное распределение имеет вид .



Учебники
Предлагаем наиболее хорошие на наш взгляд учебники для самостоятельного изучения математики и экономики Comment

Справочники
Компактные справочные материалы, формулы по различным разделам высшей математики и экономической статистики. Comment

Онлайн калькуляторы
Некоторые задачи можно решить онлайн, введя числовые значения, с подробным решением. Comment