Опубликован: 25.07.2006 | Уровень: для всех | Доступ: платный | ВУЗ: Новосибирский Государственный Университет
Лекция 10:

Цепи Маркова

< Лекция 9 || Лекция 10: 1234 || Лекция 11 >

Другой пример: если цепь Маркова имеет матрицу перехода, приведенную на рис. 10.8, то ассоциированный орграф этой цепи выглядит так, как показано на (рис. 10.9).


Рис. 10.7.
\begin{pmatrix}
{0} & {1/4} & {1/2} & {0} & {0} & {1/4} \\
{0} & {1} & {0} & {0} & {0} & {0} \\
{1/2} & {1/3} & {0} & {1/12} & {0} & {1/12} \\
{0} & {0} & {0} & {0} & {1} & {0} \\
{0} & {0} & {0} & {0} & {0} & {1} \\
{0} & {0} & {0} & {1} & {0} & {0}
\end{pmatrix}

Рис. 10.9.

Теперь ясно, что в цепи Маркова из состояния E_{i} в состояние E_{j} можно попасть в том и только в том случае, если в ассоциированном орграфе существует орцепь из v_{i} в v_{j}, и что наименьшее возможное время попадания равно длине кратчайшей из таких орцепей. Цепь Маркова, в которой из любого состояния можно попасть в любое другое, называется неприводимой. Ясно, что цепь Маркова неприводима тогда и только тогда, если ее ассоциированный орграф сильно связан. Заметим, что ни одна из описанных выше цепей не является неприводимой.

При дальнейших исследованиях принято различать те состояния, в которые мы продолжаем возвращаться независимо от продолжительности процесса, и те, в которые мы попадаем несколько раз и никогда не возвращаемся. Более точно это выглядит так: если начальное состояние есть E_{i} и вероятность возвращения в E_{i} на некотором более позднем шаге равна единице, то E_{i} называется возвратным (или рекурсивным) состоянием. В противном случае состояние E_{i} называется невозвратным. В задаче об осле, например, очевидно, что состояния E_{1} и E_{6} являются возвратными, тогда как все другие состояния — невозвратными. В более сложных примерах вычисление нужных вероятностей становится очень хитрым делом, и поэтому проще бывает классифицировать состояния, анализируя ассоциированный орграф цепи. Нетрудно понять, что состояние E_{i} возвратно тогда и только тогда, если существование простой орцепи из v_{i} в v_{j} в ассоциированном орграфе влечет за собой существование простой орцепи из v_{j} в v_{i}. В орграфе, изображенном на (рис. 10.7), существует простая орцепь из v_{1} в v_{4}, но нет ни одной орцепи из v_{4} в v_{1}. Следовательно, состояния E_{1} и, аналогично, E_{3} невозвратны ( E_{2},E_{4},E_{5},E_{6} возвратны). Состояние (такое, как E_{2} ), из которого нельзя попасть ни в какое другое, называется поглощающим состоянием.

Другой прием классификации состояний опирается на понятие периодичности состояний. Состояние E_{i} цепи Маркова называется периодическим с периодом t (t\ne 1), если в E_{i} можно вернуться только по истечении времени, кратного t. Если такого t не существует, то состояние E_{i} называется непериодическим. Очевидно, что каждое состояние E_{i}, для которого p_{ii}
\ne 0, непериодическое. Следовательно, каждое поглощающее состояние — непериодическое. В задаче об осле не только поглощающее состояние E_{1},E_{6}, но и все остальные являются непериодическими. С другой стороны, во втором примере (рис. 10.9) поглощающее состояние E_{2} — единственное непериодическое состояние, поскольку E_{1},E_{3} имеют период два, а E_{4},E_{5},E_{6} — период три. Используя терминологию орграфов, легко показать, что состояние E_{i} является периодическим с периодом t тогда и только тогда, если в ассоциированном орграфе длина каждой замкнутой орцепи, проходящей через v_{i}, кратна t.

И, наконец, для полноты изложения введем еще одно понятие: назовем состояние цепи Маркова эргодическим, если оно одновременно возвратно и непериодично. Если любое состояние цепи Маркова является эргодическим, то назовем ее эргодической цепью.

< Лекция 9 || Лекция 10: 1234 || Лекция 11 >
Никита Толышев
Никита Толышев
Владислав Нагорный
Владислав Нагорный

Подскажите, пожалуйста, планируете ли вы возобновление программ высшего образования? Если да, есть ли какие-то примерные сроки?

Спасибо!

Денис Сафронов
Денис Сафронов
Россия
жылдыз насырбекова
жылдыз насырбекова
Киргизия, бишкек