§9 Марковские цепи.

9.1. Пусть на стохастическом базисе задана марковская случайная последовательность со значениями в и переходной вероятностью .

Определение. Пусть Е - не более чем счетное множество (т. е. либо конечное, либо счетное), тогда марковская последовательность называется марковской цепью.

Обозначим через - одноточечное множество. Пусть B любое подмножество множества Е. Очевидно, что . Пусть - переходная вероятность. Очевидно, что .

Обозначим - вероятность перехода последовательностью из состояния в момент времени s в одноточечное множество в момент времени .

Определение. Марковская цепь называется однородной, если , т.

Везде ниже будем рассматривать только однородные марковские цепи.

Займемся теперь классификацией состояний.

9.2. Определение. Состояние достижимо из состояния за n шагов (обозначаем ), если .

Теорема 38. Если состояние достижимо из , a достижимо из , то достижимо из .

Доказательство. Так как , то и , то , то в силу соотношения Чепмена - Колмогорова, имеем .

9.2.1 Определение. Состояния и называются сообщающимися, если и (обозначается ).

Очевидно, что: 1) ; 2) если , то ; 3) если и , то .

Определение. Говорят, что состояния и принадлежат классу , если существуют моменты времени и такие, что .

Замечание. Класс - это множество состояний марковской цепи, являющихся сообщающимися. Через обозначим класс состояний, которые сообщаются с состоянием .

Теорема 39.

Доказательство теоремы 39. Пусть , следовательно существуют , такие, что . Из соотношения Чепмена - Колмогорова следует . Аналогично , следовательно . Поэтому . Аналогично устанавливается . Следовательно . Доказательство закончено.

Замечания. 1) Теорема 39 полезна тем, что позволяет разбивать множество состояний на классы , причем .

2) Если - счетно, то классов не более, чем счетно.

9.2.2. Определение. Состояние называется существенным, если для .

Определение. Однородная марковская цепь называется неприводимой, если она состоит из одного класса сообщающихся состояний.

Определение. Состояние называется несущественным, если "выйдя" из него нельзя "вернутся" в него с положительной вероятностью за конечное число шагов.

Из этих определений очевидным образом следуют утверждения.

Теорема 40. Пусть - существенное состояние, тогда из него достижимы все существенные состояния.

Теорема 41. Класс сообщающихся состояний состоит либо из существенных, либо из несущественных состояний.

9.3. В данном пункте мы определяем строго марковское свойство однородных марковских цепей, а также покажем, что однородная марковская цепь обладает строго марковскими свойством.

Положим и - однородная марковская цепь. Пусть . Определим на операторы сдвига Для каждой -измеримой случайной величины равенством определим случайную величину

Используя эти обозначения для однородных марковских цепей - п.

где (24)

9.3.1. Определение. Будем говорить, что марковская цепь обладает строго марковским свойством, если для любого марковского момента - п. н. справедливо равенство

, (25)

где .

Теорема 42. Любая однородная марковская цепь обладает строго марковским свойством.

Доказательство. Требуется установить (25), для этого достаточно установить равенство - п. н..

Действительно, для , имеем

(26)

Далее, так как , то имеем в силу марковского свойства,

Отсюда в силу произвольности и (26) получаем утверждение теоремы.

9.4. Определение. Состояние называется циклическим, а называется периодом марковской цепи если:

1) , где ( кратно , а );

2) - наибольшее число, на которое делится (НОД - наибольший общий делитель).

Если - НОД, то ясно, что - период марковской цепи. Если , то такая марковская цепь называется апериодической.

Пусть - фиксированное состояние. Введем подклассы:

……………………………………………

Теорема 43. Если марковская цепь - неприводимая, то