§10 Классификация марковских цепей по асимптотическим свойствам.
10.1. Пусть 
- марковская цепь. Обозначим 
- марковский момент первого попадания в состояние 
после момента времени 
, т.
. Обозначим 
Очевидно, что 
при 
это переходная вероятность за один шаг из состояния 
в .
Обозначим 
.
Предложение 44. 
Доказательство. Пусть 
- момент первого попадания в состояние . Из этого определения следует, что 
. Очевидно, что 
, так как
Заметим, что 
, поэтому в силу строго марковского свойства, имеем
Доказательство закончено.
10.2. Обозначим 
- вероятность того, что за бесконечное число шагов однородная марковская последовательность попадет из состояния в .
Определение. Состояние называется возвратным, если 
. Если 
, то состояние называется невозвратным.
Определение. 
называется средним временем до возвращения в состояние . Говорят, что состояние положительно, если 
. Состояние называется нулевым, если 
.
Теорема 45 (критерий возвратности). 1) Пусть имеется однородная марковская цепь (ОМЦ). Состояние возвратно тогда и только тогда, когда 
.
2) Если - возвратное состояние и сообщается с , то - возвратное состояние.
Доказательство. 1) Так как , то
Значит
.
Отсюда следует, что тогда и только тогда, когда 
Утверждение ii) очевидным образом следует из i).
Следствие 46. Если ряд 
сходится, то состояние - невозвратное.