2.1. Основные понятия марковских процессов

Случайная функция X{t), аргументом которой является время, называется случайным процессом.

Марковские процессы являются частным видом случайных процессов.

Определение. Случайный процесс, протекающий в ка-кой-либо системе S, называется марковским (или процессом без последействия), если он обладает следующим свойством: для любого момента времени /0 вероятность любого состояния системы в будущем (при t > /0) зависит, только от ее состояния в настоящем (при / = /0) и не зависит от того, когда и каким образом система S пришла в это состояние.

Классификация марковских процессов. Классификация марковских случайных процессов производится в зависимости от непрерывности или дискретности множества значений функции X(t) и параметра

Различают следующие основные виды марковских случайных процессов:

с дискретными состояниями и дискретным временем (цепь Маркова);

с непрерывными состояниями и дискретным временем (марковские последовательности);

с дискретными состояниями и непрерывным временем (непрерывная цепь Маркова);

с непрерывным состоянием и непрерывным временем.

В данной работе будут рассматриваться только марковские процессы с дискретными состояниями Sb S2, Sn.

Ц)аф состояний. Марковские процессы с дискретными состояниями удобно иллюстрировать с помощью так называемого графа состояний (рис. 2.1), где кружками обозначены состояния Si, S2, ... системы S, а стрелками — возможные переходы из состояния в состояние. На графе отмечаются только непосредственные переходы, а не переходы через другие состояния. Возможные задержки в прежнем состоянии изображают «петлей», т. е. стрелкой, направленной из данного состояния в него же. Число состояний системы может быть как конечным, так и бесконечным (но счет-ным). Пример графа состояний системы S представлен на рис.2.1.