Моделирование систем и процессов. Марковские процессы. (Лекция 3)

1. Моделирование систем и процессов

Лекция 3.
Марковские процессы.

2. Цепочка состояний устройства (системы)

Исправное
устройство
Частично
неисправное
(работоспособное)
Требующее
ремонта
(восстановления)
Списание
устройства
Марковская цепь – случайный марковский процесс с
дискретными состояниями и дискретным временем.

3. Методологические проблемы описания цепочки состояний:

1. В естественных условиях процессы старения
происходят непрерывно.
2. Любое техническое устройство не работает
постоянно, работает с различной нагрузкой.
3. Системы рассматривается в вероятностной
постановке. Переход из одного состояния в другое
носит вероятностный характер

4. Марковские случайные процессы

Марковские процессы - для каждого момента
времени ti вероятность любого состояния системы в
будущем (при t>ti) зависит только от ее состояния в
настоящем (при t=ti) и не зависит от того, когда и каким
образом система пришла в это состояние.

5.

6. Размеченный граф состояний и переходов

Граф состояний изображает возможные состояния системы с
указанием (в виде стрелок) возможных переходов из состояния в
состояние.
Pij - вероятности переходов из i-го состояния в j-e состояние (для
случая дискретного пространства состояний и дискретного времени )
ij – плотность вероятностей переходов (для случайных Марковских
процессов с дискретными состояниями и непрерывным временем)
Если плотности вероятностей переходов ij не зависят от времени t,
то такой марковский процесс называется однородным, при наличии
зависимости от времени, т.е., если ij = ij(t), процесс называется
неоднородным.

7. Однородная конечная цепь Маркова

Марковская цепь называется однородной, если
переходные вероятности не зависят от номера шага (не
зависят от момента времени перехода). При
зависимости переходных вероятностей от номера шага
Марковская цепь называется неоднородной.
Pij
P11
P12
... P1j ... P1n
P12
P22 ... P2j ... P2n
...
...
...
Pi1
Pi2
... Pij
... Pin
...
...
...
...
...
...
...
...
...
Pn1 Pn2 ... Pnj ... Pnn
Свойство матрицы Рij сумма членов, стоящих в
каждой строке, равна
единице n
P
j 1
ij
1

8. Графическое отображение конечной цепи Маркова

P11
0
0
Pij 0
0
0
P
P
P
0
0
22 23 24
P
P
0 P
0
32 33
35
0 P
P
P
P
43 44 45 46
0
0
0 P
P
55 56
P
0
0
0 P
62
60
P
12
P
13
В некоторые заранее определенные, фиксированные
моменты времени t0, t1, t2, … tn может реализоваться любая
последовательность дискретных состояний, например :
S1 S3 S2 S2 S3 S5 S6 S2
0
0
0

9. Эргодическая цепь Маркова

Свойство эргодичности однородной цепи Маркова
означает, что переходные вероятности Pij(t) при
достаточно большом T стремятся независимо от i-го
состояния к некоторой стационарной величине.
Другими словами, эргодическая цепь Маркова – это
однородная по времени цепь Маркова S(t),
обладающая следующим свойством: существуют
независимые от i величины:
Pj lim Pij ( t ) , Pj 1
j
t
Это означает, что матрица Pij превращена в матрицу
из одной строки
Pij
Pj
P1 , P2 ... Pj ... Pn

10. Дискретные марковские процессы с непрерывным временем:

• Случайный поток событий - последовательность
однородных событий, следующих один за другим в
какие-то случайные моменты времени.
• Интенсивность λ(или «плотность») потока событийэто среднее число событий в единицу времени.
• Если λ=const, то поток событий является
стационарным , если λ=λ(t) , т.е. зависит от времени,
то поток событий является нестационарным.
• Экспоненциальный закон распределения:
F (t ) 1 e
t
( t 0)

11. Пуассоновский процесс

Стационарный, без последействия и ординарный поток
событий называется простейшим, или
стационарным пуассоновским потоком. Термин
пуассоновский поток означает, что число событий,
попадающих на участок τ, распределено по закону
Пуассона
( ) m ( )
Pm
m!
e