Марковские процессы были выведены учеными в 1907 году. Ведущие математики того времени развивали эту теорию, некоторые совершенствуют ее до сих пор. Эта система распространяется и в других научных областях. Практические цепи Маркова применяются в различных сферах, где человеку необходимо прибывать в состоянии ожидания. Но, чтобы четко понимать систему, нужно владеть знаниями о терминах и положениях. Главным фактором, который определяет Марковский процесс, считаются случайности. Правда, он не схож с понятием неопределенности. Для него присущи определенные условия и переменные.

Особенности фактора случайности

Это условие подчиняется статической устойчивости, точнее, ее закономерностям, которые не учитываются при неопределенности. В свою очередь, данный критерий позволяет использовать математические методы в теории Марковских процессов, как отмечал ученый, изучавший динамику вероятностей. Созданная им работа касалась непосредственно этих переменных. В свою очередь, изученный и развившийся случайный процесс, имеющий понятия состояния и перехода, а также применяемый в стохастических и математических задачах, при этом дает возможность этим моделям функционировать. Кроме всего прочего, он дает возможность совершенствоваться другим важным прикладным теоретическим и практическим наукам:

• диффузионная теория;
• теория массового обслуживания;
• теория надежности и прочего;
• химия;
• физика;
• механика.

Сущностные особенности не запланированного фактора

Этот Марковский процесс обусловлен случайной функцией, то есть любое значение аргумента считается данной величиной или той, что принимает заранее заготовленный вид. Примерами служат:

• колебания в цепи;
• скорость движения;
• шероховатость поверхности на заданном участке.

Также принято считать, что фактом случайной функции выступает время, то есть происходит индексация. Классификация имеет вид состояния и аргумент. Этот процесс может быть с дискретными, а также непрерывными состояниями или временем. Причем случаи разные: все происходит или в одном, или в другом виде, или одновременно.

Детальный разбор понятия случайности

Построить математическую модель с необходимыми показателями эффективности в явно аналитическом виде было достаточно сложно. В дальнейшем реализовать данную задачу стало возможно, ведь возник Марковский случайный процесс. Разбирая детально это понятие, необходимо вывести некоторую теорему. Марковский процесс - это физическая система, изменившая свое положение и состояние, которые заранее не были запрограммированы. Таким образом, выходит, что в ней протекает случайный процесс. Например: космическая орбита и корабль, который выводится на нее. Результат достигнут лишь благодаря каким-то неточностям и корректировкам, без этого не реализуется заданный режим. Большинству происходящих процессов присущи случайность, неопределенность.

По существу вопроса, практически любой вариант, который можно рассмотреть, будет подвержен этому фактору. Самолет, техническое устройство, столовая, часы - все это подвержено случайным изменениям. Причем данная функция присуща любому происходящему процессу в реальном мире. Однако пока это не касается индивидуально настроенных параметров, происходящие возмущения воспринимаются как детерминированные.

Понятие Марковского случайного процесса

Проектировка какого-либо технического или механического прибора, устройства вынуждает создателя учитывать различные факторы, в частности неопределенности. Вычисление случайных колебаний и возмущений возникает в момент личной заинтересованности, например, при реализации автопилота. Некоторые процессы, изучаемые в науках вроде физики и механики, являются таковыми.

Но обращать на них внимание и проводить скрупулезные исследования следует начинать в тот момент, когда это непосредственно нужно. Марковский случайный процесс имеет следующее определение: характеристика вероятности будущего вида зависит от состояния, в котором он находится в данный момент времени, и не имеет отношения к тому, как выглядела система. Итак, данное понятие указывает на то, что результат можно предсказать, учитывая лишь вероятность и забыв про предысторию.

Подробное токование понятия

В настоящий момент система находится в определенном состоянии, она переходит и меняется, предсказать, что будет дальше, по сути, невозможно. Но, учитывая вероятность, можно сказать, что процесс будет завершен в определенном виде или сохранит предыдущий. То есть будущее возникает из настоящего, забывая о прошлом. Когда система или процесс переходит в новое состояние, то предысторию обычно опускают. Вероятность в Марковских процессах играет немаловажную роль.

Например, счетчик Гейгера показывает число частиц, которое зависит от определенного показателя, а не от того, в какой именно момент оно пришло. Здесь главным выступает вышеуказанный критерий. В практическом применении могут рассматриваться не только Марковские процессы, но и подобные им, к примеру: самолеты участвуют в бою системы, каждая из которых обозначена каким-либо цветом. В данном случае главным критерием вновь выступает вероятность. В какой момент произойдет перевес в числе, и для какого цвета, неизвестно. То есть этот фактор зависит от состояния системы, а не от последовательности гибели самолетов.

Структурный разбор процессов

Марковским процессом называется любое состояние системы без вероятностного последствия и без учета предыстории. То есть, если включить будущее в настоящее и опустить прошлое. Перенасыщение данного времени предысторией приведет к многомерности и выведет сложные построения цепей. Поэтому лучше эти системы изучать простыми схемами с минимальными числовыми параметрами. В результате эти переменные считаются определяющими и обусловленными какими-либо факторами.

Пример Марковских процессов: работающий технический прибор, который в этот момент исправен. В данном положении вещей интерес представляет вероятность того, что устройство будет функционировать еще длительный период времени. Но если воспринимать оборудование как отлаженное, то этот вариант уже не будет принадлежать к рассматриваемому процессу ввиду того, что нет сведений о том, сколько аппарат работал до этого и производился ли ремонт. Однако если дополнить эти две переменные времени и включить их в систему, то ее состояние можно отнести к Марковскому.

Описание дискретного состояния и непрерывности времени

Модели Марковских процессов применяются в тот момент, когда необходимо пренебречь предысторией. Для исследования в практике наиболее часто встречаются дискретные, непрерывные состояния. Примерами такой ситуации являются: в структуру оборудования входят узлы, которые в условиях рабочего времени могут выйти из строя, причем происходит это как незапланированное, случайное действие. В результате состояние системы подвергается ремонту одного или другого элемента, в этот момент какой-то из них будет исправен или они оба будут отлаживаться, или наоборот, являются полностью налаженными.

Дискретный Марковский процесс основан на теории вероятности, а также является переходом системы из одного состояния в другое. Причем данный фактор происходит мгновенно, даже если происходят случайные поломки и ремонтные работы. Чтобы провести анализ такого процесса, лучше использовать графы состояний, то есть геометрические схемы. Системные состояния в таком случае обозначены различными фигурами: треугольниками, прямоугольниками, точками, стрелками.

Моделирование данного процесса

Марковские процессы с дискретными состояниями - возможные видоизменения систем в результате перехода, осуществляющегося мгновенно, и которые можно пронумеровать. Для примера можно построить график состояния из стрелок для узлов, где каждая будет указывать путь различно направленных факторов выхода из строя, рабочего состояния и т. д. В дальнейшем могут возникать любые вопросы: вроде того, что не все геометрические элементы указывают верное направление, ведь в процессе способен испортиться каждый узел. При работе важно учитывать и замыкания.

Марковский процесс с непрерывным временем происходит тогда, когда данные заранее не фиксируются, они происходят случайно. Переходы ранее были не запланированы и происходят скачками, в любой момент. В данном случае вновь главную роль играет вероятность. Однако, если сложившаяся ситуация относится к указанной выше, то для описания потребуется разработать математическую модель, но важно разбираться в теории возможности.

Вероятностные теории

Данные теории рассматривают вероятностные, имеющие характерные признаки вроде случайного порядка, движения и факторов, математические задачи, а не детерминированные, которые являются определенными сейчас и потом. Управляемый Марковский процесс имеет фактор возможности и основан на нем. Причем данная система способна переходить в любое состояние мгновенно в различных условиях и временном промежутке.

Чтобы применять эту теорию на практике, необходимо владеть важными знаниями вероятности и ее применения. В большинстве случаев каждый пребывает в состоянии ожидания, которое в общем смысле и есть рассматриваемая теория.

Примеры теории вероятности

Примерами Марковских процессов в данной ситуации могут выступать:

• кафе;
• билетные кассы;
• ремонтных цеха;
• станции различного назначения и пр.

Как правило, люди ежедневно сталкиваются с этой системой, сегодня она носит название массового обслуживания. На объектах, где присутствует подобная услуга, есть возможность требования различных запросов, которые в процессе удовлетворяются.

Скрытые модели процесса

Такие модели являются статическими и копируют работу оригинального процесса. В данном случае основной особенностью является функция наблюдения за неизвестными параметрами, которые должны быть разгаданы. В результате эти элементы могут использоваться в анализе, практике или для распознавания различных объектов. Обычные Марковские процессы основаны на видимых переходах и на вероятности, в скрытой модели наблюдаются только неизвестные переменные, на которые оказывает влияние состояние.

Сущностное раскрытие скрытых Марковских моделей

Также она имеет распределение вероятности среди других значений, в результате исследователь увидит последовательность символов и состояний. Каждое действие имеет распределение по вероятности среди других значений, ввиду этого скрытая модель дает информацию о сгенерированных последовательных состояниях. Первые заметки и упоминания о них появились в конце шестидесятых годов прошлого столетия.

Затем их стали применять для распознавания речи и в качестве анализаторов биологических данных. Кроме того, скрытые модели распространились в письме, движениях, информатике. Также эти элементы имитируют работу основного процесса и пребывают в статике, однако, несмотря на это, отличительных особенностей значительно больше. В особенности данный факт касается непосредственного наблюдения и генерирования последовательности.

Стационарный Марковский процесс

Данное условие существует при однородной переходной функции, а также при стационарном распределении, считающимся основным и, по определению, случайным действием. Фазовым пространством для данного процесса является конечное множество, но при таком положении вещей начальная дифференциация существует всегда. Переходные вероятности в данном процессе рассматриваются при условиях времени или дополнительных элементах.

Детальное изучение Марковских моделей и процессов выявляет вопрос об удовлетворении равновесия в различных сферах жизни и деятельности общества. С учетом того, что данная отрасль затрагивает науку и массовое обслуживание, ситуацию можно исправить, проанализировав и спрогнозировав исход каких-либо событий или действий тех же неисправных часов или техники. Чтобы полностью использовать возможности Марковского процесса, стоит детально в них разбираться. Ведь этот аппарат нашел широкое применение не только в науке, но и в играх. Эта система в чистом виде обычно не рассматривается, а если и используется, то только на основе вышеупомянутых моделей и схем.

Эволюция которого после любого заданного значения временно́го параметра t {\displaystyle t} не зависит от эволюции, предшествовавшей t {\displaystyle t} , при условии, что значение процесса в этот момент фиксировано («будущее» процесса не зависит от «прошлого» при известном «настоящем»; другая трактовка (Вентцель): «будущее» процесса зависит от «прошлого» лишь через «настоящее»).

Энциклопедичный YouTube

1 / 3

✪ Лекция 15: Марковские случайные процессы

✪ Происхождение марковских цепей

✪ Обобщенная модель марковского процесса

Субтитры

История

Определяющее марковский процесс свойство принято называть марковским; впервые оно было сформулировано А. А. Марковым , который в работах 1907 г. положил начало изучению последовательностей зависимых испытаний и связанных с ними сумм случайных величин. Это направление исследований известно под названием теории цепей Маркова .

Основы общей теории марковских процессов с непрерывным временем были заложены Колмогоровым .

Марковское свойство

Общий случай

Пусть (Ω , F , P) {\displaystyle (\Omega ,{\mathcal {F}},\mathbb {P})} - вероятностное пространство с фильтрацией (F t , t ∈ T) {\displaystyle ({\mathcal {F}}_{t},\ t\in T)} по некоторому (частично упорядоченному) множеству T {\displaystyle T} ; и пусть (S , S) {\displaystyle (S,{\mathcal {S}})} - измеримое пространство . Случайный процесс X = (X t , t ∈ T) {\displaystyle X=(X_{t},\ t\in T)} , определённый на фильтрованном вероятностном пространстве, считается удовлетворяющим марковскому свойству , если для каждого A ∈ S {\displaystyle A\in {\mathcal {S}}} и s , t ∈ T: s < t {\displaystyle s,t\in T:s,

Марковский процесс - это случайный процесс, удовлетворяющий марковскому свойству с естественной фильтрацией .

Для марковских цепей с дискретным временем

В случае, если S {\displaystyle S} является дискретным множеством и T = N {\displaystyle T=\mathbb {N} } , определение может быть переформулировано:

Пример марковского процесса

Рассмотрим простой пример марковского случайного процесса. По оси абсцисс случайным образом перемещается точка. В момент времени ноль точка находится в начале координат и остается там в течение одной секунды. Через секунду бросается монета - если выпал герб, то точка X перемещается на одну единицу длины вправо, если цифра - влево. Через секунду снова бросается монета и производится такое же случайное перемещение, и так далее. Процесс изменения положения точки («блуждания ») представляет собой случайный процесс с дискретным временем (t=0, 1, 2, …) и счетным множеством состояний. Такой случайный процесс называется марковским, так как следующее состояние точки зависит только от настоящего (текущего) состояния и не зависит от прошлых состояний (неважно, каким путём и за какое время точка попала в текущую координату).

Соглашение об использовании материалов сайта

Просим использовать работы, опубликованные на сайте , исключительно в личных целях. Публикация материалов на других сайтах запрещена.
Данная работа (и все другие) доступна для скачивания совершенно бесплатно. Мысленно можете поблагодарить ее автора и коллектив сайта.

Отправить свою хорошую работу в базу знаний просто. Используйте форму, расположенную ниже

Студенты, аспиранты, молодые ученые, использующие базу знаний в своей учебе и работе, будут вам очень благодарны.

Подобные документы

Основные понятия теории марковских цепей. Теория о предельных вероятностях. Области применения цепей Маркова. Управляемые цепи Маркова. Выбор стратегии. Оптимальная стратегия является марковской - может зависеть еще и от момента времени принятия решения.

реферат , добавлен 08.03.2004


Цепь Маркова как простой случай последовательности случайных событий, области ее применения. Теорема о предельных вероятностях в цепи Маркова, формула равенства Маркова. Примеры для типичной и однородной цепи Маркова, для нахождения матрицы перехода.

курсовая работа , добавлен 20.04.2011


Основные понятия теории марковских цепей, их использование в теории массового обслуживания для расчета распределения вероятностей числа занятых приборов в системе. Методика решения задачи о наилучшем выборе. Понятие возвратных и невозвратных состояний.

курсовая работа , добавлен 06.11.2011


Цепи Маркова как обобщение схемы Бернулли, описание последовательности случайных событий с конечным или счётным бесконечным числом исходов; свойство цепей, их актуальность в информатике; применение: определение авторства текста, использование PageRank.

дипломная работа , добавлен 19.05.2011


Определение случайного процесса в математике, ряд терминов и понятий, описывающих механизм этого процесса. Марковские, стационарные случайные процессы с дискретными состояниями. Особенности эргодического свойства стационарных случайных процессов.

реферат , добавлен 15.05.2010


Сходимость последовательностей случайных величин. Центральная предельная теорема для независимых одинаково распределенных случайных величин. Основные задачи математической статистики, их характеристика. Проверка гипотез по критерию однородности Смирнова.

курсовая работа , добавлен 13.11.2012


Классификация случайных событий. Функция распределения. Числовые характеристики дискретных случайных величин. Закон равномерного распределения вероятностей. Распределение Стьюдента. Задачи математической статистики. Оценки параметров совокупности.

Случайный процесс X (t), tÎT называется марковским, если любых t l < t 2 < ... < t n , принадлежащих области Т, условная функция распределения случайной величины X(t n) относительно X(t 1), . . ., X(t n -1) совпадает с условной функцией распределения X(t n) относительно X(t n -1) в том смысле, что для любого x n ÎX справедливо равенство

Рассмотрение определения (3.1.1) при последовательно увеличивающихся n позволяет установить, что для марковских случайных процессов n-мерная функция распределения может быть представлена в виде

Аналогично свойство марковости (3.1.1), (3.1.2) может быть записано и для плотностей вероятности

Таким образом, для марковского процесса функция распреде­ления или плотность вероятности любой мерности n может быть найдена, если известна его одномерная плотность вероятности при t = t 1 и последовательность условных плотностей для моментов t i >t 1 , i = .Эта особенность по существу и определяет практи­ческое удобство аппарата марковских случайных процессов.

Для марковских процессов полностью справедлива общая клас­сификация, приведенная в параграфе 1.1. В соответствии с этой классификацией обычно выделяется четыре основных вида про­цессов Маркова :

- цепи Маркова - процессы, у которых как область значе­ний X, так и область определения Т - дискретные множества;

- марковские последовательности - процессы, у которых об­ласть значений X - непрерывное, а область определения Т -дис­кретное множество;

- дискретные марковские процессы - процессы, у которых область значений X - дискретное, а область определения Т - не­прерывное множество;

- непрерывнозначные марковские процессы - процессы, у ко­торых как область значений X, так и область определения Т - непрерывные множества.

Возможны и более сложные виды марковских процессов, на­пример дискретно-непрерывные, когда случайный процесс X (t) при некоторых значениях аргумента t имеет скачки, а в проме­жутках между ними ведет себя как непрерывнозначный. Подоб­ные процессы называются смешанными. Похожая ситуация имеет место и для векторных процессов Маркова - отдельные состав­ляющие такого процесса могут относиться к разным типам. Про­цессы таких сложных видов в дальнейшем не рассматриваются.

Отметим, что при изучении марковских процессов традиционно принято под аргументом t понимать время. Поскольку это пред­положение не ограничивает общности и способствует наглядности изложения, такая трактовка физического смысла аргумента t и принята в данной главе.

ЦЕПИ МАРКОВА

Пусть случайный процесс X (t) может принимать конечное (L < ) множество значений

{q l , l = } = С. Конкретное зна­чениеq l ; Î С, которое принял процесс X (t) в момент t, определя­ет его состояние при данном значении аргумента. Таким образом,

в рассматриваемом случае процесс X (t) имеет конечное мно­жество возможных состояний.

Естественно, что с течением времени процесс X (t) будет слу­чайным образом изменять свое состояние. Допустим, что такое изменение возможно не при любом t, а лишь в некоторые дискрет­ные моменты времени t 0 X (t) скачком изменяет свое состояние. Иначе говоря, в моменты времени t t имеют место переходы X(t 0) ®X(t 1) ® ..., причем X(t)Î C, i = 0,1,2,…

Два указанных признака определяют последовательность ди­скретных случайных величин X i - X (t i), i = 0.1, ... (дискретную случайную последовательность в терминах, параграфа 1.1), у ко­торой область значений представляет собой дискретное конечное множество С ={q l , l = ], а область определения - дискрет­ное бесконечное множество t i , i = 0,1, 2,...

Если для определенной таким образом дискретной случайной последовательности справедливо основное свойство (3.1.1) про­цессов Маркова, приобретающее в данном случае вид

то такая последовательность называется простой цепью Маркова.

Отметим, что из выражения (3.2.1) непосредственно вытекает

такое же равенство и для условных вероятностей нахождения

простой цепи Маркова в некотором состоянии

Р{х 1 /х 0 ,х 1 , ...,x i -1 } = Ρ{x i /x i -1 }, i = 1,2,....

Введенное определение допускает некоторое обобщение. По­ложим, что значение х i Î С рассматриваемого процесса X (t) за­висит не от одного, а от m(l£ m < i ) непосредственно предшест­вующих ему значений. Тогда, очевидно, что

Процесс, определяемый соотношением (3.2.2), называется сложной цепью Маркова порядка т. Соотношение (3.2.1) выте­кает из (3.2.2) как частный случай. В свою очередь, сложная цепь Маркова порядка т может быть сведена к простой цепи Маркова для m-мерного вектора. Для того чтобы показать это, положим, что состояние процесса в момент i i описывается с помощью m-мерного вектора.

(3.2.3)

На предыдущем шаге аналогичный вектор запишется как

Сравнение (3.2.3) и (3.2.4) показывает, что «средние» компо­ненты этих векторов (кроме X l в (3.2.3) и Х l - m в (3.2.4)) совпадают. Отсюда следует, что условная вероятность попадания про­цесса X (t) в состояние `X i в момент t 1 , если он находился в состоя­нии `X i -1 в момент t i -1 , может быть записана в виде

В (3.2.5) символ обозначает j-ю компоненту вектора `x i ; α (μ, ν) - символ Кронекера: α(μ, ν) = 1 при ν = μ и α(μ, ν) = ϋ при μ ¹ν. Возможность указанных обобщений позволяет ограничить­ся в дальнейшем рассмотрением только простых цепей Маркова.

Как система дискретных случайных величин простая цепь Мар­кова X i , i = 0, 1, 2, ... ,i, ... при любом фиксированном i может быть исчерпывающим образом описана i-мерной совместной вероят­ностью

ρ {θ 0 L , θ ίκ ,... , θ ί m ,} = P{Х 0 =θ L ,X 1 =θ k ,…,X j =θ m }, (3.2.6)

где индексы l , k,..., т принимают все значения от 1 до L неза­висимо друг от друга. Выражение (3.2.6) определяет матрицу с L строками и i+1 столбцом, элементами которой являются вероят­ности совместного пребывания системы случайных величин Χ 0 ,Χ 1 ,...,Χ ί в некотором конкретном состоянии. Данная матрица по аналогии с рядом распределения скалярной дискретной слу­чайной величины может быть названа матрицей распределения системы дискретных случайных величин

Χ 0 ,Χ 1 ,...,Χ ί .

На основании теоремы умножения вероятностей вероятность (3.2.6) может быть представлена в виде

Но согласно основному свойству (3.2.1) цепи Маркова

P{X l = m/X 0 = l ,X 1 = k ,…,X i -1 = r }=P{X i = m /X i -1 = r }

Повторение аналогичных рассуждений для входящей в (3.2.8) вероятности r } позволяет привести это выра­жение к виду



Отсюда окончательно получаем

(3.2.9)

Таким образом, полное вероятностное описание простой цепи Маркова достигается заданием вероятностей начального состояния цепи в момент t 0 , Ρ{Θ 0 l ,} = Р{Х 0 = Θ l }, l= и условных вероятностей

Ρ {X l = Θ k /X i-1 = Θ m }, i = 1 , 2, . .. · k, m =

Отметим, что поскольку возможные состояния Θ l Î`C цепи X (t) фиксированы и известны, для описания ее состояния в лю­бой момент времени достаточно указать номер l этого состояния. Это позволяет ввести для безусловных вероятностей нахождения цепи в l -м состоянии в момент t i (на i -м шаге) упрощенное обоз­начение

Для этих вероятностей, очевидно, имеют место свойства неот­рицательности и нормированности к единице

P l (i )>0,l = , i = 0, 1,2,...; (3.2.11)

При использовании матричных обозначений совокупность без­условных вероятностей записывается в виде матрицы-строки

(3.2.12)

Как следует из ранее изложенного, фундаментальную роль в теории цепей Маркова (и процессов Маркова вообще) играют ус­ловные вероятности вида В соответствии с физическим смыслом их принято называть вероятностями пере­хода и обозначать как

Выражение (3.2.13) определяет вероятность прихода цепи в состояние l , в момент t за ν - μ шагов при условии, что в момент t μ цепь находилась в состоянии A . Нетрудно видеть, что для вероятностей перехода также имеют место свойства не­отрицательности и нормированности, поскольку на любом шаге цепь всегда будет находиться в одном из L возможных состояний

(3.2.14)

Упорядоченная совокупность вероятностей перехода для любой пары может быть представлена в виде квадратной мат­рицы

(3.2.15)

Как следует из выражения (3.2.14), все элементы этой матри­цы неотрицательны и сумма элементов каждой строки равна еди­нице. Квадратная матрица, обладающая указанными свойствами, называется стохастической.

Таким образом, вероятностное описание цепи Маркова может быть задано матрицей-строкой (3.2.12) и стохастической матри­цей (3.2.15).

С использованием введенных обозначений решим основную задачу теории цепей Маркова - определим безусловную вероят­ность Ρ l (ί) того, что за i -μ шагов процесс придет в некото­рое состояние l , l = . Очевидно, что в момент t m процесс может находиться в любом из L возможных состояний с вероятностью P k (m), k = . Вероятность же перехода из k-гo в l -е состояние задается вероятностью перехода p k l (m,i) . Отсюда на основании теоремы о полной вероятности получаем

; (3.2.16)

или в матричной форме

P(i )=P(m)P(m,i ); (3.2.17)

Рассмотрим в соотношении (3.2.16) вероятность перехода π kl (m,i ). Очевидно, что переход цепи из состояния k в момент t m в состояние l в момент t i за несколько шагов может осущест­вляться различными путями (через различные промежуточные со­стояния). Введем в рассмотрение промежуточный момент времени t m , t m Β этот момент процесс может находиться в любом из L возможных состояний, причем вероятность его попадания в r-е состояние в момент t m при условии, что в момент t m он был в состоянии k, равна π kr (μ,m). В свою очередь, из состояния r в состояние l процесс переходит с вероятностью π rl (m,i ). Отсю­да с использованием теоремы о полной вероятности получаем уравнение Маркова для вероятностей перехода

матричная форма которого имеет вид

П(m, ί) = П(μ, m) П(m,I) ; 0£m < m < I; (3.2.19)

Уравнения (3.2.18), (3.2.19) определяют характерное для це­пей Маркова свойство вероятностей перехода, хотя справедливос­ти (3.2.18) еще недостаточно, чтобы соответствующая цепь была марковской.

Расписывая последовательно формулу (3.2.19), получаем

П(μ, i ) = П (μ, i - 1) П (i - 1, ί) = П (μ, μ + 1) ... П (ί - 1, i ), (3.2.20)

где p(ν, μ), μ -n= 1- одношаговая вероятность перехода. Полагая теперь в выражении (3.2.17) μ =0, получаем

(3.2.21)

откуда следует, что полное вероятностное описание простой цепи Маркова достигается заданием вероятностей начального состоя­ния и последовательности матриц вероятностей одношаговых пе­реходов.

Очевидно, что свойства цепи Маркова в значительной мере определяются свойствами вероятностей перехода. С этой точки зрения, в частности, среди простых цепей Маркова выделяют од­нородные, для которых вероятности перехода зависят только от разности аргументов

p kl (m,i ) =p kl (i-m) ,i>m>0; (3.2.22)

и не зависят от номера шага. Все остальные виды простых цепей Маркова, не удовлетворяющие условию (3.2.22), относятся к клас­су неоднородных,.

Поскольку для однородной цепи вероятность перехода опре­деляется лишь разностью аргументов и не зависит от номера ша­га, очевидно, что для произвольных пар (μ,m), (j ,i ), удовлетво­ряющих условиям т - μ = 1, ί- j = 1, m¹i, справедливо

p kl (m-m) =p kl (i-j)= p kl (1) =p kl ;

Отсюда следует, что для описания однородной марковской це­пи достаточно задать вместе с вероятностями начального состоя­ния не последовательность, а одну стохастическую матрицу одношаговых вероятностей перехода

(3.2.23)

Кроме того, очевидно, что

(3.4.7)

поскольку первый сомножитель под интегралом не зависит от пе­ременной интегрирования, а интеграл от второго равен единице. Вычитание уравнения (3.4.7) из (3.4,6) дает

Предположим, что плотность вероятности перехода рассматри­ваемого процесса может быть разложена в ряд Тейлора. Тогда выражение в квадратных скобках под интегралом в уравнении (3.4.8) может быть представлено в виде

Подставив выражение (3.4.9) в (3.4.8), разделив обе части полученного выражения на ∆t и перейдя к пределу при Δt → 0, получим

Уравнение (3.4.10) определяет широкий класс непрерывных марковских процессов, причем нетрудно видеть, что совокупность коэффициентов А ν (x 0 ,t 0) определяет физические свойства каждо­го из них. Так, коэффициент A 1 (x 0 , t 0) может трактоваться как среднее значение локальной (в точке x (t 0)) скорости изменения процесса, коэффициент A 2 (x 0 , t 0) - как локальная скорость изме­нения дисперсии его приращения и т. д. Однако марковские про­цессы такого общего вида сравнительно редко рассматриваются в приложениях. Наибольшее практическое значение имеет под­множество марковских процессов, удовлетворяющее условию

A ν (x 0 , t 0)¹0; n=1,2, A ν (x 0 , t 0)=0, n³3; (3.4.12)

При исследовании марковских процессов первоначально было установлено, что уравнению (3.4.10) при условии (3.4.12) удовле­творяют законы движения (диффузии) броуновских частиц, вслед­ствие чего соответствующие марковские процессы назвали диф­фузионными. Исходя из этого, коэффициент A 1 (x 0 , t 0)=a (x 0 , t 0) назвали коэффициентом сноса, о A 2 (x 0 , t 0)=b(x 0 , t 0) -- коэффици­ентом диффузии. В рамках (3.4.12) уравнение (3.4.10) приобре­тает окончательный вид

Это уравнение, в котором переменными являются х 0 и t 0 , носит название первого (обратного) уравнения Колмогорова.

Аналогичным образом может быть получено и второе урав­нение

Это уравнение, в честь впервые исследовавших его ученых, называется уравнением Фоккера, - Планка - Колмогорова или прямым уравнением Колмогорова (поскольку в нем фигурирует производ­ная по конечному моменту времени t>t 0).

Таким образом; показано, что плотности вероятности перехода диффузионных марковских процессов удовлетворяют уравнениям (3.4.13), (3.4.14), которые и являются основным инструментом их исследования. При этом- свойства конкретного процесса опреде­ляются «коэффициентами» a(x,tί) и b(x,t) которые, согласно уравнения (3.4.11), равны

Из выражений (3.4.15), (3.4.16) следует, что эти «коэффици­енты» имеют смысл условных математических ожиданий, опре­деляющих характер изменений реализаций процесса за бесконеч­но малый промежуток времени Δt. Допускаются весьма быстрые изменения процесса X (t) , но в противоположных направлениях, в результате чего среднее приращение процесса за малое время Δt конечно и имеет порядок .

Для системы массового обслуживания характерен случайный процесс. Изучение случайного процесса, протекающего в системе, выражение его математически и является предметом теории массового обслуживания.

Математический анализ работы системы массового обслуживания значительно облегчается, если случайный процесс этой работы является марковским. Процесс, протекающий в системе, называется марковским, если в любой момент времени вероятность любого состояния системы в будущем зависит только от состояния системы в текущий момент и не зависит от того, каким образом система пришла в это состояние. При исследовании экономических систем наибольшее применение имеют марковские случайные процессы с дискретными и непрерывными состояниями.

Случайный процесс называется процессом с дискретными состояниями, если все его возможные состояния можно заранее перечислить, а сам процесс состоит в том, что время от времени система скачком переходит из одного состояния в другое.

Случайный процесс называется процессом с непрерывным состоянием, если для него характерен плавный, постепенный переход из состояния в состояние.

Также можно выделить марковские процессы с дискретным и непрерывным временем. В первом случае переходы системы из одного состояния в другое возможны только в строго определенные, заранее фиксированные моменты времени. Во втором случае переход системы из состояния в состояние возможен в любой, заранее неизвестный, случайный момент. Если вероятность перехода не зависит от времени, то марковский процесс называют однородным.

В исследовании систем массового обслуживания большое значение имеют случайные марковские процессы с дискретными состояниями и непрерывным временем.

Исследование марковских процессов сводится к изучению матриц переходных вероятностей (). Каждый элемент такой матрицы (поток событий) представляет собой вероятность перехода из заданного состояния (которому соответствует строка) к следующему состоянию (которому соответствует столбец). В этой матрице предусмотрены все возможные переходы данного множества состояний. Следовательно, процессы, которые можно описывать и моделировать с помощью матриц переходных вероятностей, должны обладать зависимостью вероятности конкретного состояния от непосредственно предшествующего состояния. Так выстраивается цепь Маркова. При этом цепью Маркова первого порядка называется процесс, для которого каждое конкретное состояние зависит только от его предшествующего состояния. Цепью Маркова второго и более высоких порядков называется процесс, в котором текущее состояние зависит от двух и более предшествующих.



Ниже представлены два примера матриц переходных вероятностей.



Матрицы переходных вероятностей можно изобразить графами переходных состояний, как показано на рисунке.

Пример

Предприятие выпускает продукт, насытивший рынок. Если предприятие от реализации продукта в текущем месяце получит прибыль (П), то с вероятностью 0,7 получит прибыль и в следующем месяце, а с вероятностью 0,3 – убыток. Если в текущем месяце предприятие получит убыток (У), то с вероятностью 0,4 в следующем месяце оно получит прибыль, а с вероятностью 0,6 – убыток (вероятностные оценки получены в результате опроса экспертов). Рассчитать вероятностную оценку получения прибыли от реализации товара через два месяца работы предприятия.

В матричной форме эта информация будет выражена следующим образом (что соответствует примеру матрицы 1):

Первая итерация – построение матрицы двухступенчатых переходов.

Если предприятие в текущем месяце получит прибыль, то вероятность того, что в следующем месяце оно снова получит прибыль, равна

Если предприятие в текущем месяце получит прибыль, то вероятность того, что в следующем месяце оно получит убыток, равна

Если предприятие в текущем месяце получит убыток, то вероятность того, что в следующем месяце оно получит прибыль, равна

Если предприятие в текущем месяце получит убыток, то вероятность того, что в следующем месяце оно вновь получит убыток, равна

В результате расчетов получаем матрицу двухступенчатых переходов:

Результат достигается перемножением матрицы т,на матрицу с такими же значениями вероятностей:



Для проведения этих процедур в среде Excel необходимо выполнить следующие действия:

• 1) формировать матрицу;
• 2) вызывать функцию МУМНОЖ;
• 3) указывать первый массив – матрицу;
• 4) указывать второй массив (эта же матрица или другая);
• 5) ОК;
• 6) выделить зону новой матрицы;
• 7) F2;
• 8) Ctrl+Shift+Enter;
• 9) получить новую матрицу.

Вторая итерация – построение матрицы трехступенчатых переходов. Аналогично рассчитываются вероятности получения прибыли или убытка на следующем шаге и рассчитывается матрица трехступенчатых переходов, она имеет следующий вид:



Таким образом, в ближайшие два месяца работы предприятия вероятность получения прибыли от выпуска продукта выше, по сравнению с вероятностью получения убытка. Однако следует заметить, что вероятность получения прибыли падает, поэтому предприятию необходимо осуществить разработку нового продукта для замены производимого продукта.