Cтраница 1
Управляемый марковский процесс с доходами не является марковской цепью в строгом смысле, а представляет собой совокупность марковских цепей, возможных при всех допустимых управлениях. Разные управления для каждого состояния в момент t определяют разные распределения вероятностей переходов из него в состояния следующего временного слоя. Задание оптимальных управлений для всех временных слоев и всех состояний определяет одну наилучшую марковскую цепь, в соответствии с которой система будет развиваться во времени. Таким образом, задача выбора стратегии строительства и реконструкции газопроводов сводится к выбору управлений, который выделит из заданного набора марковских цепей одну наилучшую с точки зрения финансового состояния компании. [1]
Перед нами схема управляемого марковского процесса, переходные вероятности рц которого меняются в зависимости от решения наблюдателя. Управляющий параметр d здесь принимает два значения, скажем 0, что означает остановку процесса в соответствующем состоянии, и 1, что означает принятие противоположного решения. [2]
Марковские процессы принятия решений или управляемые марковские процессы уже давно привлекают внимание математиков, как интересная, содержательная и вместе с тем трудная область творчества. В то же время эти процессы используются для решения многих задач, встречающихся при исследовании операций, в системном анализе, теории надежности, диагностике, управлении запасами, прогнозировании, причем применение оптимальных стратегий управления, получаемых с помощью алгоритмов, разработанных в рамках теории управляемых марковских процессов, может дать весьма значительный экономический эффект при решении задач практики. Поэтому аппарат теории управляемых процессов становится рабочим инструментом все возрастающего числа специалистов, работающих в указанных областях. [3]
Процесс со множеством стратегий, соответствующих каждому состоянию, называется управляемым марковским процессом. [4]
В следующих параграфах мы рассмотрим эти вопросы ( для определенного класса управляемых марковских процессов), а также примеры. [5]
Предложенная методика позволяет создать на основе программы Mapgem специальный генератор формирования моделей и расчетов управляемых марковских процессов с доходами для различных задач, ориентированных не только на газовую промышленность. Достаточная универсальность подхода делает его пригодным для изучения долгосрочных стратегий развития региональных систем газоснабжения, а также других энергетических систем. [6]
Поставим задачу найти метод выбора стратегии, обеспечивающей получение максимального дохода за п шагов управляемого марковского процесса. [7]
Из выражения (9.6) следует, что асимптотическое значение увеличения числа ЗЭ зависит только от средних значений пребывания эргодического управляемого марковского процесса в соответствующем множестве состояний, и знания этих характеристик достаточно для получения такой оценки. Вследствие того что не устанавливалось каких-либо условий на структуру ограничений задачи линейного программирования, найденная оценка может быть использована как при учете ограничений типа (3.55), так и без них. [8]
Наиболее часто описание процесса изменения технического состояния машины осуществляется в терминах дифференциального, линейного и нелинейного и динамического программирования, а также в терминах случайных управляемых марковских процессов и комбинаторного анализа. Эти и другие методы оптимизации решений позволяют в принципе получить оптимальную стратегию обслуживания и ремонта машин разного назначения и конструктивного оформления, однако отсутствие необходимой информации о характере изменения технического состояния машины в процессе эксплуатации часто не позволяет получить достаточно обоснованные решения. [9]
Когда множества 3 ( /) состояний среды заданы и для каждого управления u ( t) eU ( f) определены переходные вероятности P ( f) [ р / / ( м ( /), i - j, / eE ( /), / eS ( / /) и доходы ( приросты дисконтированной стоимости при выборе управлений), формирование управляемого марковского процесса считается законченным и можно приступить к расчету оптимальной стратегии. [10]
Рассматривается вопрос принятия решений в случае, когда усреднение по ансамблю не эквивалентно усреднению но времени. Исследование проведено на примере поведения автомата в случайной среде, которое описывается как управляемый марковский процесс. Предлагается оптимальный алгоритм такого поведения, для которого существенно рандомизированное принятие решений на каждом шаге, минимизирующее не средний, а условный риск. [11]
Марковские процессы принятия решений или управляемые марковские процессы уже давно привлекают внимание математиков, как интересная, содержательная и вместе с тем трудная область творчества. В то же время эти процессы используются для решения многих задач, встречающихся при исследовании операций, в системном анализе, теории надежности, диагностике, управлении запасами, прогнозировании, причем применение оптимальных стратегий управления, получаемых с помощью алгоритмов, разработанных в рамках теории управляемых марковских процессов, может дать весьма значительный экономический эффект при решении задач практики. Поэтому аппарат теории управляемых процессов становится рабочим инструментом все возрастающего числа специалистов, работающих в указанных областях. [12]
Конечно, их может быть очень много, ведь на каждом этапе требуется перебирать как разные варианты и длительности периода Т между очередными профилакти-ками, так и технологии ремонтных работ, что скажется на длительности проведения и качестве ремонта. Но сначала введем еще одно важное понятие, относящееся к управляемым марковским процессам. Раньше мы говорили о марковском свойстве применительно к вероятностной связи между состояниями. Если такой зависимости нет, то стратегия называется марковской. Значит, марковская стратегия предполагает управление каждым последующим шагом только на основании данных о предыдущем. Образно говоря, марковская стратегия напоминает поведение капризного и легкомысленного человека, который поступает так или иначе, не анализируя предшествующего хода событий, а думая только о том, как ему живется сейчас, в данную минуту. Это, конечно, не значит, что такая стратегия и на самом деле легкомысленная. Ведь речь идет только о математической модели, которая всегда обладает определенной абстракцией. [13]
В зависимости от вида математических моделей, используемых для описания потоков событий, и сложности изучаемой системы вероятностные характеристики последней могут быть получены аналитически или методом моделирования. При этом в первом случае обычно используются гипотезы о потоках и их свойствах, во втором - экспериментальные распределения. Заметим, что лишь для некоторых частных случаев ПС вероятностные характеристики, например, уровней запасов, моментов и размеров отказов ( дефицита) в обслуживании могут быть получены теоретически. Теоретические результаты, определяющие, например, закон переключения интенсивности обслуживания, а также момент, когда такое переключение целесообразно, относятся в основном к случаям, когда система описывается управляемым марковским процессом и оптимальные стратегии находятся в классе марковских. Для таких систем, в зависимости от числа требований в системе, удается выбрать уровень переключения скорости работы и устанавливать среднюю длительность обслуживания, минимизирующую критерий, учитывающий средние потери, вызванные задержками в обслуживании, и затраты от обслуживания с той или иной интенсивностью работы. Однако эффективность функционирования такого алгоритма управления в условиях реальных ПС существенно зависит от того, насколько реальные потоки требований близки к простейшему потоку. [14]
В основу данного учебного пособия положен курс лекций, которые читались авторами в течение нескольких лет на финансово-экономическом, учетно-экономическом и плановом факультетах Белорусского государственного института народного хозяйства им. Пособие написано в полном соответствии с действующей программой курса Теория игр. В нем излагаются основные понятия и принципы исследования операций, основы теории графов, сетевого планирования и потоков в сетях. Рассматриваются элементы теории игр и статистических решений, теории управления запасами и теории расписаний. Значительное внимание уделяется прикладной теории управляемых марковских процессов и ее приложениям в различных областях целенаправленной деятельности и теории массового обслуживания. Рассматриваются вопросы имитационного моделирования на ЭВМ, векторной оптимизации и свертки критериев эффективности, а также оптимизации принимаемых решений. Излагаемый материал иллюстрируется примерами, многие из которых производственного характера. [15]