Метода - сопряженный градиент
Cтраница 3
В методе сопряженных градиентов вектор направления поиска Sj на / г-ом шаге выбирается из условия Н - сопряженности с вектором предыдущего направления Sfc i, где Н - матрица Гессе. [31]
Ряд интересных работ не упоминается в этой главе в связи с тем, что пока их нельзя хорошо оценить. Это статьи [15, 28, 32], в которых излагаются методы сопряженных градиентов, предназначенные для получения квадратичной сходимости. Первый из этих методов требует знания градиента функции. Для второго и третьего методов должны быть известны только значения функции, причем третий метод, по-видимому, очень удобен, если только размерность пространства, в котором производится поиск, невелика. [32]
Ряд интересных работ не упоминается в этой главе в связи с тем, что пока их нельзя хорошо оценить. Это статьи [15, 28, 32], в которых излагаются методы сопряженных градиентов, предназначенные для получения квадратичной сходимости. Первый из этих методов требует знания градиента функции. Для второго и третьего методов должны быть известны только значения функции, причем третий метод, по-видимому, очень удобен, если только размерность пространства, в котором производится поиск, невелика. [33]
Весьма общий подход к ускорению сходимости штрафных функций состоит в использовании при решении последовательности задач сверхлинейно сходящегося алгоритма. Мы приведем сейчас алгоритм, основанный на методе сопряженных градиентов Полака - Рибьера с восстановлением, поскольку при исключении ограничений типа равенств с помощью штрафных функций могут не выполняться предположения о выпуклости. [34]
Задача минимизации ( 2) заслуживает отдельного описания. Здесь мы лишь отметим, что для этого используются алгоритмы покоординатного спуска и метода сопряженных градиентов. Важность этого правила связана с тем, что именно решение задачи ( 2) поглощает основную часть машинного времени. Он не имеет прямого содержательного смысла, поэтому е не назначается, а вычисляется некоторым алгоритмом подбора. [35]
 |
Настраиваемая модель из примера. [36] |
Однако в этой книге подобные постановки задач не рассматриваются ( см. Сейдж, [116]), так как ограничения в форме неравенств на состояние объекта и управления и ограничения-равенства на концах траектории встречаются в задачах идентификации не слишком часто. После краткого обсуждения двух примеров особое внимание будет обращено на изучение градиентного метода второго порядка и метода сопряженного градиента для решения задач идентификации динамических объектов. [37]
Градиентный спуск всегда приводит к какой-либо экстремали ф ( 0 дающей локальный минимум функционала Ф, однако скорость сходимости низкая. Причины медленного поиска минимума заключены в конструкции функционала, хотя, разумеется, определение ф ( 0 можно ускорить путем применения других итерационных процедур, например, метода сопряженного градиента. [38]
Данная книга представляет собой переработанный вариант учебного пособия Численные методы тех же авторов, вышедшего в 1987 году. Добавлен материал, относящийся к решению систем линейных уравнений с плохо обусловленными матрицами, решению задачи Коши для систем жестких обьжновенных дифференциальных уравнений, аппроксимации функций, методу сопряженных градиентов. Видоизменено изложение оптимального линейного итерационного процесса и рассмотрен многосеточный итерационный метод - одни из наиболее применяемых в настоящее время методов решения сеточных краевых з адач. [39]
Самым простым из квадратичных методов сопряженных направлений является метод сопряженных градиентов. Одновременно он обладает главным достоинством методов этого типа - высокой скоростью сходимости. Поэтому рассмотрим метод сопряженных градиентов более подробно. [40]
Ньютона нет необходимости на каждом шаге решать уравнение (1.6) точно. Поэтому для его решения имеет смысл использовать итерационные методы. Среди этих методов выделяется своей простотой и удобством метод сопряженных градиентов. [41]
Упор на технические приложения достигается за счет математической строгости. Особое внимание уделяется рекуррентным методам, которые обязаны своим появлением применению вычислительных машин для оценки параметров моделей, состояний систем и функций оптимального управления. Для получения численных результатов широко используются релаксационные методы и методы сопряженных градиентов. В то же время вполне очевидно, что прежде чем на основе стандартных подходов можно будет удовлетворительно синтезировать оптимальные управляющие устройства для более сложных процессов, потребуется большая исследовательская работа. В книге делается попытка представить положение дел в этой области, а также указать направление дальнейшего развития исследований. [42]
При малом числе ограничений ( 1 - 2) и области G простой формы ( GRn, G - шар в Rn) трудоемкость шага этих методов, впрочем, остается умеренной. Более того, результаты будут изложены для случая G-Rn. Между прочим подавляющее большинство традиционных методов сильно выпуклого программирования ( например, популярные методы сопряженных градиентов) связаны исключительно с этой последней ситуацией безусловной оптимизации во всем пространстве. [43]
Преимущество методов сопряженных градиентов по сравнению с методами сопряженных направлений состоит в том, что они требуют хранения только вектора, в то время как методы сопряженных направлений требуют хранения п X -матрицы. Это особенно важно при решении задач большой размерности. В то же время практический опыт показывает, что методы сопряженных направлений, как правило, обеспечивают большую скорость сходимости, чем методы сопряженных градиентов. [44]
Многие задачи математической физики приводят к положительно определенным матрицам с небольшим числом ненулевых элементов, расположенных в разных местах матрицы. Последнее имеет место при переходе от дифференциальных уравнений в частных производных к разностным. Если исходная матрица является редкой, а функции от переменных i и / достаточно просты, то процедура eg, основанная на методе сопряженного градиента, может оказаться весьма эффективным алгоритмом для решения таких систем уравнений. [45]
Страницы: 1 2 3 4