Cтраница 1
Методы сопряженных градиентов, которые мы собираемся описать, часто используются на практике даже тогда, когда функция f (), подлежащая минимизации, не является выпуклой, и есть основания полагать, что такое их использование приводит к отысканию локального минимума. [1]
Рассмотрим метод сопряженных градиентов, применяемый для минимизации положительно определенных квадратичных форм [ 73 и обобщенный в [71] на случай минимизации функций общего вида. [2]
В методе сопряженного градиента ( Флетчер и Пауэлл, [41]) сделана попытка соединить лучшие качества двух рассмотренных методов. [3]
Мы рассмотрим метод сопряженных градиентов, широко используемый на практике. [4]
В настоящее время метод сопряженных градиентов при умеРен - ном числе обусловленности 1л ( А) и больших п на практике используется обычно именно как метод последовательных приближений. [5]
В общем случае метод сопряженных градиентов сходится намного быстрее, чем метод наискорейшего спуска. [6]
Более высокую сходимость имеют методы сопряженных градиентов [5.22, 5.23] и метод быстро сходящегося спуска [5.24], которые отличаются лишь несколько иным способом формирования рабочих шагов. [7]
Все три приема ( методы сопряженных градиентов, Б. Т. Поляка и быстрого градиента) влияют на улучшение прохождения оврагов, образуемых штрафными функциями на поверхности целевой функции. Поэтому совместное применение этих приемов нецелесообразно и рекомендуется использовать только один из них - метод сопряженных. [8]
Как известно, в методе сопряженных градиентов последовательно вычисляемые направления спуска г 1 / образуют G-орто-гональную систему векторов. Были проведены эксперименты с целью выяснить, как постепенно из-за ошибок округления утрачивается ортогональность. Результаты показали, что величины у быстро становятся ненулевыми, хотя очень больших значений не достигают. [9]
Выше отмечалось, что в методе сопряженных градиентов точное решение системы уравнений ( 1) получается за конечное число итераций, равное порядку системы. Если порядок системы велик, то может оказаться полезной и оценка погрешности. [10]
Иначе говоря, в данном случае метод сопряженных градиентов позволяет найти точное решение системы (2.28) уже на й-м шаге. [11]
Иначе говоря, в данном случае метод сопряженных градиентов позволяет найти точное решение системы (3.1) уже на k - м шаге. [12]
Один из приемов, использованный в методе сопряженных градиентов ( называемом также методом Флетчера - Ривса), основан на понятии сопряженности векторов. Векторы А и В называют Q-сопряженными, если ATQB О, где Q - положительно определенная квадратная матрица того же порядка, что и размер JV векторов А и В ( частный случай сопряженности - ортогональность векторов, когда Q является единичной матрицей порядка N); Ат - вектор-строка; В - вектор-столбец. [13]
Примером этого является рассматриваемый в следующем разделе метод сопряженных градиентов, где сопряженные векторы образуются из вектор-градиентов. Если функция и ее градиенты определены только численно так, что нет возможности построить матрицу Q, то задача построения множества ( - сопряженных векторов становится более трудной. Этот случай позже в данной главе будет рассмотрен подробно при описании метода сопряженных градиентов и метода переменной метрики. В случав неквадратичной функции метод сопряженных направлений становится итеративным и обычно не заканчивается за п шагов. Неквадратичные функции локально аппроксимируют последовательность квадратичных функций, р-векторы определяются в соответствии с квадратичными аппроксимациями этих неквадратичных функций. Поэтому при функциях, локальные квадратичные аппроксимации которых быстро изменяются от итерации к итерации или для которых матрица Гессе перестает быть положительно определенной, метод сопряженных направлений может не сходиться. [14]
Ричардсона с чебышевскими параметрами, или к методу сопряженных градиентов. Скорость сходимости подобных классич. [15]