Cтраница 2
Обычно градиентный спуск целесообразно применять лишь на начальных этапах минимизации, используя найденные в результате сравнительно небольшого числа итераций величины 6Я в качестве начального приближения для более сложных методов, обладающих большей скоростью сходимости. [16]
Следует отметить, что чем меньше а, тем больше влияние функции / на z и, следовательно, тем менее ярко выражен овраг ( если, навечно, сама функция / не имеет оврагов), и можно ожидать большей скорости сходимости поиска. Однако с уменьшением а снижается точность нахождения истинного экстремума. [17]
Формула ( IV, 102) лежит в основе метода проектирования градиента [ 88, с. Ясно, что по скорости сходимости этот метод эквивалентен методам градиента и наискорейшего спуска для случая отсутствия ограничений. Поэтому методы переменной метрики, дающие большую скорость сходимости, интересно распространить на данный случай. [18]
Формула ( IV, 103) лежит в основе метода проектирования градиента [ 31, с. Ясно, что этот метод по скорости сходимости эквивалентен методам градиента и наискорейшего спуска при отсутствии ограничений. Поэтому интересно обобщить на данный случай методы переменной метрики, дающие большую скорость сходимости. [19]
Преимущество методов сопряженных градиентов по сравнению с методами сопряженных направлений состоит в том, что они требуют хранения только вектора, в то время как методы сопряженных направлений требуют хранения п X -матрицы. Это особенно важно при решении задач большой размерности. В то же время практический опыт показывает, что методы сопряженных направлений, как правило, обеспечивают большую скорость сходимости, чем методы сопряженных градиентов. [20]