Cтраница 2
Количество дополнительных вычислений целевой функции для построения одной оценки матрицы Гессе будет прямо пропорционально числу его элементов, не равных тождественно нулю. Следует подчеркнуть, что оба предлагаемых метода болезненно реагируют на ошибки округления, особенно опасные, когда матрица Гессе минимизируемой функции плохо обусловлена; впрочем, это слабое место почти всех неградиентных алгоритмов. Опыт применения дискретного метода сопряженных градиентов и ньютоновского метода с двухэтапной аппроксимацией матрицы Гессе показывает, что они ведут себя так, как и можно было бы ожидать; после удвоения точности счета дают примерно те же результаты, что и их градиентные аналоги при счете с одинарной точностью. [16]
Наибольшей эффективностью поиска характеризуются методы второго порядка. Однако они требуют вычисления матрицы Гессе, что значительно затрудняет или даже делает невозможным их использование для решения конкретных задач оптимизации. В связи связи были разработаны квазиньютоновские методы, в которых осуществляется аппроксимация матрицы Гессе. [17]
Заметим, что, может быть, даже не надо будет улучшать точность этих оценок - достаточно, чтобы тип ошибки был приемлем. Тут есть некая аналогия с аппроксимацией матрицы Гессе в квазиньютоновских методах: при заданной величине ошибки надо, чтобы аппроксимация матрицы Гессе была положительно определена. Заметим, что, если спроектированная матрица Гессе функции Лагранжа положительно определена, но почти вырождена, методы функции Лагранжа особенно чувствительны к ошибкам в множителях Лагранжа, поскольку эти ошибки могут привести к неопределенности спроектированной матрицы Гессе. [18]
Заметим, что, может быть, даже не надо будет улучшать точность этих оценок - достаточно, чтобы тип ошибки был приемлем. Тут есть некая аналогия с аппроксимацией матрицы Гессе в квазиньютоновских методах: при заданной величине ошибки надо, чтобы аппроксимация матрицы Гессе была положительно определена. Заметим, что, если спроектированная матрица Гессе функции Лагранжа положительно определена, но почти вырождена, методы функции Лагранжа особенно чувствительны к ошибкам в множителях Лагранжа, поскольку эти ошибки могут привести к неопределенности спроектированной матрицы Гессе. [19]
Преимущество аппроксимации обратной матрицы Якоби состоит в том, что в этом случае не нужно решать систему линейных уравнений. Однако аппроксимация самой матрицы Якоби имеет свои преимущества, которые мы обсудим ниже. Конечно, информация относительно функции / ( х), получаемая во время поиска и используемая для построения матриц Bj, Hj, должна быть достаточно качественной. Ясно, что если точки поиска Xj достаточно долго будут находиться либо в гиперплоскости, либо в близкой к ней окрестности, то построить аппроксимацию матрицы Якоби будет трудно. [20]
Преимущества и недостатки метода Ньютона применительно к задаче оптимизации рассмотрены в работе [ 11, с. В случае расчета стационарных режимов ХТС аналитическое определение матрицы Якоби обычно требует очень трудоемкой подготовительной работы. Конечно, положение изменится, когда будут созданы системы программ моделирования ХТС, использующие математический аппарат сопряженного процесса [ 1, с. Однако, поскольку таких программ, полностью автоматизирующих аналитическое определение матрицы Якоби, пока еще нет, метод Ньютона с аналитическим вычислением производных применяется очень редко. В связи с этим ставится задача использования метода Ньютона с некоторой аппроксимацией матрицы Якоби. Наиболее простым способом получения аппроксимации матрицы Якоби является разностный. [21]
Преимущества и недостатки метода Ньютона применительно к задаче оптимизации рассмотрены в работе [ 11, с. В случае расчета стационарных режимов ХТС аналитическое определение матрицы Якоби обычно требует очень трудоемкой подготовительной работы. Конечно, положение изменится, когда будут созданы системы программ моделирования ХТС, использующие математический аппарат сопряженного процесса [ 1, с. Однако, поскольку таких программ, полностью автоматизирующих аналитическое определение матрицы Якоби, пока еще нет, метод Ньютона с аналитическим вычислением производных применяется очень редко. В связи с этим ставится задача использования метода Ньютона с некоторой аппроксимацией матрицы Якоби. Наиболее простым способом получения аппроксимации матрицы Якоби является разностный. [22]