Cтраница 2
Требования к объему памяти обычно оказываются выше для методов второго порядка, так как в методах первого порядка нужно запоминать лишь управления, а в методах второго порядка для решения проварьированного процесса надо запоминать, кроме того, значения фазовых переменных и переменных сопряженного процесса, а также временно хранить информацию, относящуюся к расчету проварьированного процесса. Однако, если расчет производных в методе первого порядка осуществляется с помощью сопряженного процесса по формулам ( VII13), а это имеет смысл делать в большинстве случаев, то и в методе первого порядка требуется хранить в памяти фазовые переменные основного процесса, и разница в объеме запоминаемой информации становится менее значительной. [16]
Стоит упомянуть еще одну причину, по которой методы второго порядка представляются интересными. Это связано с выбором шага спуска S. В методах первого порядка эту величину приходится назначать, тогда как в методах второго порядка учет квадратичных членов разложения приводит к естественному выбору абсолютной величины вариации Su ( t) без введения искусственных ограничений. [17]
Если же в каждой точке известны и значения градиента данной функции, то могут быть использованы теоретически-более эффективные алгоритмы одномерного поиска, основанные на применении-так называемых критериев сходимости. При этом автоматически обеспечивается выполнение условия ( III, 163), связанного с устойчивостью алгоритма минимизации. По данным решения тестовых задач методы первого порядка требуют в среднем 1 1 - 1 5 вычислений функции ( вместе с градиентом) на направлении по сравнению с 2 5 - 4 вычислениями при методах нулевого порядка. [18]
Приведенные в работах [62, 63] условия устойчивости для различных технологических схем элементов контактных аппаратов содержат производные от температуры газового потока после первого ( или второго) слоя катализатора. Другими словами, на этапе расчета контактного аппарата ( замкнутой схемы) требуется вычисление производных от некоторых промежуточных переменных для проверки условий устойчивости. Если же для решения задачи оптимизации применяются методы первого порядка, возникает необходимость в расчете вторых производных от указанных переменных, что серьезно усложняет процесс поиска оптимального решения. [19]
Все указанные недостатки делают малоперспективным использование разностных оценок производных при оптимизации больших систем. Поэтому для больших систем чрезвычайно важную роль приобретают алгоритмические методы вычисления производных. От наличия таких методов и основанных на них программ будет зависеть - станут ли квазиньютоновекие методы первого порядка действительно инструментом решения задач оптимизации большой размерности. [20]
Для оптимизации штрафной функции используется широкий спектр методов безусловной максимизации. К ним относятся методы нулевого порядка, в к-рых используются только значения оптимизируемой функции, методы первого порядка ( напр. Ньютона), при реализации к-рых необходимо знание производных оптимизируемой функции до второго порядка включительно. В ряде таких методов используются функция Лагранжа и ее модификации. [21]
Однако процедура вычисления градиента часто бывает весьма трудоемкой и тем самым снижается эффективность этих методов. Методы, которые излагаются в последующих разделах настоящей главы, не требуют вычисления градиента функции. Правда, априорные оценки свидетельствуют о более низкой скорости сходимости этих методов по сравнению с методами первого порядка, однако этот недостаток в ряде случаев компенсируется простотой вычисления направления спуска. [22]
Матрица D в формуле (12.111) носит название метрики. Методы поиска вдоль направлений, определяемых этой формулой, называются методами переменной метрики, поскольку матрица Djt изменяется на каждой итерации. Так как методы переменной метрики не используют вторых производных целевой функции, то они относятся к методам первого порядка. [23]
III, 8), ( 111 9) сводит общую задачу обработки экспериментальных данных к задаче на безусловный экстремум. Отсюда для решения задачи ( 111 7) целесообразно применять методы нулевого порядка, не требующие вычисления первых производных. В случае решения задачи ( III, 7) с критерием ( 111 8), вообще говоря, могут быть использованы как методы нулевого порядка, так и методы первого порядка ( гл. [24]
Главы 4, 5 и 6 составляют основную часть книги. В главе 4 приведены методы оптимизации без ограничений. Эти методы классифицированы в соответствии с порядком используемых производных. Рассматриваются прямые методы, методы первого порядка и методы второго порядка. [25]
Задача выпуклого программирования при наличии хорошего начального приближения может быть сведена к последовательности задач безусловной оптимизации. При этом сложность задач от шага к шагу не возрастает, чем предложенный метод выгодно отличается от метода штрафных функции. Предложенный метод рекомендуется использовать, когда методы первого порядка сходятся медленно, а применение метода Ньютона вызывает значительные трудности из-за необходимости вычислять матрицу вторых производных функции Лагранжа. [26]
Следует отметить, что в таком виде итерационный процесс часто расходится. Ранее 7273 был изложен один прием, улучшающий сходимость. Этот прием, а также некоторые другие для более общего случая описаны в Приложении II ( стр. В случае, если функция ( 111 1) многоэкстремальна, то даже использование описанных в Приложении II приемов не гарантирует сходимость. В то же время метод первого порядка обязательно сойдется по крайней мере к локальному минимуму. [27]
В § § 18 - 23 были описаны методы построения минимизирующей последовательности управлений, использующие лишь первые производные входящих в задачу функционалов. Поэтому эти методы называют методами первого порядка. Давно было замечено, что при решении задач поиска минимума методом первого порядка сходимость оказывается очень медленной в окрестности точки минимума. Это и понятно: ведь в этой окрестности, грубо говоря, первая производная минимизируемого функционала обращается в нуль, и приращение его при вариации аргумента ( управления) определяется вторым членом разложения. Стремясь повысить скорость поиска и получить более точные результаты без существенного увеличения времени счета, естественно приходят к идее использования в вычислениях также вторых производных от функционалов задачи. Кроме того, с этим же связаны и надежды повысить эффективность поиска в условиях применения штрафных функций, когда сходимость методов первого порядка оказывается очень медленной даже сравнительно далеко от искомой точки минимума. Методы второго порядка разработаны не так подробно, как методы первого порядка, а опыт их фактического применения совсем невелик. Ниже будет описана общая схема метода второго порядка и рассмотрены возникающие при его реализации вычислительные проблемы. [28]