Градиент - целевая функция
Cтраница 4
Параметр tol задает критерий остановки итерационного алгоритма. Если величина нормы градиента целевой функции (6.15) становится меньше tol, решение считается найденным. [46]
 |
Графическое представление условий Куна-Таккера. [47] |
Условия Куна-Таккера полезны, даже если в оптимальной точке нет активных ограничений. В этом случае рассматривается только градиент целевой функции, а он в точке оптимума должен быть равен нулю. [48]
Заметим, что метод наискорейшего спуска сводит многомерную задачу оптимизации к последовательности одномерных задач на каждом шаге оптимизации, как и в случае покоординатного спуска. Разница состоит в том, что здесь направление одномерной оптимизации определяется градиентом целевой функции, тогда как покоординатный спуск проводится на каждом шаге вдоль одного из координатных направлений. [49]
По определению, градиенты являются нормалями к касательным, проведенным к линиям равного уровня. Так как в точке оптимума касательные к целевой функции и функции ограничений совпадают, то градиенты целевой функции и функции, задаваемой ограничениями, коллинеарны, а их величины пропорциональны с точностью до множителя К. [50]
Градиент целевой функции в точке х Ах задается левой частью равенства (4.3.34), если х достаточно близко к х Ах в том смысле, что квадратичная аппроксимация является адекватной. Для того чтобы х Ад: было точкой локального оптимума на текущем множестве активных ограничений, потребуем, чтобы градиент целевой функции был в этой точке ортогонален поверхности, образованной активными ограничениями. Это означает, что проекция вектора градиента на эту поверхность равна нулю и дальнейшие передвижения не приведут к улучшению. Для того чтобы вектор градиента был ортогонален поверхности, образованной ограничениями-неравенствами, он должен представлять собой линейную комбинацию нормалей к этим ограничениям; эти нормали задаются правой частью равенства 4.3.34), Я, и ц, называются множителями Лаг-ранжа. [51]
Следовательно, при решении вопроса, насколько конкретный алгоритм подходит для решения данной задачи, мы должны принимать во внимание не только скорость сходимости этого алгоритма, но также и степень обусловленности, вытекающую из природы рассматриваемой задачи. Вообще говоря, когда область поиска очень узка и имеет форму банана, алгоритмы, в которых поиск осуществляется вдоль направления градиента целевой функции, или методы возможных направлений первого порядка ( разд. Что же касается квазиньютоновских методов, методов сопряженных градиентов и методов возможных направлений второго порядка ( разд. Таким образом, если область поиска имеет неблагоприятную форму, мы предпочтем один из сверхлинейно сходящихся алгоритмов, если только время, требующееся на одну итерацию, не окажется очень большим. [52]
Детерминистский метод обучения производит модификацию весов сети только на основе информации о направлении градиента целевой функции в пространстве весов. Чтобы заставить сеть покинуть локальный экстремум и отправиться на поиски глобального, нужно создать дополнительную силу, которая зависела бы не от градиента целевой функции, а от каких-то других факторов. Выбор этих факторов, более или менее оправданный различными эвристическими соображениями, и составляет основу различных методов преодоления локальных ловушек. Один из простейших методов состоит в том, чтобы просто создать случайную силу и добавить ее к детерминистической. [53]
Алгоритм позволяет определить все полуэффективные вершины, так как они становятся связными через полуэффективные ребра в ДДО. Роль этих ребер состоит в том, что они ограничивают те подобласти X, в которых эффективными являются внутренние точки множества X. В пределах этих ребер некоторая выпуклая комбинация градиентов целевых функций равна нулевому вектору. [54]
Как уже отмечалось, метод обобщенных стохастических градиентов не требует дифференцируемости целевой функции эквивалентной детерминированной задачи. Здесь мы рассмотрим возможный вариант применения метода возможных направлений к решению двух-этапной задачи линейного стохастического программирования. Использование и обоснование этого метода требует существования и непрерывности градиента целевой функции эквивалентной детерминированной задачи. Как и при изложении других методов, будем предполагать возможность вычисления всех математических ожиданий, значения которых используются в излагаемом ниже алгоритме. [55]
Нелинейное программирование применяется при нелинейных целевых функциях и / или ограничениях. Ограничения обычно имеют вид неравенств, что исключает решение методом неопределенных множителей Лагранжа. Эти задачи также решаются направленным поиском ( обычно на основе градиента целевой функции), который приводит к локальному экстремуму. [56]
Определение значений параметров оптимизации, минимизирующих сумму зависимостей (20.53) - (20.57) при соблюдении указанных условий ( второй этап решения), происходит следующим образом. По информации о состоянии производства в текущий момент времени определяются значения частных производных целевой функции по параметрам оптимизации. Найденные значения производных используются затем для изменения указанных параметров в направлении, противоположном градиенту целевой функции; при этом возможность движения в одном из указанных направлений на каждом шаге определяется результатами, полученными на первом этапе решения задачи. Модель завода, необходимая на втором этапе решения, состоит из уравнения, полученного суммированием зависимостей (20.53) - (20.57) и названных условий. Частные производные целевой функции по управляющим параметрам, используемые при оптимизации процесса в свою очередь зависят от частных производных цеховых затрат по параметрам оптимизации. [57]
Страницы: 1 2 3 4