Градиент - целевая функция
Cтраница 2
Как уже говорит само название метода, в нем используется градиент целевой функции. В отличие от рассмотренного выше метода релаксации в методе градиента шаги совершаются в направлении наибыстрейшего уменьшения целевой функции, что, естественно, ускоряет процесс поиска оптимума. [16]
 |
Геометрическая интерпретация задач линейного программирования.| К примеру. [17] |
При этом f ( x ] - с, т.е. градиент целевой функции всюду одинаков и является нормалью каждой из данных гиперплоскостей. В соответствии с предыдущим, поиск решения задачи сводится к нахождению минимального числа а среди всех а таких, что гиперплоскость Нса имеет непустое пересечение с X. [18]
Таким образом, только в точке х3 вычисляется новое значение градиента целевой функции. [19]
Заметим, что в приведенных условиях экстремума множитель Ц при градиенте целевой функции может оказаться нулем. Это означает, что соответствующая задача в определенном смысле является вырожденной - для нее необходимые условия не отражают того, что именно оптимизируется. Такие задачи встречаются довольно редко, но все же встречаются и нужно уметь отличать их от невырожденных. [20]
В этом разделе речь пойдет о задачах двух типов; когда градиент целевой функции трудно вычислить и когда его просто нет. Задачи малой размерности, относящиеся к первому типу, лучше всего решать дискретными квазиньютоновскими методами ( разд. Однако в силу причин, рассмотренных в разд. [21]
Метод оптимизации по (8.12) и (8.13), когда на каждом шаге вычисляется градиент целевой функции, называется методом градиента. [22]
Использование этой процедуры значительно сокращает время работы и необходимую память при расчете градиентов целевой функции в случае оптимизации характеристик, а также при расчете коэффициентов чувствительности частотных характеристик. [23]
При таком корректировании таблицы задержек используется маргинальная или приращенная задержка ( мера градиента целевой функции) для выбора маршрутов. Поэтому учитывается влияние выбора маршрута в данный момент на состояние сети в будущем. [24]
Идея методов переменной метрики состоит в том, чтобы использовать информацию о градиенте целевой функции для приближенного вычисления гессиана. [25]
Детерминистский метод обучения производит модификацию весов сети только на основе информации о направлении градиента целевой функции в пространстве весов. Чтобы заставить сеть покинуть локальный экстремум и отправиться на поиски глобального, нужно создать дополнительную силу, которая зависела бы не от градиента целевой функции, а от каких-то других факторов. Выбор этих факторов, более или менее оправданный различными эвристическими соображениями, и составляет основу различных методов преодоления локальных ловушек. Один из простейших методов состоит в том, чтобы просто создать случайную силу и добавить ее к детерминистической. [26]
 |
УСЛОВИЯ Куна-Таккера на границе двух ограничений. а, 6. [27] |
Алгоритм скорейшего спуска ищет направление, определяя его как вектор, противоположный вектору градиента целевой функции. [28]
Два рассмотренных метода относятся к градиентным, так как в основу их положено вычисление градиента целевой функции. Достоинством градиентных методов является высокая скорость отыскания оптимальной точки, но это достоинство приходится оплачивать дорогим и сложным оборудованием, которое вычисляет, запоминает и использует величину градиента. Обычно это делает управляющая вычислительная машина. [29]
При использовании градиентного спуска в задачах оптимизации основной объем вычислений приходится обычно на вычисление градиента целевой функции в каждой точке траектории спуска. Поэтому целесообразно уменьшить количество таких точек без ущерба для самого решения. Это достигается в некоторых методах, являющихся модификациями градиентного спуска. Одним из них является метод наискорейшего спуска. Согласно этому методу, после определения в начальной точке направления, противоположного градиенту целевой функции, решают одномерную задачу оптимизации, минимизируя функцию вдоль этого направления. [30]
Страницы: 1 2 3 4