Cтраница 3
Рассмотрим поведение метода градиента при большей размерности п и при высокой зашумленности к. Для высокой размерности системы случайный вектор Е ( 1) будет в среднем ортогонален градиентному направлению. [31]
Одним из важных приемов, ускоряющих оптимизацию, является масштабирование ( нормализация) производных дЗ / dxj от целевой функции по оптимизируемым параметрам. Если наблюдается сильно выраженная выпуклость функции 3 по некоторому параметру Xj, имеющему малый диапазон изменения, то слишком быстрый спуск вдоль градиентного направления приводит к частой фиксации параметра Xj на его граничных значениях. Это значительно усложняет процесс оптимизации по данному параметру и по остальным параметрам в целом. [32]
Если шаг окажется неэффективным, то вероятность выбора этого направления при следующем шаге уменьшается, и наоборот. Алгоритмы такого типа, случайно определив удачное направление поиска, стараются его зафиксировать. Во втором статистическом методе оптимизации улучшается поиск при изменении градиентного направления функции. [33]
Линии равного уровня функции минимума ZO ( W) показаны полужирными. Нетрудно установить, что точка Э является точкой максимума функции ZO ( W), ее образно можно представить как вершину горы. Очевидно, что направлением наибольшего возрастания функции минимума в точке гребня, например в точке А будет направление, касательное к линии гребня в этой точке. Но это направление не совпадает с градиентными направлениями ни функции z2, ни функции z3 в точке А, так как эти направления ортогональны линиям равного уровня. [34]
Степень этой близости увеличивается с ростом количества рассмотренных точек. Тем самым имеется возможность сделать овражный шаг в направлении, близком к наилучшему. К сожалению, и здесь потери на поиск остаются большими по следующим двум причинам. Во-первых, количество спусков на дно оврага должно быть достаточно большим, обычно превышающим число управляемых параметров. Во-вторых, точность определения градиентного направления по нескольким точкам существенно зависит от точности попадания на дно оврага, что увеличивает число проб при каждом локальном спуске. [35]