Градиентный поиск

Cтраница 2

Блок-схема экстремального регулятора, работающего методом градиентного поиска. [16]

На рис. 5.1.1 показана блок-схема алгоритма градиентного поиска, которая очевидна и не нуждается в дополнительных пояснениях. [17]

Идея введения случайных скачков в процессе градиентного поиска использовалась давно. [18]

Весовые функции. а ступенчатая, б гауссова. [19]

Это означает, что поиск (20.7.15) вырождается в обычный локальный градиентный поиск, который не решает задачу отыскания глобального экстремума. Поэтому величина g должна выбираться такой, чтобы в результате сглаживания исходная функция превращалась в унимодальную. [20]

В алгоритме ( IX, 10) для градиентного поиска применяется нормализованный вектор градиента, указывающий лишь направление наискорейшего изменения целевой функции, но не указывает скорости ее изменения по этому направлению. При использовании нормализованного вектора-градиента шаг спуска определяется величиной / t ( / il), стратегию изменения которой можно строить независимо от абсолютной величины градиента. [21]

В алгоритме ( IX, 40) для градиентного поиска применяется нормализованный вектор градиента, указывающий лищь направление наискорейшего изменения целевой функции, но он не указывает скорости изменения по этому направлению. При использовании нормализованного вектора-градиента шаг спуска определяется величиной hW, стратегию изменения которой можно строить независимо от абсолютной величины градиента. [22]

Вообще задача выбора стратегии изменения длины шага в градиентном поиске более важна, чем в релаксационном методе. Это объясняется тем что после каждого шага здесь находятся все производные целевой функции. [23]

Вообще задача выбора стратегии изменения величины шага в градиентном поиске более важна, чем в методе релаксации. Это объясняется тем, что после каждого шага здесь находятся производные, целевой функции расчет которых связан с вычислением п значений целевой функции. Если, с одной стороны, размер шага слишком мал, то движение к оптимуму будет долгим из-за необходимости расчета целевой функции в очень многих точках. С другой стороны, если, например, в алгоритме ( IX41) шаг Л ( 0 выбран слишком большим, is районе оптимума может возникнуть рыскание, которое либо не затухает, либо затухает слишком медленно. [24]

Характер движения к оптимуму в методе градиента с малой ( а и большой ( б величиной шага. [25]

Вообще задача выбора стратегии изменения величины шага в градиентном поиске более важна, чем в методе релаксации. Это объясняется тем, что после каждого шага здесь находятся производные целевой функции, расчет которых связан с вычислением п значений целевой функции. Если, с одной стороны размер шага слишком мал, то движение к оптимуму будет долгим из-за необходимости расчета целевой функции в очень многих точках. С другой стороны, если, например, в алгоритме ( IX, 41) шаг № выбран слишком большим, в районе оптимума может возникнуть рыскание, которое либо не затухает, либо затухает слишком медленно. [26]

Рассмотрим один из алгоритмов градиентного типа, аналогичный детерминированному итеративному алгоритму градиентного поиска. В общем случае градиент реализации Vtz ( X, А) невозможно получить, но сами реализации w ( X, А) могут быть получены, В этом случае на помощь приходят поисковые алгоритмы. [27]

Другой алгоритм глобального поиска [20.27, 20.28] связан со случайными скачками в процессе градиентного поиска. Оказывается, если специальным образом организовать момент появления случайных скачков, то при определенных условиях можно гарантировать отыскание глобального экстремума. Смысл такого поиска сводится к следующему. [28]

Рассмотрим один из алгоритмов стохастической аппроксимации градиентного типа, аналогичный детермированному итеративному алгоритму градиентного поиска. В общем случае градиент реализации yw ( X, А) невозможно получить, но сами реализации w ( X, А) могут быть получены. В этом случае на помощь приходят поисковые алгоритмы. [29]

В главе четыре рассмотрены инструментальные средства ЭМ, в которых используется ряд методов одномерного градиентного поиска, а также статистических методов оптимизации. В рамках одномерного поиска описаны следующие методы: пассивный; последовательный; дихотомии; Фибоначчи; золотого сечения; поиск в глубину, в ширину, с возвращением, с использованием И-ИЛИ деревьев и метод горизонта. Последовательный поиск выполняется путем перебора значений целевой функции ( ЦФ) для нахождения оптимального значения. Метод дихотомии реализуется за счет механизма обычного перебора возможных точек разрыва. Он аналогичен методу деления отрезка пополам для нахождения точки, в которой ЦФ имеет локальный оптимум. [30]

Страницы: 1 2 3 4