Метод - градиентный спуск
Cтраница 1
Метод градиентного спуска обладает тем же недостатком, что и метод покоординатного спуска: при наличии оврагов на поверхности сходимость метода очень медленная. [1]
Метод градиентного спуска часто называют методом наискорейшего спуска. [2]
 |
Поиск наименьшего значения функции методом градиентного спуска.| Поиск наименьшего значения функции методом наискорейшего спуска. [3] |
Метод градиентного спуска требует вычисления градиен та целевой функции на каждом шаге. Если она задана аналитически, то это, как правило, не проблема: для частных производных, определяющих градиент, можно получить явные формулы. [4]
Идея метода градиентного спуска состоит в следующем. Выбираем некоторую начальную точку и вычисляем в пей градиент рассматриваемой функции. Делаем шаг в направлении, обратном градиентному. В результате приходим в точку, значение функции в которой обычно меньше первоначального. В новой точке процедуру повторяем: вычисляем градиент и снова делаем шаг в обратном к нему направлении. Процесс продолжается до получения наименьшего значения целевой функции. Момент окончания поиска наступит тогда, когда движение из полученной точки с любым шагом приводит к возрастанию значения целевой функции. Строго говоря, если минимум функции достигается внутри рассматриваемой области, то в этой точке градиент равен нулю, что также может служить сигналом об окончании процесса оптимизации. [5]
Однако, применяя метод обобщенного градиентного спуска и другие методы минимизации функций без применения их производных, можно успешно преодолеть указанную трудность. [6]
В программе 8.2 Р метод градиентного спуска реализован в виде процедуры GRAD с формальными параметрами, совпадающими по смыслу и обозначениям с параметрами подпрограммы GRAD на Фортране, однако из списка формальных параметров исключены имена подпрограмм функции и ее градиента. Итерационный процесс градиентного поиска реализован с использованием цикла REPEAT-UNTIL. Логическая переменная В используется для организации процесса дробления шага А. [7]
Предположим, что решено использовать метод градиентного спуска. [8]
Если размерность задачи невелика, то метод градиентного спуска всегда предпочтительнее метода покоординатного спу-ска. Но по мере роста размерности относительная эффективность метода покоординатного спуска возрастает. Эффективность численного метода, использующего большое количество итераций, определяется двумя характеристиками метода г - количеством итераций и затратами времени на одну итерацию. По мере роста размерности соотношение затрат времени на одну итерацию становится все более и более в пользу покоординатного спуска. [9]
Если размерность задачи невелика, то метод градиентного спуска всегда предпочтительнее метода покоординатного спуска. Но по мере роста размерности относительная эффективность метода покоординатного спуска возрастает. Эффективность численного метода, использующего большое количество итераций, определяется двумя характеристиками метода - количеством итераций и затратами времени на одну итерацию. Конечно, количество итераций с ростом размерности у градиентного спуска росло медленнее, чем у покоординатного, но в целом относительная эффективность покоординатного спуска увеличивалась. [10]
В этом случае рассматриваемый метод называют методом наискорейшего градиентного спуска, или просто методом наи - скорейшего спуска. [11]
В этом случае рассматриваемый метод называют методом наискорейшего градиентного спуска или просто методом наискорейшего спуска. [12]
В частности, в L66 ] реализован метод градиентного спуска для ОЦР. Коротко существо его состоит в следующем. Из приближенного расчета известна резонансная частота СО. [13]
Итерационный процесс для минимизации функционала (1.1) строится методом градиентного спуска. [14]
Распространенным методом минимизации функций большого числа переменных является метод градиентного спуска. [15]
Страницы: 1 2 3