Cтраница 2
Выше отмечена эффективность методов Фибоначчи и золотого сечения. Эти методы различаются лишь выбором длины шага на начальном участке поиска. Поскольку такой выбор более прост в методе золотого сечения, применим его. [16]
Многое из того, что сказано о выборе длины шага в пп. Итак, для вычисления величины / 3k обычно пользуются одним из методов одномерной минимизации. [17]
Казалось бы, среди операций схемы итерационного спуска выбор длины шага по заданному направлению - самая простая. [18]
Во-вторых, экстраполяция, сделанная более чем по одной предыдущей точке, позволяет выбрать довольно большой шаг. Экстраполяционная ошибка может быть вычислена и использована для контроля за величиной шага. Это превращает несколько неопределенную проблему выбора длины шага в более понятную проблему выбора предела ошибки экстраполяции. Особенно резко преимущество неявных разностных схем по сравнению с явными должно проявляться для овражных ситуаций. Несколько условно к методам этого класса может быть отнесен известный метод оврагов [38], в котором случайный выбор точки является. [19]
Несмотря на многочисленные успешные применения обратного распространения, оно не является панацеей. Больше всего неприятностей приносит неопределенно долгий процесс обучения. В сложных задачах для обучения сети могут потребоваться дни или даже недели, она может и вообще не обучиться. Длительное время обучения может быть результатом неоптимального выбора длины шага. Неудачи в обучении обычно возникают по двум причинам: паралича сети и попадания в локальный минимум. [20]
Случайный выбор координат роднит этот прием с РЕВОП. При отсутствии дрейфа это делает процедуру более надежной, но и более долгой и дорогой. В облаке точек выделяется самая плохая, как и в ПСМ. Но вместо противолежащей грани используется центр тяжести облака. Эти две точки задают направление, в котором и совершается очередной шаг в сторону от худшей точки, конечно. Для однозначного задания процедуры остается указать правило выбора длины шага, правило учета ограничений и правило забывания устаревших точек по мере смещения центра тяжести облака. [21]