Cтраница 1
Алгоритмы спуска в пространстве фазовых координат [58] хорошо учитывают фазовые ограничения, но в силу необходимости вводить сетку в фазовом пространстве требуют большого объема памяти и, следовательно, применимы лишь к задачам малой размерности. [1]
Этот алгоритм спуска заключается в том, что вдоль направления спуска берутся парные пробы, которые дают возможность принять решение: спускаться дальше или прекратить спуск и вернуться к первому этапу. [2]
Описанные выше алгоритмы спуска никак не учитывали априорной информации о поведении объекта. Учет этих сведений приводит к экстраполяционному спуску. [3]
Исследование сходимости алгоритма спуска удобно начать с варианта, более легкого для анализа. Вместо определения ай по всем выборкам и осуществления коррекции по множеству классифицируемых с ошибкой выборок 3 / ь выборки будут рассматриваться последовательно, и весовой вектор будет изменяться всякий раз, когда некоторая выборка будет классифицироваться с ошибкой. Для доказательства сходимости подробная характеристика данной последовательности неважна, коль скоро каждая выборка появляется в последовательности бесконечно большое число раз. Наиболее просто убедиться в этом, повторяя выборки циклически. [4]
Рассмотрим несколько наиболее распространенных алгоритмов спуска. [5]
Таким образом, алгоритм спуска всегда дает решение независимо от того, будет ли матрица У У вырожденной или нет. [6]
На первый взгляд алгоритм спуска представляется таким же, как правило релаксаций. В большинстве случаев, представляющих интерес, невозможно удовлетворить всем равенствам a. Таким образом, для сходимости требуется, чтобы pft уменьшалось вместе с k, выбор pftpi / & является типичным. Строгий анализ поведения правила Видроу - Хоффа для детерминированного случая довольно сложен и показывает лишь, что последовательность весовых векторов имеет тенденцию сходиться к требуемому решению. [7]
По существу, описанный алгоритм является алгоритмом спуска по системе окрестностей, порожденных парными транспозициями. [8]
Какие же пути существуют для действительного улучшения алгоритмов спуска в задачах большой размерности. [9]
Как применять условия первого и второго порядков при построении алгоритмов спуска, показано в разд. Основная проблема, которую в данном случае приходится решать, связана с тем, что обычно, если уж в точке xft) существуют возможные направления спуска, они образуют целый конус, и нужно разумно выбирать какой-нибудь один вектор из этого конуса. [10]
Изложенные выше алгоритмы линейного случайного поиска обладают одним существенным недостатком, свойственным всем алгоритмам спуска: в процессе спуска выбранное направление все менее и менее соответствует антиградиентному и поэтому дальнейший спуск довольно быстро теряет смысл, он практически не минимизирует показатель качества объекта. Это обстоятельство заставляет обратиться к коррекции направления спуска в процессе самого спуска. [11]
Заметим прежде всего, что до сих пор не найдена альтернатива сходимости для оценки качества алгоритма спуска. Проявление существенно дискретной природы процессов спуска ставит здесь целый ряд вопросов, решение которых вряд ли возможно в рамках традиционных методов. В одних случаях предлагаемые рецепты могут оказаться полезными, в других - нет. Тем не менее ( поскольку существует заведомо не пустое множество задач, для которых они оказались полезными), автор счел нужным перечислить некоторые из подобных рецептов. [12]
Так как мы предположили все F достаточно гладкими, то в общем случае R ( g) может определяться, например, алгоритмом спуска по градиенту. Есть два частных случая, когда вычисление R ( g) может быть не очень сложным и осуществляется, в принципе точно в результате конечного числа операций. [13]
Как уже говорилось, поверхность невязки в пространстве весов в общем случае имеет локальные минимумы, и это является главным препятствием для процесса обучения нейронной сети, в особенности, для алгоритма спуска. Можно встретить утверждения, что в ряде случаев локальный минимум является вполне приемлемым решением [105], однако в общей ситуации необходимо разработать стратегию, которая позволяла бы избегать таких точек и гарантировала бы сходимость обучающего алгоритма к глобальному решению. [14]
Следующей особенностью случайного поиска, выгодно отличающей его от регулярных методов, является глобальность, проявляющаяся прежде всего в локальных алгоритмах случайного поиска, не предназначенных для отыскания глобального экстремума. Так, алгоритм случайного спуска может найти глобальный экстремум, а регулярный алгоритм наискорейшего спуска в принципе не допускает такой возможности, поскольку он построен для отыскания локального экстремума. [15]