Cтраница 2
Теоретически нейронная сеть с обратным распространением ( сигнала между слоями) позволяет аппроксимировать любую функцию с любой точностью. На практике это возможно, если количество независимых входов X не превышает нескольких тысяч. [16]
Были предложены многочисленные модификации алгоритма обратного распространения, которые связаны с использованием различных функций ошибки, различных процедур определения направления и величины шага. [17]
Несмотря на многочисленные успешные применения обратного распространения, оно не является панацеей. Больше всего неприятностей приносит неопределенно долгий процесс обучения. В сложных задачах для обучения сети могут потребоваться дни или даже недели, она может и вообще не обучиться. Длительное время обучения может быть результатом неоптимального выбора длины шага. Неудачи в обучении обычно возникают по двум причинам: паралича сети и попадания в локальный минимум. [18]
Многокритериальная задача оптимизации в методе обратного распространения рассматривается как набор однокритериаль-ных - на каждой итерации происходят изменения значений параметров сети, улучшающие работу лишь с одним примером обучающей выборки. Такой подход существенно уменьшает скорость обучения. [19]
Мы получили полный набор формул обратного распространения, который дает значения компонент градиента для всех слоев и всех нейронов в сети. [20]
Время обучения по сравнению с обратным распространением может быть в 100 раз меньше. По своим возможностям строить отображения сеть встречного распространения значительно превосходит однослойные персептроны. [21]
Как подчеркивается в следующих главах, обратное распространение не свободно от проблем. Прежде всего нет гарантии, что сеть может быть обучена за конечное время. Много усилий, израсходованных на обучение, пропадает напрасно после затрат большого количества машинного времени. Когда это происходит, попытка обучения повторяется - без всякой уверенности, что результат окажется лучше. [22]
Характерной особенностью результатов, полученных для обратного распространения, является наличие некоторой высоты передающей апертуры ( Н - 2 кле), при которой наблюдается наибольшее влияние атмосферной турбулентности на расширение пучка. При дальнейшем увеличении высоты, как видно из рис. 4.6, это влияние монотонно уменьшается. [23]
Несмотря на мощь, продемонстрированную методом обратного распространения, при его применении возникает ряд трудностей, часть из которых, однако, облегчается благодаря использованию нового алгоритма. [24]
Время ее обучения по сравнению с обратным распространением может быть в 100 раз меньше. [25]
Коррекция весов в комбинированном алгоритме, использующем обратное распространение и обучение Коши, состоит из двух компонент: ( 1) направленной компоненты, вычисляемой с использованием алгоритма обратного распространения, и ( 2) случайной компоненты, определяемой распределением Коши. [26]
В [5] описан метод ускорения сходимости алгоритма обратного распространения. Названный обратным распространением второго порядка, он использует вторые производные для более точной оценки требуемой коррекции весов. В [5] показано, что этот алгоритм оптимален в том смысле, что невозможно улучшить оценку, используя производные более высокого порядка. Метод требует дополнительных вычислений по сравнению с обратным распространением первого порядка, и необходимы дальнейшие эксперименты для доказательства оправданности этих затрат. [27]
Как и любой градиентный алгоритм, метод обратного распространения застревает в локальных минимумах функции ошибки, т.к. градиент вблизи локального минимума стремится к нулю. Шаг в алгоритме обратного распространения выбирается неоптимально. Точный одномерный поиск дает более высокую скорость сходимости. [28]
Управляемые сетевые парадигмы: персептрон, линейные, обратного распространения, Левенберга, радиальный базис, Элмана, Хопфилда и самообучаемое квантование векторов. [29]
Рассмотренный алгоритм обучения нейронной сети с помощью процедуры обратного распространения подразумевает наличие некоего внешнего звена, предоставляющего сети кроме входных также и целевые выходные образы. [30]