Рекуррентная сеть

Cтраница 1

Рекуррентная сеть не может быть обучена стандартным методом обратного распространения ошибки. NeuroSolutions содержит модификацию этого алгоритма, позволяющую проводить обучение динамической сети. Нейроны выходного слоя обычно имеют линейную передаточную функцию. Такой выбор обусловлен стремлением воспроизвести волновую форму выходного сигнала. Нелинейности могут вызвать получение недопустимых значений в экстремальных точках и привести к ошибкам. Для нейронов входного слоя и скрытых слоев, как правило, подбираются нелинейные активационные функции. В процессе решения задачи определяется объем обучающей и тестирующей выборки, в удобном режиме конструируется архитектура сети ( количество скрытых слоев, число нейронов), выбирается вид активационных функций, способ и параметры обучения. [1]

В рекуррентной сети Хопфилда состоянииеу-го нейрона как раз и является У - М входом для остальных нейронов. [2]

Сеть Хопфилда. [3]

С помощью рекуррентных сетей Хопфидда можно обрабатывать неупорядоченные ( рукописные буквы), упорядоченные во времени ( временные ряды) или пространстве ( графики, грамматики) образцы. Рекуррентная нейронная сеть простейшего вида была введена Хопфилдом; она построена из N нейронов, связанных каждый с каждым, причем все нейроны являются выходными. [4]

Используется для обучения рекуррентных сетей. [5]

Новое качество, присущее рекуррентным сетям, - динамическая обработка информации. [6]

Рассмотрим задачу восстановления формы сигнала с использованием рекуррентной сети Элмана. [7]

Сравнение архитектур связей нейросетей. [8]

Вообще говоря, то, что нейроны в рекуррентных сетях по многу раз принимают участие в обработке информации позволяет таким сетям производить более разнообразную и глубокую обработку информации. [9]

В отличие от нейронных сетей прямого распространения, в рекуррентных сетях, состоящих из входного, скрытого и выходного слоев, у нейронов второго слоя имеется две группы входов. Конфигурация подобной сети ( рис. 8.1) определяется числом входов га и нейронов 1 - т скрытого слоя. [10]

Такое усложнение сети ведет к значительному увеличению времени обучения. Применение традиционных рекуррентных сетей [45, 48] аналогично введению в сеть механизма задержек за-счет обратных связей. Кроме того, представления эталонов оказываются скрытыми в весах сети и не допускают наглядной интерпретации, что является важным на этапе отладки системы распознавания и выбора параметров первичной обработки сигнала. [11]

Рекуррентные сети ( рис. 5.4) являются развитием модели Хопфилда на основе применения новых алгоритмов обучения, исключающих попадание системы в локальные минимумы на поверхности энергетических состояний. Важной особенностью рекуррентных сетей является их способность предсказывать существование новых классов объектов. [12]

Рассмотрим один из тестовых примеров, в котором решается достаточно трудная задача прогнозирования значений хаотических временных последовательностей. Для предсказания значений трех членов хаотического ряда Mackey-Glass, который является эталонным тестом, выбрана топология TLRN ( Time Lagged Recurrent Network) - рекуррентная сеть с запаздыванием во времени, в которой обратные связи локально ограничены. Подобные сети являются расширением многослойного перцептрона, который снабжен структурами памяти. [13]

Попытки достичь нормализации длительности сигнала при использовании стационарных нейронных сетей требуют нелинейной деформации пространства входов сети, которая может быть осуществлена за счет введения в нейроподобные элементы дополнительных входов, организующих временные задержки информации во всех слоях. Такое усложнение сети ведет к значительному увеличению времени обучения. Применение традиционных рекуррентных сетей аналогично введению в сеть механизма задержек за счет обратных связей. Кроме того, представления эталонов оказываются скрытыми в весах сети и не допускают наглядной интерпретации, что является важным на этапе отладки системы распознавания и выбора параметров первичной обработки сигнала. [14]

Для того чтобы вырабатываемые решения можно было представить в понятной и доступной для человека символьной форме, были предложены различные подходы. Например, были предложены методы, позволяющие извлекать из обученной рекуррентной сети некоторую систему конечных автоматов, адекватно описывающих ее поведение. Однако размерность ( или число дуг) подобных автоматов, извлеченных из нейронных сетей, обученных решению реальных задач, все же остается существенной. Представление слов т-мерным вектором q, создает дополнительные трудности представления знаний в рамках этого подхода. [15]

Страницы: 1 2