Рекуррентные сети

Cтраница 1

Рекуррентные сети ( рис. 5.4) являются развитием модели Хопфилда на основе применения новых алгоритмов обучения, исключающих попадание системы в локальные минимумы на поверхности энергетических состояний. Важной особенностью рекуррентных сетей является их способность предсказывать существование новых классов объектов. [1]

Классификация ИНС. [2]

По архитектуре связей ИНС могут быть разделены на два основных класса ( рис. 1.1): сети прямого действия, в которых графы не имеют петель, и рекуррентные сети, или сети с обратными связями. [3]

Итак, мы установили, что преобразование информации рекуррентными нейронными сетями минимизирующими энергию может приводить к появлению в их пространстве состояний аттракторов, далеких по форме от образов внешнего для сети окружения. Таким образом, в отличие от рассмотренной в прошлой главе кластеризации, осуществляемой сетями без обратных связей, появляется возможность использовать рекуррентные сети для активной кластеризации, при которой сеть творчески относится к входным векторам, осуществляя нетривиальные обобщения поступающих на ее вход сигналов. [4]

ИНС может рассматриваться как направленный граф со взвешенными связями, в котором искусственные нейроны являются узлами. По архитектуре связей ИНС могут быть сгруппированы в два класса: сети прямого распространения, в которых графы не имеют петель, и рекуррентные сети, или сети с обратными связями. [5]

Для управляемых сетей можно выбрать прямую или рекуррентную архитектуру, используя множество обучающих правил и методов проектирования, таких как персептрон, обратное распространение, обратное распространение Левенберга, сети с радиальным базисом и рекуррентные сети. [6]

Классификация ИНС. [7]

Наиболее распространенным семейством сетей прямого действия являются многослойные перцептроны, в них нейроны расположены слоями и соединены однонаправленными связями, идущими от входа к выходу сети. Сети прямого действия являются статическими в том смысле, что на заданный вход они вырабатывают одну совокупность выходных значений, не зависящих от предыдущего состояния сети. Рекуррентные сети являются динамическими, так как в силу обратных связей в них модифицируются входы нейронов, что приводит к изменению состояния сети. [8]

Искусственная нейронная сеть построена из нейронов, связанных друг с другом. Даже если работа нейронной сети имитируется на компьютере, лучше представлять ее себе не как программу, а как электронную схему. Мы будем рассматривать два вида нейронных сетей: статические, которые также часто называют сетями с прямой связью ( feed-forward), и динамические, или рекуррентные сети. [9]

Простая рекуррентная сеть. [10]

Методы кластеризации при помощи нейронных сетей являются развитием классических методов кластеризации. В то же время нейронные сети являются гораздо более гибким инструментом в применении к данным, имеющим большой объем и избыточную размерность. В частности, это многоуровневый перцептрон, саморганизующиеся сети Кохонена. В [12] предложено использовать для решения задач классификации простые рекуррентные сети, благодаря чему может быть достигнута высокая точность классификации. [11]

Мы уже познакомились с сетями, обучаемыми с учителем, задающим образцы правильных ответов, и обучаемыми без учителя, которые адаптируют свою структуру к данным не требуя дополнительной информации о принадлежности их к тому или иному классу. Такие сети, будучи обучены, выдают ответ сразу после прохождения черех них входного сигнала. Каждый нейрон, при этом срабатывает лишь однажды. Соответственно, достаточно глубокая, многостадийная обработка данных подразумевает наличие многих слоев, что усложняет обучение. Естественным обобщением таких однопроходных схем служат т.н. рекуррентные сети; выходы которых возвращаются обратно на их входы. Тем самым, информация пропускается через одну и ту же сеть многократно. [12]

Функции переноса искусственных нейронов. a - линейная. б - ступенчатая. в - сигмоидальная. [13]

Тип функции переноса выбирается с учетом конкретной задачи, решаемой с применением нейронных сетей. Например, в задачах аппроксимации и классификации предпочтение отдают логистической ( сигмоидальной) кривой. Нейронная сеть представляет собой совокупность искусственных нейронов, организованных слоями. При этом выходы нейронов одного слоя соединяются с входами нейронов другого. В зависимости от топологии соединений нейронов ИНС подразделяются на одноуровневые и многоуровневые, с обратными связями и без них. Связи между слоями могут иметь различную структуру. В однолинейных сетях каждый нейрон ( узел) нижнего слоя связан с одним нейроном верхнего слоя. Если каждый нейрон нижнего слоя соединен с несколькими нейронами следующего слоя, то получается пирамидальная сеть. Воронкообразная схема соединений предполагает связь каждого узла верхнего слоя со всеми узлами нижнего уровня. Существуют также древовидные и рекуррентные сети, содержащие обратные связи с произвольной структурой межнейронных соединений. [14]

Страницы: 1