Функция - активация
Cтраница 4
 |
Структурная схема формального нейрона.| Виды функции активации. [46] |
Функция активации может быть линейной с насыщением, релейной ( пороговой), релейной с зоной нечувствительности, квадратичной, сигмоидальной и т.п. Параметры функций активаций могут быть как фиксированными, так и настраиваемые. [47]
В последнем выражении введена следующая условность: члены взвешенного суммирования, не имеющие скобок, реализуются в одном слое на нейронах, имеющих линейную или квадратичную функции активации; члены, имеющие скобки, реализуются через операцию умножения переменных по нейросетевому алгоритму. Как видно из выражения (7.18), для реализации Х5 необходимо дважды применить операцию нейросетевого умножения. [48]
Наконец, универсальные ЭВМ не накладывают никаких ограничений на структуру сетей и способы их обучения, тогда как спец-процессоры зачастую имеют ограниченный набор зашитых в них функций активации и достигают пиковой производительности лишь на определенном круге задач. [49]
В работе [33] показано, что любая непрерывная нелинейная функция может быть аппроксимирована с достаточной точностью нейронной сетью с одним скрытым слоем, содержащим нейроны с сигмоидальными ( или типа гиперболический тангенс) функциями активации, и выходным слоем, содержащим нейроны с линейной активационной функцией. Попытка исследования влияния числа нейронов в скрытом слое на аппроксимирующие свойства сети сделана в работе [27], однако полученный результат практически невозможно применить на практике. [50]
В пакете реализуется большой перечень нейронов, включая взвешенный сумматор ( нейрон первого порядка), нейроны высших порядков ( с перемножением входов), а также непрерывный интегрирующий нейрон. Функция активации нейрона может быть выбрана из пяти стандартных ( кусочно-линейная, функция знака и три типа сигмоидальных) функций, а также задана пользователем. Связи между нейронами задаются произвольно на этапе проектирования и могут быть изменены в процессе работы. [51]
Данное явление возникает, т.к. сеть склонна интерполировать входные и выходные данные. Если функции активации плавные, весовые коэффициенты не слишком большие, и количество слоев не слишком велико, то выход сети тоже будет гладким и непрерывным. Для близких р будут получены близкие т на выходе. Но при решении задачи классификации такое допущение бывает неверным. [52]
Алгоритм имитации отжига может быть использован для обучения как многослойных, так и полносвязных сетей. При этом функции активации сети не обязательно должны быть непрерывно дифференцируемыми. [53]
 |
Популяция нейросетей. [54] |
Особенности реализации алгоритма обучения на основе ГА сводятся к следующему. Нз-за нелинейности функции активации ( в работе используется сиг-моидальная функция) поверхность многомерной функции Е является сложной, содержащей в общем случае глобальный и множество локальных минимумов. Основная задача обучения НС фактически сводится к нахождению глобального минимума многомерной функции ошибки. [55]
Эта способность не присуща сети самой по себе, а определяется выбором функции активации. Если бы в качестве функции активации была выбрана, к примеру, ступенька с линейной частью, функция F оказалась бы недифференцируемой. [56]
 |
Структура искусственного нейрона. [57] |
В общем случае входной сигнал, весовые коэффициенты и смещение могут принимать действительные значения, а во многих практических задачах - лишь некоторые фиксированные значения. Выход ( у) определяется видом функции активации и может быть как действительным, так и целым. [58]
Рассмотрим, в какой мере степенные ряды могут удовлетворять требованиям ней-росетевого базиса. Попытаемся также дать ответы на вопросы: какие функции активации должны иметь нейроны для успешной реализации алгоритмов, основанных на степенных рядах; какова должна быть топология сети, реализующей эти алгоритмы. [59]
Известные нейронные сети можно разделить по типам структур нейронов на гомогенные ( однородные) и гетерогенные. Гомогенные сети состоят из нейронов одного типа с единой функцией активации, а в гетерогенную сеть входят нейроны с различными функциями активации. [60]
Страницы: 1 2 3 4 5