Сигмоидальная функция

Cтраница 2

Функции переноса искусственных нейронов. a - линейная. б - ступенчатая. в - сигмоидальная. [16]

Подобно ступенчатой функции она позволяет выделять в пространстве признаков множества сложной формы, в том числе невыпуклые и несвязные. При этом сигмоидальная функция, в отличие от ступенчатой, не имеет разрывов. Она дифференцируема, как и линейная функция, и это качество можно использовать при поиске экстремума в пространстве параметров ИНС. [17]

В работах [2-5] показано, что сигмоида является оптимальной функцией активации благодаря ее способности усиливать низкоуровневые сигналы, в то же время сжимая динамический диапазон нейронов. Непрерывная ДАЛ может иметь сигмоидальную функцию с величиной А, близкой к единице, образуя тем самым нейроны с плавной и непрерывной реакцией, во многом аналогичной реакции их биологических прототипов. [18]

Можно показать, что в этом случае линейная многослойная сеть не является более мощной, чем однослойная сеть; рассматриваемые возможности сети могут быть улучшены только введением нелинейности в передаточную функцию нейрона. Говорят, что сеть, использующая сигмоидальную функцию активации и метод обучения Хэбба, обучается по сигнальному методу Хэбба. [19]

Когда входной вектор ( возможно представляющий собой изображение) прикладывается справа, он попадает через делитель луча В 82 на массив оптических нейронов. Здесь он усиливается, и с помощью насыщающегося двухлучевого усилителя вычисляется сигмоидальная функция. Сжатый выходной вектор частично отражается делителем луча В Si на линзу LI и затем вводится в оптическую матрицу внутренних связей. Часть выходного светового потока проходит через BSi и образует выход системы. [20]

Ответы на эти вопросы так или иначе зависят от характера взаимосвязей вход-выход, которые должны быть реализованы НС. В первой главе настоящей работы показано, что любые непрерывные функции могут быть аппроксимированы с заданной точностью при помощи нейросети, содержащей один скрытый слой нейронов с сигмоидальными функциями активации и выходной слой с линейными активационными функциями. Однако вопрос о числе нейронов в скрытом слое остается открытым. Следует отметить, что увеличение числа нейронов в скрытом слое и увеличение числа скрытых слоев повышают репрезентативные возможности нейронной сети, т.е. дают возможность моделировать более сложные взаимосвязи, но приводят к увеличению временных затрат как на обучение МНС, так и на работу в режиме прогнозирования. В силу простоты применения, обучения и статистического анализа обычно применяются НС, содержащие один скрытый слой нейронов с сигмоидальными функциями активации и выходной слой с линейными активационными функциями. [21]

Входные сигналы распространяются по сети, порождая некоторый выходной вектор. Для работы алгоритма требуется, чтобы характеристика вход-выход нейроподобных элементов была неубывающей и имела ограниченную производную. Обычно для этого используют сигмоидальные функции. Если они совпадают, то весовые коэффициенты связей не изменяются. В противном случае вычисляется разница между фактическими и требуемыми выходными значениями, которая передается последовательно от выходного слоя к входному. На основе этой информации проводится модификация связей в соответствии с обобщенным дельта-правилом, которое имеет вид: ApWji Л / рУф где изменение в силе связи wjf для р-тл обучающей пары ApWjj пропорционально произведению сигнала ошибки У-ГО нейрона 6, получающего входной сигнал по этой связи, и выходного сигнала / - го нейрона, посылающего сигнал по этой связи. Определение сигнала ошибки является рекурсивным процессом, который начинается с выходных блоков. Для выходного блока сигнал ошибки 8jp y j ( Tip - Rjp), где Tjp и Rjp - соответственно желаемое и действительное значения выходного сигнала у - го блока; у - - производная от выходного сигнала у - го блока. [22]

Входные сигналы распространяются по сети, порождая некоторый выходной вектор. Для работы алгоритма требуется, чтобы характеристика вход-выход нейроподобных элементов была неубывающей и имела ограниченную производную. Обычно для этого используют сигмоидальные функции. Если они совпадают, то весовые коэффициенты связей не изменяются. В противном случае вычисляется разница между фактическими и требуемыми выходными значениями, которая передается последовательно от выходного слоя к входному. На основе этой информации проводится модификация связей в соответствии с обобщенным дельта-правилом, которое имеет вид: & pWji T 8jpyip, где изменение в силе связи Wj, для / ьй обучающей пары ApWjj пропорционально произведению сигнала ошибки у - го нейрона 8Jp, получающего входной сигнал по этой связи, и выходного сигнала / - го нейрона, посылающего сигнал по этой связи. Определение сигнала ошибки является рекурсивным процессом, который начинается с выходных блоков. Для выходного блока сигнал ошибки 6 i, y j ( Tjp - Rjp), где Tjp и Rjp - соответственно желаемое и действительное значения выходного сигнала у - го блока; yj - производная от выходного сигнала у - го блока. [23]

На практике требования теоремы Хехт-Нильсена к функциям активации удовлетворяются следующим образом. В нейронных сетях как для первого ( скрытого), так и для второго ( выходного) слоя используют сигмоидальные передаточные функции с настраиваемыми параметрами. То есть в процессе обучения индивидуально для каждого нейрона задается максимальное и минимальное значение, а также наклон сигмоидальной функции. [24]

Оптическая сеть Хопфилда. [25]

На рис. 9.8 показана конструкция типичного элемента массива оптических нейронов. Он функционирует как оптически накачивающий двухлучевой насыщающий усилитель в кристалле ВаТЮз. Лазерный накачивающий луч, приложенный под углом в, взаимодействует с входным лучом для выработки усиленной копии входного сигнала с последующим вычислением сигмоидальной функции активации, аналогичной показанной на рис. 9.9. С использованием этой техники было достигнуто оптическое усиление приблизительно в 60 раз. Заметим, что на рис. 9.9 угол ( р между входным лучом и линией оси кристалла С критичен для правильного функционирования этого устройства. [26]

Схема многослойного перцептрона. [27]

Каждый нейрон может посылать выходной сигнал только в вышележащий слой и принимать входные сигналы только с нижерасположенного слоя. Входные сигналы подаются на нижний слой, а выходной вектор сигналов определяется путем последовательного вычисления уровней активности элементов каждого слоя ( снизу вверх) с использованием уже известных значений активности элементов предшествующих слоев. При распознавании образов входной вектор соответствует набору признаков, а выходной - распознаваемым образам. Скрытый слой ( один или несколько) предназначен для отражения специфики знаний. В таких сетях обычно используются передаточные сигмоидальные функции. [28]

Страницы: 1 2