Активационная функция
Cтраница 4
Программа NNDT 120 работает в оконном режиме, имеет ограничения: по числу скрытых слоев - 3, по количеству нейронов в скрытом слое - 15, по количеству входов / выходов - 35, по числу видов активационной функции - 4, не реализована возможность задавать значение максимальной ошибки, реализована возможность графического представления нейронной сети и результатов моделирования, имеет текстовый формат исходного файла. [46]
Программа NeuroPro работает в оконном режиме, имеет ограничения: по числу скрытых слоев - 10, по количеству нейронов в скрытом слое - 100, по количеству входов / выходов - 100 / 100, по числу видов активационной функции - 1, реализована возможность задавать значение максимальной ошибки, имеет формат Dbase или Paradox исходного файла. [47]
В работе [33] показано, что любая непрерывная нелинейная функция может быть аппроксимирована с достаточной точностью нейронной сетью с одним скрытым слоем, содержащим нейроны с сигмоидальными ( или типа гиперболический тангенс) функциями активации, и выходным слоем, содержащим нейроны с линейной активационной функцией. Попытка исследования влияния числа нейронов в скрытом слое на аппроксимирующие свойства сети сделана в работе [27], однако полученный результат практически невозможно применить на практике. [48]
Хотя мы можем предположить, что нейронная сеть может выполнить сколь угодно сложное преобразование вход-выход, заранее невозможно предсказать, какая архитектура сети ( то есть вид шаблона) окажется наилучшей для решения интересующей нас задачи. Какой вид активационных функций нейронов должен быть выбран. [49]
Нейроны выполняют взвешенное ( с синаптическими весами) суммирование элементов входных сигналов; к данной сумме прибавляется смещение нейрона. Над полученным результатом выполняется активационной функцией затем нелинейное преобразование. [50]
Первая из двух вышеупомянутых нейронных сетей осуществляет выбор действия агента. Эта сеть является однослойной с логистической активационной функцией. Каждый нейрон соответствует какому-либо одному действию. При этом агент выбирает то действие, которое соответствует нейрону с максимальным выходным сигналом. [51]
Данное выражение получено с учетом некоторых ограничений. Однако приведенная оценка выполнена для сетей с пороговыми активационными функциями нейронов, а емкость сетей с гладкими активационными функциями, например (1.23), обычно больше. Кроме того, термин детерминистский означает, что полученная оценка емкости подходит для всех входных образов, которые могут быть представлены п входами. В действительности распределение входных образов, как правило, обладает некоторой регулярностью, что позволяет нейронной сети проводить обобщение и, таким образом, увеличивать реальную емкость. Так как распределение образов, в общем случае, заранее не известно, можно говорить о реальной емкости только предположительно, но обычно она раза в два превышает детерминистскую емкость. [52]
В [18-19] это сделано для сетей перцеп-тронного типа с сигмоидальными активационными функциями, в [20] - для RBF-сетей. [53]
Для нахождения естественных координат можно использовать репликативные ( копирующие) нейронные сети Репликативная нейронная сеть представляет собой многослойный персептрон с тремя скрытыми слоями, число нейронов входного и выходного слоев которого одинаково. Первый и третий скрытые слои состоят из нейронов с сигмоидной активационной функцией. Размеры этих слоев подбираются в процессе обучения сети. Интересно отметить, что репликативные нейронные сети дают компактное и эффективное представление произвольных наборов векторов, имеющих сложное вероятностное распределение в пространстве, за счет того, что средний скрытый слой имеет меньше нейронов, чем входной и выходной слои. [54]
Данное выражение получено с учетом некоторых ограничений. Однако приведенная оценка выполнена для сетей с пороговыми активационными функциями нейронов, а емкость сетей с гладкими активационными функциями, например (1.23), обычно больше. Кроме того, термин детерминистский означает, что полученная оценка емкости подходит для всех входных образов, которые могут быть представлены п входами. В действительности распределение входных образов, как правило, обладает некоторой регулярностью, что позволяет нейронной сети проводить обобщение и, таким образом, увеличивать реальную емкость. Так как распределение образов, в общем случае, заранее не известно, можно говорить о реальной емкости только предположительно, но обычно она раза в два превышает детерминистскую емкость. [55]
Многослойные сети не могут привести к увеличению вычислительной мощности по сравнению с однослойной сетью лишь в том случае, если активационная функция между слоями будет нелинейной. Вычисление выхода слоя заключается в умножении входного вектора на первую весовую матрицу с последующим умножением ( если отсутствует нелинейная активационная функция) результирующего вектора на вторую весовую матрицу. [56]
В качестве архитектуры сети использовалась Radial Basis Function [ RBF ] - сеть, являющаяся нелинейной модификацией персептрона Розенблата. В процессе создания нейросетевой модели возникла необходимость решения двух проблем: классическая методика обучения RBF-сети не определяет правила выбора ширины окон активационных функций нейронов скрытого слоя; размер скрытого слоя должен быть равен числу тренировочных шаблонов. Если просто отказаться от части шаблонов, чтобы размеры сети стали приемлемыми, то мы рискуем потерять важную информацию об объекте и получить некоторое весьма неточное решение поставленной задачи. [57]
 |
Переходная функция объекта управления по координатам xl ( а и х2 ( б ( сплошная кривая и ее эмуляция сетью ( пунктир. [58] |
Во-первых, она требует большого количества что называется ручного труда, даже если пространство входных сигналов обладает низкой размерностью, а количество входных шаблонов мало. Все равно, мы должны проанализировать, насколько далеко шаблоны расположены друг от друга, чтобы не ошибиться с выбором ширины окон активационных функций. [59]
Ответы на эти вопросы так или иначе зависят от характера взаимосвязей вход-выход, которые должны быть реализованы НС. В первой главе настоящей работы показано, что любые непрерывные функции могут быть аппроксимированы с заданной точностью при помощи нейросети, содержащей один скрытый слой нейронов с сигмоидальными функциями активации и выходной слой с линейными активационными функциями. Однако вопрос о числе нейронов в скрытом слое остается открытым. Следует отметить, что увеличение числа нейронов в скрытом слое и увеличение числа скрытых слоев повышают репрезентативные возможности нейронной сети, т.е. дают возможность моделировать более сложные взаимосвязи, но приводят к увеличению временных затрат как на обучение МНС, так и на работу в режиме прогнозирования. В силу простоты применения, обучения и статистического анализа обычно применяются НС, содержащие один скрытый слой нейронов с сигмоидальными функциями активации и выходной слой с линейными активационными функциями. [60]
Страницы: 1 2 3 4 5