Нейрон - скрытый слой
Cтраница 3
Далее, состояния нейрона скрытого слоя являются непрерывными, что также является препятствием для извлечения правил. Для его устранения все значения, которые принимают нейроны скрытого слоя кластеризуются и заменяются значениями, определяющими центры кластеров. Число таких кластеров выбирается небольшим. После такой дискретизации активностей промежуточных нейронов производится проверка точности классификации объектов сетью. Если она остается приемлемой то подготовка к извлечению правил заканчивается. [31]
 |
Третий нейрон скрытого слоя ( h - связан с максимальным. [32] |
Количество правил, полученных в данном случае; невелико. Однако, иногда даже после процедуры прореживания некоторые нейроны скрытого слоя могут иметь слишком много связей с входными нейронами. В этом случае извлечение правил становится нетривиальным, а если оно и осуществлено, то полученные правила не так просто понять. [33]
Первое правило не требует значительных вычислений, однако его использование приводит к некоторому увеличению значения функции ошибки после каждого добавления нового нейрона. В результате случайного задания значений параметров новых нейронов может появиться избыточность в числе нейронов скрытого слоя. Расщепление нейронов лишено двух указанных недостатков. [34]
Для достижения более высокой точности могло бы потребоваться увеличение автоматически заданного NetMaker числа нейронов скрытого слоя. В-четвертых, мы не использовали тех возможностей BrainMaker, которые позволяют улучшить результат обучения нейросети. Он еще раз подтверждает, что прогнозирование с использованием нейросетей - сложный и творческий процесс, требующий знания теории нейровычислений, возможностей нейропакетов и понимания предметной области. [35]
Популярный метод сжатия информации был предложен в 1987 г. G. Рассмотрим трехслойный персептрон, у которого число нейронов входного и выходного слоев одинаково, а число нейронов скрытого слоя значительно меньше. Предположим, что в результате обучения персептрон может воспроизводить на выходе тот же самый вектор X, который подается на входной слой. Такой персептрон автоматически осуществляет сжатие ( компрессию) информации: на нейронах скрытого слоя возникает представление каждого вектора, которое значительно короче, чем длина вектора, подаваемого на вход. Предположим, что некоторый набор векторов нужно передавать по линии связи, предварительно сжимая информацию и, тем самым, уменьшая число каналов, необходимых для ее передачи. [36]
Она обучается и прореживается тем же способом, что и основная нейронная сеть. Метод извлечения правил применяется к каждой вспомогательной сети, для того чтобы связать значения входов с дискретными значениями активации проблемных нейронов скрытого слоя оригинальной сети. Подобный процесс осуществляется рекурсивно для всех скрытых нейронов с большим числом входов до тех пор пока это число не станет достаточно малым или же новая вспомогательная сеть уже не сможет быть далее упрощена. [37]
Так, изменение параметров номер 10, 11 и 24 ( веса первой и второй связей третьего нейрона скрытого слоя и вес связи с ним выходного нейрона, соответственно) вызывает наибольшие нарушения в работе нейроконтроллера. В то же время 100 % - ое изменение 4, 17 и 22 параметров ( вес третьей связи первого и смещение пятого нейронов скрытого слоя и вес первой связи выходного нейрона, соответственно) практически не сказывается на эффективности управления. [38]
В качестве архитектуры сети использовалась Radial Basis Function [ RBF ] - сеть, являющаяся нелинейной модификацией персептрона Розенблата. В процессе создания нейросетевой модели возникла необходимость решения двух проблем: классическая методика обучения RBF-сети не определяет правила выбора ширины окон активационных функций нейронов скрытого слоя; размер скрытого слоя должен быть равен числу тренировочных шаблонов. Если просто отказаться от части шаблонов, чтобы размеры сети стали приемлемыми, то мы рискуем потерять важную информацию об объекте и получить некоторое весьма неточное решение поставленной задачи. [39]
Затем 5 умножается на величину OUT нейрона j, из которого выходит рассматриваемый вес. Это произведение в свою очередь умножается на коэффициент скорости обучения г ( обычно от 0 01 до 1 0), и результат прибавляется к весу. Такая же процедура выполняется для каждого веса от нейрона скрытого слоя к нейрону в выходном слое. [40]
Ловушки, создаваемые локальными минимумами. Детерминированный алгоритм обучения типа ВР не всегда может обнаружить глобальный минимум или выти из локального минимума. Одним из способов, позволяющих обходить ловушки, является расширение размерности пространства весов за счет увеличения скрытых слоев и числа нейронов скрытого слоя. Другой способ - использование эвристических алгоритмов оптимизации, один из которых - генетический алгоритм - рассматривается в следующем параграфе. [41]
 |
Способы решения основных проблем обучения многослойной НС. [42] |
Функционал оптимизации в многослойной НС, по определению [6, 11], является многоэкстремальным по следующим причинам [6, 8-12]: из-за сложности входного сигнала НС, например, из-за многомодальное распределения совокупности вариантов представления объекта в многомерном пространстве признаков при решении задачи распознавания; из-за множественности вариантов решения задачи. Алгоритм ВР, использующий в стандартном варианте градиентные методы поиска экстремума, не всегда может выйти из локального минимума или обнаружить глобальный минимум. Одним из способов, позволяющих повысить вероятность нахождения глобального минимума и увеличить устойчивость алгоритма распознавания, является расширение размерности пространства весовых коэффициентов за счет увеличения числа скрытых слоев и числа нейронов скрытого слоя. Этот путь ведет к существенному усложнению НС. [43]
Обычно это стандартное евклидово расстояние. В-третьих, специальная функция активации нейронов скрытого слоя, задающая выбранный способ измерения расстояния. Обычно используется функция Гаусса, существенно усиливающая малую разницу между входным и эталонным векторами. [44]
Популярный метод сжатия информации был предложен в 1987 г. G. Рассмотрим трехслойный персептрон, у которого число нейронов входного и выходного слоев одинаково, а число нейронов скрытого слоя значительно меньше. Предположим, что в результате обучения персептрон может воспроизводить на выходе тот же самый вектор X, который подается на входной слой. Такой персептрон автоматически осуществляет сжатие ( компрессию) информации: на нейронах скрытого слоя возникает представление каждого вектора, которое значительно короче, чем длина вектора, подаваемого на вход. Предположим, что некоторый набор векторов нужно передавать по линии связи, предварительно сжимая информацию и, тем самым, уменьшая число каналов, необходимых для ее передачи. [45]
Страницы: 1 2 3 4