Cтраница 1
Дельта-правило модифицирует веса в соответствии с требуемым и действительным значениями выхода каждой полярности как для непрерывных, так и для бинарных входов и выходов. [1]
В большинстве случаев применение дельта-правила для обучения нейронных сетей дает хорошие результаты в случае применения последних для обработки сигналов распределенных волоконно-оптических измерительных сетей томографического типа. Существует два способа применения дельта-правила для обучения нейронных сетей: последовательный и параллельный. [2]
Это простейшее правило контролируемого обучения ( дельта-правило) используется в однослойных сетях с одним уровнем настраиваемых связей между множеством входов и множеством выходов. При этом на каждом k - м шаге дляу - го нейрона вес / - и связи вычисляется по формуле Wjik W - D & wjik, где & wjik - Лбул л 8д TJk - Rjk, TJk - известное ( правильное) значение выходау-го нейрона; Rjk - рассчитанное значение выходау-го нейрона; xjik - величина сигнала на / - м входе, г ] - коэффициент скорости обучения. [3]
Это простейшее правило контролируемого обучения ( дельта-правило) используется в однослойных сетях с одним уровнем настраиваемых связей между множеством входов и множеством выходов. При этом на каждом k - u шаге для / - го нейрона вес / - и связи вычисляется по формуле wjik wjnk-i) Диу7Ь гДе & Wjik лЗдХ / г / ь & jk Tjk - Rj & Tjk - известное ( правильное) значение выходау - го нейрона; Rjk - рассчитанное значение выходау - го нейрона; xjik - величина сигнала на / - м входе, г - коэффициент скорости обучения. [4]
Важное обобщение алгоритма обучения персептрона, называемое дельта-правилом, переносит этот метод на непрерывные входы и выходы. [5]
Макросы, соответствующие применению примитивных функций, используют подходящее дельта-правило этого примитива, а полный набор макросов для операций со стеком и дампом, работы с графами и для вызова функций и возврата описан в трех следующих разделах. Однако, хотя смысл и сущность этих операций станут ясны по мере их рассмотрения, эта часть текста может быть пропущена при первом прочтении и использоваться лишь для ссылок при необходимости. Сначала, однако, следует ввести несколько общих обозначений. [6]
В большинстве случаев применение дельта-правила для обучения нейронных сетей дает хорошие результаты в случае применения последних для обработки сигналов распределенных волоконно-оптических измерительных сетей томографического типа. Существует два способа применения дельта-правила для обучения нейронных сетей: последовательный и параллельный. [7]
Применение метода к обучению нейронных сетей дает возможность организовать вычисления таким образом, чтобы рационально использовать структуру конкретной НС. В этом случае метод называется методом обратного распространения ( ошибки), или обобщенным дельта-правилом. [8]
Уидроу-Хоффа правило обучения - правило обучения сети с одним скрытым слоем. Оно является предшественником алгоритма обратного распространения ошибки и на него иногда ссылаются как на дельта-правило. Как известно, персептрон ограничивается бинарными выходами. [9]
Так как для каждого нейрона выходного слоя задано целевое значение, то подстройка весов легко осуществляется с использованием модифицированного дельта-правила из гл. Внутренние слои называют скрытыми слоями, для их выходов не имеется целевых значений для сравнения. [10]
Исследование простейших персептронов позволило разделить два важные понятия, связанные с этими системами. Однако для того, чтобы настроить веса таким образом, должна существовать некоторая систематическая обучающая процедура, позволяющая по обучающей выборке найти желаемое множество весов шт - ( Такой процедурой может быть, например, обсуждавшееся дельта-правило. Наличие такой процедуры для конкретных задач означает, что персептрон обладает свойством обучаемости. [11]
Обратим внимание, что в данной процедуре сначала происходит коррекция весов для выходного нейрона, а затем - для нейронов скрытого слоя, т.е. от конца сети к ее началу. Ввиду использования для обозначений греческой буквы 8, эту процедуру обучения называют еще иногда обобщенным дельта-правилом. [12]
Входные сигналы распространяются по сети, порождая некоторый выходной вектор. Для работы алгоритма требуется, чтобы характеристика вход-выход нейроподобных элементов была неубывающей и имела ограниченную производную. Обычно для этого используют сигмоидальные функции. Если они совпадают, то весовые коэффициенты связей не изменяются. В противном случае вычисляется разница между фактическими и требуемыми выходными значениями, которая передается последовательно от выходного слоя к входному. На основе этой информации проводится модификация связей в соответствии с обобщенным дельта-правилом, которое имеет вид: & pWji T 8jpyip, где изменение в силе связи Wj, для / ьй обучающей пары ApWjj пропорционально произведению сигнала ошибки у - го нейрона 8Jp, получающего входной сигнал по этой связи, и выходного сигнала / - го нейрона, посылающего сигнал по этой связи. Определение сигнала ошибки является рекурсивным процессом, который начинается с выходных блоков. Для выходного блока сигнал ошибки 6 i, y j ( Tjp - Rjp), где Tjp и Rjp - соответственно желаемое и действительное значения выходного сигнала у - го блока; yj - производная от выходного сигнала у - го блока. [13]
Входные сигналы распространяются по сети, порождая некоторый выходной вектор. Для работы алгоритма требуется, чтобы характеристика вход-выход нейроподобных элементов была неубывающей и имела ограниченную производную. Обычно для этого используют сигмоидальные функции. Если они совпадают, то весовые коэффициенты связей не изменяются. В противном случае вычисляется разница между фактическими и требуемыми выходными значениями, которая передается последовательно от выходного слоя к входному. На основе этой информации проводится модификация связей в соответствии с обобщенным дельта-правилом, которое имеет вид: ApWji Л / рУф где изменение в силе связи wjf для р-тл обучающей пары ApWjj пропорционально произведению сигнала ошибки У-ГО нейрона 6, получающего входной сигнал по этой связи, и выходного сигнала / - го нейрона, посылающего сигнал по этой связи. Определение сигнала ошибки является рекурсивным процессом, который начинается с выходных блоков. Для выходного блока сигнал ошибки 8jp y j ( Tip - Rjp), где Tjp и Rjp - соответственно желаемое и действительное значения выходного сигнала у - го блока; у - - производная от выходного сигнала у - го блока. [14]