Коррекция - весы
Cтраница 2
Итак, рассмотрим шаг 3 для многоуровневой сети, состоящей из нейронов с сигмоидной функцией активации. Он состоит из коррекции весов выходного слоя и коррекции весов остальных слоев. [16]
В [5] описан метод ускорения сходимости алгоритма обратного распространения. Названный обратным распространением второго порядка, он использует вторые производные для более точной оценки требуемой коррекции весов. В [5] показано, что этот алгоритм оптимален в том смысле, что невозможно улучшить оценку, используя производные более высокого порядка. Метод требует дополнительных вычислений по сравнению с обратным распространением первого порядка, и необходимы дальнейшие эксперименты для доказательства оправданности этих затрат. [17]
Сеть обучается на этом обучающем множестве. Обучение состоит из предъявления входного вектора, вычисления выходного вектора, сравнивания выходного вектора с входным вектором, полученным в процессе наблюдений, и коррекции весов, минимизирующей разность между ними. Каждый входной вектор предъявляется по очереди, и сеть частично обучается. [18]
Ловушки локальных минимумов досаждают всем алгоритмам обучения, основанным на поиске минимума, включая персептрон и сети обратного распространения, и представляют серьезную и широко распространенную трудность, которой часто не замечают. Стохастические методы позволяют решить эту проблему. Стратегия коррекции весов, вынуждающая веса принимать значение глобального оптимума в точке В, возможна. [19]
 |
НС из одного нейрона. [20] |
Вычисления в сети выполняются послойно. На шаге 3 каждый из выходов сети вычитается из соответствующей компоненты целевого вектора с целью получения ошибки. Эта ошибка используется на шаге 5 для коррекции весов сети. [21]
Недавно машина сыграла еще 20 партий. Несмотря на некоторые существенные изменения в оценочном полиноме, общая картина стабилизации процесса обучения, которая наблюдается на фиг. В ходе этих партий было сделано еще 412 коррекций весов оценочного полинома и 12 членов добавилось к списку выброшенных. [22]
Если сеть учится распознавать буквы, то нет смысла учить Б, если при этом забывается А. Процесс обучения должен быть таким, чтобы сеть обучалась на всем обучающем множестве без пропусков того, что уже выучено. В доказательстве сходимости [7] это условие выполнено, но требуется также, чтобы сети предъявлялись все векторы обучающего множества прежде, чем выполняется коррекция весов. [23]
Кроме того, при обучении многослойной сети может возникнуть явление, называемое параличом сети. Оно проявляется в том, что, несмотря на длительное время обучения, ошибка может практически не убывать, оставаясь достаточно большой. Такая ситуация может возникнуть, если веса связей и значения активностей велики по модулю. При этом вход ряда нейронов оказывается на крыльях сигмоида, где производная мала. Поэтому сеть может слабо реагировать на коррекцию весов, Это одна из причин, по которой часто используют не сам алгоритм обратного распространения ошибки, а его модификации. [24]
Страницы: 1 2