Cтраница 1
Коррекция весов, равная сумме, вычисленной алгоритмом обратного распространения, и случайный шаг, задаваемый алгоритмом Коши, приводят к системе, которая сходится и находит глобальный минимум быстрее, чем система, обучаемая каждым из методов в отдельности. Простая эвристика используется для избежания паралича сети, который может иметь место как при обратном распространении, так и при обучении по методу Коши. [1]
Коррекция весов в комбинированном алгоритме, использующем обратное распространение и обучение Коши, состоит из двух компонент: ( 1) направленной компоненты, вычисляемой с использованием алгоритма обратного распространения, и ( 2) случайной компоненты, определяемой распределением Коши. [2]
Заметим, что коррекции весов у других нейронов не производится. [3]
В стандартном алгоритме ВР коррекция весов происходит сразу после подачи очередного примера - это обучение по примерам; если веса модифицируются после просчета всего обучающего множества, то это обучение по всему задачнику. В этом случае обучающее множество разбивается на подмножества ( страницы) и задается последовательность прохождения страниц. [4]
В обратном распространении для коррекции весов сети используется градиентный спуск, продвигающийся к минимуму в соответствии с локальным наклоном поверхности ошибки. Он хорошо работает в случае сильно изрезанных невыпуклых поверхностей, которые встречаются в практических задачах. В одних случаях локальный минимум является приемлемым решением, в других случаях он неприемлем. [5]
Детерминистский метод обучения шаг за шагом осуществляет процедуру коррекции весов сети, основанную на использовании их текущих значений, а также величин входов, фактических выходов и желаемых выходов. Обучение персептрона является примером подобного детерминистского подхода ( см. гл. [6]
Обратим внимание, что в данной процедуре сначала происходит коррекция весов для выходного нейрона, а затем - для нейронов скрытого слоя, т.е. от конца сети к ее началу. [7]
Внимательный разбор доказательства сходимости в [7] показывает, что коррекции весов предполагаются бесконечно малыми. Ясно, что это неосуществимо на практике, так как ведет к бесконечному времени обучения. Размер шага должен браться конечным, и в этом вопросе приходится опираться только на опыт. Если размер шага очень мал, то сходимость слишком медленная, если же очень велик, то может возникнуть паралич или постоянная неустойчивость. В [11] описан адаптивный алгоритм выбора шага, автоматически корректирующий размер шага в процессе обучения. [8]
Искусственные нейронные сети могут обучаться по существу тем же самым образом посредством случайной коррекции весов. Вначале делаются большие случайные коррекции с сохранением только тех изменений весов, которые уменьшают целевую функцию. Затем средний размер шага постепенно уменьшается, и глобальный минимум в конце концов достигается. [9]
За один цикл работы программы производится вычисление п-ситуации, ответа моделей, ошибок на n - шаге, коррекция весов ( коэффициентов регрессии), накопление усредненных ошибок. [10]
В работе [5] доказательство сходимости дается на языке дифференциальных уравнений в частных производных, что делает его справедливым лишь в том случае, когда коррекция весов выполняется с помощью бесконечно малых шагов. Так как это ведет к бесконечному времени сходимости, то оно теряет силу в практических применениях. [11]
При обучении сигнал ошибки распространяется обратно по сети. Производится коррекция весов входов нейронов, предотвращающая повторное появление этой ошибки. В одноуровневых сетях коррекция выполняется достаточно просто. [12]
Тем самым весовые векторы перемещаются ближе к области входных векторов. В процессе обучения коррекция весов начинает производиться лишь для ближайших к победителю нейронов Кохонена. Этот радиус коррекции постепенно уменьшается, так что в конце концов корректируются только веса, связанные с выигравшим нейроном Кохонена. [13]
Итак, рассмотрим шаг 3 для многоуровневой сети, состоящей из нейронов с сигмоидной функцией активации. Он состоит из коррекции весов выходного слоя и коррекции весов остальных слоев. [14]
Этот способ состоит в том, что длина цепочки ходов, относительно которой вычисляется 8, увеличивается до тех пор, пока величина б не станет больше пороговой. После этого производится коррекция весов оценочного полинома. В этом случае опасность возникновения неустойчивости вследствие увеличения длины цепочки ходов ( которая обсуждалась в разделе Неустойчивость) не возникает, так как при малых б оценочный полином не меняется. Конечно, всякий раз, когда величина 6 превышает пороговую, программа должна вычислить значение исправленного полинома для текущей позиции и, таким образом, снова начать пользоваться цепочками, состоящими только из одной пары ходов. Этот алгоритм устраняет недостаток, связанный с тем, что программа придает значение позициям, слишком далеко отстоящим друг от друга вдоль цепочки ходов, но вводит такую же возможность в отношении позиций, которые отстоят недостаточно далеко. [15]