Cтраница 1
Имитация отжига заключается в постепенном стремлении температуры к нулю. [1]
Алгоритм имитации отжига может быть использован для обучения как многослойных, так и полносвязных сетей. При этом функции активации сети не обязательно должны быть непрерывно дифференцируемыми. [2]
Метод имитации отжига [159] заключается в том, чтобы, придерживаясь больцмановского правила переходов, постепенно понижать температуру 0, в конце концов доводя ее до нулевого значения. Тогда в окончательном состоянии влияние тепловых флуктуации исключается и состояние соответствует конфигурации с абсолютным минимумом энергии Е, которая, согласно проведенному нами построению, дает оптимальный вариант разбиения графа. [3]
Алгоритмы имитации отжига различаются структурами нейронных сетей, для обучения которых они используются, а также правилами, в соответствии с которыми допускаются шаги, увеличивающие энергию системы. [4]
Модифицированные алгоритмы имитации отжига используются также для решения задач комбинаторной оптимизации. [5]
Оказывается, что метод имитации отжига может быть использован и для того, чтобы перевести в состояние с абсолютным минимумом энергии построенную выше искусственную спиновую систему. [6]
Используются градиентный и стохастический алгоритмы имитации отжига. [7]
Многочисленные исследования показали, что метод имитации отжига является очень эффективным способом получения решений близких к оптимальному и часто служит эталоном сравнения для нейросетевых подходов. Заметим, однако, что при реализации в железе нейросетевой подход все равно оказывается вне конкуренции по скорости получения решения. [8]
Уменьшение шагов к концу алгоритма сходно с методом имитации отжига, который рассматривается далее. Сходство проявляется еще и в том, что преодолеваются локальные минимумы на начальном этапе обучения. Коррекции настолько велики, что параметры проскакивают оптимальное значение и сеть попадает в область притяжения другого минимума, а не задерживается в первом найденном минимуме. [9]
При обучении нейронной сети на основе стохастического алгоритма имитации отжига совершаются шаги по адаптивному рельефу в случайных направлениях. При этом шаг из точки S в точку S со значением энергии Е ( Е Е), приводящий к увеличению значения функции ошибки ( энергии) на величину А Е - Е), допускается с заданной вероятностью. [10]
Необходимо подчеркнуть, что, вообще говоря, метод имитации отжига гарантирует нахождение точного оптимума лишь в пределе бесконечно медленного охлаждения. Если полное число элементов достаточно велико, то в окрестности абсолютного минимума энергии может располагаться много локальных минимумов с почти совпадающими энергиями. Проведя охлаждение недостаточно медленно, после выключения тепловых флуктуации можно оставить систему в одном из таких метастабильных состояний. Впрочем, совершенная при этом ошибка невелика, поскольку все подобные состояния имеют энергию, близкую к абсолютному минимуму, и отвечают решениям, лишь незначительно худшим, чем оптимальное. [11]
Это сильно напоминает отжиг металла, поэтому для ее описания часто используют термин имитация отжига. В металле, нагретом до температуры, превышающей его точку плавления, атомы находятся в сильном беспорядочном движении. Как и во всех физических системах, атомы стремятся к состоянию минимума энергии ( единому кристаллу в данном случае), но при высоких температурах энергия атомных движений препятствует этому. В процессе постепенного охлаждения металла возникают все более низкоэнергетические состояния, пока в конце концов не будет достигнуто наинизшее из возможных состояний, глобальный минимум. [12]
В [87] описывается очень популярный в последнее время метод решения различных дискретных задач оптимизации - метод имитации отжига, являющийся модификацией известного алгоритма Метрополиса. В [87] решается задача о разбиении графа на два подграфа с равным числом вершин и с минимальным числом ребер, соединяющих эти подграфы. [13]
Сравнивая эволюционный метод решения задач оптимизации, основанный на использовании динамических уравнений ( 13) с конкуренцией мод ( т.е. естественным отбором), и метод имитации отжига, использующий уравнение ( 9) с зависящим от времени коэффициентом диффузии D ( t) у ( t), можно заметить, что в ряде случаев эволюционный метод позволяет более быстро найти решение. [14]
W принимается в качестве исходной, в ней опять наугад выбираются два города, к весь процесс повторяется заново. Имитация отжига заключается в том, чтобы понемногу уменьшать от мутации к мутации значение параметра 0 в ( 12), играющего роль температуры, и обратить его в конечном счете в нуль. [15]