Метод - градиентный спуск
Cтраница 3
В этом случае построенная модель представляет собой частный случай задачи нелинейного программирования, когда ищется минимум выпуклой нелинейной функции многих переменных, называемых целевой функцией, без ограничений на переменные. Наиболее часто используемыми алгоритмами минимизации функций многих переменных являются метод покоординатного спуска, или метод релаксации, и метод градиентного спуска. В случае градиентного метода движения происходит в направлении наискорейшего убывания функции. При расчетах весьма сложных газовых сетей используются топологические методы составления математической модели задачи и далее применяются численные методы нахождения решения. [31]
 |
Структурограмма метода покоординатного спуска. [32] |
Следовательно, направление, противоположное градиентному, укажет направление наибольшего убывания функции. Методы, основанные на выборе пути оптимизации с помощью градиента, называются градиентными. Идея метода градиентного спуска состоит в следующем. [33]
 |
Поиск методом прямого спуска - две переменные. [34] |
Поиск метолом прямого спуска может также страдать недостатком скрупулезности. Не проверяя каждую модель, претендующую на роль лучшей, этот метод сопряжен с риском пропустить топ-модель. Поиск методом градиентного спуска также требует непрерывности модельного пространства. Этот метод может ошибочно выбирать локальный максимум в качестве глобального максимума. То есть, он может выбрать топ-модель для конкретной области пространства переменных и остановить поиск; следовательно, он упустит топ-модель для всего пространства. [35]
В конце пятидесятых годов в ВЦ АН СССР начали проводиться эксперименты с использованием метода Монте-Карло для решения подобных задач. Поэтому мы стали комбинировать метод градиентного спуска и метод Монте-Карло. [36]
По описанной методике выполнены расчеты для композитного материала, армированного двумя волокнами конечных размеров. Указанный способ решения дискретных задач заключается в следующем: сначала в расчетной области вводится сетка с минимальным количеством узлов, которая позволяет получить качественную картину решения; затем выполняется решение дискретной задачи прямым методом ( метод Холецкого, метод итерирования подпространств); далее выполняется уплотнение сетки по каждому из направлений с последующей интерполяцией полученных результатов решения; в дальнейшем решение дискретной задачи выполняется градиентным методом ( метод сопряженных градиентов, метод градиентного спуска), для которого в качестве начального приближения используется решение, полученное на предыдущем этапе. Сходимость градиентных методов, являющихся методами вариационного типа, сильно зависит от качества начального приближения. Поскольку, прямые методы на небольшой сетке позволяют быстро и точно получить качественную картину решения дискретной задачи, указанный комбинированный способ позволяет в несколько раз ( по сравнению с традиционными процедурами реализации расчетов) снизить время, необходимое для получения решения задач, повысить точность полученных результатов, а также снизить требования к вычислительным ресурсам. [37]
Рассматриваемая нейронная сеть имеет несколько узких мест. Во-первых, в процессе большие положительные или отрицательные значения весов могут сместить рабочую точку на сиг-моидах нейронов в область насыщения. Малые величины производной от логистической функции приведут в соответствии с (1.15) и (1.16) к остановке обучения, что парализует сеть. Во-вторых, применение метода градиентного спуска не гарантирует нахождения глобального минимума целевой функции. Это тесно связано вопросом выбора скорости обучения. [38]
Значит, направлением убывания является направление, обратное градиенту. В этом состоит известная идея метода градиентного спуска. [39]
Страницы: 1 2 3