Cтраница 2
На вопрос, какому из способов выбора направления спуска следует отдать предпочтение при решении конкретной задачи, однозначного ответа нет, если только она не является хорошо известной тестовой задачей. Предположим, что мы обладаем определенной информацией о виде минимизируемой функции; скажем, нам известно, что эта функция выпуклая и достаточно гладкая. Но и в этом случае ответ на поставленный вопрос весьма затруднителен. Дело в том, что у многих методов спуска априорные оценки скорости сходимости имеют вид р ( хш) - р х О ( 1 / т), вследствие чего эти оценки не позволяют отдать предпочтение тому или иному методу. Именно на этом этапе приобретает важное значение накопленный опыт. Так, на начальной стадии минимизации отдают предпочтение методам, связанным с незначительными затратами усилий на вычисления направлений спуска, например методам покоординатного спуска. Когда процесс минимизации р ( х) существенно замедляется, переходят к методам, связанным с вычислениями градиента, - к так называемым методам градиентного спуска. [16]