Cтраница 3
Подобно ступенчатой функции, она нелинейна, и это важно, поскольку только нелинейные функции позволяют вычленять в пространстве признаков множества сложной формы, в том числе невыпуклые и несвязные. Но в то же время сигмоида в отличие от ступенчатой функции переходит от одного значения к другому без разрыва, как это имеет место и в линейной функции. Это обстоятельство оказывается чрезвычайно важным при поиске экстремума целевой функции в пространстве нейронных параметров: в этом случае зависимость целевой функции от параметров также оказывается гладкой, и в каждой точке пространства может быть вычислен градиент целевой функции, указывающий направление поиска экстремума. [31]