Метод наискорейшего спуска (метод Коши)

Если во время поиска шаг l не меняется, то такой способ называется градиентным методом с дискретным шагом.

Процесс оптимизации на первых итерациях можно значительно ускорить, если λ_kвыбирать из условия λ_k =min f(X_k + λS_k), где для нахождения Sk используется любой метод одномерной оптимизации. Такой метод называется методом наискорейшего спуска.

Критерий остановки метода: ||Ñf(X_k)|| <ε_k

Недостаток метода – критерий остановки удовлетворяет не только точке экстремума, но и седловой точке.