Численные методы решения экстремальных задач

4.2.2. Метод градиентного спуска

Напомним, что градиент функции

Построим итерационный процесс следующим образом:

где — шаг спуска (итерационный параметр). Итерации продолжим до выполнения заданного условия окончания процесса поиска минимума, например

Пример. Рассмотрим функцию двух переменных

В соответствии с методом градиентного спуска получим

Пусть начальное приближение u₀ = {1;1} ;

Тогда u₁ = {0,95; 0,80} ; u₂ = {0,9025; 0,6400} ; u₃ = {0,8574; 0,5120} ; ;

Если взять то u₁ = {0; - 3} и в то время как Выбор шага оказывается существенным в этом методе, поэтому чаще используются методы с переменным шагом.

4.2.3. Метод наискорейшего спуска

В методе градиентного спуска выберем шаг так, чтобы функция максимально уменьшала свое значение:

В предыдущем примере выбор шага в точке u₀ сводится к задаче о поиске минимума функции

откуда поскольку

На следующих шагах будет зависеть от

Общий случай этого метода, а также метод сопряженных градиентов рассмотрены в "Численное решение систем линейных алгебраических уравнений" .

Отметим следующее важное обстоятельство. Решение экстремальных задач в Lⁿ зачастую сопряжено со значительными трудностями, особенно для многоэкстремальных задач. Некоторые из этих трудностей исчезают, если ограничиться рассмотрением только выпуклых функций на выпуклых множествах.

Определение. Функция заданная на выпуклом множестве называется выпуклой, если для любых точек и любого выполнено:

Определение. Функция называется строго выпуклой, если для всех выполнено строгое неравенство

Это определение имеет наглядный геометрический смысл: график функции на интервале, соединяющем точки u, v лежит ниже хорды, проходящей через точки и (рис. 4.11).

Для дважды непрерывно дифференцируемой функции положительная определенность матрицы Гессе есть достаточное условие строгой выпуклости.

Рис. 4.9.

Теорема. Пусть — выпуклая функция на выпуклом множестве U, Тогда любой ее локальный минимум на U является одновременно и глобальным.

Глобальный минимум строго выпуклой функции на выпуклом множестве U достигается в единственной точке.

Доказательство.

Предположим противное, т.е. u₀ — точка локального, а u^* — глобального минимума на U, и Отсюда, с учетом выпуклости имеем

При точка попадает в сколь угодно малую окрестность u₀. Поэтому полученное неравенство противоречит предположению о том, что u₀ — точка локального минимума (первая часть теоремы доказана).

Пусть u⁽¹⁾, u⁽²⁾ — две различные точки глобального минимума. Из строгой выпуклости следует, что для всех выполняется строгое неравенство что противоречит предположению о том, что u⁽¹⁾, u⁽²⁾ — точки глобального минимума.