НОУ ИНТУИТ | Введение в вычислительную математику. Лекция 5: Численные методы решения экстремальных задач

Учитесь и получайте официальные документы БЕСПЛАТНО. Вы можете поддержать наш проект.

Регистрация Вход

Твой путь к знаниям!

Опубликован: 25.10.2007 | Уровень: специалист | Доступ: платный | ВУЗ: Московский физико-технический институт

|

Вам нравится? Нравится 54 студентам

| Поделиться |

Поддержать программу

4.2. Методы спуска

Основная идея методов спуска состоит в том, чтобы построить алгоритм, позволяющий перейти из точки начального приближения $u_0 = \{u_0^1, \ldots ,u_0^n\}$ в следующую точку $u_1 = \{u_1^1, \ldots ,u_1^n\}$ таким образом, чтобы значение целевой функции приблизилось к минимальному.

4.2.1. Метод покоординатного спуска

Этот метод является редукцией поиска функции многих переменных к последовательности поиска минимумов функции одной переменной. Пусть $u^0 \in U$ — начальное приближение к минимуму $\Phi (u).$

Рассмотрим $\Phi (u_0) = \Phi (u_0^1, \ldots ,u_0^n)$ как функцию одной переменной u₁ при фиксированных $u_2^0, \ldots , u_n^0$ и находим одним из приведенных методов поиска минимума функции одной переменной

$\min\limits_{u_1 \in U}\Phi (u^1,u_0^2, \ldots , u_0^n).$

Полученное значение u₁, доставляющее минимум $\Phi (u_{1}),$ обозначим u_1^1 ; при этом

$\Phi (u_1^1,u_0^2, \ldots ,u_0^n ) \le \Phi (u_0^1, \ldots ,u_0^n ).$

Далее, при фиксированных значениях $u_1^1, u_3^0, \ldots , u_n^0$ ищем

$\min\limits_{u_2 \in U}\Phi (u_1^1,u_1^2,x_0^3, \ldots ,u_0^n ),$

как функции от u₂ ; соответствующее значение u₂ обозначим u_2^1 ; при этом

$\Phi (u_1^1,u_1^2, \ldots ,u_0^n ) \le \Phi (u_1^1,u_0^2, \ldots ,u_0^n ).$

Этот процесс продолжаем аналогичным образом и для оставшихся координат; в результате получим

$\Phi (u_1^1, \ldots ,u_1^n ) \le \Phi (u_1^1, \ldots ,u_0^n).$

Таким образом, переходим из точки u₀ в точку u₁. Этот процесс повторяется до тех пор, пока не будет выполнено условие выхода из итераций, например:

$\left|{\Phi (u_{k + 1}) - \Phi (u_k )}\right| \le \varepsilon,$

где $\varepsilon > 0$ — заданная точность.

Пример. Найти минимум функции двух переменных

$\Phi (u) = u_1^2 + u_2^2$

Рис. 4.2.

Выбрав некоторую точку начального приближения, например, u₀ = (2,2), получим минимум целевой функции за два шага, так как ее линии уровня — окружности с центром в начале координат (рис. 4.2).

Если же целевой функцией является, например

$\Phi (u) = 5u_1^2 + 5u_2^2 + 8u_1 u_2,$

которая поворотом системы координат на угол $- 45^{\circ}$ и преобразованием

$u_1 = \frac{v_1 + v_2}{\sqrt{2}} ; u_2 = \frac{(- v_1 + v_2)}{\sqrt{2}}$

приводится к виду $\Phi^{\prime}(v) = v_1^2 + 9v_2^2,$ то ее линиями уровня являются эллипсы v_1^2/9 + v_2^2 = c^2 поэтому спуск будет иметь иной характер (рис. 4.3).