Опубликован: 01.03.2007 | Доступ: свободный | Студентов: 1480 / 154 | Оценка: 4.58 / 4.39 | Длительность: 20:15:00
Специальности: Программист
Лекция 1:

Возможности нейронных сетей

Применим теперь то же разложение (3) к входящей в (3) функции f_1 (x,y) ; мы получим:

f_1 (x,y)=\sum\limits_{q=1}^5 {h_q^{(2)} (\Phi_q (x,y))+f_2 (x,y)}

или

f(x,y)=\sum\limits_{q=1}^5 {h_q^{(1)} (\Phi_q (x,y))}+\sum\limits_{q=1}^5 {h_q^{(2)} (\Phi_q (x,y))}+f_2 (x,y)
,

где

M_2 =\max \left|{f_2 (x,y)} \right|\le \frac{5}{6}M_1 =\left( {\frac{5}{6}} \right)^2 M

и

\max \left|{h_q^{(2)} (\Phi_q (x,y))} \right|\le \frac{1}{3}M_1 \le \frac{1}{3} \cdot \frac{5}{6}M
( q=1,2,...,5 ).

Затем мы применим разложение (3) к полученной функции f_2 (x,y) и т.д.; после n -кратного применения этого разложения мы будем иметь:

f(x,y)=\sum\limits_{q=1}^5 {h_q^{(1)} (\Phi_q (x,y))}+\sum\limits_{q=1}^5 {h_q^{(2)} (\Phi_q (x,y))}+f_2 (x,y)+...

...+\sum\limits_{q=1}^5 {h_q^{(n - 1)} (\Phi_q (x,y))}+f_n (x,y)
,

где

M_n =\max \left|{f_n (x,y)} \right|\le \left( {\frac{5}{6}} \right)^n M

и

\max \left|{h_q^{(s)} (\Phi_q (x,y))} \right|\le \frac{1}{3} \cdot \left( {\frac{5}{6}} \right)^{s - 1} M ( q=1,2,...,5;s=1,2,...,n - 1 ).

Последние оценки показывают, что при n \to \infty получим:

f(x,y)=\sum\limits_{q=1}^5 {h_q^{(1)} (\Phi_q (x,y))}+\sum\limits_{q=1}^5 {h_q^{(2)} (\Phi_q (x,y))}+f_2 (x,y)+...

...+\sum\limits_{q=1}^5 {h_q^{(n)} (\Phi_q (x,y))}+...

где стоящий справа бесконечный ряд сходится равномерно; также и каждый из пяти рядов

h_q^{(1)} (\Phi_q (x,y))+h_q^{(2)} (\Phi_q (x,y))+h_q^{(n)} (\Phi_q (x,y))+... ( q=1,2,...,5
)

сходится равномерно, что позволяет ввести обозначения

h_q (u)=h_q^{(1)}+h_q^{(2)}+...+h_q^{(n)}+...
( q=1,2,...,5 ).

Итак, окончательно получаем:

f(x,y)=\sum\limits_{q=1}^5 {h_q (\Phi_q (x,y))} =\sum\limits_{q=1}^5 h_q \left[{\varphi_q (x)+\psi_q (y)} \right]
,

то есть требуемое разложение (2).

До сих пор речь шла о точном представлении функций многих переменных с помощью функций одного переменного. Оказалось, что в классе непрерывных функций такое представление возможно. Но кроме вопроса о точном представлении существует еще один - об аппроксимации. Можно даже предположить, что он важнее - вычисление большинства функций производится приближенно даже при наличии "точных" формул.

Приближение функций многочленами и рациональными функциями имеет историю, еще более давнюю, чем проблема точного представления. Знаменитая теорема Вейерштрасса утверждает, что непрерывную функцию нескольких переменных f(x_1 ,x_2 ,...,x_n ) на замкнутом ограниченном множестве Q можно равномерно приблизить последовательностью полиномов: для любого \varepsilon>0 существует такой многочлен P(x_1 ,x_2 ,...,x_n ), что

\mathop {{\rm{sup}}}\limits_{\rm{Q}}|f(x_1,x_2,...,x_n)-P(x_1,x_2,...,x_n)|< \varepsilon

Чтобы сформулировать обобщения и усиления теоремы Вейерштрасса, необходимо перейти к несколько более абстрактному языку. Рассмотрим компактное пространство X и алгебру C(X) непрерывных функций на X с вещественными значениями.

Сильным обобщением теоремы о возможности равномерного приближения непрерывных функций многочленами является теорема Стоуна [1.6, 1.7]:

Пусть {\rm{E}} \subseteq {\rm{C(X)}} - замкнутая подалгебра в C(X), 1 \in E и функции из E разделяют точки в X (то есть для любых различных x,y \in X существует такая функция {\rm{g}} \in E, что {\rm{g(x)}}\ne{\rm{g(y)}} ). Тогда E=C(X) .

Теорема Стоуна обобщает теорему Вейерштрасса по двум направлениям. Во-первых, рассматриваются функции на произвольном компакте, а не только функции многих действительных переменных. Во-вторых, доказано утверждение, новое даже для функций одного переменного (не говоря уже о многих): плотно не только множество многочленов от координатных функций, но вообще кольцо многочленов от любого набора функций, разделяющих точки. Следовательно, плотно множество тригонометрических многочленов, множество линейных комбинаций функций вида exp[-(x-x0,Q(x-x0))], где (x,Qx) - положительно определенная квадратичная форма и др.

Дан рецепт конструирования таких обобщений: достаточно взять произвольный набор функций, разделяющих точки, построить кольцо многочленов от них - и получим плотное в C(X) множество функций.

Разложения по ортогональным системам функций (ряды Фурье и их многочисленные обобщения) не дают, вообще говоря, равномерного приближения разлагаемых функций - как правило, можно гарантировать лишь монотонное стремление к нулю интеграла квадрата остатка "функция минус приближение" с какой-либо положительной весовой функцией. Все же, обращаясь к задаче аппроксимации, нельзя забывать об ортогональных разложениях. Для ряда прикладных задач простота получения коэффициентов такого разложения может оказаться важнее, чем отсутствие гарантированной равномерности приближения.

Так существуют ли функции многих переменных? В каком-то смысле - да, в каком-то - нет. Все непрерывные функции многих переменных могут быть получены из непрерывных функций одного переменного с помощью линейных операций и суперпозиции. Требования гладкости и аналитичности существенно усложняют вопрос. На этом фоне совершенно неожиданно выглядит тот факт, что любой многочлен от многих переменных может быть получен из одного произвольного нелинейного многочлена от одного переменного с помощью линейных операций и суперпозиции. Простое доказательство этой теоремы будет дано в разделе 6.

Владимир Скарин
Владимир Скарин
Австралия
Сергей Смирнов
Сергей Смирнов
Россия, Нижний Новгород, ННГАСУ, 2007