Опубликован: 01.03.2007 | Доступ: свободный | Студентов: 1480 / 154 | Оценка: 4.58 / 4.39 | Длительность: 20:15:00
Специальности: Программист
Лекция 1:

Возможности нейронных сетей

Теорема 2. Пусть множество {\rm{P}} \subseteq {\rm{C(R)}} удовлетворяет условиям 1-4. Тогда P=C(R).

Доказательство опирается на три леммы.

Лемма 1. В условиях теоремы 2 существует дважды непрерывно дифференцируемая функция {\rm{g}} \in P, не являющаяся линейной.

Доказательство. Пусть {\rm{v(x)}} \in {\rm{C}}^\infty {\rm{(R)}}, v(x)=0 при |x|>1, \int {_{\rm{R}}}{\rm{v(x)dx=1}}. Рассмотрим оператор осреднения

J_\varepsilon f(x)= \int\limits_R {f(x+y)\frac{1}{\varepsilon}v\left({\frac{y}{\varepsilon}}\right)}dy

Для любого \varepsilon>0 выполнено: J_\varepsilon f(x) \in P.

Действительно, {\rm{f(x+y)}} \in E для каждого фиксированного y ((т.к. константы принадлежат E и E замкнуто относительно линейных операций и суперпозиции функций). Интеграл J_\varepsilon f(x). принадлежит E, так как E является замкнутым линейным подпространством в C(R), а этот интеграл пределом конечных сумм.

Функция J_\varepsilon f(x) принадлежит {\rm{C}}^\infty {\rm{(R)}} так как

J_\varepsilon f(x)= \int\limits_R {f(x+y)\frac{1}{\varepsilon}v\left({\frac{y}{\varepsilon}}\right)}dy= \int\limits_R {f(z)\frac{1}{\varepsilon}v\left({\frac{{z-x}}{\varepsilon}}\right)}dz

(напомним, что v – функция с компактным носителем).

Существует такое \varepsilon >0, что функция g=J_\varepsilon f не является линейной, поскольку J_\varepsilon f \to f не является линейной, поскольку \varepsilon \to 0, пространство линейных функций замкнуто, а f не является линейной функцией. Таким образом, в предположениях леммы существует нелинейная функция {\rm{g}} \in {\rm{P}}\cap {\rm{C}}^\infty {\rm{(R)}}, которую можно выбрать в виде g=J_\varepsilon f

Лемма 2. Пусть в условиях теоремы 2 существует дважды непрерывно дифференцируемая функция {\rm{g}} \in P, не являющаяся линейной. Тогда функция q(x)=x2 принадлежит P.

Доказательство. Существует точка x0, для которой {\rm{g''(x_0 )}} \ne {\rm{0}}. Обозначим r(x)=2(g(x+x0)-g(x0)-xg'(x0))/g''(x0). Очевидно, что {\rm{r}} \in {\rm{P}}{\rm{, r(0)=0}}{\rm{, r'(0)=0}}{\rm{, r''(0)=2}}{\rm{, r(x)=x}}^2 {\rm{+o(x}}^2 )}. Поэтому

{\rm{r(}}\varepsilon {\rm{x)/}}\varepsilon^2 \to {\rm{x}}^2 при \varepsilon \to 0.

Поскольку P замкнуто, получаем: функция q(x)=x2 принадлежит P.

Лемма 3. Пусть в условиях теоремы 2 функция q(x)=x2 принадлежит P. Тогда P является кольцом - для любых f,{\rm{g}} \in P их произведение f{\rm{g}} \in P.

Доказательство. Действительно, fg=\frac{1}{2}\left[{(f+g)^2 - f^2 - g^2}\right] и, так как P замкнуто относительно суперпозиции и линейных операций, то f{\rm{g}} \in P.

Доказательство теоремы 2 заканчивается обращением к классической теореме Вейерштрасса о приближении функций многочленами: из лемм 1-3 следует, что в условиях теоремы 2 P является кольцом и, в частности, содержит все многочлены (которые получаются из 1 и id с помощью умножения и линейных операций). По теореме Вейерштрасса отсюда следует, что P=C(R) .

Теоремы 1,2 можно трактовать как утверждения о универсальных аппроксимационных свойствах любой нелинейности: с помощью линейных операций и каскадного соединения можно из произвольных нелинейных элементов получить любой требуемый результат с любой наперед заданной точностью.

Андрей Скурихин
Андрей Скурихин
Россия, Санкт-Петербург, Санкт-Петербургский государственный электротехнический университет (ЛЭТИ), 1997