Опубликован: 01.03.2007 | Доступ: свободный | Студентов: 1478 / 154 | Оценка: 4.58 / 4.39 | Длительность: 20:15:00
Специальности: Программист
Лекция 1:

Возможности нейронных сетей

А теперь - теорема Колмогорова, завершившая серию исследований для непрерывных функций:

Каждая непрерывная функция n переменных, заданная на единичном кубе n -мерного пространства, представима в виде

f(x_1 ,x_2 ,...,x_n )=\sum\limits_{q=1}^{2n+1}{h_q}\left[{\sum\limits_{p=1}^n {\varphi_q^p (x_p)} }\right] ( 1)

где функции h_q (u) непрерывны, а функции \varphi_q^p (x_p) , кроме того, еще и стандартны, т.е. не зависят от выбора функции f.

В частности, каждая непрерывная функция двух переменных x, y представима в виде

f(x,y)=\sum\limits_{q=1}^5 {h_q \left[{\varphi_q (x)+\psi_q (y)}\right]}
, ( 2)

Доказательство настолько просто, изящно и поучительно, что мы приведем его практически полностью для случая n=2, следуя изложению В.И.Арнольда [1.5]. Возможность представления (2) доказывается в несколько этапов.

1. "Внутренние" функции \varphi_q (x) и \psi_q (y) представления (2) совершенно не зависят от разлагаемой функции f(x,y).

Для определения этих функций нам понадобятся некоторые предварительные построения. Рассмотрим изображенный на рис. 1.8 "город" - систему одинаковых "кварталов" (непересекающихся замкнутых квадратов), разделенных узкими "улицами" одной и той же ширины. Уменьшим гомотетично наш "город" в N раз; за центр гомотетии можно принять, например, точку A_1 - мы получим новый" город", который будем называть "городом ранга 2". "Город ранга 3" точно также получается из "города ранга 2" гомотетичным уменьшением с коэффициентом гомотетии ${\frac{1}{N}}$ ; "город ранга 4" получается гомотетичным уменьшением в N раз "города ранга 3" и т.д. Вообще "город ранга k " получается из исходного "города" (который мы будем называть "городом первого ранга") гомотетичным уменьшением в N^k раз (с центром гомотетии в A_1 ; впрочем, выбор центра гомотетии не существенен для дальнейшего).

Система кварталов

Рис. 1.8. Система кварталов

Построенную систему "городов" мы назовем 1 -й системой. "Город первого ранга q -й системы" ( q=2,...,5 ) получается из изображенного на рис. 1.8 "города" при помощи параллельного переноса, совмещающего точку A_1 с точкой A_q. Нетрудно понять, что "улицы" "города" можно выбрать настолько узкими, что каждая точка плоскости будет покрыта по крайней мере тремя кварталами наших пяти "городов первого ранга". Точно так же "город k -го ранга" q -й системы ( k=2,3,...;q=2,...,5 ) получается из "города k -го ранга 1 -й системы" параллельным переносом, переводящим точку A_1^k в точку A_q^k, где A_1^k и A_q^k получаются из точек A_1 и A_q гомотетией, переводящей "город первого ранга" 1 -й системы (т.е. наш исходный "город") в "город k -го ранга" той же системы; при этом каждая точка плоскости будет принадлежать кварталам по крайней мере трех из пяти "городов" любого фиксированного ранга k.

Функцию

\Phi_q (x,y)=\varphi_q (x)+\psi_q (y)
( q=1,2,...,5
)

мы определим теперь так, чтобы она разделяла любые два "квартала" каждого "города" системы q, т.е. чтобы множество значений, принимаемых \Phi_q (x,y) на определенном "квартале" "города k -го ранга" (здесь k - произвольное фиксированное число) q -й системы, не пересекалось с множеством значений, принимаемых \Phi_q (x,y) на любом другом "квартале" того же "города". При этом нам, разумеется, будет достаточно рассматривать функцию \Phi_q (x,y) на единичном квадрате (а не на всей плоскости).

Для того, чтобы функция \Phi_q (x,y)=\varphi_q (x)+\psi_q (y) разделяла "кварталы" "города первого ранга", можно потребовать, например, чтобы \varphi_q (x) на проекциях "кварталов" "города" на ось x весьма мало отличалась от различных целых чисел, а \psi_q (y) на проекциях "кварталов" на ось y весьма мало отличалась от различных кратных \sqrt 2 (ибо m+n\sqrt 2 =m'+n'\sqrt 2 при целых m, n, m', n', лишь если m=m',n=n' ). При этом наложенные условия не определяют пока еще, разумеется, функций \varphi_q (x) и \psi_q (y) (на "улицах" функция \Phi_q (x,y)=\varphi_q (x)+\psi_q (y) вообще пока может задаваться совершенно произвольно); используя это, можно подобрать границы значений \varphi_q (x) и \psi_q (y) на "кварталах" "города второго ранга" так, чтобы функция \Phi_q (x,y)=\varphi_q (x)+\psi_q (y) разделяла не только "кварталы" "города 1 -го ранга", но и "кварталы" "города 2 -го ранга". Намеченную программу можно осуществить, если N достаточно велико (так что кварталы последующих рангов не соединяют кварталы предыдущих). А.Н. Колмогоров выбрал N=18. Привлекая подобным же образом к рассмотрению "города" последующих рангов и уточняя каждый раз значения функций \varphi_q (x) и \psi_q (y), мы в пределе получим непрерывные функции \varphi_q (x) и \psi_q (y) (можно даже потребовать, чтобы они были монотонными), удовлетворяющие поставленным условиям.

2. Функции h_q (u) разложения (2), напротив того, существенно зависят от исходной функции f(x,y).

Для построения этих функций докажем прежде всего, что любую непрерывную функцию f(x,y) двух переменных x и y , заданную на единичном квадрате, можно представить в виде

f(x,y)=\sum\limits_{q=1}^5 {h_q^{(1)} (\Phi_q (x,y))}+f_1 (x,y) ( 3)

где \Phi_q (x,y)=\varphi_q (x)+\psi_q (y) - функции, построенные выше, и

M_1 =\max \left|{f_1 (x,y)} \right|\le \frac{5}{6}\max \left|{f(x,y)} \right|=\frac{5}{6}M
, ( 3^а)

\max \left|{h_q^{(1)} (\Phi_q (x,y))} \right|\le \frac{1}{3}M, ( 3^б)
q=1,...,5.

Выберем ранг k столь большим, чтобы колебание (т.е. разность наибольшего и наименьшего значений) функции f(x,y) на каждом "квартале" любого из "городов ранга k " не превосходило ${\frac{1}{6}}{\rm{M}}$ ; это, разумеется, возможно, так как с ростом ранга k размеры " кварталов" уменьшаются неограниченно. Далее, пусть p_1^{(ij)} - определенный "квартал" "города 1 -й системы" (и выбранного ранга k ); в таком случае (непрерывная) функция \Phi_1 (x,y) принимает на этом "квартале" значения, принадлежащие определенному сегменту \Delta_1^{(ij)} числовой оси (причем в силу определения функции \Phi_1 этот сегмент не пересекается с сегментами значений, принимаемых \Phi_1 на всех других "кварталах"). Положим теперь функцию h_1^{(1)} на сегменте \Delta_1^{(ij)} постоянной, равной ${\frac{1}{3}}$ значения, принимаемого функцией f(x,y) в какой-либо (безразлично какой) внутренней точке M_1^{(ij)} квартала p_1^{(ij)} (эту точку можно назвать "центром квартала"). Таким же образом мы определим функцию h_1^{(1)} на любом другом из сегментов, задаваемых значениями функции \Phi_1 (x,y) на "кварталах" "города k -го ранга" 1 -й системы; при этом все значения h_1^{(1)} будут по модулю не превосходить ${\frac{1}{3}}{\rm{M}}$ (ибо значение f(x,y) в "центре" любого "квартала" по модулю не превосходит M ). Доопределим теперь функцию h_1^{(1)} (u) при тех значениях аргумента u, при каких она еще не определена, произвольно, с тем лишь, чтобы она была непрерывна и чтобы выполнялось неравенство (3б); совершенно аналогично определим и все остальные функции h_q^{(1)} (u) ( q=2,...,5 ).

Докажем теперь, что разность

f_1 (x,y)=f(x,y)-\sum\limits_{q=1}^5 {h_q^{(1)}(\Phi_q (x,y))}

удовлетворяет условию (3а), т.е. что \left|{f_1 (x_0 ,y_0 )} \right|\le \frac{5}{6}M, где (x_0 ,y_0 ) - произвольная точка единичного квадрата. Эта точка (как и все точки плоскости) принадлежит по крайней мере трем кварталам "городов ранга k "; поэтому заведомо найдутся такие три из пяти функций h_1^{(1)} (\Phi_q (x,y)), которые принимают в точке (x_0 ,y_0 ) значение, равное ${\frac{1}{3}}$ значения f(x,y) в "центре" соответствующего "квартала", т.е. отличающееся от ${\frac{1}{3}}{f(x_0 ,y_0 )} $ не более чем на ${\frac{1}{18}}{\rm{M}}$ (ибо колебание f(x,y) на каждом квартале не превосходит ${\frac{1}{6}}{\rm{M}}$ ); сумма этих трех значений h_q^{(1)} (\Phi_q (x_0 ,y_0 )) будет отличаться от f(x_0 ,y_0 ) по модулю не более чем на ${\frac{1}{6}}{\rm{M}}$. А так как каждое из оставшихся двух чисел h_q^{(1)} (\Phi_q (x_0 ,y_0 )) в силу (3) по модулю не превосходит ${\frac{1}{3}}{\rm{M}}$ то мы получаем:

\left|{f_1 (x_0 ,y_0 )} \right|=\left|{f(x_0 ,y_0 )-\sum\limits_{q=1}^5 {h_q^{(1)}(\Phi_q (x_0 ,y_0 ))}}\right|\le \frac{1}{6}M+\frac{2}{3}M=\frac{5}{6}M
,

что и доказывает (3а).

Андрей Скурихин
Андрей Скурихин
Россия, Санкт-Петербург, Санкт-Петербургский государственный электротехнический университет (ЛЭТИ), 1997