Искусственный интеллект (личная):

Нейрокомпьютерные системы
[+]
Опубликован: 13.09.2006 | Уровень: специалист | Доступ: свободно | ВУЗ: Новосибирский Государственный Университет
Лекция 16:

Контрастирование (редукция) нейронной сети
A
|
версия для печати
< Лекция 15 || Лекция 16: 12345678 || Лекция 17 >

Сокращение числа выходов в адаптивном линейном сумматоре (путь "снизу вверх")

Рассмотрим адаптивный линейный сумматор, вычисляющий линейную функцию F(x,w) = w_0 + (x,w).

Решим задачу о сокращении числа выходных сигналов. Рассмотрим определение значимости по изменению выходного сигнала. Заметим, что:

\begin{align*} \partial F/ \partial w_0 = 1,\quad \partial F/ \partial w_{{i|\chi = \chi}^p} = x_i^p ,\quad \partial F/ \partial w_{i}|_{\chi = \chi^p} = w_i, i = 1, \ldots, N. \end{align*}

Уничтожить i -й выходной сигнал можно двумя способами:

  • заменой параметра w_i на 0;
  • заменой x_i на постоянную величину не зависящую от p.

В последнем случае получаем новую функцию

\begin{align*} F_{1i} = w_0 + x_i^0 w_i + \sum_{j=1,j\neq i}^N x_j w_j \end{align*}

Такое преобразование означает, что одновременно с уничтожением i -й выходной связи w_0 приобретает новое значение:

\begin{align*} w_0:= w_0 + x_i^0 w_i. \end{align*}

При этом можно добиться меньшего изменения F(x,w), чем просто при приравнивании w_i к нулю. Поэтому остановимся на замене i -го выходного сигнала на постоянную величину x_i^0. Значение этой постоянной определим исходя из минимизации изменения F(x^p,w). Минимизация этого изменения, вычисленного в евклидовой норме, дает:

\begin{align*} x_i^0 = (1/n)\sum_{p=1}^n x_i^p \end{align*}

Таким образом, оптимальной является замена x_i на его среднее значение по исходной выборке. В обозначениях теории вероятностей:

\begin{align*} x_i^0 = M(x_i),\chi(x_i) = n^{1/2} w_i \sigma(x_i). \end{align*}

где \sigma(x_i) - среднеквадратичное отклонение от x_i^0 на выборке \{x^p\}.

Значимость замены оценивается как

\begin{align*} \chi(x_i) =|w_i| \sigma(x_i). \end{align*}

При исключении сигналов по одному, они сортируются в соответствии со значениями \chi(x_i) и отбрасываются (заменяются средним) сначала те, что соответствуют меньшим \chi(x_i). Заметим, что поэтому путь "снизу вверх" универсален, но не оптимален. В частности, для сумматоров и других элементов, линейных по параметрам (например, квадратичных сумматоров), существует учитывающий все корреляции путь исключения "сверху вниз" с ортогонализацией. Далее ограничимся оценкой значимости по изменению выходного сигнала.

Дальше >>
< Лекция 15 || Лекция 16: 12345678 || Лекция 17 >

Вопросы и ответы

вопросов: 0

Студенты

всего: 1
Тимур Швецов
Тимур Швецов
Казахстан
предложить дружбу