Россия, Москва |
Контрастирование (редукция) нейронной сети
Сокращение числа выходов в адаптивном линейном сумматоре (путь "снизу вверх")
Рассмотрим адаптивный линейный сумматор, вычисляющий линейную функцию .
Решим задачу о сокращении числа выходных сигналов. Рассмотрим определение значимости по изменению выходного сигнала. Заметим, что:
![\begin{align*}
\partial F/ \partial w_0 = 1,\quad \partial F/ \partial w_{{i|\chi = \chi}^p}
=
x_i^p ,\quad \partial F/ \partial w_{i}|_{\chi = \chi^p} = w_i, i = 1, \ldots, N.
\end{align*}](/sites/default/files/tex_cache/bc63ce2b8fbd3f9fe9045c8174ec1c92.png)
Уничтожить -й выходной сигнал можно двумя способами:
- заменой параметра
на 0;
- заменой
на постоянную величину не зависящую от
.
В последнем случае получаем новую функцию
![\begin{align*}
F_{1i} = w_0 + x_i^0 w_i + \sum_{j=1,j\neq i}^N x_j w_j
\end{align*}](/sites/default/files/tex_cache/8894830058c36aac6825256f25f6945a.png)
Такое преобразование означает, что одновременно с уничтожением -й
выходной связи
приобретает новое значение:
![\begin{align*}
w_0:= w_0 + x_i^0 w_i.
\end{align*}](/sites/default/files/tex_cache/e0996bf3726e8ac3992030464407067a.png)
При этом можно добиться меньшего изменения , чем просто
при
приравнивании
к нулю. Поэтому остановимся на замене
-го выходного
сигнала на постоянную величину
. Значение этой постоянной
определим
исходя из минимизации изменения
. Минимизация этого
изменения,
вычисленного в евклидовой норме, дает:
![\begin{align*}
x_i^0 = (1/n)\sum_{p=1}^n x_i^p
\end{align*}](/sites/default/files/tex_cache/b30a6954f8cce4f0dfb2a2f1beec61b8.png)
Таким образом, оптимальной является замена на его среднее
значение по
исходной выборке. В обозначениях теории вероятностей:
![\begin{align*}
x_i^0 = M(x_i),\chi(x_i) = n^{1/2} w_i \sigma(x_i).
\end{align*}](/sites/default/files/tex_cache/060d099ddbff685130f1a40331a8424e.png)
где - среднеквадратичное отклонение от
на выборке
.
Значимость замены оценивается как
![\begin{align*}
\chi(x_i) =|w_i| \sigma(x_i).
\end{align*}](/sites/default/files/tex_cache/60a3dede4b052594bb8bae6535d367ba.png)
При исключении сигналов по одному, они сортируются в соответствии со
значениями и отбрасываются (заменяются средним)
сначала те, что
соответствуют меньшим
. Заметим, что поэтому путь
"снизу вверх"
универсален, но не оптимален. В частности, для сумматоров и других
элементов, линейных по параметрам (например, квадратичных сумматоров),
существует учитывающий все корреляции путь исключения "сверху
вниз" с
ортогонализацией. Далее ограничимся оценкой значимости по изменению
выходного сигнала.