НОУ ИНТУИТ | Нейрокомпьютерные системы. Лекция 16: Контрастирование (редукция) нейронной сети

Учитесь и получайте официальные документы БЕСПЛАТНО. Вы можете поддержать наш проект.

Регистрация Вход

Твой путь к знаниям!

|

Вам нравится? Нравится 20 студентам

| Поделиться |

Поддержать программу

Сокращение описания "сверху вниз" - набор достаточного семейства наиболее значимых параметров

Метод исключения параметров "сверху вниз" с ортогонализацией применим не ко всяким функциям F(x,w) , а только к таким, которые имеют вид:

$\begin{align*} F(x,w)= \varphi(\sum_i w_i f_i(x)). \end{align*}$

Достоинство метода - автоматический учет корреляции между f_i(x) . Рассмотрим устройства, вычисляющие функции

$\begin{align*} F(x,w)= \sum_i w_i f_i(x). \end{align*}$

К ним относятся линейные сумматоры, квадратичные сумматоры и др.

Пусть заданы векторы данных:

$\begin{align*} x^p = (x_1^p, \ldots, x_i^p, \ldots, x_N^p), p = 1, \ldots, n, i = 1, \ldots, N. \end{align*}$

Поставим задачу сокращения описания следующим образом: так определить некоторое наименьшее возможное множество индексов $\beta_J$ и набор чисел $\beta_j, j \in J$ , чтобы норма отклонения $\|\Delta F\| = \|F - F'\|$ , где $F'= \sum_{j \in J} \beta_j f_j(x)$ , не превышала некоторой наперед заданной величины. Все функции рассматриваются на конечном множестве $\{x^p\}$ . Для любой функции $\varphi(x)$ евклидова норма:

$\begin{align*} \|\varphi\| =[\sum_p \varphi^2(x^p)]^{1/2}. \end{align*}$

С каждой функцией f(x) связан -мерный вектор с компонентами f^p =
f(x^p) . Вектор с координатами $F^p = \sum_i w_i f_i(x^p)$ является линейной комбинацией векторов f_i с координатами f_i^p =
f_i^p(x^p) . Линейную оболочку семейства векторов f_i обозначим $L = L(\{f_i\})$ . Построим в пространстве ортонормированный базис с помощью последовательной ортогонализации векторов f_i . Каждый следующий шаг ортогонализации выполним так, чтобы величина проекции на новый вектор базиса была максимальной из возможных. Процесс ортогонализации продолжим, пока $\|F\|^2 - \|F_\bot\|^2 > \xi^2$ , где $F_\bot$ - проекция на построенную ортогональную систему. По окончании процесса полагаем $F' = F_\bot$ .