Нейрокомпьютерные системы

:

Нейрокомпьютерные системы
[+]
Лекция 16:

Контрастирование (редукция) нейронной сети
A
|
версия для печати
< Лекция 15 || Лекция 16: 12345678 || Лекция 17 >

Показатели значимости вычисляются в два этапа: сначала они оцениваются для одного вектора (примера), потом для всей выборки.

1. Для данного x^p значимости w_k и x_j оцениваются как

\begin{align*} \chi(w_k|x^p)=|\partial H(x^{p},w)/ \partial w_k| \times | w_k - w_{k}^{0}|,\\ \chi(x_{j}^{p} |x^p)=|\partial H(x^{p},w)/ \partial x_{j}^{p}| \times |x_{j}^{p} - {x_{j}^{p}}^0|. \end{align*}

Здесь \chi - вычисленные в линейном приближении абсолютные величины изменения H при сокращении описания. Оценка на всей выборке x^p, p=1, \ldots, n может проводиться по-разному. Например, может использоваться одна из следующих норм:

1. Сумма модулей:

\begin{align*} \chi(w_k)= \sum_p \chi(w_k|x^p),\\ \chi(x_j)= \sum_p \chi(x_j|x^p).\vspace{-2mm} \end{align*}

2. Максимум модуля

\begin{align*} \chi(w_k)= \max_p \chi(w_k|x^p),\\ \chi(x_j)= \max_p \chi(x_j|x^p). \end{align*}

Часто приходится иметь дело с системой, которая меняет свои параметры (например, в ходе обучения). Тогда к моменту принятия решения о значимости может быть накоплена информация о частных производных H в разных точках w \in \{w_1, \ldots, w_q\}. Ее можно использовать следующим образом.

Обозначим угловыми скобками процедуру усреднения по множеству параметров \{w^1, \ldots, w^q\}:

\begin{align*} < f(w,\ldots)> = (1/q)\sum_{i=1}^q f(w^s,\ldots) \end{align*}

положим

\begin{align*} \chi(w_{k}|x^{p})= < |\partial H(x,w)/ \partial w_{{k|\chi = \chi}^p} > \cdot w_k - |w_{k}^{0}|,\\ \chi(x_{j}|x^{p})= < |\partial H(x,w)/ \partial x_{{j|\chi = \chi}^p} > \cdot x_{j}^{p} - |{x_{j}^{p}}^{0}|. \end{align*}

Усредняются абсолютные значения производных, а приращения берутся в тех точках, в которых будет проводиться процедура сокращения описания. Усреднение параметров w по нескольким значениям важно для нелинейных систем, в которых производные H могут сильно меняться от точки к точке.

Главная задача при сокращении описания - сохранить качество работы системы, оцениваемое с помощью H. Для этого требуется знать назначение системы и иметь способ оценки ее соответствия своему назначению.

Возможен другой подход, не предполагающий никакого знания о способах оценки. Ставится задача сохранить описание, минимально изменяя функционирование системы. В этом случае роль оценки играет изменение выходного сигнала системы после сокращения.

Дальше >>
< Лекция 15 || Лекция 16: 12345678 || Лекция 17 >

Вопросы и ответы

вопросов: 0

Студенты

всего: 37
Ирина Ткаченко
Ирина Ткаченко
Россия, Москва
предложить дружбу
Николай Ткаченко
Николай Ткаченко
Россия
предложить дружбу