Значимость параметров и сигналов. Сокращение описания (контрастирование) сетей.

Сокращение множества параметров и входных сигналов обученной нейронной сети преследует цели:

1. упрощение специализированных устройств;
2. сокращение объема используемой памяти и увеличение быстродействия;
3. удешевление сбора данных;
4. обеспечение (или облегчение) интерпретации результатов обработки данных.

Существует два способа сокращения (редукции) описания:

• редукция "снизу вверх" - постепенное удаление параметров от наименее значимых к более значимым;
• редукция "сверху вниз" - выделение наиболее значимых параметров и постепенное дополнение их менее значимыми.

Способ редукции "снизу вверх":

1. определяются наименее значимые параметры и устраняются вместе с соответствующими элементами системы;
2. оставшиеся параметры модифицируются так, чтобы наилучшим способом решить задачу;
3. циклически повторять пп. 1-2 до тех пор, пока задача не будет решаться с удовлетворительной точностью.

Определение значимости параметров на основании функции оценки

Есть набор \[ x^i \] , \[ i=1, \ldots, n \] размерности \[ N, M \] -мерный вектор параметров \[ w \] и функция оценки \[ H(x,w) \] , оценивающая работу системы с параметрами \[ w \] на векторе \[ x \] (например, расстояние от вектора выходных сигналов системы до нужного ответа или до множества правильно интерпретируемых ответов). Требуется выделить наименее значимые параметры \[ w_k, k \in \{1,\ldots, M\} \] и компоненты данных \[ x_j \] и модифицировать систему, отбрасывая наименее значимые параметры. Процедура отбрасывания неоднозначна. Простейший вариант - обращение в ноль - не всегда лучший: он не учитывает корреляции между данными. Учитывая корреляцию, следует отбрасываемые компоненты заменять на функции остающихся компонент.

Пусть для каждого \[ w_k \] определено фиксированное значение \[ w_k^0 \] . Отбрасывание \[ j \] -ой компоненты для \[ i \] -го примера означает приравнивание \[ x_j:=x_j^0 \] . В качестве простейшего варианта примем \[ w_k^0=0 \] и для любого \[ i \] полагаем

(параметры обращаются в ноль, данные заменяются средним по выборке). Более тонкие методы предполагают замену отбрасываемых параметров и сигналов на некоторые функции оставшихся.