Новосибирский Государственный Университет
Опубликован: 13.09.2006 | Доступ: свободный | Студентов: 2217 / 533 | Оценка: 4.52 / 4.28 | Длительность: 12:23:00
ISBN: 978-5-9556-0063-5
Специальности: Программист
Лекция 16:

Контрастирование (редукция) нейронной сети

Аннотация: Рассматриваются: методы оценки значимости параметров нейронной сети и сигналов в ней; сокращение числа входов в линейном сумматоре методом "снизу-вверх", метод исключения параметров "сверху-вниз" с ортогонализацией и бинаризация сумматора.

Значимость параметров и сигналов. Сокращение описания (контрастирование) сетей.

Сокращение множества параметров и входных сигналов обученной нейронной сети преследует цели:

  1. упрощение специализированных устройств;
  2. сокращение объема используемой памяти и увеличение быстродействия;
  3. удешевление сбора данных;
  4. обеспечение (или облегчение) интерпретации результатов обработки данных.

Существует два способа сокращения (редукции) описания:

  • редукция "снизу вверх" - постепенное удаление параметров от наименее значимых к более значимым;
  • редукция "сверху вниз" - выделение наиболее значимых параметров и постепенное дополнение их менее значимыми.

Способ редукции "снизу вверх":

  1. определяются наименее значимые параметры и устраняются вместе с соответствующими элементами системы;
  2. оставшиеся параметры модифицируются так, чтобы наилучшим способом решить задачу;
  3. циклически повторять пп. 1-2 до тех пор, пока задача не будет решаться с удовлетворительной точностью.

Определение значимости параметров на основании функции оценки

Есть набор x^i, i=1, \ldots, n размерности N,
M -мерный вектор параметров w и функция оценки H(x,w), оценивающая работу системы с параметрами w на векторе x (например, расстояние от вектора выходных сигналов системы до нужного ответа или до множества правильно интерпретируемых ответов). Требуется выделить наименее значимые параметры w_k, k \in \{1,\ldots,
M\} и компоненты данных x_j и модифицировать систему, отбрасывая наименее значимые параметры. Процедура отбрасывания неоднозначна. Простейший вариант - обращение в ноль - не всегда лучший: он не учитывает корреляции между данными. Учитывая корреляцию, следует отбрасываемые компоненты заменять на функции остающихся компонент.

Пусть для каждого w_k определено фиксированное значение w_k^0. Отбрасывание j -ой компоненты для i -го примера означает приравнивание x_j:=x_j^0. В качестве простейшего варианта примем w_k^0=0 и для любого i полагаем

x_j^0=(1/n) \sum_{p=1}^n x_j^p

(параметры обращаются в ноль, данные заменяются средним по выборке). Более тонкие методы предполагают замену отбрасываемых параметров и сигналов на некоторые функции оставшихся.