| Казахстан |
Опубликован: 13.09.2006 | Уровень: специалист | Доступ: свободно | ВУЗ: Новосибирский Государственный Университет
Лекция 16:
Контрастирование (редукция) нейронной сети
Аннотация: Рассматриваются: методы оценки значимости параметров нейронной
сети и сигналов в ней; сокращение числа входов в линейном сумматоре
методом "снизу-вверх", метод исключения параметров
"сверху-вниз" с
ортогонализацией и бинаризация сумматора.
Ключевые слова: множества, вектор, функция, расстояние, компонент, значение, ПО, максимум, информация, производные, значимость, норма, координаты, сумматор, нейрон, определение, минимизация, среднеквадратичное отклонение, путь, Произведение, выражение, базис, проекция, модуль, коэффициенты, разрядность, обучающая выборка, размерность, точность
Значимость параметров и сигналов. Сокращение описания (контрастирование) сетей.
Сокращение множества параметров и входных сигналов обученной нейронной сети преследует цели:
- упрощение специализированных устройств;
- сокращение объема используемой памяти и увеличение быстродействия;
- удешевление сбора данных;
- обеспечение (или облегчение) интерпретации результатов обработки данных.
Существует два способа сокращения (редукции) описания:
- редукция "снизу вверх" - постепенное удаление параметров от наименее значимых к более значимым;
- редукция "сверху вниз" - выделение наиболее значимых параметров и постепенное дополнение их менее значимыми.
Способ редукции "снизу вверх":
- определяются наименее значимые параметры и устраняются вместе с соответствующими элементами системы;
- оставшиеся параметры модифицируются так, чтобы наилучшим способом решить задачу;
- циклически повторять пп. 1-2 до тех пор, пока задача не будет решаться с удовлетворительной точностью.
Определение значимости параметров на основании функции оценки
Есть набор 
, 
размерности 
-мерный вектор параметров 
и
функция оценки 
, оценивающая работу системы с параметрами на
векторе 
(например, расстояние от вектора выходных сигналов
системы до
нужного ответа или до множества правильно интерпретируемых ответов).
Требуется выделить наименее значимые параметры 
и компоненты
данных 
и модифицировать систему, отбрасывая наименее значимые
параметры. Процедура отбрасывания неоднозначна. Простейший вариант -
обращение в ноль - не всегда лучший: он не учитывает корреляции между
данными. Учитывая корреляцию, следует отбрасываемые компоненты заменять на
функции остающихся компонент.
Пусть для каждого 
определено фиксированное значение 
. Отбрасывание 
-ой компоненты для 
-го примера означает
приравнивание 
. В
качестве простейшего варианта примем 
и для любого полагаем
(параметры обращаются в ноль, данные заменяются средним по выборке). Более тонкие методы предполагают замену отбрасываемых параметров и сигналов на некоторые функции оставшихся.