Россия, Москва |
Контрастирование (редукция) нейронной сети
Опишем вычисления более детально.
1. Проводим нормировку: для любого полагаем .
2. Вычисляем (модуль проекции вектора на вектор ), . Находим среди этих чисел максимальное (пусть его номер ), полагаем , исключаем из множества , получаем , исключаем из множества нулевые векторы, если таковые существуют, проводим нормировку .
3. Пусть определены векторы и не более чем нормированных векторов . Среди векторов ищем такой , для которого принимает максимальное значение, полагаем , исключаем из множества векторов ; полагаем , исключаем из этого множества нулевые векторы, если таковые существуют, нормируем: .
Вычисления проводим, пока .
После завершения вычислений имеем набор ортонормированных векторов . Они являются линейными комбинациями векторов . Коэффициенты разложения по набору могут быть вычислены и сохранены в ходе ортогонализации. Полагаем . Тогда . Это и есть решение задачи. Числа выражаются через коэффициенты разложения векторов по и скалярные произведения : если , то .
Разложение по имеет рекурсивную форму:
Для функций вида с дифференцируемой функцией процедура аналогична с точностью до замены скалярного произведения: используется скалярное произведение с весами , где . В этом скалярном произведении вычисляются все нормы и проводится ортогонализация.
Для функций с пороговой нелинейностью на выходе используем скалярное произведение с весами .
Описанная процедура сокращения "сверху вниз" с ортогонализацией особенно важна для упрощения элементов сложных сетей, в структуре которых и вектор входных сигналов элемента может быть далек от исходных данных, и его выходной сигнал далек от оцениваемого выхода всей сложной системы.
Процедуры анализа значимости и сокращения описания выделяют наиболее важные параметры и связи в НС. По аналогии с обработкой изображения их называют процедурами контрастирования или редукции.
Роль контрастирования (редукции) не сводится только к сокращению описания: более общая задача - привести параметры системы к выделенному набору значений, в частности, уменьшить разрядность, что важно для удешевления специализированных устройств, экономии памяти и т.д.