Россия, Москва |
Рекуррентные сети как ассоциативные запоминающие устройства
Сеть Хемминга
Сеть Хемминга включает в себя три слоя (рис.2).
Первый слой имеет однонаправленное распространение сигналов от входа к выходу и фиксированные значения весов.
Второй слой состоит из нейронов, связанных обратными связями по принципу
"каждый с каждым", при этом в каждом нейроне слоя существует
автосвязь
(связь входа нейрона со своим собственным выходом). Разные нейроны в слое
связаны отрицательной (тормозящей) обратной связью с весом , при этом
величина
обычно обратно пропорциональна количеству
образов. С
собственным входом нейрон связан положительной (возбуждающей) обратной
связью с весом, равным +1. Пороговые веса нейронов приняты
равными нулю.
Нейроны этого слоя функционируют в режиме
, при котором в
каждой
фиксированной ситуации активизируется только один нейрон, а остальные
пребывают в состоянии покоя.
Выходной однонаправленный слой формирует выходной вектор, соответствующий входному вектору.
Сеть Хемминга считается гетероассоциативным запоминающим устройством с
парой связанных между собой векторов , где
и
- входной и выходной
биполярные векторы сети.
Веса первого слоя соответствуют векторам , т.е.

Аналогично, веса выходного слоя соответствуют векторам образов ,
связанных с
:

Во втором слое (MAXNET), функционирующем в режиме WTA (Winner Takes ALL - "Победитель забирает все"), каждый нейрон должен усиливать собственный сигнал и ослаблять сигналы остальных нейронов. Для этого принимается

а также

Для обеспечения сходимости итерационного процесса во втором слое веса

где - достаточно малая случайная величина,
.
Нейроны первого слоя рассчитывают расстояния Хемминга
между
поданным на вход сети вектором
и векторами весов
нейронов этого слоя. Значения выходных сигналов нейронов первого слоя
определяются по формуле

где - число компонент вектора
.
Сигналы становятся начальными состояниями нейронов
второго слоя.
Этот слой определяет "победителя", т.е. нейрон, выходной сигнал
которого
близок к 1. Такой нейрон указывает на вектор образа с минимальным
расстоянием
Хемминга до входного вектора
. Функция активации для нейронов
второго слоя
задается выражением

Итерационный процесс во втором слое завершается, когда активным остается
только один нейрон (победитель), тогда как остальные нейроны пребывают в
нулевом состоянии. Победитель через веса линейных
нейронов
выходного слоя представляет вектор
, который соответствует
вектору
,
признанному вторым слоем ближайшим к входному вектору
.
Достоинством сети Хемминга считается небольшое количество взвешенных связей между нейронами. Многочисленные эксперименты доказали, что сеть Хемминга дает лучшие результаты, чем сеть Хопфилда. Единственная проблема, связанная с сетью Хемминга, проявляется в случае, когда зашумленные образы находятся на одинаковом (в смысле Хемминга) расстоянии от двух или более эталонов. В этом случае выбор сетью Хемминга одного из эталонов становится случайным.