Опубликован: 13.09.2006 | Уровень: специалист | Доступ: платный | ВУЗ: Новосибирский Государственный Университет
Лекция 10:

Рекуррентные сети как ассоциативные запоминающие устройства

< Лекция 9 || Лекция 10: 12345 || Лекция 11 >

Двунаправленная ассоциативная память

Обобщением сети Хопфилда на случай двухслойной рекуррентной структуры, позволяющей кодировать множества двух взаимосвязанных векторов, считается двунаправленное ассоциативное запоминающее устройство, называемое BAM (Bidirectional Associative Memory) (рис. 3). Сигналы распространяются в двух направлениях. Если в первом цикле сигналы вначале проходят в одну сторону для задания состояний нейронов-получателей, то в следующем цикле эти нейроны сами становятся источниками, высылающими сигналы в обратную сторону. Процесс повторяется до достижения состояния равновесия.

Функция активации нейронов имеет пороговый характер. Для обеспечения лучших характеристик сети на этапе обучения используются только биполярные сигналы. Матрица весов W, связывающая обе части сети, является действительной и в общем случае несимметричной. При прямом распространении сигналов веса описываются матрицей W, а при обратном — матрицей W^T.

Пусть входные обучающие данные представляют собой множество пар \{(x_i,y_i),i=1,2, \ldots, m\} биполярных векторов. На основе этого множества формируется матрица

\begin{align*}
  W=\sum_{i=1}^n x_i^T y_i.
\end{align*}

В результате процесса двунаправленной обработки сигналов формируются два стабильных вектора x_f и y_f, удовлетворяющих уравнениям

y_f = f(x_fW),\\
x_f = f(y_f W^T)= f(W_y f^T)

Каждой промежуточной точке (x_k,y_k) можно сопоставить энергетическую функцию

\begin{align*}
E_k = - x_k Wy_k^T,
\end{align*}

которая убывает при каждом изменении состояния вплоть до достижения локального минимума

\begin{align*}
E_{min} = - x_f Wy_f^T,\quad f \in {1,2, \ldots, m}.
\end{align*}
Структура сети BAM

Рис. 3. Структура сети BAM

В режиме распознавания при начальных значениях векторов, совпадающих с использованными при обучении, сеть распознает их безошибочно. При искажении векторов x и y сеть BAM не всегда способна откорректировать эти векторы и распознает их с определенными погрешностями. Если размерности векторов x и y обозначить соответственно n и p, то удовлетворительное качество распознавания можно получить при выполнении зависимости

\begin{align*}
m < \sqrt{ \min(n,p)},
\end{align*}

где m - число запоминаемых в сети BAM пар векторов.

< Лекция 9 || Лекция 10: 12345 || Лекция 11 >
Ирина Ткаченко
Ирина Ткаченко
Россия, Москва
Николай Ткаченко
Николай Ткаченко
Россия