Рекуррентные сети как ассоциативные запоминающие устройства
Введение
Отдельную группу нейронных сетей составляют сети с обратной связью между различными слоями нейронов. Это так называемые рекуррентные сети. Их общая черта состоит в передаче сигналов с выходного либо скрытого слоя на входной слой.
Благодаря обратной связи при подаче сигнала на входы сети, в ней возникает
переходный процесс, который завершается формированием нового устойчивого
состояния, отличающегося в общем случае от предыдущего. Если функцию
активации нейрона обозначить , где
-
взвешенная сумма его
возбуждений, то состояние нейрона можно определить выходным сигналом
. Изменение состояния
-го нейрона можно описать
системой дифференциальных уравнений
![\begin{align*}
\tau_1(\partial u_i/ \partial t)=w_{i1}f(u_1)+\ldots+w_{iN}f(u_N)-u_i-b_i
\end{align*}](/sites/default/files/tex_cache/c9ed6dc19eca08cd3046c3d309c6c86c.png)
для , где
- пороговое значение.
Рекуррентной сети можно поставить в соответствие энергетическую функцию Ляпунова
![\begin{align*}
E = - (1/2)\sum_j\sum_{i\neq j} w_{ij}y_iy_j + \sum_{i=1,N}(1/R_i)
\int_0^xf_i^{-1}(y_i)dy_i + \sum_{i=1,N} b_iy_i.
\end{align*}](/sites/default/files/tex_cache/862ff5fab8fb895df94df16a6f13ec02.png)
Изменение состояния какого-либо нейрона инициализирует изменение энергетического состояния сети в направлении минимума ее энергии вплоть до его достижения. В пространстве состояний локальные энергетические минимумы E представлены точками стабильности, называемыми аттракторами из-за тяготения к ним ближайшего окружения. Благодаря наличию аттракторов, рекуррентные сети могут быть использованы как устройства ассоциативной памяти.
Ассоциативная память играет роль системы, определяющей взаимную зависимость векторов. В случае, когда на взаимозависимость исследуются компоненты одного и того же вектора, говорят об автоассоциативной памяти. Если же взаимозависимыми оказываются два различных вектора, можно говорить о памяти гетероассоциативного типа. К первому классу относится сеть Хопфилда, а ко второму - сеть Хемминга и сеть типа BAM (Bidirectional Associative Memory - двунаправленная ассоциативная память).
Задача ассоциативной памяти сводится к запоминанию обучающих векторов, чтобы при представлении нового вектора система могла сгенерировать ответ - какой из запомненных ранее векторов наиболее близок к вновь поступившему образу. Часто в качестве меры близости отдельных множеств применяется расстояние Хемминга.
При использовании двоичных значений (0,1) расстояние Хемминга
между двумя
векторами и
определяется в виде
![\begin{align*}
d_H(y,d) = \sum_{i=1,n} (d_i(1-y_i)+(1-d_i)y_i)
\end{align*}](/sites/default/files/tex_cache/9feadc52660e49a727bacd0fd408397f.png)
При биполярных значениях элементов обоих векторов расстояние Хемминга рассчитывается по формуле
![\begin{align*}
d_H(y,d) = (1/2)(n - \sum_{i=1,n} d_i y_i)
\end{align*}](/sites/default/files/tex_cache/3adf42ff0379d7eaaa5131dd5402dcaa.png)
Мера Хемминга равна числу несовпадающих компонент двух векторов. Она равна
нулю, когда .