Рекуррентные сети как ассоциативные запоминающие устройства

Введение

Отдельную группу нейронных сетей составляют сети с обратной связью между различными слоями нейронов. Это так называемые рекуррентные сети. Их общая черта состоит в передаче сигналов с выходного либо скрытого слоя на входной слой.

Благодаря обратной связи при подаче сигнала на входы сети, в ней возникает переходный процесс, который завершается формированием нового устойчивого состояния, отличающегося в общем случае от предыдущего. Если функцию активации нейрона обозначить $$f(u)$$, где $$u$$ - взвешенная сумма его возбуждений, то состояние нейрона можно определить выходным сигналом $$y=f(u)=f(w_1x_1+\ldots+w_Nx_N)$$. Изменение состояния $$i$$ -го нейрона можно описать системой дифференциальных уравнений

$$\begin{align*} \tau_1(\partial u_i/ \partial t)=w_{i1}f(u_1)+\ldots+w_{iN}f(u_N)-u_i-b_i \end{align*} $$

для $$i=1,2,\ldots, N$$, где $$b_i$$ - пороговое значение.

Рекуррентной сети можно поставить в соответствие энергетическую функцию Ляпунова

$$\begin{align*} E = - (1/2)\sum_j\sum_{i\neq j} w_{ij}y_iy_j + \sum_{i=1,N}(1/R_i) \int_0^xf_i^{-1}(y_i)dy_i + \sum_{i=1,N} b_iy_i. \end{align*} $$

Изменение состояния какого-либо нейрона инициализирует изменение энергетического состояния сети в направлении минимума ее энергии вплоть до его достижения. В пространстве состояний локальные энергетические минимумы E представлены точками стабильности, называемыми аттракторами из-за тяготения к ним ближайшего окружения. Благодаря наличию аттракторов, рекуррентные сети могут быть использованы как устройства ассоциативной памяти.

Ассоциативная память играет роль системы, определяющей взаимную зависимость векторов. В случае, когда на взаимозависимость исследуются компоненты одного и того же вектора, говорят об автоассоциативной памяти. Если же взаимозависимыми оказываются два различных вектора, можно говорить о памяти гетероассоциативного типа. К первому классу относится сеть Хопфилда, а ко второму - сеть Хемминга и сеть типа BAM (Bidirectional Associative Memory - двунаправленная ассоциативная память).

Задача ассоциативной памяти сводится к запоминанию обучающих векторов, чтобы при представлении нового вектора система могла сгенерировать ответ - какой из запомненных ранее векторов наиболее близок к вновь поступившему образу. Часто в качестве меры близости отдельных множеств применяется расстояние Хемминга.

При использовании двоичных значений (0,1) расстояние Хемминга между двумя векторами $$y=(y_1,y_2, \ldots y_n)$$ и $$d=(d_1,d_2, \ldots, d_n)$$ определяется в виде

$$\begin{align*} d_H(y,d) = \sum_{i=1,n} (d_i(1-y_i)+(1-d_i)y_i) \end{align*} $$

При биполярных значениях элементов обоих векторов расстояние Хемминга рассчитывается по формуле

$$\begin{align*} d_H(y,d) = (1/2)(n - \sum_{i=1,n} d_i y_i) \end{align*} $$

Мера Хемминга равна числу несовпадающих компонент двух векторов. Она равна нулю, когда $$y=d$$.

Автоассоциативная сеть Хопфилда

Структура сети Хопфилда представляется в виде системы с непосредственной обратной связью выхода со входом (рис. 1). Выходные сигналы нейронов являются одновременно входными сигналами сети: $${x_i(k)=y_i(k-1)}$$. В классической сети Хопфилда отсутствует автосвязь (связь выхода нейрона с его собственным входом), что соответствует $$w_{ii}=0$$, а матрица весов является симметричной: $$W=W^T$$. Отсутствие автосвязи и симметричность матрицы весов являются достаточными (но не необходимыми!) условиями сходимости итерационных (переходных) процессов в сети Хопфилда.

Далее в данной лекции предполагаем, что каждый нейрон имеет биполярную ступенчатую функцию активации со значениями $$\pm 1$$. Это означает, что выходной сигнал $$i$$ -го нейрона определяется функцией

$$\begin{align*} y_i=\mathop{\rm sgn}(\sum_{j=0,N} w_{ij}x_j+b_i) \end{align*} $$

где $$N$$ обозначает количество нейронов, $$N=n$$.

Далее допустим, что порог срабатывания является компонентой вектора $$x$$. Тогда основную зависимость, определяющую сеть Хопфилда, можно представить в виде

$$\begin{equation} y_i(k)=\mathop{\rm sgn}(\sum_{j=0,N} w_{ij}y_j(k-1)) \end{equation}$$

с начальным условием $$y_j(0)=x_j$$.

В процессе функционирования сети Хопфилда можно выделить два режима: обучения и классификации. В режиме обучения на основе известных векторов подбираются весовые коэффициенты сети. В режиме классификации при фиксированных значениях весов и вводе конкретного начального состояния нейронов возникает переходный процесс вида (1), завершающийся в одном из локальных минимумов, для которого $$y(k)=y(k-1)$$.

(рис 1) Структура сети Хопфилда

Обучение сети Хопфилда по правилу Хебба

Для одного обучающего вектора $$x$$ значения весов могут быть вычислены по правилу Хебба

$$\begin{align*} w_{ij}=(1/N)x_ix_j, \end{align*} $$

поскольку тогда

$$\begin{align*} (1/N)(\sum_{j=1}^N x_ix_jx_j)=x_i \end{align*} $$

(вследствие биполярных значений элементов вектора $$x$$ всегда $$x_j^2 = (\pm 1)^2 = 1$$ ).

При вводе большего количества обучающих векторов $$x(k), k=1,2, \ldots, p$$ веса $$w_{ij}$$ подбираются согласно обобщенному правилу Хебба

$$\begin{align*} w_{ij}=(1/N)\sum_{k=0}^p x_i^{(k)}x_j^{(k)}. \end{align*} $$

Важным параметром ассоциативной памяти является ее емкость. Под емкостью понимается максимальное число запомненных образов, которые классифицируются с допустимой погрешностью $$\varepsilon _{max}$$. Показано, что при использовании для обучения правила Хебба и при $$\varepsilon_ {max} = 0.01$$ (1% компонентов образа отличается от нормального состояния) максимальная емкость памяти составит всего лишь около 13,8% от количества нейронов, образующих ассоциативную память. Столь малая емкость обусловлена тем, что сеть Хебба хорошо запоминает только взаимно ортогональные векторы или близкие к ним.

Обучение сети Хопфилда методом проекций

Лучшие результаты, чем при использовании правила Хебба, можно получить, если для обучения использовать псевдоинверсию. В основе этого подхода лежит предположение, что при правильно подобранных весах каждый поданный на вход сети вектор вызывает генерацию самого себя на выходе сети. В матричной форме это можно представить в виде

$$\begin{align*} WX = X, \end{align*} $$

где $$W$$ - матрица весов сети размерностью $$N \times N$$, а $$X$$ - прямоугольная матрица размерностью $$N \times p$$, составленная из $$p$$ обучающих векторов $$x^{(i)}, i=1,2,\ldots, p$$. Решение такой линейной системы уравнений имеет вид

$$\begin{align*} W=XX^+, \end{align*} $$

где знак + обозначает псевдоинверсию.

Если обучающие векторы линейно независимы, последнее выражение можно упростить и представить в виде

$$\begin{equation} W=X(X^TX)^{-1}X^T. \end{equation}$$

Здесь псевдоинверсия заменена обычной инверсией квадратной матрицы $$X^TX$$ размерностью $$p \times p$$.

Выражение (2) можно записать в итерационной форме, не требующей расчета обратной матрицы. В этом случае (2) принимает вид итерационной зависимости от последовательности обучающих векторов $$x^{(i)}$$, $$i=1,2, \ldots p$$:

$$y^{(i)}=(W^{(i-1)}- E)x^{(i)},\\$$ $$W^{(i)}=W^{(i-1)} -(y^{(i)} y^{(i)T)}/( y^{(i)T} y^{(i)})$$

при начальных условиях $$W^{(0)}=0$$. В результате предъявления $$p$$ векторов матрица весов сети принимает значение $$W=W^{(p)}$$. Описанный здесь метод называется методом проекций. Применение его увеличивает максимальную емкость сети Хопфилда до $$N - 1$$. Увеличение емкости обусловлено тем, что в методе проекций требование ортогональности векторов заменено гораздо менее жестким требованием их линейной независимости.

Модифицированный вариант метода проекций - метод $$\Delta$$ -проекций — градиентная форма алгоритма минимизации. В соответствии с этим методом веса подбираются с помощью процедуры, многократно повторяемой на всем множестве обучающих векторов:

$$\begin{align*} W\leftarrow W+(h/N)(x^{(i)} - Wx^{(i)})x^{(i)T}, h \in (0.7, 0.9). \end{align*} $$

Обучающие векторы предъявляются многократно вплоть до стабилизации значений весов.

Сеть Хемминга

Сеть Хемминга включает в себя три слоя (рис.2).

Первый слой имеет однонаправленное распространение сигналов от входа к выходу и фиксированные значения весов.

Второй слой состоит из нейронов, связанных обратными связями по принципу "каждый с каждым", при этом в каждом нейроне слоя существует автосвязь (связь входа нейрона со своим собственным выходом). Разные нейроны в слое связаны отрицательной (тормозящей) обратной связью с весом $$- \varepsilon$$, при этом величина $$\varepsilon$$ обычно обратно пропорциональна количеству образов. С собственным входом нейрон связан положительной (возбуждающей) обратной связью с весом, равным +1. Пороговые веса нейронов приняты равными нулю. Нейроны этого слоя функционируют в режиме $$WTA$$, при котором в каждой фиксированной ситуации активизируется только один нейрон, а остальные пребывают в состоянии покоя.

Выходной однонаправленный слой формирует выходной вектор, соответствующий входному вектору.

(рис 2) Структура сети Хемминга

Сеть Хемминга считается гетероассоциативным запоминающим устройством с парой связанных между собой векторов $$(x,y)$$, где $$x$$ и $$y$$ - входной и выходной биполярные векторы сети.

Веса первого слоя соответствуют векторам $$x_i,i=1, \ldots, p$$, т.е.

$$\begin{align*} w_{ij}^{(1)}=x_{ij}. \end{align*} $$

Аналогично, веса выходного слоя соответствуют векторам образов $$y_i$$, связанных с $$x_i$$:

$$\begin{align*} w_{ij}^{(3)}=y_{ij}. \end{align*} $$

Во втором слое (MAXNET), функционирующем в режиме WTA (Winner Takes ALL - "Победитель забирает все"), каждый нейрон должен усиливать собственный сигнал и ослаблять сигналы остальных нейронов. Для этого принимается

$$\begin{align*} w_{ij}^{(2)}=1, \end{align*} $$

а также

$$\begin{align*} -1/(p-1) < w_{ij}^{(2)} < 0,\quad i\neq j. \end{align*} $$

Для обеспечения сходимости итерационного процесса во втором слое веса

$$\begin{align*} w_{ij}^{(2)}= - 1/(p-1)+ \xi, \end{align*} $$

где $$\xi$$ - достаточно малая случайная величина, $$|\xi|\ll 1/(p-1)$$.

Нейроны первого слоя рассчитывают расстояния Хемминга $$d_H(x,y)$$ между поданным на вход сети вектором $$x$$ и векторами весов $$w_i=x_i,i=1,2, \ldots, p$$ нейронов этого слоя. Значения выходных сигналов нейронов первого слоя определяются по формуле

$$\begin{align*} y_i^{(1)}=1- d_H(x,y)/N, \end{align*} $$

где $$N$$ - число компонент вектора $$x$$.

Сигналы $$y_i^{(1)}$$ становятся начальными состояниями нейронов второго слоя. Этот слой определяет "победителя", т.е. нейрон, выходной сигнал которого близок к 1. Такой нейрон указывает на вектор образа с минимальным расстоянием Хемминга до входного вектора $$x$$. Функция активации для нейронов второго слоя задается выражением

$$\begin{align*} f(y)= \left \{ \begin{array}{rcl} y, \mbox{ если } y>0, \\ 0, \mbox{ если } y < 0. \\ \end{array} \right. \end{align*} $$

Итерационный процесс во втором слое завершается, когда активным остается только один нейрон (победитель), тогда как остальные нейроны пребывают в нулевом состоянии. Победитель через веса $$w_{ij}^{(3)}$$ линейных нейронов выходного слоя представляет вектор $$y_i$$, который соответствует вектору $$x_i$$, признанному вторым слоем ближайшим к входному вектору $$x$$.

Достоинством сети Хемминга считается небольшое количество взвешенных связей между нейронами. Многочисленные эксперименты доказали, что сеть Хемминга дает лучшие результаты, чем сеть Хопфилда. Единственная проблема, связанная с сетью Хемминга, проявляется в случае, когда зашумленные образы находятся на одинаковом (в смысле Хемминга) расстоянии от двух или более эталонов. В этом случае выбор сетью Хемминга одного из эталонов становится случайным.

Двунаправленная ассоциативная память

Обобщением сети Хопфилда на случай двухслойной рекуррентной структуры, позволяющей кодировать множества двух взаимосвязанных векторов, считается двунаправленное ассоциативное запоминающее устройство, называемое BAM (Bidirectional Associative Memory) (рис. 3). Сигналы распространяются в двух направлениях. Если в первом цикле сигналы вначале проходят в одну сторону для задания состояний нейронов-получателей, то в следующем цикле эти нейроны сами становятся источниками, высылающими сигналы в обратную сторону. Процесс повторяется до достижения состояния равновесия.

Функция активации нейронов имеет пороговый характер. Для обеспечения лучших характеристик сети на этапе обучения используются только биполярные сигналы. Матрица весов $$W$$, связывающая обе части сети, является действительной и в общем случае несимметричной. При прямом распространении сигналов веса описываются матрицей $$W$$, а при обратном — матрицей $$W^T$$.

Пусть входные обучающие данные представляют собой множество пар $$\{(x_i,y_i),i=1,2, \ldots, m\}$$ биполярных векторов. На основе этого множества формируется матрица

$$\begin{align*} W=\sum_{i=1}^n x_i^T y_i. \end{align*} $$

В результате процесса двунаправленной обработки сигналов формируются два стабильных вектора $$x_f$$ и $$y_f$$, удовлетворяющих уравнениям

$$y_f = f(x_fW),\\$$ $$x_f = f(y_f W^T)= f(W_y f^T)$$

Каждой промежуточной точке $$(x_k,y_k)$$ можно сопоставить энергетическую функцию

$$\begin{align*} E_k = - x_k Wy_k^T, \end{align*} $$

которая убывает при каждом изменении состояния вплоть до достижения локального минимума

$$\begin{align*} E_{min} = - x_f Wy_f^T,\quad f \in {1,2, \ldots, m}. \end{align*} $$(рис 3) Структура сети BAM

В режиме распознавания при начальных значениях векторов, совпадающих с использованными при обучении, сеть распознает их безошибочно. При искажении векторов $$x$$ и $$y$$ сеть BAM не всегда способна откорректировать эти векторы и распознает их с определенными погрешностями. Если размерности векторов $$x$$ и $$y$$ обозначить соответственно $$n$$ и $$p$$, то удовлетворительное качество распознавания можно получить при выполнении зависимости

$$\begin{align*} m < \sqrt{ \min(n,p)}, \end{align*} $$

где $$m$$ - число запоминаемых в сети BAM пар векторов.