Россия, Москва |
Рекуррентные сети на базе персептрона
Рекуррентная сеть Эльмана
Рекуррентная сеть Эльмана характеризуется частичной рекуррентностью в
форме обратной связи между скрытым и входным слоем, реализуемой с помощью
единичных элементов запаздывания . Обобщенная структура этой сети
представлена на рис. 3.
Каждый скрытый нейрон имеет свой аналог в контекстном слое, образующем
совместно с внешними входами сети входной слой. Выходной слой состоит из
нейронов, однонаправленно связанных только с нейронами скрытого слоя,
подобно сети RMLP. Обозначим внутренний вектор возбуждения сети
(в его
состав входит также единичный сигнал поляризации), состояния скрытых
нейронов -
, а выходные сигналы сети -
. При таких
обозначениях входной вектор сети в момент
имеет форму
![\begin{align*}
X(k) = [x_0(k), x_1(k), \ldots, x_N(k), v_1(k-1), v_2(k-1), \ldots, v_K(k-1)].
\end{align*}](/sites/default/files/tex_cache/e400713ddad51440097bb513b932ab24.png)
Веса синаптических связей первого (скрытого) слоя сети обозначим ,
a второго (выходного) слоя -
. Если взвешенную
сумму
-го нейрона
скрытого слоя обозначить
, а его выходной сигнал -
, то
![\begin{align*}
u_i(k) = \sum_{j=0}^{N+K} w_{ij}^{(1)}x_j(k),\\
v_i(k) = f_1(u_i(k)).
\end{align*}](/sites/default/files/tex_cache/440f8e211c22ffd49b80883ac4e5a349.png)
Веса образуют матрицу
синаптических связей скрытого слоя, а
- функция активации
-го нейрона этого
слоя. Аналогично можно
обозначить взвешенную сумму
-го нейрона выходного слоя
,
а соответствующий ему выходной сигнал сети -
. Эти сигналы
описываются
формулами
![\begin{align*}
g_i(k) = \sum_{i=0}^K w_{ij}^{(2)}v_j(k),\\
y_i(k) = f_2(g_i(k)).
\end{align*}](/sites/default/files/tex_cache/143339fb5be1331b94fe27c55c1ec26f.png)
В свою очередь, веса образуют матрицу
, описывающую
синаптические связи нейронов выходного слоя;
- функция
активации
-го нейрона выходного слоя.