Опубликован: 13.09.2006 | Уровень: специалист | Доступ: платный | ВУЗ: Новосибирский Государственный Университет
Лекция 12:

Рекуррентные сети на базе персептрона

< Лекция 11 || Лекция 12: 1234 || Лекция 13 >
Аннотация: Рассматриваются многослойные рекуррентные сети (персептроннаяbreak сеть с обратной связью, рекуррентная сеть Эльмана, сеть RTRN) и их использование для идентификации динамических объектов.

Введение

Многослойные рекуррентные сети представляют собой развитие однонаправленных сетей персептронного типа за счет добавления в них соответствующих обратных связей. Обратная связь может исходить либо из выходного, либо из скрытого слоя нейронов. В каждом контуре такой связи присутствует элемент единичной задержки, благодаря которому поток сигналов может считаться однонаправленным (выходной сигнал предыдущего временного цикла рассматривается как априори заданный, который просто увеличивает размерность входного вектора сети). Представленная подобным образом рекуррентная сеть, с учетом способа формирования выходного сигнала, функционирует как однонаправленная персептронная сеть. Тем не менее, алгоритм обучения такой сети, адаптирующий значения синаптических весов, является более сложным из-за зависимости сигналов в момент времени t от их значений в предыдущие моменты и соответственно из-за более громоздкой формулы для расчета вектора градиента.

При обсуждении рекуррентных сетей, в которых в качестве выходного элемента используется многослойный персептрон, рассмотрим наиболее известные структуры сетей RMLP, RTRN, Эльмана.

Персептронная сеть с обратной связью

Один из простейших способов построения рекуррентной сети на базе однонаправленной HC состоит во введении в персептронную сеть обратной связи. В дальнейшем мы будем сокращенно называть такую сеть RMLP (англ.: Recurrent MultiLayer Perceptron - рекуррентный многослойный персептрон). Ее обобщенная структура представлена на рис. 1 ( z - единичные элементы запаздывания).

Структура сети RMLP

увеличить изображение
Рис. 1. Структура сети RMLP

Это динамическая сеть, которая характеризуется запаздыванием входных и выходных сигналов, объединяемых во входной вектор сети. Рассуждения будут касаться только одного входного узла x(k) и одного выходного нейрона, а также одного скрытого слоя. Такая система реализует отображение:

\begin{equation}
y(k+1) = f(x(k), x(k-1), \ldots, x(k-(N-1)), y(k-1), \ldots, y(k-P))
\end{equation} ( 1)

где N-1 - количество задержек входного сигнала, а P - количество задержек выходного сигнала. Обозначим K количество нейронов в скрытом слое. В этом случае сеть RMLP можно характеризовать тройкой чисел (N,P,K). Подаваемый на вход сети вектор x имеет вид:

\begin{align*}
x(k) = [1,x(k),x(k-1), \ldots, x(k-(N-1)),\\
y(k-P),y(k-P+1), \ldots, y(k-1)]^T.
\end{align*}

Допустим, что все нейроны имеют сигмоидальную функцию активации. Обозначим u_i взвешенную сумму сигналов i -го нейрона скрытого слоя, a g - взвешенную сумму сигналов выходного нейрона. При введенных обозначениях выходные сигналы конкретных нейронов описываются зависимостями

\begin{align*}
u_i= \sum_{j=0}^{N+P} w_{ij}^{(1)}x_j\\
v_i=f(u_i)\\
g =  \sum_{i=0}^K w_i^{(2)} v_i\\
y = f(g)
\end{align*}

Сеть RMLP повсеместно применяется для моделирования динамических процессов в режиме "онлайн". Типичным примером ее приложения может служить имитация нелинейных динамических объектов, для которых сеть RMLP выступает в роли модели, а алгоритм уточнения весов - в роли процедуры идентификации параметров этой модели (рис. 2). Идентифицированная модель может в последующем использоваться для управления данным объектом. Именно по этой причине сети RMLP наиболее популярны для имитации систем управления машинами, устройствами и динамическими процессами.

В результате сравнения выходного сигнала модели y(k) с выходным сигналом динамического объекта d(k) рассчитывается значение погрешности e(k) =
y(k) - d(k), управляющей процессом уточнения параметров нейронной сети. Символом M на рис. 2 обозначен коэффициент усиления модуля, масштабирующего выходной сигнал сети y(k) таким образом, чтобы его динамический уровень лежал в том же диапазоне, что и уровень выходного сигнала динамического объекта d(k).

Схема включения сети RMLP при решении задачи идентификации

Рис. 2. Схема включения сети RMLP при решении задачи идентификации
< Лекция 11 || Лекция 12: 1234 || Лекция 13 >
Ирина Ткаченко
Ирина Ткаченко
Россия, Москва
Николай Ткаченко
Николай Ткаченко
Россия