НОУ ИНТУИТ | Нейрокомпьютинг и его применения в экономике и бизнесе. Лекция 5: Рекуррентные сети: Ассоциативная память

Учитесь и получайте официальные документы БЕСПЛАТНО. Вы можете поддержать наш проект.

Регистрация Вход

Твой путь к знаниям!

Опубликован: 25.12.2006 | Уровень: специалист | Доступ: свободно

Вам нравится? Нравится 23 студентам

| Поделиться |

Поддержать программу

Активная память

Выделение сигнала из шума

Разобучение действительно улучшает запоминание случайных образов. Однако, например, для коррелированных образов доводы, приведенные в предыдущем разделе теряют свое значение. Действительно, если эти образы, например, являются слегка зашумленными вариантами одного образа-прототипа $\sigma^{pro}$ . Нетрудно показать, что в этом случае единственной зеркальной парой аттракторов в сети с Хеббовскими связями окажется пара $\pm\sigma^{pro}$ . Это означает, что вся память, которой обладает сеть, оказывается ложной. Отсюда следует, в частности, что состояниям ложной памяти далеко не всегда соответствуют неглубокие энергетические минимумы.

Этот пример показывает, что ложная память иногда не бесполезна, а преобразуя заучиваемые векторы, дает нам некоторую важную информацию о них. В данном случае сеть как бы очищает ее от случайного шума. Подобное явление характерно и для обработки информации человеком. В известном психологическом опыте людям предлагается запомнить изображения, каждое из которых представляет собой обязательно искаженный равносторонний треугольник. При контрольной проверке на значительно более широком наборе образов, содержащийся в них идеальный равносторонний треугольник опознается испытуемыми как ранее виденный. Такое явление называется выработкой прототипа. Именно эта аналогия использовалась нами при введении обозначения $\pm\sigma^{pro}$ .

Минимальный базис

Состояния ложной памяти могут иметь и другие, не менее интересные формы. Рассмотрим, например, вариант модели Хопфилда, в котором состояния нейронов принимают значения 0 или 1. Подобная модель легко переформулируется в оригинальную, для которой состояниями являются спиновые переменные $\pm1$ , путем переопределения порогов. Мы, однако, будем считать, что в нашей сети пороги всех нейронов отрицательны и бесконечно малы. Иначе говоря, динамика состояния нейрона определяется соотношениями

$\left\{ \begin{array}{l} 1, \sum_j w_{ij}\nu_j\geq0\\ 0, \sum_j w_{ij}\nu_j>0, \end{array} \right.$

Рассмотрим следующий набор векторов:

который используем для построения Хеббовской матрицы связей

$w_{ij}=\sum^{3}_{n=1}(2\nu^n_i-1)(2\nu^n_j-1); i\neq j, w_{ij}=0; i,j=1,\ldots,7$

$w=\left\| \begin{array}{ccccccc} 0&-1 &-1 &-1 &-1 &3 &-1\\ -1 &0 &-1 &-1 &-1 &-1 &-1\\ -1 &-1 &0 &-1 &3 &-1 &-1\\ -1 &-1 &-1 &0 &-1 &-1 &3\\ -1 &-1 &3 &-1 &0 &-1 &-1\\ 3 &-1 &-1 &-1 &-1 &0 &-1\\ -1 &-1 &-1 &3 &-1 &-1 &0 \end{array} \right\|$

сети Хопфилда. Если найти все аттракторы этой сети (что нетрудно сделать в виду небольшой размерности пространства его состояний 27=128 ), то обнаружится, что помимо векторов , v^1

,

,

стационарными являются состояния, описываемые векторами

Векторы b^i сами по себе замечательны. Их единичные компоненты помечают кооперированные нейроны, то есть те из них, которые одновременно активны или одновременно пассивны во всех запоминаемых векторах v^n . Если считать, что компоненты векторов v^n кодируют некоторые признаки, то кооперированность некоторых нейронов означает, что некоторые признаки избыточны и могут быть заменены одним. Например, если в нашем примере первый нейрон кодирует такое свойство, как пол, а шестой - наличие бороды, то практически со стопроцентной вероятностью они могут быть заменены одним нейроном, о чем сигнализирует вектор b^1 .

Векторы b^i , кроме того, образуют так называемый минимальный базис. А именно, это минимальное число векторов, с помощью линейной комбинации которых могут быть представлены все запоминаемые векторы

$v^n=\sum_{l=1}^L\alpha_{nl}b^l, n=1,\ldots ,P$

Кроме того, все стационарные состояния сети, в Хеббовские связи которых записаны векторы v^n , также обязательно должны разлагаться по векторам минимального базиса. Это означает, что если некоторые нейроны кооперированы в векторах v^n , то они должны кооперироваться и во всех аттракторах сети.

Используя векторы минимального базиса можно получить новый вид недиагональных элементов Хеббовской матрицы связей

$w_{ij}(v)=P\sum_{l=1}^L b_i^lb_j^l+\sum^L_{k=1}\sum^L_{m=1}w_{km}(\alpha)b_i^kb^m_j,$

где

$w_{km}(\alpha)=\sum_{n=1}^P(2\alpha_{nk}-1)(2\alpha_{nm}-1), k\neq m, w_{kk}(\alpha)=0.$

С помощью этого представления можно получить необходимые условия стационарности состояний сети. В частности, условие того, что сеть будет генерировать в качестве аттракторов векторы минимального базиса, легко формулируется в терминах матричных элементов $w_{km}(\alpha)$ . Именно, -му вектору базиса b^i будет соответствовать стационарное состояние тогда и только тогда, когда все недиагональные элементы -й строки матрицы $w_{km}(\alpha)$ будут строго отрицательными.