НОУ ИНТУИТ | Нейрокомпьютинг и его применения в экономике и бизнесе. Лекция 5: Рекуррентные сети: Ассоциативная память

Учитесь и получайте официальные документы БЕСПЛАТНО. Вы можете поддержать наш проект.

Регистрация Вход

Твой путь к знаниям!

Опубликован: 25.12.2006 | Уровень: специалист | Доступ: платный

|

Вам нравится? Нравится 23 студентам

| Поделиться |

Поддержать программу

Сеть Хопфилда как ассоциативная память

Симметричность связей

В Хопфилдовской сети матрица связей между нейронами является полной и симметричной ( $w_{ij}=w_{ji}$ ) а самовоздействие нейронов считается отсутствующим ( $w_{ii}=0$ ). Подобные свойства определяют тесную связь модели со спиновыми стеклами. Критики отмечают, что подобная ориентация на физические системы делает модель несостоятельной с физиологической точки зрения (хотя в мозге существуют некоторые структурные единицы - колонки, связи между нейронами в которых не так уж далеки от симметричных). Однако, самое главное в таком подходе то, что простота архитектуры сети облегчает имитацию с ее помощью богатого спектра явлений, которые могут быть соотнесены с реальными свойствами мозга.

Архитектура сети Хопфилда. Связи с одинаковым весом обозначены одинаковыми линиями. Матрица соединений полносвязанная и симметричная. Самовоздействие нейронов отсутствует

Рис. 5.3. Архитектура сети Хопфилда. Связи с одинаковым весом обозначены одинаковыми линиями. Матрица соединений полносвязанная и симметричная. Самовоздействие нейронов отсутствует

Асинхронная динамика

Нейроны в модели Хопфилда, подобно спиновым переменным, могут принимать два состояния $s_i\in \{-1,+1\}$ , а динамика состояний сети носит асинхронный характер (т.н. Глауберова динамика). В дискретные моменты времени $t=1,2,\ldots$ случайным образом выбирается один нейрон (k-ый) для которого вычисляется значение потенциала

$h_k=\sum_j w_{kj}s_j$

При выполнении условия h_ks_k<0 состояние нейрона изменяется на противоположное: $s_k\rightarrow -s_k.$

В другом варианте - последовательной динамике - перебор нейронов производится не случайным образом а циклически, но в каждый момент времени также может изменяться состояние лишь одного нейрона. Эти два варианта качественно отличаются от параллельной динамики, подразумевающей одновременное изменение состояний всех тех нейронов, для которых выполняется условие h_ks_k<0 (такова, например, динамика модели Литтла). Синхронизация моментов обновления состояний нейронов делает такую динамику подверженной "зацикливаниям".

В отличие от многослойных сетей, в которых входные и выходные нейроны пространственно разделены в модели Хопфилда все нейроны одновременно являются и входными, и скрытыми, и выходными. Роль входа в таких сетях выполняет начальная конфигурация активностей нейронов, а роль выхода - конечная стационарная конфигурация их активностей.

Метрика пространства состоянний

Расстояние между состояниями сети можно измерять в т.н. метрике Хэмминга. Если два вектора b^1 и b^2 бинарные, то Хэммингово расстояние между ними определяется как количество различающихся компонент. Так, если векторы имеют вид b^1=(1,0,0,0,1) и b^2=(1,1,0,0,0) , то Хэммингово расстояние между ними $\|b^1-b^2\|$ будет равно двум, поскольку в точности две компоненты этих векторов (вторая и пятая) имеют различные значения. Формально, Хэммингово расстояние для таких (Булевых) векторов может быть определено как

$\|b^1-b^2\|=\sum_i(b^1_i-b^2_i)^2$

В случае спиновых переменных, $s_i^{1,2}=2b_i^{1,2}-1$ , принимающих значения $\pm1$ , расстояние Хэмминга может быть переписано в виде

$\|s^1-s^2\|=\frac{1}{2}(N-\sum_i s^1_i s^2_i)=\frac{1}{2}(N-s^1s^2)$

где

- скалярное произведение, или перекрытие между векторами s^1

и

. Таким образом, минимальное Хэммингово расстяние между векторами со спиновыми переменными соответствует максимальному перекрытию между ними.

Энергия состояния

Нетрудно показать, что описанная выше асинхронная динамика сети сопровождается уменьшением энергии сети, которая определяется следующим образом:

$E=1\frac{1}{2}\sum_{i,j}w_{ij}s_is_j$

Действительно, при изменении состояния одного k-го нейрона его вклад в энергию изменяется с $E_k(t)=-s_k(t)\sum_{j\neq k}w_{kj}s_{j}(t)=-s_k (t)h_k(t)$ на E_k(t+1)=-s_k(t+1)h_k(t). Следовательно,

$E_k(t+1)=-sgn[h_k(t)]h_k(t)=-|h_k(t)|\leq -s_k(t)h_k(t)=E_k(t).$

В случае, когда нейроны имеют ненулевые пороги активации $\vartheta_i$ , энергия состояния приобретает вид $E=-1/2\sum_{ij}w_{ij}s_is_j+\sum_i \vartheta_is_i$ , но вышеприведенный вывод остается в силе.

Поскольку число нейронов в сети конечно, функционал энергии ограничен снизу. Это означает, что эволюция состояния сети должна закончиться в стационарном состоянии, которому будет соответствовать локальный минимум энергии. В Хопфилдовской модели стационарные конфигурации активностей нейронов являются единственным типом аттракторов в пространстве состояний сети. Мы можем представить динамику сети, сопоставив ее состояние с шариком, движущимся с большим трением в сложном рельефе со множеством локальных минимумов. Сами эти минимумы будут устойчивыми состояниями памяти, а окружающие точки на склонах - переходными состояниями.

Поведение состояния в сети Хопфилда аналогично движению шарика, скатывающегося со склона в ближайшую лунку. Начальное состояние шарика соответствует вектору, содержащему неполную информацию об образе памяти, которому отвечает дно лунки

Рис. 5.4. Поведение состояния в сети Хопфилда аналогично движению шарика, скатывающегося со склона в ближайшую лунку. Начальное состояние шарика соответствует вектору, содержащему неполную информацию об образе памяти, которому отвечает дно лунки

Такая динамика определяет главное свойство сети Хопфилда - способность восстанавливать возмущенное состояние равновесия - "вспоминать" искаженные или потерянные биты информации. Восстановление полной информации по какой-либо ее части - вспоминание по ассоциации - наделяет модель Хопфилда свойством ассоциативной памяти. (Далее в этой лекции мы продемонстрируем, и более общие возможности сети Хопфилда.)

Дальше >>

Нейрокомпьютинг и его применения в экономике и бизнесе

Нейрокомпьютинг и его применения в экономике и бизнесе