Нейронные сети и ...
Нейронные сети и статистическая физика
Данная тема заслуживает не одной книги и ей действительно посвящена обширнейшая литература. В настоящем курсе лекций мы не можем хоть сколько-нибудь подробно остановится на ней. Рассмотрим кратко лишь применение соответствующих идей к анализу сети Хопфилда. Демонстрация тесной аналогии, существующей между спиновыми стеклами и нейронными сетями, определила массированное и плодотворное вторжение методов статистической физики в теорию нейронных сетей в начале восьмидесятых годов. Сеть Хопфилда со стохастическими нейронами и явилась главной моделью, в которой применение этих методов оказалось наиболее значительным. Это чрезвычайно плодотворное обобщение модели, в некотором смысле эквивалентное переходу к сетям с градуальными нейронами. В нем нейроны являются стохастическими элементами и это обстоятельство открывает путь использованию методов статистической физики для анализа свойств ассоциативной памяти.
Стохастические нейроны
Стохастический нейрон, как и в оригинальной модели Хопфилда, является бинарным - его состояние принимает значения
. Однако то,
в какое состояние перейдет нейрон, связано со значением потенциала
не однозначно, а случайным образом. Именно, вероятность перехода
нейрона в состояния:
,
,
, или иначе
![Pr(s_i(t+1))=f(h_1),](/sites/default/files/tex_cache/f2325c695123523a86364e6bb214291c.png)
![f(h)](/sites/default/files/tex_cache/864ad78cfe8f0ef5d60e197a5825b54c.png)
![f(h)=\frac{1}{1+e^{-2\beta h}}](/sites/default/files/tex_cache/66126cedd4f41de865c37e5bce06fe38.png)
![0<f(h)<1; f(h)+f(-h)=1](/sites/default/files/tex_cache/1779565e31ddc6ebd83f6987f3476394.png)
![\sigma=T^{-1}](/sites/default/files/tex_cache/03447316980f80be1244216e37913a2c.png)
Приближение среднего поля
Поскольку динамика состояний стохастических нейронов является вероятностной, можно интересоваться только средней активностью, или же ожидаемыми значениями их состояний
![\langle s_i\rangle=(+1)\langle f(h_i)\rangle+(-1)\langle f(-h_i)\rangle](/sites/default/files/tex_cache/42970c37f975d13890cc05eb376dc58f.png)
В силу нелинейности функции Ферми усреднение ее затруднительно, но в приближении среднего поля можно получить следующую замкнутую систему уравнений.
![\langle s_i\rangle\frac{1-e^{-2\beta\langle h_i\rangle}}{1+e^{-2\beta\langle h_i\rangle}}=tanh (\beta\langle h_i\rangle)=tanh(\beta\sum_jw_{ij}\langle s_i\rangle)](/sites/default/files/tex_cache/1e78e4b33fc0a43fd93c95ea70c31eea.png)
Фазовые переходы
На простом примере можно убедиться, что свойства сети критическим образом зависят от температуры Действительно, если величины
всех синаптических связей положительны и равны между собой:
(такая система эквивалентна ферромагнетику), то все уравнения системы
сводятся к одному
![\forall \langle s_i\rangle=\langle s\rangle=tanh(\beta\langle s\rangle).](/sites/default/files/tex_cache/3c4956375da27b0881f090c5778b80bf.png)
Решение этого уравнения зависит от крутизны наклона функции гиперболического тангенса в начале координат (см.
рисунок 11.5). При высокой температуре уравнение имеет только тривиальное решение
. Это означает,
что состояния всех нейронов беспорядочно флуктуируют, принимая с равной вероятностью значения
.
![Иллюстрация к характеру решений уравнения среднего поля в приближении высокой и низкой температур](/EDI/08_01_19_2/1546899581-11707/tutorial/240/objects/11/files/11-05.gif)
Рис. 11.5. Иллюстрация к характеру решений уравнения среднего поля в приближении высокой и низкой температур
Однако, при снижении температуры ниже точки Кюри в системе происходит фазовый переход, при котором тривиальное решение
становится неустойчивым, а у уравнения среднего поля появляется еще два устойчивых нетривиальных решения
.
Такое поведение характерно и для общего случая. Мы увидим далее, что в модели Хопфилда свойства ассоциативного запоминания и вызова образов проявляются в некоторой области температуры и дополнительного параметра - степени загрузки памяти. Вне этой области система переходит в неупорядоченное состояние.
Сеть Хопфилда с Хеббовскими связями
Рассмотрим интересующий нас случай сети, в которой связи вычислены по Хеббовскому правилу, исходя из вида запоминаемых векторов. В этом случае уравнения среднего поля принимают вид
![\langle s_i\rangle=\\tanh\left(\frac{\beta}{N}\sum_{n,j}\sigma_n^n\sigma_j^n\langle s_j\rangle\right).](/sites/default/files/tex_cache/8bf289ced39875abf3c91584791cda1d.png)
Если сеть работает как ассоциативная память, то разумно предположить, что каждому запоминаемому вектору должно соответствовать
некоторое решение системы, совпадающего с ним с точностью до постоянного множителя
![\langle si\rangle=m\sigma^k.](/sites/default/files/tex_cache/152ee0f9ee1ccbde56f7a287a0e719e2.png)
Подставляя это выражение в уравнения среднего поля и используя предположение, что все векторы памяти не коррелированы и значения их компонент с равной вероятностью принимают значения, получим:
![m\sigma^k_i=\\tanh\left[\beta m \sigma_i^k + \beta m N^{-1}\sum_{n\neq k}\sigma_i^n\sum_j \sigma_j^n\sigma_j^k\right]
=tanh\left[\beta m \sigma_i^k+\beta m O\left(\right\sqrt{\frac{P-1}{N}})\right]](/sites/default/files/tex_cache/c72d2bbb0c36747b626ecedee1643d83.png)
В пределе ,
получаем знакомое уравнение для множителя m:
![m=tanh(\beta m).](/sites/default/files/tex_cache/9c8266f34165c9826b16d17c00886d26.png)
Вновь при высокой температуре это уравнение имеет только тривиальное решение и усредненная по времени конфигурация состояний
нейронов не имеет ничего общего с запоминаемыми образами. При
уравнение имеет два решения
, для которых средняя конфигурация
активностей указывает на одно из запоминаемых состояний
, или на его "зеркального двойника" -
. Из этих состояний однозначно
восстанавливаются образы памяти. Однако, если сделать моментальный снимок состояния сети, то в силу флуктуаций она практически никогда
не находится ни в одном из состояний памяти, всегда воспроизводя их с некоторой ошибкой. Теоретически было показано, что загрузка
памяти,
оказывает на поведение системы такое же влияние, как температурный параметр в распределении Ферми. Когда этот параметр мал,
каждому из запоминаемых некоррелированных образов соответствует стационарное состояние сети. Однако, при приближении его к критической
емкости
, сеть внезапно теряет все свойства памяти. В плоскости координат
области памяти и неупорядоченного поведения
сети разделены границей, при пересечении которой происходит соответствующий фазовый переход. Более детальный анализ
выявляет на фазовой диаграмме следующие 4 области: парамагнитную (P) фазу, в которой любой порядок разрушается высокой температурой;
фазу спинового стекла (SG), в которой состояние сети не может эволюционировать к запомненным образам; смешанную (F+SG) - в ней
запомненные образы метастабильны; и ферромагнитную (F) - в ней всем запоминаемым образам соответствуют глобальные минимумы энергии.
Наличие тепловых флуктуаций снижает вероятность попадания сети в состояние ложных минимумов. Критическая температура, при которых
множество таких минимумов становится неустойчивыми, равна . Таким образом тепловой шум улучшает свойства памяти и наиболее
благоприятным температурным интервалом работы сети является
.