Автомат для запоминания и воспроизведения временных последовательностей

Вариант с опорными кодами

На вход автомата подается непрерывная обучающая последовательность. Входные символы из этой последовательности запоминаются не по следованию друг за другом, а по следованию за некоторым "опорным кодом". Опорный код представляет собой алгоритмически получаемый набор последовательностей символов входного алфавита длины т, равной длине учитываемой предыстории. Каждый входной символ запоминается независимо от других по следованию за своей опорной последовательностью.

При обучении изменяются веса связей, которые идут от элементов, соответствующих символам опорного кода, к элементам, соответствующим поступающим на вход автомата символам из обучающей выборки. При помощи опорных кодов реализуется ассоциативно-адресный способ запоминания, при котором адресом является опорный код, а связь запоминаемой информации с адресом является ассоциативной.

Организация процессов обучения и воспроизведения в автомате может отличаться от описанной. Некоторые варианты приводятся ниже.

Эксперимент

Возможность ошибки при ассоциативном воспроизведении связана с тем, что по рассмотренной схеме при обучении учитывается взаимодействие во времени каждой пары элементов независимо от возбуждения остальных элементов. Так, если при обучении подавались последовательности (слова) , , , , то в режиме воспроизведения при подаче на вход последовательности на элементах и возникнет одинаковая величина , равная 3, и символы и будут воспроизведены с равной вероятностью.

Вероятность однозначного правильного воспроизведения растет при увеличении длины учитываемой предыстории и числа элементов в автомате. И то и другое требует увеличения объема памяти автомата. С другой стороны, вероятность правильного воспроизведения уменьшается при увеличении объема запоминаемого материала. В соответствии с этим, экспериментально оценивалась вероятность правильного воспроизведения в зависимости от соотношения между объемом памяти автомата и объемом запоминаемого материала. Кроме того определялось наилучшее соотношение между числом элементов и числом связей для фиксированного объема памяти автомата.

Проведенные эксперименты отличались режимами обучения и воспроизведения.

Вариант 1.На вход автомата подавались непрерывные обучающие последовательности разной длины. Определялась максимальная длина воспроизводящейся без ошибок обучающей последовательности в зависимости от длины учитываемой предыстории, т. е. от количества связей на элемент. Число элементов фиксировалось равным 33. Входной алфавит - буквы. Пробел между словами рассматривался как входной символ. Длина учитываемой предыстории m изменялась в пределах от 4 до 16 тактов. Длины обучающих выборок Lmax изменялись от 150 до 580. В экспериментах использовались обучающие последовательности трех типов: произвольный текст, наборы, составленные из простых существительных в именительном падеже, случайные наборы букв. Кривые, соответствующие усредненным результатам, приведены на рисунке 14.2.

Из кривых видно, что при увеличении длины учитываемой предыстории автомат воспроизводит без ошибок более длинные последователь-

Рис. 14.2.

ности. Лучшие результаты получены, когда на вход автомата подавались случайные последовательности.

Вариант 2.На вход автомата подавались отдельные слова, запоминавшиеся независимо. Автомат воспроизводил конец слова по заданному началу. Определялось среднее количество начальных букв, необходимое для правильного воспроизведения конца слова, а также количество правильно воспроизведенных концов слов в зависимости от общего числа слов, которым обучался автомат.

В этой серии экспериментов случайные слова длиной 7 символов запоминались лучше при до 270 слов. При дальнейшем увеличении лучше запоминаются слова из текста.

Эксперименты с запоминанием и воспроизведением по отношению к опорному коду показали, что при ассоциативно-адресной схеме запоминания возможно получение относительно высокой вероятности правильного воспроизведения (порядка 0,97).

Эксперименты в целом показали, что в схеме с временными задержками возможно ассоциативное запоминание, определяемое смежностью во времени элементов запоминаемой информации. Вероятность правильного воспроизведения в ассоциативном автомате в значительной степени зависит от отношения объема запоминаемой информации к объему памяти автомата. Вероятность правильного воспроизведения в значительной степени зависит также от характера входной информации. Эта зависимость должна еще сильней проявиться при вероятностной схеме запоминания.

Вероятностная схема

Рассмотренная детерминированная схема ассоциативного временного взаимодействия не учитывает закономерностей входной информации в том смысле, что часто повторяющиеся входные последовательности запоминаются так же, как и однократные. Тем самым в системе не накапливается обобщающий опыт: случайные события фиксируются в памяти наравне с регулярными. В адаптивной, приспосабливающейся к среде системе должны запоминаться вероятностные связи между входными воздействиями.

Описанная детерминированная схема позволяет при воспроизведении предсказывать появление на входе событий (в наших экспериментах - символов алфавита) с учетом динамической предыстории. Для того чтобы та же схема обладала кроме того свойством предсказания с учетом частоты временных парных взаимодействий элементов автомата, необходимо изменить свойства связей и процесс обучения. Эта модификация была названа выше вероятностной схемой. Отличие заключается в том, что в вероятностной схеме веса связей могут принимать уже не только два значения 0 и 1, а изменяться от 0 до .

Так же как и в детерминированной схеме, вес связи увеличивается, если в момент ее возбуждения возбужден элемент на который идет связь. Если условия увеличения веса связи повторяются многократно, происходит увеличение с насыщением - вес связи стремится к пределу . С течением времени веса невозбуждающихся связей экспоненциально уменьшаются до величины чем обеспечивается "забывание", необходимое для того, чтобы в памяти отражалось не только суммарное количество временных парных взаимодействий элементов автомата, но и "свежесть" опыта.

При компьютерной реализации вероятностного автомата для запоминания весов связей требуется значительно больший объем памяти, чем в случае детерминированной схемы, где вес связи - двоичная величина. Программно реализованный иллюстративный вероятностный автомат имел 33 элемента, т. е. был рассчитан на работу с 33 входными символами. Число связей на один элемент равнялось 6, т. е. длина учитываемой предыстории была 6 тактов (символов). Автомат запоминал и ассоциативно воспроизводил относительно короткие (200 знаков) грамматические тексты. Более подробное исследование свойств одноуровневого вероятностного ассоциативного автомата в работе не проводилось.

Вероятность правильных временных ассоциаций в одноуровневой схеме с временными задержками при передаче возбуждений существенно выше, чем в рассмотренном ранее случае, когда все связи имеют одинаковую задержку, равную одному такту. Однако, как мы видели, ошибки возникают и при схеме с задержками. В случае запоминания регулярных последовательностей вероятность правильного воспроизведения повышается при использовании вероятностной схемы запоминания.

Существенное повышение вероятности правильного воспроизведения временных последовательностей возможно, по-видимому, только в многоуровневой иерархической системе памяти. В этой системе должны вырабатываться обобщения по смежности во времени и при воспроизведении должны учитываться не только взаимодействия между отдельными парами элементов, но и групповые взаимодействия внутри и между регулярными группами элементов.

Возможность реализации в активной нейронной модели

Нетрудно видеть, что описанная схема одноуровневых временных ассоциативных взаимодействий более или менее просто вписывается в логику работы рассмотренной в предыдущей лекции двухслойной активной нейронной сети.

В предыдущей лекции был описан упрощенный процесс формирования в модели одноуровневой двухслойной нейронной сети парных ассоциаций по смежности во времени поступления входных воздействий. Отличие этого процесса от процессов в описанном ассоциативном автомате состоит в наличии временных задержек при передаче сигналов от одного нейрона к другому.

Задержки и соответствующие задержкам дополнительные связи между элементами или нейронами вторичных нейронных сетей в активной нейронной сети не могут быть введены чисто формально. Образование связей и изменение величин их синаптических проводимостей, в соответствии с нашими общими постулатами, должно происходить в сети автоматически и должно быть направлено на оптимизацию функциональных состояний нейронов.

Изменения величин синаптических проводимостей связей с задержками, необходимые для реализации ассоциаций по времени, при качественном рассмотрении вытекают из принятых нами свойств нейронов. Для автоматического образования связей с задержками необходимо введение дополнительных постулатов. Можно, конечно, исходно закладывать в систему нужное количество "заготовок" - нейтральных связей с задержками, однако это может потребовать слишком большой памяти.

Физиологичность представлений о наличии в нейронной сети задержек вытекает, во-первых, из того, что передающие сигналы аксоны имеют разную длину, разную толщину, разную скорость и, соответственно, разное время передачи импульсов. Во-вторых, можно предположить, что задержки формируются на самом нейроне. На один нейрон коры головного мозга может приходить до 1000 связей. Связи оканчиваются синапсами на разных дендритах. Дендриты имеют разную длину, разную конфигурацию и разное расположение по отношению к телу клетки. Все это может определять задержку при передаче сигнала конкретным синапсом.