Нейрофизиологический и формально-логический базис нейроподобных вычислений

4.4. Перцептрон Ф. Розенблатта и теория распознавания образов

В модели формального нейрона Мак-Каллока - Питтса отражены практически все известные на тот момент структурно-функциональные особенности работы реальных нейронов. Исключение составляет только зависящий от многих внешних факторов цифро-аналоговый механизм диффузии медиатора через синаптическую щель. В результате на основе формальных нейронов Мак-Каллока - Питтса удалось исследовать функциональную устойчивость по отношению к "случайным" флуктуациям порогов нейронов, составляющих сеть. Согласно [71] такой подход относится к монотипному, когда свойства образующих нервную сеть элементов полностью заданы как системой аксиом, так и топологией сети. В рамках генотипного подхода полностью заданными считаются только свойства составляющих элементов (в данном случае нейронов), но структура сети определена только частично с помощью ограничений на функции распределения вероятностей. Поэтому в рамках генотипного подхода можно исследовать только классы систем, а не отдельных представителей этого класса, а исследуемыми являются свойства, вытекающие из заданных законов организации, а не отдельные функции, реализуемые конкретной системой.

Второе существенное отличие монотипных и генотипных моделей нервной системы состоит в методе определения функциональных характеристик: в первом случае функциональные свойства постулируются и используются в качестве исходных данных, а во втором случае исходной является физическая система, представленная статистическими свойствами класса, а ее функциональные свойства являются конечной целью исследований. Именно второй подход адекватен условиям психофизиологических исследований, когда на первый план выходят не индивидуальные особенности нервной системы особи, а общие закономерности адаптации и обучения, свойственные классам таких особей, которые репродуцированы генетическими методами, подверженными вариационным изменениям. Здесь, так же как и при переходе от механизмов локальной деполяризации к возбуждению всего нейрона, проявляется структурно-функциональный полиморфизм, но уже при переходе с физиологического на психологический уровень исследования живых систем.

При создании перцептрона как генотипной модели реальных нейронов и сетей Ф. Розенблатт исходил из более поздних достижений не только нейрофизиологии, но и психологии [71]:

1. В теории нейронов и нервных импульсах, где уже имелись достаточные основания представлять нервные сети системой из большого числа импульсных генераторов с одним и более выходами каждый, которые осуществляют импульсно-кодовую модуляцию на основе принятия решений, зависящих от серий сигналов, поступающих на каждый из входных синапсов, и от собственного внутреннего состояния.
2. В представлениях о структуре сети, где стало ясно, что в нервной системе сочетаются возможности узкоспециализированных и потому строго упорядоченных топологий со слабо упорядоченными, ассоциативно управляемыми образованиями. Топология первых, как правило, строго коррелированна со структурой управляемого объекта, как это имеет место в зрительных, слуховых и моторных трактах. Топология вторых задается направленными градиентами, преимущественными направлениями и статистическими распределениями длин волокон для различных типов клеток, что типично для коры больших полушарий и ретикулярной формации.
3. В представлениях о локализации функций, благодаря которым удалось выделить в нервной системе сенсорную (чувствительную), моторную (двигательную) и ассоциативную составляющие. На тот период наиболее достоверно функциональная организация была установлена для сенсорных и моторных каналов с характерными локусами в коре, коррелирующими с "восприятием" сигналов рецептивного поля и управлением определенными группами мышц соответственно.
4. В представлениях о врожденных вычислительных механизмах, которые на инстинктивном уровне координируют восприятие и двигательную активность, что позволяло говорить об узкоспециализированных замкнутых контурах управления, работающих на принципах сервомеханизмов, препятствуя повышению уровня активности при эпилептических припадках или снижая уровень чувствительности при болевых шоках и т. п.
5. В представлениях об обучении и забывании, которые напрямую зависят от организации памяти живых систем, ответственной за тесно переплетенные между собой функции, с одной стороны, хранения и воспроизводства накопленного опыта, а с другой стороны - его модификации в процессе обучения.
6. В представлениях о роли "полевых" эффектов в восприятии, где был найден компромисс между сторонниками атомистического и гештальт-подхода. В результате было признано, что любое чувственное восприятие зависит не только от свойств стимула или распознаваемого образа, но и от структуры сенсорного поля, в котором реализуется данное восприятие.
7. В представлениях о механизмах выбора в восприятии и поведении, которые предполагают многоальтернативность решения стоящей задачи, а значит, и основанный на психологической "установке" избирательный характер восприятия. Сама психологическая "установка" на тот период времени уже связывалась с волнами в нервной системе, регулирующими подпороговые уровни возбуждения и торможения.
8. В представлениях о механизмах формирования сложных последовательностей актов поведения, которые невозможно реализовать без однозначных "программ", которые на тот момент реализовывались через последовательности избирательных установок или предпочтений в сложных иерархических структурах, где операции нижнего уровня выполняются под управлением установки, сформированной на более высоком уровне.

Для формализации такой психофизиологической модели нервной системы Ф. Розенблатт использовал следующие определения [71]. При этом определения, задающие правила функционирования составляющих перцептрон элементов и генерируемых ими сигналов, были распределены по группам:

1. Сигналы и передающие сети:

   Определение 1. Под сигналом понимается любая измеримая переменная величина (напряжение, интенсивность светового потока, концентрация химических реагентов и т. п.), измеряемыми параметрами которой являются как минимум амплитуда, время и местоположение.

   Определение 2. Генератором сигнала считается любой элемент или устройство произвольной физико-химической, нейрохимической или молекулярно-биологической природы, которые способны производить выходные сигналы .

   Определение 3. Производящей функцией сигнала является любая функция, которая определяет закон изменения амплитуды сигнала, производимого генератором сигнала.

   Определение 4. Связью (соединением) является канал произвольной физико-химической, нейрохимической или молекулярно-биологической природы, с помощью которого сигнал от одного генератора сигналов (начальный элемент или вход) может быть передан другому генератору (конечный элемент или выход). Связь характеризуется своими начальными и конечными элементами и передающей функцией, которая определяет амплитуду сигнала , поступившего на конечный элемент (выход), как функцию амплитуды и момента появления сигнала, генерируемого начальным элементом (входом).

   Определение 5. Передающая сеть представляет собой систему соединенных в сеть генераторов сигнала.
2. Простейшие элементы, сигналы и состояния перцептрона:

   Определение 6. Сенсорным элементом ( -элементом) является любой чувствительный элемент, который вырабатывает сигнал являющийся функцией входной энергии (света, звука, давления, тепла, электричества и т. п.). Входной сигнал -элемента , который поступил из внешней среды в момент времени , обозначается ; сигнал, который вырабатывается элементом в момент времени .

   Определение 7. Простым -элементом считается тот, который выдает выходной сигнал , если входной сигнал , и в противном случае, где - порог срабатывания -элемента .

   Определение 8. Ассоциативным элементом ( -элементом) называется генератор сигнала (обычно логический элемент решающего типа) с входными и выходными связями , по которым поступают сигналы . Сигнал, вырабатываемый -элементом , обозначается .

   Определение 9. Простым -элементом называется логический решающий элемент, который выдает выходной сигнал , когда алгебраическая сумма его входных сигналов , и в противном случае. Если , то говорят, что -элемент является активным.

   Определение 10. Реагирующим элементом ( -элементом) называется генератор сигнала, имеющий входные связи и выдающий сигнал, который поступает во внешнюю сеть (окружающую среду или другую систему). Сигнал, вырабатываемый -элементом, обозначают .

   Определение 11. -элемент является простым, если он выдает сигнал , когда сумма его входных сигналов является строго положительной, и сигнал , когда сумма его входных сигналов является строго отрицательной. Если сумма входных сигналов равна нулю, выход -элемента можно считать либо нулевым, либо неопределенным (в частности, колеблющимся возле нулевого уровня).

   Определение 12. Передающие функции связей в перцептроне зависят от двух параметров: времени передачи импульса по каналам связи и коэффициента (веса) связи . Передающая функция связи от элемента к элементу имеет вид:

   

   а веса могут быть постоянными или переменными (зависящими от времени), когда вес является функцией памяти.

   Определение 13. Активное состояние сети в момент определяется совокупностью сигналов , выдаваемых всеми генераторами сигналов в этот момент .

   Определение 14. Состояние памяти сети характеризуется конфигурацией весов всех связей с переменным весом в определенный момент времени.

   Определение 15. Фазовым пространством сети называется пространство всех возможных состояний памяти данной сети. Состоянию памяти системы в каждый момент времени соответствует точка в фазовом пространстве, а траектория этой точки в фазовом пространстве описывает историю системы. Фазовое пространство является -мерным эвклидовым, если сеть имеет связей с переменным весом и каждой связи соответствует своя координата.

   Определение 16. Коэффициенты соединения (веса) для всех пар элементов и образуют матрицу взаимодействия сети, состоящей из -, - и -элементов. Если связь от элемента к элементу отсутствует, считается . Задание матрицы взаимодействия эквивалентно заданию точки в фазовом пространстве.
3. Перцептроны и их классификация:

   Определение 17. Перцептрон представляет собой сеть, состоящую из -, - и -элементов, с переменной матрицей , определяемой последовательностью прошлых активностей сети.

   Определение 18. Логическое расстояние от элемента до элемента равно наименьшему числу связей, с помощью которых сигнал от элемента можно передать элементу

   Определение 19. Перцептроном с последовательными связями называется система, в которой все связи, начинающиеся от элементов с логическим расстоянием от ближайшего -элемента, оканчиваются на элементах с логическим расстоянием от ближайшего -элемента.

   Определение 20. Перцептроном с перекрестными связями называется система, в которой некоторые связи соединяют друг с другом элементы одного типа ( , или ), находящиеся на одинаковом логическом расстоянии от -элементов, причем все остальные связи - последовательного типа.

   Определение 21. Перцептроном с обратной связью называется система, в которой по крайней мере один элемент или , находящийся на расстоянии от ближайшего -элемента, является исходным в цепи обратной связи к -элементу или -элементу, расстояние которого до ближайшего -элемента , то есть обратная связь соединяет выход элемента, расположенного ближе к выходу сети, с входом элемента, расположенного ближе к ее входам.

   Определение 22. Простым перцептроном называется любая система, удовлетворяющая следующим условиям:

   1. В системе имеется один -элемент, который связан со всеми -элементами.
   2. Система представляет собой перцептрон с последовательными связями, идущими только от -элементов к -элементам и от -элементов к -элементам.
   3. Веса всех связей от -элементов к -элементам являются фиксированными (не изменяются во времени).
   4. Время передачи каждой связи равно либо нулю, либо фиксированной постоянной величине ?.
   5. Все передающие функции -, - и -элементов имеют вид , где - алгебраическая сумма всех сигналов, поступающих одновременно на вход элемента.

   Определение 23. Перцептрон называется элементарным, если он является простым, содержит простые - и -элементы, а его передающая функция имеет вид:

   ( t))

4. Стимулы и внешняя среда:

   Определение 24. Стимул представляет собой любое непустое множество входных сигналов , поступающих на -элементы в момент времени . Если сенсорное поле (в частности, сетчатка) имеет сенсорных элементов, то стимул представляет собой -мерный вектор, каждой компоненте которого соответствует сигнал на входе соответствующего -элемента. Стимул отсутствует, если все входные сигналы равны нулю и если не оговорены другие условия.

   Определение 25. Пространством стимулов (внешней средой с числом различных стимулов ) называется любое множество стимулов, определенное для данной системы -элементов.

   Определение 26. Пространство последовательностей стимулов представляет собой множество всевозможных последовательностей стимулов, каждое из которых содержит упорядоченный ряд стимулов из множества .
5. Реакция и решения:

   Определение 27. Реакцией называется любое соответствие между входными сигналами -элемента и стимулами из множества . Для простого перцептрона реакция представляет собой -мерный вектор ( ), компонентами которого являются значения реакции элемента на действие каждого стимула ( ) внешней среды.

   Определение 28. Классификацией называется выделение класса эквивалентных реакций. Две реакции считаются эквивалентными, если соответственные компоненты совпадают по знаку. Для любого перцептрона с единственным простым R-элементом классификация разделяет множество на два класса: положительный класс, включающий в себя все стимулы, для которых , и отрицательный класс, состоящий из стимулов, для которых .

   Определение 29. Последовательность реакций представляет собой соответствие последовательности выходных сигналов -элемента последовательностям стимулов из пространства этих последовательностей.

   Определение 30. Для данного перцептрона решение относительно реакции (классификации) существует, если в его фазовом пространстве имеется такая точка, что при предъявлении стимула будет иметь место реакция (определяемая реакцией ) для всех , входящих в .
6. Система подкрепления:

   Определение 31. Системой подкрепления называется любой набор правил, с помощью которых изменяется с течением времени матрица взаимодействия (состояние памяти) перцептрона.

   Определение 32. Система управления подкреплением - это любая внешняя по отношению к перцептрону система, которая осуществляет изменения его матрицы взаимодействия в соответствии с правилами принятой системы подкрепления.

   Определение 33. Положительное подкрепление - это такой процесс подкрепления, при котором вес связи, начинающейся на активном элементе и оканчивающейся на элементе , изменяется на величину (или со скоростью ), знак которой совпадает со знаком сигнала .

   Определение 34. Отрицательное подкрепление - это такой процесс подкрепления, при котором вес связи, начинающейся на активном элементе и оканчивающейся на элементе , изменяется на величину (или со скоростью ), знак которой противоположен знаку сигнала .

   Определение 35. Система подкрепления относится к монополярному типу, если веса всех связей, оканчивающихся на элементе , остаются неизменными в течение всего отрезка времени до тех пор, пока не станет строго положительной.

   Определение 36. Система подкрепления относится к биполярному типу, если веса связей изменяются независимо от знака входного сигнала элемента, на котором они заканчиваются.

   Определение 37. Система подкрепления относится к -типу, а перцептрон является а-перцептроном, если веса всех активных связей, которые заканчиваются на элементе (связи, для которых ), изменяются на одинаковую величину или с постоянной скоростью в течение всего времени действия подкрепления, причем веса неактивных связей за это время остаются неизменными.

   Определение 38. Система подкрепления относится ку-типу, а перцептрон является -перцептроном, если веса всех активных связей сначала изменяются на равную величину, а затем из весов всех связей вычитается величина, равная полному изменению весов всех активных связей, деленному на число всех связей (взвешенное изменение активности). -Система подкрепления консервативна относительно весов, так как в ней полная сумма весов всех связей не может ни возрастать, ни убывать. Изменение при этом определяется:

   

   Здесь - число связей, оканчивающихся на элементе , - величина сигнала подкрепления (обычно или ).

   Определение 39. Подкрепление называется дискретным, если величина изменения веса фиксирована ( ), и непрерывным, если эта величина может принимать произвольное значение.

   Определение 40. Система подкрепления с управлением по реакции ( -управляемая система) представляет собой такой метод обучения, при котором величина сигнала подкрепления постоянна, а его знак полностью определяется текущим значением реакции независимо от конкретного действующего стимула .

   Определение 41. Система подкрепления с управлением по стимулам ( -управляемая система) представляет собой такой метод обучения, при котором величина сигнала подкрепления постоянна, а его знак полностью определяется текущим значением стимула или, что одно и то же, значением . В этом случае текущее значение реакции перцептрона не оказывает влияния ни на знак, ни на величину сигнала подкрепления .

   Определение 42. Система подкрепления с коррекцией ошибок представляет собой такой метод обучения, при котором величина сигнала подкрепления равна до тех пор, пока текущая реакция перцептрона остается правильной. При появлении неправильной реакции знак ? определяется знаком ошибки. В такой системе подкрепление равно нулю для правильной реакции и отрицательно для неправильной: , где - желательная реакция, - полученная реакция и - знакоопре-деленная монотонная функция, такая, что .
7. Экспериментальные системы:

   Определение 43. Экспериментальная система - это система, состоящая из перцептрона, пространства стимулов и системы управления подкреплением.

   Эксперимент предполагает наличие экспериментальной системы, метода обучения и метода испытания перцептрона или, что одно и то же, измерения его характеристик. В простейшем случае (рис. 4.17) методы обучения и испытания перцептрона возложены на человека, который корректирует систему подкрепления с использованием информации, полученной на основе анализа экспериментальных характеристик перцептрона. В этой схеме перцептрон является "пассивным" объектом обучения, и чтобы его сделать "активным", необходимо задействовать глобальную обратную связь с выхода элементов -типа на внешнюю среду (рис. 4.18).

   

   
   Рис. 4.17. Экспериментальная система с простым перцептроном [71]

При этом следует иметь в виду, что в -управляемой системе информационный канал от внешней среды ( ) к системе управления подкреплением не является функциональным, в то время как в -управляемой системе нефункциональным уже является канал от элементов -типа к системе подкрепления. В системе с коррекцией ошибок функциональными являются оба канала.