Первые нейронные модели

Если придерживаться высказанной ранее точки зрения, состоящей в том, что мышление - это не только способы решения специфических задач, но и в первую очередь специфическая нейронная реализация этих способов решения, включающая способность строить и использовать активную динамическую модель среды, то для того чтобы понять, что такое мышление, нужно понять не только функциональное содержание мышления, но также устройство и принципы работы мозга.

Первые модели нейронных сетей Мак-Каллока и Питтса, так же как и перцептрон Розенблатта, разрабатывались и представлялись авторами как модели механизмов мозга. В современных формальных распознающих нейронных сетях теоретический аспект часто оттесняется на второй план. На первый план вышла прикладная ориентация - распознавание образов. Однако и об этих распознающих нейронных сетях часто говорят как о моделях мозга. Попробуем разобраться в том, насколько оправданы такие представления.

Свойства и функции нейронных моделей, необходимые для решения базовых задач мышления

Итак, для того чтобы моделировать мозг, нужно понять не только то, что мозг делает, но и то как он это делает. И то и другое одинаково важно.

Ранее мы сформулировали предположения о том, что делает мозг для решения многоэкстремальной задачи поведения, - строит модели среды, имеющие уровни обобщений и укрупнений. Это позволяет сводить многоэкстремальные задачи поведения к одноэкстремальным и обеспечивает тем самым возможность пользоваться локальными правилами принятия решений, основанными на эмоциональной оценке вариантов поведения в ситуациях альтернативного выбора.

Также ранее на примере системы машинного зрительного восприятия мы сформулировали предположения об устройстве целостных моделей объектов среды и основных элементов этих моделей, то есть укрупненных и обобщенных структурных описаний. Были также высказаны предположения о роли предвидения в процессе восприятия и описана программная реализация целостного активного зрительного восприятия на основе выдвижения и целенаправленного подтверждения гипотез об объектах восприятия, представляемых полными, целостными, отображаемыми структурно-метрическими описаниями.

Кроме того, отмечались проблемы, связанные с необходимостью описания взаимодействия между частями и целым, и были сформулированы общие необходимые свойства модели проблемной среды применительно к задачам управления поведением и зрительного восприятия. Были также упомянуты некоторые результаты классических работ в области нейрофизиологии, относящиеся главным образом к поведению животных.

На основании всего этого с учетом представлений о накапливающейся неустойчивости и принципа устойчивого неравновесия Э.С. Бауэра можно определить свойства и функции, которыми должны обладать моделируемые нейронные механизмы мозга. Представляется, что приводимые ниже свойства как минимум являются необходимыми, хотя и возможно, что часть этих свойств может оказаться не необходимыми, а только полезными. Вопрос о достаточных свойствах остается пока еще открытым.

Итак, сформулируем представляющиеся необходимыми свойства и функции нейронных механизмов мозга. В мозгу должна строиться и использоваться при поведении и восприятии модель проблемной среды. Поэтому, естественно, список необходимых свойств и функций механизмов мозга в значительной степени совпадает с представлениями об основных необходимых свойствах и функциях модели проблемной среды.

Кроме того, было бы хорошо, а может быть, даже и принципиально, если бы нейронные модели объясняли эмоциональные реакции, в том числе и такие неспецифические, как реакции на музыку, абстрактную живопись, свет костра или морской прибой.

Эти предположения о необходимых свойствах и функциях нейронных моделей механизмов мышления, по-видимому, могут быть использованы как при построении определения мышления, так и в работах по моделированию механизмов мозга. В то же время сами по себе эти предположения недостаточны для построения исчерпывающего определения мышления, поскольку не определены достаточные свойства механизмов мышления. Недостаточны эти предположения и для создания нейронных моделей механизмов мозга. Не хватает предположений о том, как мозг все это делает. Однако, по всей видимости, без учета этих предположений строить полные нейронные модели механизмов мозга нельзя.

Уже говорилось о том, что не все перечисленные свойства могут оказаться необходимыми. Кроме того, первичная нейронная модель может не включать всех, даже необходимых, свойств полной модели. В то же время представляется, что нейронная модель механизмов мозга как минимум должна отвечать на вопросы: как строится включающее целостные обобщенные и укрупненные представления объектов иерархическое многоуровневое отображение среды и как на этой модели среды разворачиваются процессы предвидения и оценки предвидимых ситуаций.

Модель мозга не должна быть простым пассивным дешифратором, формирующим выход как функцию входа. Модель мозга должна быть активна и обеспечивать "умозрительное моделирование" процессов в среде и результатов взаимодействий субъекта поведения со средой. Именно это позволит говорить, что мышление - это не только способы решения специфических задач, но и в первую очередь специфическая нейронная реализация этих способов решения.

Таким образом, одно из выделенных свойств нейронных механизмов мозга, а именно активность, является, по-видимому, важнейшим и, безусловно, необходимым для моделей мозга. Ниже в последующих лекциях это свойство рассматривается более подробно.

Минимальные сведения об элементах мозга

Как подойти к построению моделей нейронных механизмов мозга? Естественнее и проще всего было бы делать это, имея достаточную нейрофизиологическую информацию. Однако такой информации нет и, к сожалению, по-видимому, никогда не будет. Нейрофизиология, как и сто лет назад, остается преимущественно эмпирической наукой. О том, как работает отдельный нейрон, известно все или почти все. Однако в нейрофизиологии нет законченной теории, а следовательно, нет и понимания того, как работает целый мозг в процессе мышления.

Ситуацию отчасти иллюстрирует бывшее популярным в шестидесятые годы прошлого века и остающееся актуальным до сих пор следующее шуточное сравнение. Представим себе, что на Земле есть изолированная цивилизация, незнакомая с телевидением, и что живущие там люди пытаются понять, как работает попавший к ним телевизор. Проводя всевозможные эксперименты, они поймут, как включать телевизор, определят назначение клавиш панели управления, научатся переключать программы и регулировать громкость. Затем, изучая устройство телевизора, экспериментаторы проследят и установят все электрические связи, начнут делать послойные срезы телевизора и рассматривать их в микроскоп и так далее. Можно придумать и еще много других тонких исследований, однако ясно, что таким путем понять, как работает телевизор, нельзя. Нужен целостный подход и построение на этой основе теории работы телевизора.

Придумать и экспериментально проверить теорию работы мозга, по-видимому, должны и могут не физиологи, а, скорее, математики и инженеры. При этом, естественно, придумывая теорию работы мозга, нужно максимально использовать существующую обширную экспериментальную нейрофизиологическую и психологическую информацию.

Основная минимальная информация об устройстве головного мозга, которую должен знать инженер, пытающийся понять и смоделировать мышление, была известна еще в первой половине прошлого века. Состоит эта информация в следующем.

Подавляющее большинство физиологов считает, что мышление реализуется объединенными в сеть нервными клетками - нейронами, которых в мозге человека около 14 миллиардов. Крайне незначительное меньшинство предполагает, что в мышлении помимо нейронов участвуют и нейроглиальные клетки, которых на порядок больше и в среду которых погружены нейроны. По основной версии нейроглиальные элементы обеспечивают для мозга только опорную и трофическую функции.

Обычно пишут, что нейрон имеет много входов (до нескольких сотен) и один выход. В отношении выходов это неточно. Отходящая от нейрона одна связь (аксон) чаще всего разветвляется, и эти разветвления (колла-терали) заканчиваются на разных нейронах. Это полностью эквивалентно тому, что от нейрона отходит много связей, передающих информацию о возбуждении нейрона одновременно по многим адресам.

По каждому входу на нейрон может приходить дискретный возбуждающий или тормозящий электрический импульс от другого нейрона или рецепторной (сенсорной) клетки, например, от клетки сетчатки глаза. Амплитуда и полярность электрических импульсов, передаваемых по конкретной связи, постоянны. Может меняться частота импульсов. Окружающая клетку мембрана нейрона имеет исходный потенциал, поддерживаемый "натриевым насосом". Приходящие на нейрон импульсы создают возбуждающие или тормозящие потенциалы, которые суммируются (со знаком) на мембране нейрона, увеличивая или уменьшая ее исходный потенциал, т. е. производя поляризацию или деполяризацию мембраны. Чаще всего считается, что происходит как пространственная, так и временная суммация накапливающихся на мембране дополнительных потенциалов. С течением времени, если не происходит возбуждения и разряда нейрона, накопленный на мембране нейрона дополнительный потенциал поляризации или деполяризации уменьшается (по-видимому, экспоненциально).

Полярность всех импульсов при их передаче по связям одинакова. Импульс приобретает знак, т. е. возбуждающую или тормозящую полярность, проходя через соединение между входной связью и телом нейрона. Это соединение называется синапс. Большинство физиологов считает, что синапс определяет не только знак, но и величину передаваемого нейрону потенциала. Это связывается с изменением проводимости синапса. Часть нейрона, на которой расположены синапсы, называется дендрит.

Нейрон является дискретным пороговым элементом. Когда суммарный накопленный на мембране нейрона потенциал поляризации достигает некоторого порога, в нейроне происходит разряд. В результате разряда по отходящей от нейрона связи (аксону) передается не затухающий по длине аксона импульс.

Различные аксоны могут иметь разную толщину и существенно разную длину. Скорость передачи импульса по аксону составляет в зависимости от толщины волокна примерно от 1 до 100 метров в секунду. Аксон на конце обычно разветвляется на коллатерали, заканчивающиеся синапсами на дендритах других нейронов. В результате разряда нейрона накопленный на нем потенциал обнуляется.

После разряда нейрона наступает период абсолютной рефрактер-ности длительностью около 1 миллисекунды когда нейрон невозбудим. Затем следует период относительной рефрактерности длительностью несколько миллисекунд, в течение которого порог возбудимости нейрона снижается до нормального уровня, после чего следует экзальтация - кратковременное снижение порога возбудимости ниже нормального уровня. Следует заметить, что мозг включает нейроны многих типов, отличающиеся по своим свойствам. Поэтому периоды рефрактерности и экзальтации у каких-то нейронов могут иметь свою специфику.

Существуют не имеющие значительного распространения и поддержки гипотезы, состоящие в том, что взаимодействие между нейронами осуществляется не только по связям, но и посредством передачи полей возбуждения и торможения.

Вот, собственно, и все. Можно пробовать строить нейронные модели. Для того чтобы попытаться как-то по минимуму представить себе, как работает мозг, и попробовать смоделировать эти представления, информации достаточно. Можно, конечно, предположить, что в мозгу есть еще что-то, не открытое пока еще физиологами. Допуская это и строя нейронную модель, можно, конечно, придумывать недостающие необходимые свойства, но делать это нужно только в том случае, если эти свойства действительно необходимы для работы модели. Ну и, конечно же, нужно стараться, чтобы нефизиологичность вводящихся таким образом новых свойств не была чрезмерной.

Ограничиваясь при моделировании мышления приведенной информацией о нейронах и нейронной сети, можно главным образом варьировать всего четыре вещи. Первое - это связи между нейронами, их топология, а также законы или правила формирования связей и их изменения. Второе - правила формирования и изменения синаптических проводимостей связей. Третье - правила изменения порога срабатывания нейрона. И четвертое - правила формирования результирующего потенциала нейрона. Точными сведениями обо всем этом нейрофизиология не располагает.

Конечно, профессионалы-физиологи могут сказать, что приведенная информация о мозге неполна и в чем-то неточна. Это не страшно. Приведенный перечень свойств элементов мозга, конечно же, является открытым. В то же время вряд ли к приведенным свойствам можно добавить многое, что будет иметь решающее значение. Кроме того, если не придерживаться тезиса, что мышление - это функция мозга и только мозга, то, изобретая мышление, необязательно, ориентируясь в целом на мозг, пытаться его слепо копировать. Можно добавить элемент фантазии.

Многочисленные известные, а может быть, и еще не известные свойства нейрона часто разбивают на две группы. Первая группа - это свойства, определяющие внешнюю логику работы нейрона и логику работы нейронной сети. Вторая группа - свойства, обслуживающие "собственные нужды" нейрона как живой клетки. Разделить эти группы можно попытаться с позиций целостных представлений на основе теории работы мозга. Правда, может оказаться и так, что с позиций целостных представлений о работе мозга эти группы свойств во многом неразделимы. Одновременно теория и успешные нейронные модели механизмов мозга могут стимулировать целенаправленные нейрофизиологические эксперименты. Таким образом, целостность и целенаправленность также важны при проведении научных экспериментов, как и при распознавании образов.

Приблизительно в рамках приведенной информации о нейронах и нейронной сети для объяснения работы мозга были предложены различные модели, являющиеся в подавляющем большинстве производными от модели логических нейронных сетей Мак-Каллока и Питтса либо модификациями перцептрона Розенблатта. Попробуем оценить общие свойства и возможности формальных нейронных сетей на основе информации о необходимых свойствах нейронных механизмов мышления и сведений о работе нейронов мозга.

Логические нейронные сети Мак-Каллока и Питтса

В 1943 году Мак-Каллоком и Питтсом была опубликована статья "A logical calcula of the ideas immanent in nervous activity" ("Логическое исчисление идей, относящихся к нервной активности"). В этой статье была предпринята попытка описать работу нейронных механизмов мозга, используя аппарат математической логики.

Мак-Каллок и Питтс не ставили своей целью решать какие-либо прикладные задачи. Их модель была чисто теоретической попыткой представить мозг как совокупность связанных в сеть логических элементов. К этому подталкивало то, что живой нейрон похож, а при определенных ограничивающих предположениях и становится логическим пороговым элементом, имеющим фиксированное число двоичных входов и двоичный выход.

Свойства нейронов и нейронной сети определялись следующими аксиомами:

Удовлетворяющие приведенной аксиоматике формальные нейроны и нейронные сети Мак-Каллока и Питтса обладают следующими свойствами. Во-первых, доказано, что эти формальные нейроны могут реализовать любую двоичную логическую функцию. Во-вторых, доказано, что из этих формальных нейронов можно построить сеть, реализующую любое высказывание логики высказываний. Что из этого следует? Пересказывая фон Неймана, можно сказать, что если функционирование системы заключается в формировании реакций на ее выходе в зависимости от входов, то с помощью формальной нейронной сети Мак-Каллока и Питтса в этой системе возможна реализация любого такого функционирования, которое можно точно и однозначно описать конечным числом слов.

Модель мозга Мак-Каллока и Питтса вызвала массу возражений, как со стороны физиологов и психологов, так и со стороны инженеров. Мы не будем подробно рассматривать эти возражения. Приведем лишь слова Ф. Розенблатта: "Требовать точного знания логической структуры нервной сети для предсказания ее поведения равносильно тому, чтобы требовать знания точного положения и скорости каждой молекулы находящегося в сосуде газа для предсказания его температуры".

Предложенная Мак-Каллоком и Питтсом модель, конечно же, не является моделью мозга. В этой модели не реализуется ни одно из сформулированных нами ранее необходимых свойств моделей мозга. Даже если предположить, что большинство из этих свойств не являются необходимыми, то остается необходимым по крайней мере одно - активность. Модель мозга не может быть пассивным логическим дешифратором, жестко связывающим вход с выходом. Кроме того, вызывает по меньшей мере сомнение физиологичность большинства принятых Мак-Каллоком и Питтсом аксиом о свойствах нейронов и нейронной сети.

Тем не менее работа Мак-Каллока и Питтса была очень полезна. Во-первых, эта работа стимулировала многие целенаправленные нейрофизиологические исследования, касающиеся как свойств отдельного нейрона, так и сети в целом, например, хотя бы работы по поиску энграмм памяти.

Во-вторых, эта работа послужила определенным толчком к развитию аппарата математической логики. Очевидная недостаточность классической математической логики для описания работы мозга потребовала разработки различных неклассических логик, например, таких, в которых делаются попытки формализации ассоциаций, аналогий, индукции, учет времени и так далее. Стимулировались и работы по созданию различных формальных систем представления знаний.

И наконец, в-третьих, нейронная модель Мак-Каллока и Питтса вызвала как разработку ее различных модификаций, так и создание иных нейронных моделей, например, таких как перцептрон Розенблатта или современные формальные нейронные сети, широко применяющиеся на практике для распознавания образов.

Перцептрон Ф. Розенблатта

В 1958 году Ф. Розенблатт предложил нейронную сетевую модель механизмов зрительного анализатора мозга, которую он назвал "Перцептрон". Слово "перцептрон" является производным от английского perception или латинского perceptio - "восприятие".

Также как и нейронные сети Мак-Каллока и Питтса, перцептрон, во всяком случае вначале, был чисто теоретической моделью, хотя и строился как автомат, реализующий в перспективе такую практически значимую функцию, как распознавание зрительных образов. Однако возможность эффективного практического применения перцептрона в начальных авторских вариантах всерьез не рассматривалась.

Исходная задача состояла в том, чтобы объяснить, как сеть из ней-роноподобных элементов может обучаться и распознавать подаваемые на вход сети изображения. В подавляющем большинстве случаев все физические предположения о свойствах нейронов и нейронной сети реа-лизовывались программно и все выводы основывались на теоретических построениях и моделировании на компьютере. И Розенблаттом, и другими авторами рассматривались многие варианты перцептронов. Один из вариантов простого трехслойного дискретного перцептрона устроен следующим образом.

Изображение фиксируется на входном прямоугольном дискретном поле - растре $$m x n$$ (аналогия - сетчатка глаза). В каждой точке входного поля расположен дискретный чувствительный (сенсорный) элемент, передающий дискретный сигнал по отходящим от него связям, если яркость изображения в соответствующей точке входного поля больше некоторого порога. Обычно этот сигнал может принимать только два значения: 0 или 1. Входной уровень перцептрона называется сенсорным уровнем, или уровнем $$S$$ -элементов.

Сигналы от $$S$$ -элементов передаются по связям на входы $$А$$ -элементов, или элементов ассоциативного уровня. Связей, отходящих от каждого $$S$$ -элемента, много. Распределяются эти связи на уровне $$А$$ -элементов случайно. $$А$$ -элемент - это формальный нейрон, то есть дискретный элемент, имеющий порог срабатывания, входы, связанные с $$S$$ -элементами, и выходные связи, идущие к $$R$$ -элементам (см. ниже). В отличие от формального нейрона Мак-Каллока и Питтса формальный нейрон в некоторых вариантах перцептрона имеет собственный вес. Время дискретно, т. е. делится на моменты, синхронизирующие работу всех элементов. Ассоциативный нейрон срабатывает, если сумма сигналов на его входах превышает порог. Пороги срабатывания всех нейронов равны и постоянны. В варианте, когда нейрон имеет свой вес, величина выходного сигнала прямо зависит от веса нейрона. В этом случае вес нейрона - величина переменная, изменяющаяся при обучении. В ином варианте нейрон не имеет веса, и величины сигналов, передаваемых нейроном по связям на другие нейроны, зависят от проводимостей связей. В этом случае при обучении меняются коэффициенты передачи или проводимости связей.

Сигналы от нейрона ассоциативного уровня передаются по связям на входы $$R$$ -элементов, или элементов уровня реакций. $$R$$ -элемент - это формальный нейрон, то есть дискретный элемент, имеющий порог срабатывания, входы, на которые поступают сигналы от $$А$$ -элементов, и два состояния - 0 и 1. Порог $$R$$ -элемента обычно равен 0. Если алгебраическая сумма сигналов на входе $$R$$ -элемента больше 0, то элемент находится в состоянии 1, в противном случае элемент находится в состоянии 0. Каждый $$R$$ -элемент имеет имя, соответствующее имени одного из классов распознаваемых объектов. Имена присваиваются $$R$$ -элементам при обучении. На выходе системы как результат ее работы выбирается имя того из возбужденных $$R$$ -элeмeнтoв, y которого максимальна сумма входных возбуждений, поступающих от $$А$$ -элементов..

Связи от $$S$$ -элементов к $$А$$ -элементам и от $$А$$ -элементов к $$R$$ -элементам распределены случайно. Законы распределения варьируются в экспериментах. В простом дискретном перцептроне, ассоциативные элементы которого имеют свои индивидуальные веса, коэффициенты усиления (веса) всех связей могут принимать только два значения: +1 и -1 Соответственно, величины воздействий, передаваемые по связям на нейроны, пропорциональны весам передающих нейронов и могут быть возбуждающими либо тормозящими. В варианте простого дискретного перцептрона, когда нейроны не имеют индивидуальных весов, связи между нейронами могут иметь различные изменяющиеся возбуждающие (положительные) или тормозящие (отрицательные) индивидуальные веса. Вариант перцептрона, имеющего изменяющиеся при обучении проводимости связей, является основным.

Исследовавшиеся варианты перцептрона существенно отличались друг от друга. Эти отличия определяются, во-первых, принятой топологией связей между $$S$$ -элементами и нейронами ассоциативного слоя ( $$А$$ -элементами), во-вторых, топологией связей между $$А$$ -элементами и нейронами результата ( $$R$$ -элементами), а также взаимодействием между нейронами внутри ассоциативного слоя. Это взаимодействие реализуется в перцептроне с перекрестными связями, то есть в перцептроне, имеющем связи между $$А$$ -элементами. Рассматривались также четырехслойные перцептроны, имеющие два слоя ассоциативных элементов.

Кроме того, варианты перцептронов отличались правилами изменения весов проводимостей связей и/или весов нейронов. Обучение классического перцептрона организуется как обучение с учителем и состоит в следующем. На сенсорный слой проектируется изображение объекта, принадлежащего какому-либо классу из обучающей выборки. Если известно имя соответствующего этому классу $$R$$ -элемента и на него приходят возбуждающие воздействия, то поощряются активные связи, идущие от $$S$$ -элементов к $$А$$ -элементам, участвующим в возбуждении этого $$R$$ -элемента, и связи, идущие от этих $$А$$ -элементов к $$R$$ -элементу. Одновременно может происходить "наказание" остальных связей. (В другом варианте перцептрона "поощрялись" и "наказывались" не связи, а $$А$$ -элементы.)

Поощрение состоит в добавлении фиксированной положительной величины к весу связи или к весу нейрона, в зависимости от модификации перцептрона. Если происходит наказание элементов и связей, не участвующих в возбуждении нужного $$R$$ -элемента, то из их весов вычитается постоянная величина. Если $$R$$ -элементы еще не поименованы, то при обучении предварительно имя класса, соответствующее имени распознаваемого объекта, присваивается тому $$R$$ -элементу, который имеет в данном такте наибольшую алгебраическую сумму входных воздействий.

При обучении в классическом перцептроне происходит приблизительно следующее. $$А$$ -элементы разделяются на группы, связанные преимущественно возбуждающими связями со "своим" $$R$$ -элементом и тормозящими - с остальными. $$S$$ -элементы, возбуждающиеся разными изображениями одного класса, связываются возбуждающими связями с одной группой $$А$$ -элементов. Таким образом, происходит как бы объединение на уровне $$А$$ -элементов разных изображений одного класса, в том числе и изображений, имеющих значительные различия или вообще не пересекающихся на сенсорном уровне.

Одновременно на уровне $$А$$ -элементов происходит разделение изображений разных классов, в том числе и изображений, пересекающихся на сенсорном уровне. Описанные объединения и разделения не имеют жесткого однозначного характера. Это определяется начальной случайной топологией связей, продолжительностью обучения и представительностью обучающей выборки. Поэтому при воспроизведении опыта может возникнуть элемент случайности, усиливающийся при подаче на сеть случайных воздействий.

Перцептрон разрабатывался для непосредственного распознавания изображений объектов, поступающих в зрительный анализатор в виде растра. Используемые для такого распознавания эталоны также должны быть изображениями или их препаратами. Формируемые при обучении перцептрона эталоны распознаваемых классов являются подмножествами ассоциативных элементов, соответствующих точкам входных изображений. При этом проекция изображения с сенсорного уровня на уровень $$А$$ -элементов не имеет геометрического смысла, поскольку связи между этими уровнями распределены случайно.

Инвариантность растрового распознавания по отношению к масштабу, сдвигу или повороту изображения может достигаться подгонкой изображения к эталонам при помощи их нормализации путем масштабирования, сдвига или поворота. Этих операций нейронная сеть перцептрона не делает. Вместо этого в перцептроне, так же как в multifont -системах распознавания печатных символов, для каждого класса изображений может создаваться много эталонов - по одному на каждый значительно отличающийся пример изображения из обучающей выборки этого класса. В этом случае отдельным эталоном можно считать группу усиленных связей, идущих от группы $$S$$ -элементов к группе $$А$$ -элементов. При объединении этих эталонов на одном подмножестве $$А$$ -элементов может возникать "проблема разделяющего ИЛИ".

Поясним это на примере. Обучим перцептрон, предъявляя ему одну горизонтальную линию, а затем другую, несколько сдвинутую вниз или вверх . В режиме экзамена при подаче на вход любой из этих линий будет возбуждаться одна и та же группа $$А$$ -элементов и один и тот же $$R$$ -элемент, соответствующий ответу "горизонтальная линия". Затем подадим на вход обе эти линии и обучим перцептрон знаку "=". Теперь для правильной работы нужно, чтобы ответ "горизонтальная линия" возникал при подаче на вход первой горизонтальной линии ИЛИ второй, но не двух одновременно.

В перцептроне с перекрестными связями выделенные при обучении группы $$А$$ -элементов могут образовывать ансамбли нейронов, объединенных взаимовозбуждающими связями. В таких системах возможно распознавание по сходству, когда распознаваемое изображение не совпадает в точности ни с одним из эталонов, но с каким-то из них имеет не очень большие допустимые различия.

Перцептрон Розенблатта проверялся главным образом на изображениях горизонтальных и вертикальных линий. Делались также попытки отличить изображения треугольника и квадрата.

Мы называем перцептроном распознаватель, на входной растр которого проектируются точки, соответствующие распознаваемым объектам. Это необязательно должны быть точки изображения. Это могут быть и описывающие объект независимые двоичные признаки.

Как теоретический анализ, так и анализ результатов экспериментов позволяет сделать вывод, что предложенный Ф. Розенблаттом нейронный анализатор (классификатор) растровых изображений не обладает свойством обобщения по примерам, то есть распознает недостаточно хорошо. По оценкам многих исследователей перцептрон не является и удовлетворительной моделью мозга. С подробным анализом возможностей в первую очередь трехслойных перцептронов можно ознакомиться по работе М. Минского и С. Пайперта [11].

Перцептрон разрабатывался как модель мозга. Модель, являясь каким-то приближением, в то же время не описывает объект в точности. Однако модель как минимум должна давать язык или схему, в рамках которой было бы можно обсуждать моделируемое явление в каких-то по возможности общих и существенных его аспектах. С этой точки зрения с определенной значительной натяжкой перцептрон, так же как и нейронную сеть У. Мак-Каллока и В. Питса, можно считать начальными моделями мозга, однако нужно отметить, что эти модели не обладают ни одним из выделенных нами необходимых свойств. В первую очередь эти автоматы являются пассивными дешифраторами вход-выход, то есть не обладают активностью.

В то же время перцептрон Ф. Розенблатта, так же как и работа У. Мак-Каллока и В. Питтса, дал значительный толчок к развитию многочисленных теорий построения распознающих автоматов, строящихся как сети из формальных нейронов. Современные ансамблевые растровые распознаватели (перцептроны) принципиально отличаются от классического перцептрона только топологией связей между нейронами и принятым способом обучения нейронной сети. Один из наиболее распространенных алгоритмов обучения предложен Хопфилдом [11].

Следующим шагом стали современные формальные нейронные сети, реализующие признаковое распознавание.