Признаковые распознающие нейронные сети

Современные признаковые распознающие нейронные сети (ПРНС), так же как и растровые нейронные распознаватели, можно считать развитием перцептрона Ф. Розенблатта. Часто между ними вообще не делают различия, называя перцептроном любой распознаватель, построенный с использованием формальных нейронов. Будем проводить условную границу между перцептроном и ПРНС, называя перцептроном растровый распознаватель, а ПРНС - признаковый. (С оговоркой, что фиксированное множество независимых двоичных признаков фактически является растром.) Можно считать, что предпринятая Розенблаттом попытка получить обобщения и эффективное распознавание изображений в формальной нейронной сети с растровым входом без предварительных преобразований входной информации не удалась. Это послужило толчком к развитию признаковых нейронных распознавателей, в том числе и распознавателей, работающих с много градационными зависимыми признаками.

Необходимость или по крайней мере целесообразность изменения модели Розенблатта путем перехода от задач распознавания растровых изображений к задачам распознавания по признакам была понятна многим исследователям. При разработке перцептрона первичная цель состояла в том, чтобы понять, как работает мозг в процессе распознавания зрительных образов, спроектированных на входной растр зрительного анализатора. При создании ПРНС на первое место вышла практическая цель - распознавание.

Формальную распознающую нейронную сеть часто рассматривают как черный ящик, имеющий вход, выход и какое-то почти таинственное, строго не определяемое внутреннее функционирование. Попробуем настолько, насколько это возможно, заглянуть внутрь черного ящика.

Распознавание с помощью разделяющих гиперплоскостей

Итак, на вход ПРНС подается не поточечный растр, а в общем случае многоградационные признаки, причем признаки любой модальности, то есть распознаваться, как и в любой признаковой распознающей системе, могут не только изображения, а все что угодно, например, звуки, болезни по их симптомам, геологические объекты и так далее. Поэтому в публикациях часто приводят очень широкие списки областей применения ПРНС. При этом нужно понимать, что широта области применения относится не к распознающим нейронным сетям, а к распознаванию по признакам. Одна область применения отличается от другой не какой-то принципиальной спецификой работы нейронной сети, а в первую очередь алфавитом, особенностями и способом получения используемых для распознавания признаков.

Что касается живого мозга, информация в зрительный анализатор коры головного мозга передается и как растровая проекция, и как признаки. Первичное получение простейших зрительных признаков происходит в рецептивных полях - связанных с сетчаткой глаза специальных нейронных сетях. Кроме того, зрительный анализатор мозга устроен, по-видимому, иерархически с последовательным усложнением анализируемых признаков. Проблема получения признаков, тем более формирования их иерархии, в современных распознающих нейронных сетях обычно не рассматривается.

Формальный нейрон - это пороговый элемент, который имеет число входов, равное числу участвующих в распознавании признаков, и один выход. Признаки на входах могут иметь много градаций. Каждая входная связь имеет свой вес. Веса связей могут быть как положительными, так и отрицательными. Классический формальный нейрон считает взвешенную алгебраическую сумму значений входных признаков и сравнивает ее с фиксированным порогом. Если эта сумма меньше порога, то выход нейрона равен -1, если больше порога, то +1. Это иллюстрирует сплошная линия на рис. 12.1.

Условие срабатывания нейрона:

где $$Х_i$$ - значение признака,

$$К_i$$ - весовой коэффициент,

$$С$$ - порог срабатывания. Величины признаков и коэффициентов могут иметь как положительные, так и отрицательные значения. Уравнение срабатывания нейрона с заменой знака > на знак = определяет гиперплоскость в пространстве признаков (при двух признаках - прямую линию).

Каждому распознаваемому объекту соответствует вектор в пространстве признаков. В соответствии с уравнением срабатывания нейрон строит гиперплоскость в пространстве признаков и определяет, по какую сторону от этой плоскости лежит точка, соответствующая вектору признаков распознаваемого объекта. Как проходит гиперплоскость, зависит от коэффициентов $$К_i$$ и порога $$С$$.

Часто, рассматривая условие срабатывания нейрона, забывают о том, что формальный нейрон просто строит разделяющую гиперплоскость в пространстве признаков, и говорят о весе $$i$$ -ro признака, о вкладе признака в сумму $$К_i Х_i$$, о различной значимости признаков в зависимости от их веса и тому подобное. По-видимому, может вводить в заблуждение термин "вес признака". В действительности $$К_i$$ - это не вес, а просто коэффициент в уравнении разделяющей гиперплоскости, определяющий ее положение в пространстве признаков.

Для распознавания объектов, относящихся к двум классам, может оказаться достаточным один нейрон. Это возможно в случае, когда в пространстве признаков существует такая гиперплоскость, что все точки, соответствующие векторам признаков объектов первого класса, лежат по одну сторону от этой гиперплоскости, а все точки, отображающие объекты второго класса, - по другую. Этот случай иллюстрирует рис. 12.2-а.

Качественно определить подобный случай можно следующим образом: точки, отображающие объекты каждого класса в пространстве признаков, расположены компактно, поверхности, огибающие множество точек каждого класса, допускают выпуклые не пересекающиеся аппроксимации.

Задача построения разделяющей гиперплоскости состоит в определении коэффициентов $$К_i$$ и порога $$С$$. Решается эта задача при обучении с использованием большого числа примеров - обучающих выборок. Поскольку при обучении могут использоваться только конечные обучающие выборки, даже в простом случае, подобном приведенному выше,

решается не задача абсолютного разделения, а лишь задача максимизации вероятности правильного отнесения неизвестного распознаваемого объекта к одному из классов, или, что то же самое, задача минимизации вероятности ошибки. Эта задача решается не строго и тем лучше, чем представительней обучающая выборка и чем выше ее статистическая достоверность.

Проведение разделяющей гиперплоскости, то есть нахождение необходимых для наилучшего разделения классов параметров $$К$$ и $$С$$ нейрона, усложняется, если поверхности, огибающие множество точек каждого класса, пересекаются. Такой случай показан на рис. 12.2-b.

Как видно из иллюстрируемого рисунком примера, провести разделяющую плоскость так, чтобы точки, представляющие в обучающей выборке объекты первого класса, лежали по одну сторону от плоскости, а второго класса - по другую, в этом случае невозможно.

Тем не менее задача решается эвристически с использованием по-прежнему только одного нейрона. При этом при нахождении величин $$К$$ и $$С$$ можно строить целевую функцию, вычисляемую на всех точках обучающей выборки и зависящую, например, от числа ошибок на обучающей выборке либо от каких-то функций расстояний от точек обучающей выборки до разделяющей плоскости.

Еще усложним задачу. Рис. 12.2-е иллюстрирует случай, когда поверхности, огибающие множество точек обучающей выборки каждого из двух распознаваемых классов, не выпуклы и расположены так, что проведение разделяющей плоскости невозможно. Однако в этом случае существует разделяющая поверхность, которую можно попытаться аппроксимировать плоскостями. Для аппроксимации нелинейной разделяющей поверхности с использованием нейронов нужно несколько нейронов, по числу аппроксимирующих плоскостей.

Предположим, что для обучающей выборки, состоящей по-прежнему из объектов только двух классов и "невыпуклого" случая, иллюстрируемого рис. 12.2-е, удалось при обучении получить значения $$К_i$$ и $$С_i$$ для всех аппроксимирующих гиперплоскостей (нейронов). Назовем эти нейроны нейронами первого уровня. Теперь для получения результата распознавания необходим еще один - второй уровень, объединяющий результаты первого уровня. В случае распознавания объектов двух классов этот уровень должен состоять из одного нейрона, выход которого (+1 или - 1) указывает, к какому из двух классов относится распознаваемый объект. Нейрон второго выходного уровня строит разделяющую плоскость в пространстве значений выходов нейронов первого уровня.

На втором нейронном уровне могут возникнуть проблемы, связанные с необходимостью реализации в некоторых случаях "исключающего ИЛИ". Снять эту проблему можно обычным программным путем либо путем предшествующей обучению кластеризации обучающего множества. При этом число распознаваемых на первом нейронном уровне классов увеличивается на число дополнительно вводимых кластеров.

Классический формальный нейрон, реализуя приведенное уравнение срабатывания, строит разделяющую плоскость в $$n$$ -мерном пространстве признаков (при $$n = 2$$ - прямую линию). Уйти от необходимости аппроксимировать плоскостями нелинейную разделяющую поверхность и вводить дополнительный результирующий или собирающий нейронный слой можно, изменив уравнение нейрона. Например, нейрон может строить не уравнение гиперплоскости, а уравнение $$n$$ -мерного эллипсоида (на плоскости - эллипса), то есть считать взвешенную сумму квадратов значений признаков. На формальном нейроне, имеющем $$n$$ входов, меняя уравнение срабатывания можно строить любую разделяющую поверхность, определяемую любой вычислимой функцией $$n$$ переменных. Правда, в этом случае может значительно усложниться задача обучения, т. е. построения уравнений разделяющих поверхностей, и усилиться сомнение в правомочности использования слова "нейрон".

До сих пор мы рассматривали задачу распознавания объектов, относящихся к двум классам. Задача распознавания в случае, когда число классов больше двух, например, $$m$$ сводится к $$m$$ задачам с двумя классами. В каждой из этих $$m$$ задач должна рассматриваться задача распознавания с двумя классами, когда первый класс - это один из $$m$$ классов основной решаемой задачи распознавания, а второй класс - это объединение всех остальных $$m-1$$ классов.

В рамках приведенной выше логики с использованием в явном виде разделяющих гиперплоскостей в пространстве признаков можно строить распознающие системы, не апеллируя к нейронам и нейронным сетям. Особенно просто и естественно это делать при распознавании двух классов объектов. Именно так организован и работает дифференциальный уровень системы распознавания символов печатного текста - FineReader, а также дифференциальные уровни систем распознавания рукописных текстов FineReader -рукопись и FormReader. На этих уровнях распознавателей текстов при обучении отыскиваются аналитические зависимости, задающие разделяющие гиперплоскости в пространстве признаков. Это же можно реализовать и на формальных нейронах. При этом в распознавании ровным счетом ничего не изменится.

Отметим, что, работая с разделяющими гиперплоскостями, или, что то же самое, с формальными нейронами, нужно иметь в виду, что мерность пространства признаков должна быть фиксирована и не меняться как при обучении, так и при распознавании разных объектов. Например, нельзя, построив при обучении разделяющую плоскость в трехмерном пространстве признаков, уменьшить мерность пространства признаков и пытаться распознавать, используя не плоскость, а разделяющую прямую линию. В связи с этим может возникать определенная проблема, поскольку отдельные признаки могут быть разрушены и не вычислимы на конкретных объектах распознавания. При обучении такие случаи должны идентифицироваться, а такие объекты можно попросту пропускать. При распознавании такие объекты тоже, конечно, можно пропускать, то есть не распознавать этим методом. Но можно и пытаться их распознавать, выполняя с целью сохранения мерности разделяющей гиперплоскости определенные специальные действия для замещения отсутствующих признаков некоторыми фиктивными "безвредными" значениями.

На рис. 12.1 сплошной линией показана выходная характеристика классического формального нейрона. В современных ПРНС обычно используются нейроны, у которых пороговый скачок от -1 к +1 заменяется плавным дифференцируемым, чаще всего сигмаобразным переходом, показанным на рис. 12.1 пунктиром.

Такой нейрон по-прежнему строит разделяющую гиперплоскость. Во всех точках пространства признаков, лежащих по одну сторону от разделяющей плоскости, выход нейрона равен положительной величине, по другую сторону - отрицательной.

Введение в формальном нейроне вместо порогового скачка плавного дифференцируемого перехода ничего принципиально в распознавании не меняет, а лишь позволяет использовать различные градиентные алгоритмы обучения сети, то есть алгоритмы нахождения коэффициентов в уравнениях разделяющих гиперплоскостей. Кроме того, плавная выходная характеристика нейрона дает возможность получать оценку уверенности распознающей системы в результате распознавания. Эта оценка используется в некоторых системах распознавания при формировании результата. В то же время нужно понимать, что эта оценка, строго говоря, не является ни вероятностью правильного распознавания, ни расстоянием до разделяющей гиперплоскости. Правда, ни из чего не следует, что евклидово расстояние до разделяющей гиперплоскости в пространстве признаков всегда является наилучшим или просто хорошим критерием для получения количественной оценки "уверенности" системы в правильности результата распознавания. Не исключено, что в каких-то конкретных случаях строить разделяющие поверхности в пространстве признаков и определять в этом пространстве расстояния лучше в какой-нибудь другой метрике.

Существующие многочисленные варианты признаковых распознающих нейронных сетей в подавляющем большинстве случаев принципиально отличаются друг от друга только используемыми градиентными алгоритмами обучения, то есть алгоритмами нахождения коэффициентов (весов входов нейронов) и свободных членов в уравнениях разделяющих гиперплоскостей.

Формальная нейронная сеть как модель механизмов мозга

Таким образом, признаковая распознающая нейронная сеть - это пассивный признаковый распознаватель, обладающий всеми отмеченными нами недостатками признаковых распознавателей. Напомним, что эти недостатки в первую очередь определяются последовательной организацией процесса распознавания, отсутствием целостности восприятия, целенаправленности и активности. Еще одним важнейшим недостатком признаковых распознавателей, и в частности ПРНС, является то, что эти системы работают только в фиксированном пространстве признаков, одинаковых для всех объектов распознавания.

В то же время признаковая распознающая нейронная сеть не является серьезной нейронной моделью мозга. Не является она и удовлетворительной моделью специфических нейронных механизмов зрительного анализатора мозга. В этом плане признаковая распознающая нейронная сеть ничем не отличается от логической нейронной сети Мак-Каллока и Питтса и перцептрона Розенблатта. Все эти нейронные модели работают по схеме стимул-реакция. При этой схеме невозможна организация целенаправленного (двунаправленного) процесса восприятия, идущего одновременно "снизу вверх", т. е. от изображения к пониманию, и "сверху вниз", т. е. от понимания к изображению. Эти модели не имеют и других приведенных нами функций и свойств, которые необходимы для построения модели среды, эффективной в отношении задач восприятия и управления поведением.

Иногда говорят о принципиальной возможности построения в признаковой нейронной модели описаний целостных объектов с использованием разделяющих поверхностей в пространстве каких-то признаков или характеристик. Эта концепция представляется малопродуктивной и нефизиологичной по трем причинам.

Первая причина состоит в том, что описания целостных объектов в модели среды должны быть независимы и описывать объекты как таковые, а не строиться на функции разделения. Независимость описаний позволяет отличать объект от любых других, как известных (описанных в модели), так и неизвестных.

Вторая причина состоит в том, что разделяющие поверхности можно строить только в фиксированном пространстве характеристик, одинаковых для всех объектов восприятия. При этом все характеристики (признаки) должны использоваться при построении описаний (разделяющих поверхностей) всех объектов. Понятно, что это абсолютно нефизиологично и принципиально отличается от рассмотренного нами способа представления в модели объектов восприятия на основе индивидуальных целостных независимых описаний.

И наконец, главная причина состоит в том, что описания объектов с использованием строящихся в сетях из формальных нейронов разделяющих гиперплоскостей не подходят для реализации целенаправленного процесса "распознавания с пониманием".

Остановимся на вопросе о физиологичности и некоторых других функций, решаемых сетью из формальных нейронов. Как уже отмечалось, в основе работы ПРНС лежат две функции. Первая - построение на нейронах разделяющих гиперплоскостей в фиксированном пространстве признаков. Вторая - построение иерархии распознавателей, где распознаватель более высокого уровня строит разделяющие плоскости в пространстве некоторых характеристик, являющихся производными от результатов работы распознавателя более низкого уровня. Реализуются ли подобные свойства в мозге?

Предположение о том, что реальные нейроны строят разделяющие гиперплоскости в фиксированном, одинаковом для всех распознаваемых объектов пространстве каких-то признаков или характеристик, представляется весьма сомнительным или как минимум требующим подробного рассмотрения и определения места этой если и существующей, то, безусловно, частной функции в общей картине работы мозга. Весьма сомнительной является возможность формирования величин синаптиче-ских проводимостей отдельных нейронов (коэффициентов в уравнениях разделяющих гиперплоскостей) путем решения на сети общей (градиентной?) задачи, типа задачи поиска этих коэффициентов методом обратного распространения ошибки. Более чем сомнительной является привязка каких-либо логических функций к отдельному нейрону, в чем убеждают результаты большого количества нейрофизиологических работ, посвященных поиску энграмм памяти.

О необходимости иерархической организации строящейся в мозге модели среды мы говорили неоднократно. Однако в ПРНС возникает очень специфическая иерархия, определяемая первым свойством, то есть тем, что нейроны строят разделяющие гиперплоскости в пространстве признаков или каких-то характеристик, и необходимостью объединения этих результатов. Эта иерархия не является иерархией типа часть-целое. Не является она, скорее всего, и иерархией типа частное-общее. Переход от частного к общему реализуется в ПРНС еще в первом слое при построении разделяющих гиперплоскостей. В многослойных ПРНС на верхнем уровне к этому, по-видимому, добавляется только объединение результатов нижнего уровня за счет реализации простых функций, близких по смыслу логическим функциям И и ИЛИ. Отличие иерархии, реализуемой в ПРНС, от иерархии в строящейся в мозге модели проблемной среды состоит еще и в том, что при распознавании процессы в ПРНС разворачиваются только в одну сторону - снизу вверх. В формальных распознающих нейронных сетях не просматривается возможность создания иерархической модели среды, которая включала бы действия и процессы, определяющие переходы между ситуациями. Последнее представляется принципиально необходимым функциональным свойством моделей мышления.

В добавление к отмеченной функциональной нефизиологичности уточним, в чем состоит нефизиологичность и некоторых конкретных свойств приведенных выше формальных нейронных моделей. В этих моделях носителями информации являются отдельные нейроны. На отдельных нейронах реализуются логические функции в сети Мак-Каллока и Питтса, отдельные нейроны формируют выход в перцептроне и строят разделяющие плоскости в признаковых распознающих нейронных сетях. Разрушение одного-единственного нейрона в этих системах должно приводить к полному нарушению их работы. В живом мозге ничего подобного не происходит.

Уже отмечалось, что разработка формальных моделей нейронных сетей подтолкнула физиологов к проведению многих направленных экспериментов и в частности многочисленных экспериментов по поиску так называемых энграмм памяти. В этих работах ставилась задача соотнесения конкретной запоминаемой информации или функции с конкретным нейроном или местом в коре головного мозга. Эксперименты проводились на больных с частичными повреждениями мозга и на животных с экспериментальным разрушением отдельных нейронов или компактных областей коры головного мозга. Найти энграммы памяти не удалось. Локальные разрушения приводят не к забыванию конкретного объекта или к нарушению конкретной функции, а, например, к ухудшению качества распознавания многих объектов или к снижению качества выполнения разных функций.

Вывод, делающийся во многих работах, состоит в том, что единицей переработки и хранения информации в мозге является не отдельный нейрон, а ансамбль нейронов, объединенных взаимно возбуждающими связями. При этом нейроны одного ансамбля распределены не локально, а в некоторой области пространства коры головного мозга. К аналогичным выводам приходят и при построении некоторых растровых нейронных моделей.

Приведем и другие отличия. В формальных признаковых распознающих нейронных сетях нейрон подсчитывает взвешенную сумму входов и сравнивает ее с порогом. Это значит, что при решении задачи признакового распознавания на каждый вход нейрона поступает значение соответствующего этому входу признака, которое умножается на некоторый определенный при обучении постоянный коэффициент. Значение признака зависит от того, что поступило на вход распознающей системы, и может быть различным. В реальном нейроне в качестве коэффициента связи (входа) может рассматриваться величина синаптической проводимости. Второй сомножитель для конкретной связи является постоянным по амплитуде и как значение признака интерпретироваться не может. Сигналы, приходящие на нейрон по конкретной связи, могут иметь разную частоту. Это, конечно, может использоваться для построения логики какой-то распознающей нейронной схемы, но это будет уже совсем другая логика и совсем другие нейроны, т. е. не формальные нейроны, подсчитывающие взвешенную сумму значений признаков (входов), а что-то иное.

В формальных распознающих нейронных сетях, так же как в пер-цептроне и логических сетях Мак-Каллока и Питтса, время разбивается на такты, задержки при передаче сигналов по связям отсутствуют. Отсутствует временная суммация возбуждающих и тормозящих воздействий. Живой нейрон - это дискретный пороговый элемент, работающий по принципу "все или ничего". Ввдение в формальном нейроне плавной, например, сигмаобразной выходной характеристики делает элемент непрерывным. Понятия "порог возбуждения"("срабатывания"), "разряд", "выходной импульс", "серия импульсов" для такого формального нейрона теряют смысл.

Порог возбуждения (срабатывания) живого нейрона не является постоянным, а изменяется во времени в зависимости от предыстории срабатываний. Сразу после разряда нейрона возникают динамические составляющие порога - рефрактерность и экзальтация. Благодаря этому результатом возбуждения нейрона может быть как одиночный импульс, так и серия импульсов. Есть данные о том, что в зависимости от предыстории срабатываний изменяется и статическая составляющая порога возбуждения нейрона.

И наконец, необходимо еще раз отметить главное отличие описанных выше формальных нейронных моделей от живого мозга, отличие, состоящее в отсутствии синергичности и активности. Об этих свойствах живого мозга мы будем подробно говорить в дальнейшем.

Нейрокомпьютер

До сих пор мы говорили о перцептронах и признаковых распознающих нейронных сетях. К этому часто добавляется понятие "нейрокомпьютер". Термин "нейрокомпьютер" не очень удачен. Системы, к которым он обычно применяется, вычислительными машинами не являются.

Нейрокомпьютеры в каком-то приближении можно разделить на четыре группы. Первая группа - это просто уже упоминавшиеся формальные признаковые распознающие нейронные сети.

Вторая группа - это (по нашей классификации) перцептроны: растровые или ансамблевые системы. Возможности этих систем как в части распознавания образов, так и в части решения каких-то других задач пока еще весьма ограничены.

Третья группа - системы, построенные на формальных нейронах, но решающие специальные задачи. Это могут быть задачи, близкие по своему смыслу задаче распознавания, например, кластеризация. Это могут быть и совсем другие задачи. Общим в системах этой группы является то, что в них используются формальные нейроны, строящие чаще всего разделяющие гиперплоскости в многомерном пространстве каких-либо векторов, характеристик или признаков. С помощью гиперплоскостей и их объединения в конкретных задачах специальным образом организуется отделение или выделение каких-то входных или промежуточных векторов. На основе этого выделения и формируется результат. Специфика в этих системах и их особенности определяются как самой задачей, т. е. тем, что нужно выделить, так и способом выделения нужных объектов. В общем случае специфическими решаемыми проблемами в этих системах являются задача автоматического нахождения коэффициентов в уравнениях разделяющих гиперплоскостей и задача формирования общего результата на основе использования результатов работы нескольких (многих) нейронов. Последнее, так же как и при распознавании, решается введением дополнительных нейронных слоев и специфической организацией связей между нейронами.

Четвертая группа - специальные частные системы, строящиеся на особых элементах. Перечислять и пытаться обобщать эти изобретения не представляется необходимым, поскольку это могло бы увести нас слишком далеко в сторону от основной рассматриваемой темы. Отметим лишь, что чаще всего в основе специальных нейрокомпютеров лежит какой-то особый способ распознавания образов. Безусловно, интересный, оригинальный, тем более физиологичный способ распознавания может быть шагом в направлении понимания работы как отдельных механизмов мозга, так и мышления в целом. Но только первым или одним из первых шагов. К сожалению, часто такой шаг объявляется последним или одним из последних.

Оценивая современные нейрокомпьютеры как модели механизмов мозга, можно повторить все то же самое, что уже было сказано при оценке формальных распознающих нейронных сетей. Таким образом, в отличие от распространенного мнения, создание как признаковых, так и идущих от перцептрона растровых (ансамблевых) распознавателей и строящихся на их основе устройств или программ, называемых нейрокомпьютерами, не является пока еще заметным шагом в моделировании нейронных механизмов мозга.