Основы нейросетевых технологий

2.4. Кора

"Крошка сын к отцу пришел,

и спросила кроха:

- Что такое хорошо

и что такое плохо?"

В. Маяковский

Мы видим, что столь примитивная оптимизация целевой функции, принимающей только два значения - "хорошо" и "плохо", может быть использована лишь на начальной стадии изучения и применения принципов нейросети. Можно построить занимательную игрушку (как весь наш мир!), веселый аттракцион

Очевидно, что мы не можем оставаться на том примитивном уровне, когда по предъявляемому изображению мы получаем заключение типа "это буква х ", "это - хорошо (вкусно)", "это - плохо" и т.д. В научном приложении на таких принципах можно построить модель собачки Павлова, демонстрирующую условный рефлекс при предъявлении этикетки "Pedigrее".

Но более серьезные применения должны использовать более сложные критерии логической выводимости. Ведь хронология Божественных событий Сотворения Мира закончилась созданием Человека!.. И тут начались проблемы Эти проблемы обусловлены вопросом, запретным плодом райского сада: "Ну, и что же из этого следует?"

Цепочки логических выводов, производимые человеком, содержат не одно, а много звеньев. Сделанные выводы вновь входят в конфигурацию изображений (входных векторов) для новых выводов, действий и т.д.

Буква нужна, чтобы распознать слово. Слово - чтобы распознать предложение, уяснить его смысл, предпринять адекватные действия и т.д. (вспомним исходную посылку Иоанна Евангелиста: "В начале было Слово").

Тогда возникает вопрос о целесообразной структуре сети, где одни выводы, собираясь в различные конфигурации, как бы множась, вновь участвуют в формировании новых выводов. Здесь можно предположить как прямые, так и обратные связи, когда попутно сделанные выводы уточняют правильность всего умозаключения.

Технически возникает вопрос о такой концентрации выводов, когда совмещены понятия входного и выходного слоев. Это наводит на мысль о целесообразности существования такого универсального слоя - коры со связями между отдельными нейронами и целыми областями. На коре концентрируются выводы для немедленного участия в формировании других выводов.

По-видимому, таков ход мыслей Господа Бога, создавшего кору головного мозга не подумав о греховных последствиях. Так чисто технически можно доказать ее целесообразность.

2.5. Устойчивость, помехозащищенность и локализация максимального возбуждения

" Цинциннат брал себя в руки и, прижав к груди, относил в безопасное место".

В. Набоков. "Приглашение на казнь"

На рассмотренном маленьком примере, где мы предположили жесткое закрепление нейронов выходного слоя между образами, принцип ассоциации "на что более всего это похоже" пока не виден. Как же он появляется?

Уместны ассоциации, предположения о том, как это реализовано в природе.

Представим себе отдельно выходной слой (рис. 2.17).

Рис. 2.17. Области возбуждения

Рассматривая прохождение возбуждения, например, при подаче того же изображения буквы А, в модели нейросети, ближе к реальному мы можем предположить, что не один нейрон, строго соответствующий этой букве, придет в возбужденное состояние, как это предполагается в логической модели, в его окрестности возбудятся и другие нейроны. Эта величина возбуждения будет угасать с ростом удаления. Нам же будет нужно, чтобы максимальной величиной возбуждения в этой окрестности обладал именно отмеченный нейрон. Более того, желательно, чтобы этот и только этот нейрон обладал высокой, существенно различимой величиной возбуждения. Это обеспечит определенность и однозначность при дальнейшем использовании полученного вывода для принятия решения и для построения других логических цепочек, использующих это решение. Такая локализация сигнала возбуждения позволяет ответить на вопрос: "на что более всего похож предъявляемый образ, несмотря на случайные отличия и оказываемые помехи?"

Кстати, такое предположение указывает на другое, фактически реализуемое предположение о непрерывности перерастания свойства похожести одних образов в другие. Следование этому принципу при принудительном закреплении нейронов выходного слоя способствует построению адекватных моделей. А точнее, подавая первый раз букву А, не следует указывать системе, какой нейрон выходного слоя должен возбудиться. Лучше подать достаточно "правильный" эталон и посмотреть, какой нейрон возбудится. Этот нейрон и будет впредь соответствовать нашей букве. Возбуждения именно этого нейрона мы будем добиваться при предъявлении других эталонов.

(Хотя, мы же далее предполагаем, на основе уже рассмотренных примеров, что первоначально сеть "пуста", т.е. все веса - нулевые. Путь же возбуждения прокладывается, "трассируется".)

Способы максимизации и локализации уровня возбуждения основаны на нахождении экстремума функции возбуждения, построенной на области выходного слоя. Здесь нельзя обойтись без обмена тормозящими воздействиями между нейронами выходного слоя. Простейшая идея состоит в следующем. Все нейроны области выходного слоя имеют между собой синапсические связи, так что каждый нейрон связан с ближайшими нейронами тормозящими связями, по модулю пропорциональными величине собственного возбуждения. Тогда в итоге взаимодействия двух нейронов (один из алгоритмов такого взаимодействия нейронов выходного слоя будет рассмотрен) более "сильный" нейрон сохранит положительный (хотя и меньший) потенциал, сообщив более "слабому" нейрону тормозящее воздействие. Такое пошаговое "голосование" на фоне приходящего подтверждения от эталона и выделит сильнейшего.

Итак, мы видим, что обучение сети неразрывно связано с локализацией возбуждения на выходном слое.

Анализируя все сказанное выше, мы можем попытаться собрать некоторую универсальную модель нейросети. В ней будут присутствовать входной и выходной слои. Картина возбуждений выходного слоя при подаче изображения на входной слой будет представлять собой (после аппроксимации в непрерывную область определения из дискретной) непрерывную функцию, максимум которой должен определить нам необходимое заключение. Однако на этапе обучения (да и в рабочем режиме - с удовлетворяющей нас достаточно малой вероятностью) по ряду предъявляемых эталонов этот максимум не совпадает с желаемым ответом. Следовательно, путь распространения возбуждений внутри сети необходимо скорректировать изменением синапсических весов нейронов, оказавшихся задействованными в этом процессе.

Было сказано, что предварительная локализация максимума величины сигнала производится в результате взаимодействия нейронов в области или некоторой окрестности выходного слоя или коры. Получается так, что области возбуждений оказываются "закрепленными" за типами объектов - за буквами, цифрами, продуктами питания и т.д. В развитой сети, где становится актуальным понятие коры, нейроны отдельных ее областей через нейроны внутренних слоев вновь порождают пути прохождения возбуждений в другие области коры и т.д.

Пытаясь разгадать и воспроизвести универсальную нейросеть, мы вновь и вновь пытаемся "заглянуть в зеркало". Мы видим, что хотя отдельный нейрон обладает возможностями взаимодействия с огромным числом нейронов ( нейрон имеет до 10 тысяч дендритов ), это взаимодействие характеризуется локальностью. А именно, несмотря на случайность связей, вероятность связи с "близким" нейроном значительно выше вероятности связи с нейроном "далеким". Об этом говорят даже исследованные длины дендритов и аксонов. (Длина дендрита достигает одного миллиметра; однако длина аксона достигает сотен миллиметров. При этом применяется, по-видимому, усредненная характеристика, вряд ли принимающая во внимание нейроны только лишь головного мозга.)

Такой принцип локальности, пронизывающий всю структуру сети, в сочетании с принципом иерархии - возможностью построения новых выводов на основе сделанных - позволяет на деле реализовать связи "каждый с каждым". Никакой вывод не может оставаться недоступным и неиспользованным при построении сложных умозаключений.

Принцип локальности обеспечивает минимизацию входной информации, существенное влияние лишь значимых признаков на заключение, контролируемое и диагностируемое по функциональное разбиение областей нейросети, определение и выделение той области нейросети, в синапсические веса которой необходимо внести поправки в процессе обучения (например, организовать прилив крови).

Принцип локальности не отвергает существования маловероятных связей "каждый с каждым". Эта вероятность может быть высокой вследствие аномалий генетического характера. Например, человек, которого мы относим к уникумам, может видеть кожей вследствие того, что нейроны, воспринимающие кожные ощущения, сильно связаны с нейронами выходного слоя, "отвечающими" за зрение. И вместо того чтобы возбуждение в сторону последних при слабых связях угасло, оно становится результативным. Ведь в целом все нейроны устроены одинаково!

Большое число связей способствует высокой надежности мозга. Ведь ежедневная гибель огромного числа нейронов, подхлестанная алкоголем и наркотиками, а также травмы, компенсируются другими путями прохождения возбуждений, иногда даже связанными с необходимостью переобучения. Впрочем, ограниченный ресурс возможного не спасает, в конце концов, от деградации.