Модель нейронной сети

Устойчивость, помехозащищенность и локализация максимального возбуждения нейронов выходного слоя

Как же реализуется принцип ассоциаций? Уместны предположения о том, как это реализовано в природе.

Представим себе отдельно выходной слой (рис.1.12).

Рис. 1.12. Области возбуждения выходного слоя

Рассматривая прохождение возбуждения, например, при подаче изображения буквы А, в модели нейросети, можно предположить, что не один нейрон, строго соответствующий этой букве, придет в возбужденное состояние, как это предполагается в логической модели. В его окрестности возбудятся и другие нейроны. Эта величина возбуждения будет угасать с ростом удаления. Нам же нужно, чтобы максимальной величиной возбуждения в этой окрестности обладал именно отмеченный нейрон. Более того, желательно, чтобы этот и только этот нейрон обладал высокой, существенно различимой, величиной возбуждения. Это обеспечит определенность и однозначность при дальнейшем использовании полученного вывода для принятия решения и для построения других логических цепочек, использующих это решение. Такая локализация сигнала возбуждения позволяет ответить на вопрос: "на что более всего похож предъявляемый образ, несмотря на случайные отличия и оказываемые помехи?"

Способы максимизации и локализации уровня возбуждения основаны на нахождении экстремума функции возбуждения, построенной на области выходного слоя. Здесь нельзя обойтись без обмена тормозящими воздействиями между нейронами выходного слоя. Простейшая идея состоит в следующем. Все нейроны области выходного слоя имеют между собой синапсические связи такие, что каждый нейрон связан с ближайшими нейронами тормозящими связями, по модулю пропорциональными величине собственного возбуждения или алгебраической разности возбуждений. Тогда в итоге взаимодействия двух нейронов более "сильный" нейрон увеличит свой потенциал, сообщив более "слабому" нейрону тормозящее воздействие. Такое пошаговое "состязание" на фоне приходящего подтверждения от эталона и выделит сильнейшего. Более того, "слабый" нейрон может "слабеть" до тех пор, пока взвешенная сумма подаваемых ему сигналов не станет меньше его порога (рис.1.13).

Получается так, что области возбуждений оказываются "закрепленными" за типами объектов (рис.1.12)— за буквами, цифрами, продуктами питания и т.д. В развитой сети (как и в самом головном мозге), нейроны отдельных ее областей через нейроны внутренних слоев вновь порождают пути прохождения возбуждений в другие области нейросети и т.д.

Такой принцип локальности, пронизывающий всю структуру сети, в сочетании с принципом иерархии — возможностью построения новых выводов на основе сделанных, позволяет на деле реализовать связи каждый с каждым. Никакой вывод не может оставаться недоступным и неиспользованным при построении сложных умозаключений.

Принцип локальности не отвергает существования маловероятных связей каждого с каждым. Эта вероятность может быть высокой вследствие аномалий генетического характера. Например, человек, которого мы относим к уникумам, может видеть кожей вследствие того, что нейроны, воспринимающие кожные ощущения, сильно связаны с нейронами выходного слоя, "отвечающими" за зрение. И вместо того, чтобы возбуждение в сторону последних при слабых связях угасло, оно становится результативным. Ведь в целом все нейроны устроены одинаково!

Большое число связей способствует высокой надежности мозга. Ведь ежедневная гибель огромного числа нейронов, подхлестанная алкоголем и наркотиками, а также травмы, компенсируются другими путями прохождения возбуждений, иногда даже связанными с необходимостью переобучения. Впрочем, ограниченный ресурс возможного не спасает, в конце концов, от деградации.

увеличить изображение
Рис. 1.13. Локализация возбуждения

Однако следует отметить, что локализация и максимизация возбуждения на выходном слое особенно важны тогда, когда действительно необходима высокая степень определенности. Это важно в том случае, если получаемый вывод (решение) немедленно участвует в цепочке последующих, использующих его, выводов. В конце концов, все обусловлено назначением сети, решаемой задачей. Можно представить себе возможный аттракцион — реакцию фантастического чудовища на изображение, как это представлено на рисунках 1.4 и 1.5. Там по виду изображения на экране инициируются те или иные программы действий: радости, гнева, поднятия лап, виляния хвостом и т.д. Возбуждение определенных нейронов выходного слоя связывается с запуском соответствующих программ. Величина возбуждения может являться основным параметром для этих программ. Программы не исключают друг друга, и в одном такте могут запускаться несколько программ.

Можно представить радостную модель гурмана-дегустатора (рис.1.14), по аромату блюда определяющего состав использованных ингредиентов и приходящего в восторг или в уныние от представленного букета.

В большинстве частных задач, где нейросеть обучается с помощью "учителя", т.е. на основе действий извне при ее настройке, присутствует элемент принудительного закрепления нейронов выходного слоя за выводами. В процессе последующего обучения преимущественно с помощью весов синапсических связей добиваются адекватной реакции сети.

Рис. 1.14. Нейродегустатор

Кора

Очевидно, мы не можем оставаться на том примитивном уровне, когда по предъявляемому изображению мы получаем заключение типа "это буква х", "это — хорошо (вкусно)", "это — плохо" и т.д. В научном приложении на таких принципах можно построить модель собачки Павлова, демонстрирующую условный рефлекс при предъявлении этикетки "Pedigrее".

Но более серьезные применения должны использовать более сложные критерии логической выводимости. Ведь хронология Божественных событий Сотворения Мира закончилась созданием Человека!.. И тут начались проблемы… Эти проблемы обусловлены вопросом, запретным плодом райского сада: "Ну, и что же из этого следует?"

Цепочки логических выводов, производимые человеком, содержат не одно, а много звеньев. Сделанные выводы вновь входят в конфигурацию изображений (входных векторов) для новых выводов, действий и т.д.

Буква нужна, чтобы распознать слово. Слово, — чтобы распознать предложение, уяснить его смысл, предпринять адекватные действия и т.д. (Вспомним исходную посылку Иоанна Евангелиста: "В начале было Слово").

Тогда возникает вопрос о целесообразной структуре сети, где одни выводы, собираясь в различные конфигурации, как бы множась, вновь участвуют в формировании новых выводов. Здесь можно предположить как прямые, так и обратные связи, когда попутно сделанные выводы уточняют правильность всего умозаключения.

Технически возникает вопрос о такой концентрации выводов, когда совмещены понятия входного и выходного слоя. Это наводит на мысль о целесообразности существования такого универсального слоя — коры со связями между отдельными нейронами и целыми областями. На коре концентрируются выводы для немедленного участия в формировании других выводов. По-видимому, таков ход мыслей Всевышнего, создавшего кору головного мозга, не подумав о греховных последствиях. Так чисто технически можно доказать ее целесообразность.

Ключевые термины

Нейрон (нейроподобный элемент) – электронное, биохимическое или программное средство выполнения функции активации.

Функция активации – монотонно возрастающая по каждому переменному пороговая функция возбуждения нейрона. Переменные – величины возбуждения нейронов, связанных с данным и раздельно подаваемые на его входы. При простейшем техническом (не биологическом) исполнении эти значения умножаются на веса входов (синапсических связей), складываются и, возможно, умножаются на нормирующий коэффициент, образуя величину возбуждения нейрона в случае преодоления порога.

Вес синапсической связи – вес входа нейрона.

Нейронная сеть – причудливо связанная сеть нейронов посредством многих входов (дендритов – в биологии) каждого нейрона и его единственного ветвящегося выхода (в биологии - аксона), по которому возбуждение может передаваться другим нейронам. Обладает входным (рецепторным) и выходными слоями нейронов.

Входной (рецепторный) слой – множество нейронов нейронной сети , получающих возбуждение вне сети.

Выходной слой – множество нейронов нейронной сети , возбуждение которых указывает на решение задачи или логический вывод, чаще всего окончательно определяемые по максимально возбужденному нейрону.

Логическая нейронная сеть – нейронная сеть , на рецепторы которой подается сигнальная информация, интерпретируемая как достоверность принадлежности соответствующих данных. Формируется на основе логического описания систем распознавания, управления и принятия решений. Адекватно отображает механизмы мозга.

Режим обучения – формирование причинно-следственных связей между рецепторами и нейронами выходного слоя нейронной сети посредством выбора весов синапсических связей для направленного распространения возбуждения.

Режим распознавания (рабочий режим) – имитация ассоциативного мышления: определение того, какое решение более всего соответствует ситуации, заданной на рецепторах.

Локализация возбуждения нейронов выходного слоя – усиление и сосредоточение высокого возбуждения нейронов выходного слоя, сопровождающееся подавлением слабо возбужденных нейронов.

Краткие итоги

1. Нейронные сети образуют базовый механизм самого низкого уровня ассоциативного мышления.
2. Основным элементом такой сети является нейрон – прибор, средство выполнения пороговой функции активации, монотонно возрастающей по каждому аргументу в области преодоления порога. Моделирование нейрона заключается в аппаратной, программной, биохимической и др. реализации процедуры выполнения арифметически и логически простой функции активации.
3. Режим обучения нейронной сети заключается в выборе системы весов связей, удовлетворяющих специальному условию. Максимальное (единичное) возбуждение рецепторов, отображающее известную ситуацию, распространяясь по сети, должно приводить к наибольшему (по отношению к другим) возбуждению того нейрона выходного слоя, за которым закреплен известный ответ - численное или принимаемое решение по данной ситуации.
4. В рабочем режиме на рецепторном слое задается возбуждение нейронов так, чтобы в наибольшей степени, на вероятностно-логическом уровне, приближенно отразить возникшую (интересующую) ситуацию. Тогда максимально возбудившийся нейрон выходного слоя указывает на наиболее близкое, предпочтительное решение (в случае преодоления порога возбуждения). Так реализуется модель ассоциативного мышления.
5. При "живом" моделировании с применением видео ввода возникает заманчивая возможность построения туристических и развлекательных объектов и мероприятий. Например, таких, как Парк фантасмагорий.
6. Рецепторный слой изначально формируется на основе известных точек или диапазонов факторного пространства, которые в совокупности со значениями других факторов представляют множество ситуаций, для которых известны решения. Ситуации и решения образуют отношения вида "если – то", образующие базу знаний. В рабочем режиме компоненты интересующей ситуации могут не совпадать с теми значениями, для которых существуют рецепторы. Кроме того, данные о возникшей ситуации могут быть нечеткими, то есть определяемыми с некоторой вероятностью. В этом случае необходимо возбуждать рецепторы в соответствии с оценкой достоверности принадлежности фактора тем значениям или диапазонам, для которых существуют рецепторы (распределяя "единицу" между "близкими" рецепторами). Пользователь может при желании приближенно реализовать некоторый предполагаемый закон распределения этой достоверности.
7. Практика человеческого мышления говорит о высокой устойчивости распознавания на основе описания объектов в пространстве признаков.
8. При формировании "длинных" логических цепочек, для устойчивости и помехозащищенности, целесообразно производить локализацию возбуждения нейронов каждого промежуточного выходного слоя.
9. "Технически" оправдана локализация связей на "коре" таким образом, чтобы все подсистемы логического вывода оказывались взаимосвязанными и близкими – для реализации многих "длинных" логических цепочек в различной комбинации. В частности, это привело к значительной площади коры головного мозга.

Вопросы:

1. Что представляет собой модель "живого" нейрона? Как строится абстрактная (математическая) модель нейрона –средства реализации функции активации?
2. Каковы механизмы направленного распространения сигналов в нейронной сети с помощью синапсических весов, позволяющие запоминать причинно-следственные связи?
3. Какую информацию обрабатывают нейроны, и почему задание этой информации на рецепторах следует интерпретировать как достоверность высказываний о принадлежности данных?
4. В каких режимах работает нейронная сеть ?
5. Как производится обучение нейронной сети ?
6. В чем принципиальное отличие логической нейронной сети от персептрона, реализующего "классический" подход?
7. Какая информация отображается на рецепторах, и как с помощью их возбуждения задавать нечеткие данные или данные, не совпадающие с теми, что использованы при обучении?
8. В чем преимущества работы с признаками изучаемых объектов?
9. Для чего и по какому принципу производится локализация возбуждения нейронов выходного слоя в длинных логических цепочках вывода?
10. В чем заключаются преимущества конструктивного решения проблемы формирования длинных логических цепочек в виде коры (головного мозга)?

Дополнительные материалы к лекции, Вы можете скачать здесь.