Опубликован: 15.06.2007 | Уровень: специалист | Доступ: платный
Лекция 4:

Адаптация и обучение

Аннотация: Эта лекция посвящена вопросам адаптации, обучения и самообучения систем ИИ. Рассмотрены персептроны.
Ключевые слова: адаптация, обучение, линейная модель, персептрон, искусственные нейронные сети, когнитрон, двунаправленная ассоциативная память, аксон, алгоритм функционирования, обучение без учителя, синапс, процедура обратного распространения, метода наименьших квадратов, выходной слой, метод градиентного спуска, активационная функция, Разделенные множества, логический уровень, градиентного спуска, глобальный максимум, локальные минимумы, паралич, обучение нейронной сети, рецептор, самоорганизация, передаточная функция, сеть обратного распространения, скалярное произведение векторов, самоорганизующаяся, сеть Хэмминга, сеть Хопфилда, ассоциативная память, расстояние Хэмминга, разделяющее множество, производная функции, селекция, входные аргументы, узлами интерполяции, коэффициент корреляции, пространство признаков, коллективы решающих правил, гипотеза компактности, самообучение, компактное множество

Адаптация — это процесс изменения параметров и структуры системы, а возможно, и управляющих воздействий, на основе текущей информации с целью достижения определенного состояния системы при начальной неопределенности и изменяющихся условиях работы.

Обучение — это процесс, в результате которого система постепенно приобретает способность отвечать нужными реакциями на определенные совокупности внешних воздействий, а адаптация — это подстройка параметров и структуры системы с целью достижения требуемого качества управления в условиях непрерывных изменений внешних условий.

Персептроны

Пока о проблеме обучения распознаванию образов удавалось говорить в общих чертах, не выделяя конкретные методы или алгоритмы, — не возникало и трудностей, появляющихся всяких раз, когда приходится иметь дело с огромным множеством примеров, у которых общий подход к решению проблемы ОРО. Коварство самой проблемы состоит в том, что, на первый взгляд, все методы и алгоритмы кажутся совершенно различными и, что самое неприятное, часто никакой из них не годится для решения той задачи, которую крайне необходимо срочно решить. И тогда появляется желание выдумать новый алгоритм, который, может быть, достигнет цели. Очевидно, именно это привело к возникновению огромного множества алгоритмов, в котором не так-то легко разобраться.

Один из методов решения задач обучения распознаванию образов основан на моделировании гипотетического механизма человеческого мозга. Структура модели заранее постулируется. При таком подходе уровень биологических знаний или гипотез о биологических механизмах является исходной предпосылкой, на которой базируются модели этих механизмов. Примером такого направления в теории и практике проблемы ОРО является класс устройств, называемых персептронами. Нужно отметить, что персептроны на заре своего возникновения рассматривались только как эвристические модели механизма мозга. Впоследствии они стали основополагающей схемой в построении кусочно-линейных моделей, обучающихся распознаванию образов.

Персептрон

Рис. 4.1. Персептрон

В наиболее простом виде персептрон (рис. 4.1.) состоит из совокупности чувствительных (сенсорных) элементов ( S -элементов), на которые поступают входные сигналы. S -элементы случайным образом связаны с совокупностью ассоциативных элементов ( А -элементов), выход которых отличается от нуля только тогда, когда возбуждено достаточно большое число S-элементов, воздействующих на один А -элемент. А -элементы соединены с реагирующими элементами ( R -элементами) связями, коэффициенты усиления ( v ) которых переменны и изменяются в процессе обучения. Взвешенные комбинации выходов R -элементов составляют реакцию системы, которая указывает на принадлежность распознаваемого объекта определенному образу. Если распознаются только два образа, то в персептроне устанавливается только один R -элемент, который обладает двумя реакциями — положительной и отрицательной. Если образов больше двух, то для каждого образа устанавливают свой R -элемент, а выход каждого такого элемента представляет линейную комбинацию выходов A -элементов:

R_j=\Theta_j +\sum\limits^n_{i=1} v_{ij}x_i ( 4.1)

где Rj — реакция j -го R -элемента; xi — реакция i -го A -элемента; vij — вес связи от i -го A -элемента к j -му R элементу; \Theta_j — порог j -го R -элемента.

Аналогично записывается уравнение i -го A -элемента:

x_i=\Theta_i +\sum\limits^S_{k=1} y_k ( 4.2)

Здесь сигнал yk может быть непрерывным, но чаще всего он принимает только два значения: 0 или 1. Сигналы от S -элементов подаются на входы А -элементов с постоянными весами, равными единице, но каждый А -элемент связан только с группой случайно выбранных S -элементов. Предположим, что требуется обучить персептрон различать два образа V1 и V2. Будем считать, что в персептроне существует два R -элемента, один из которых предназначен образу V1, а другой — образу V2. Персептрон будет обучен правильно, если выход R1 превышает R2, когда распознаваемый объект принадлежит образу V1, и наоборот. Разделение объектов на два образа можно провести и с помощью только одного R -элемента. Тогда объекту образа V1 должна соответствовать положительная реакция R -элемента, а объектам образа V2 — отрицательная.

Персептрон обучается путем предъявления обучающей последовательности изображений объектов, принадлежащих образам V1 и V2. В процессе обучения изменяются веса vi А -элементов. В частности, если применяется система подкрепления с коррекцией ошибок, прежде всего учитывается правильность решения, принимаемого персептроном. Если решение правильно, то веса связей всех сработавших А -элементов, которые ведут к R -элементу, выдавшему правильное решение, увеличиваются, а веса несработавших А -элементов остаются неизменными. Можно оставлять неизменными веса сработавших А -элементов, но уменьшать веса несработавших. В некоторых случаях веса сработавших связей увеличивают, а несработавших — уменьшают. После процесса обучения персептрон сам, без учителя, начинает классифицировать новые объекты.

Если персептрон действует по описанной схеме и в нем допускаются лишь связи, идущие от бинарных S -элементов к A -элементам и от A -элементов к единственному R -элементу, то такой персептрон принято называть элементарным \alpha -персептроном. Обычно классификация C(W) задается учителем. Персептрон должен выработать в процессе обучения классификацию, задуманную учителем.

О персептронах было сформулировано и доказано несколько основополагающих теорем, две из которых, определяющие основные свойства персептрона, приведены ниже.

Теорема 1. Класс элементарных \alpha -персептронов, для которых существует решение для любой задуманной классификации, не является пустым.

Эта теорема утверждает, что для любой классификации обучающей последовательности можно подобрать такой набор (из бесконечного набора) А -элементов, в котором будет осуществлено задуманное разделение обучающей последовательности при помощи линейного решающего правила R_j=\Theta_j +\sum\limits^n_{i=1} v_{ij}x_i.

Теорема 2. Если для некоторой классификации C(W) решение существует, то в процессе обучения \alpha -персептрона с коррекцией ошибок, начинающегося с произвольного исходного состояния, это решение будет достигнуто в течение конечного промежутка времени.

Смысл этой теоремы состоит в том, что если относительно задуманной классификации можно найти набор А-элементов, в котором существует решение, то в рамках этого набора оно будет достигнуто в конечный промежуток времени.

Обычно обсуждают свойства бесконечного персептрона, т. е. персептрона с бесконечным числом А-элементов со всевозможными связями с S -элементами (полный набор A -элементов). Для таких персептронов решение всегда существует, а раз оно существует, то оно и достижимо в \alpha -персептронах с коррекцией ошибок.

Очень интересную область исследований представляют собой многослойные персептроны и персептроны с перекрестными связями, но теория этих систем практически еще не разработана.

Сергей Пчеляков
Сергей Пчеляков

Добрый день!

В курсе "Проектирование систем искусственного интеллекта" начал проходить обучение и сдал тесты по лекциям 1,2,3,4. Но видимо из-за того что не записался на курс, после того как записался на курс у меня затерлись результаты сданных тестов. Можно как-то исправить (восстановить результаты по тестам 1,2,3,4) ?

Виктор Рубцов
Виктор Рубцов
Музафар Холаев
Музафар Холаев
Россия
Александр Останин
Александр Останин
Россия, Лысьва