Мы наблюдаем удивительное явление: из такого безусловно пустого, абсолютно безличного материала как цифровая машина, удалось, благодаря специальным программам, сконструировать настоящие личности $$\dots$$ С.Лем " Non serviam"
Правый мозг любит сладкое больше, чем левый. И где же тут парадокс? - спросил я, стараясь как можно незаметнее оттолкнуть левую руку, которая опять совала мне пряник в рот. С.Лем, "Мир на Земле"
В этой книге, основанной на курсе лекций, прочитанном авторами в Финансово-Аналитическом Колледже МИФИ, мы знакомим читателя с основами нейросетевой обработки данных и примерами типовых применений, преимущественно в области финансов и бизнеса.
Наш опыт свидетельствует, что главным препятствием к широкому практическому применению нейрокомпьютинга служит недостаточное понимание его основ. Эта книга писалась с целью восполнить этот пробел. Поэтому основное внимание здесь уделяется описанию принципов нейросетевой обработки данных, их потенциальных возможностей и преимуществ, а также подробному разбору нескольких конкретных применений. Упор делается на концептуальной стороне дела, а не на описании конкретных алгоритмов. Предполагается, что в случае необходимости читатель сможет воспользоваться одним из многочисленных коммерческих нейро-эмуляторов, а не возьмется программировать нейросети "с нуля" на С++. Главная задача книги - научить читателя "видеть" нейросетевые постановки задач в его повседневной работе, помочь ему автоматизировать рутинную обработку сложной многофакторной информации с помощью современного математического аппарата - искусственных нейронных сетей.
Хотя мы старались избегать математических выкладок и, по возможности, упростить изложение, хотелось бы заранее предупредить, что материал этой книги рассчитан на достаточно подготовленного читателя - как минимум студента старших курсов. Наш "идеальный" читатель - студент, научный работник, финансовый аналитик, консультант, брокер или просто бизнесмен, желающий повысить эффективность своего бизнеса путем более вдумчивой работы с доступной ему информацией.
Одной из характерных черт нейрокомпьютинга является обучение на примерах. Поэтому и мы начнем с серии примеров, которые лучше любых описаний наметят возможные области практических приложений нейросетей и подкрепят решимость читателя заняться их изучением. В последнее время в прессе все чаще стали мелькать сообщения, где так или иначе упоминаются искусственные нейронные сети. Вот только несколько выдержек, иллюстрирующих возможные области применений нейросетей:
Автопилотируемый гиперзвуковой самолет-разведчик. Названный LoFLYTE (Low-Observable Flight Test Experiment) реактивный беспилотный самолет длиной 2,5 м был разработан для NASA и Air Force фирмой Accurate Automation Corp., Chattanooga, TN в рамках программы поддержки малого инновационного бизнеса. Это экспериментальная разработка для исследования новых принципов пилотирования, включая нейронные сети, позволяющие автопилоту обучаться, копируя приемы пилотирования летчика. Со временем нейросети перенимают опыт управления, а скорость обработки информации позволит быстро находить выход в экстремальных и аварийных ситуациях. LoFLYTE предназначен для полетов со скоростью 4-5 Махов, когда скорости реакции пилота может не хватить для адекватного реагирования на изменения режима полета. (Пресс-релиз NASA №96-154 от 2 августа 1996 г. )
Системы безопасности в аэропортах. Американская фирма SAIC (Science Application International Corporation)
использовала нейронные сети в своем проекте TNA. TNA представляет собой ящик стоимостью $750.000, который
способен обнаруживать пластиковую взрывчатку в запакованном багаже. TNA бомбардирует багаж медленными нейтронами, вызывающими
вторичное гамма-излучение, спектр которого анализируется нейронной сетью. Система обнаруживает взрывчатку с вероятностью выше
97% и просматривает 10 мест багажа в минуту (для Международного Аэропорта Лос-Анжелеса потребуется 10 таких систем общей
стоимостью около $8 млн). SAIC получила контракт на разработку TNA от Федерального Управления по Авиации (
Нейросети на финансовых рынках.Американский Citibank использует нейросетевые предсказания с 1990 года. В 1992
году, по свидетельству журнала The Economist, автоматический дилинг показывал доходность 25% годовых, что намного превышает
показатели большинства брокеров. Chemical Bank использует нейро-систему фирмы Neural Data для предварительной обработки транзакций на валютных биржах
23 стран, фильтруя "подозрительные" сделки.
Распознавание краденных кредитных карт. В 1986 году известный конструктор нейрокомпьютеров профессор Роберт Хехт-Нильсен основал компанию HNC. Переключившись в 1990 году с призводства нейрокомпьютеров на предоставление конкретных решений в различных областях, HNC Software Corp. является сейчас лидером на рынке контроля транзакций по пластиковым картам. Ее основной продукт Falcon (Сокол), выпущенный в сентябре 1992 г., контролирует сейчас более 220 млн карточных счетов, выявляя и предотвращая в реальном времени подозрительные сделки по, возможно, краденным кредитным/дебетным картам. Искусственные нейросети обучаются типичному поведению клиентов, различая резкую смену характера покупок, сигнализирующую о возможной краже. Ежегодные потери крупных банков от подобных краж измеряются десятками миллионов долларов, и когда в 1994 г. впервые за всю историю пластиковых карт эти потери пошли на убыль, этот прогресс пресса связывала с успешным внедрением системы Falcon. Клиентами HNC Software являются 16 из 25 крупнейших в мире эмитентов пластиковых карт. (Пресс-релиз HNC Software http://www.hnc.com)
Активная реклама в Internet.Нейросетевой продукт SelectCast фирмы Aptex Software Inc. (дочерней фирмы HNC Software Corp.) выявляет профили интересов пользователей Internet и предлагает им соответствующим образом отфильтрованную рекламу. В июле 1997 года один из лидеров поискового рынка Internet - Excite, Inc. лицензировала SelectCast для использования на своих поисковых серверах. После установки на серверах Excite и Infoseek, нейросетевая реклама охватит около трети всех пользователей Internet. Согласно проведенным исследованиям, установлено, что отклик на такую активную рекламу в среднем вдвое выше, чем на обычную рекламу, размещаемую в Сети. А на отдельные виды рекламы отклик возрос впятеро. Заметим, что рекламный сектор Internet переживает сейчас период бурного развития. Результаты первого полугодия 1997 года свидетельствуют о годовом темпе роста 250%, что в денежном выражении составит в 1997 году $400 млн. (Scientific American, Dec 1997, "On-line Advertising goes one-on-one".)
Мониторинг и персонализированная рассылка новостей. Распознавание темы текстовых сообщений - другой пример успешного использования искусственных нейросетей. Сервер новостей Convectis (продукт все той же Aptex Software Inc. http://www.aptex.com выбран в июне 1997г. лидером персонализированной доставки новостей в Internet - PointCast Inc. - для автоматической рубрикации сообщений по категориям. Сверяя значения слов по контексту, Convectis способен в реальном масштабе времени распознавать тематику и рубрицировать огромные потоки текстовых сообщений, передаваемых по сетям Reuters, NBC, CBS и др. Так, например, информационное агентство Scoop, специализирующееся на поставке бизнес-новостей и также лицензировавшее Convectis в июле 1997г., использует свыше 1600 источников информации. После анализа сообщения Convectis генерирует аннотацию, список ключевых слов и список рубрик, к которым относится данное сообщение. Существуют и другие электронные агентства новостей, использующие нейросети для рубрикации и персонализации информации (см., например, http://www.wisewire-corp.com)
Приведенные выше примеры свидетельствуют о том, что нейросетевая обработка данных постепенно становится неотъемлемой компонентой высоких технологий, определяющих жизнь современного мира. На них будут опираться новые военные доктрины, они будут контролировать нашу безопасность и торговать на электронных биржах, на них основываются нарождающиеся масс-медиа в глобальной сети Internet. Интерфейс с этой глобальной Сетью, постепенно превращающейся в единый распределенный компьютер, также, по-видимому, будет основываться на нейросетевых обучаемых агентах - представителях пользователя в Сети.
Что же это такое - искусственные нейронные сети? Какое отношение имеют искусственные нейросети к естественным? Чем отличается нейрокомпьютинг от обычных методов компьютерного моделирования? Каковы его "экологические ниши" в мире информационных технологий и перспективы на будущее? Этим вопросам и будет посвящена данная, вводная, лекция нашего курса.
Для начала попробуем описать особенности обработки информации мозгом. Посмотрим, что из того, на что способен мозг, еще по большей части недоступно современным системам обработки информации.
Мозг построен из клеток двух типов: глиальных и нейронов. И хотя роль глии в его работе, видимо, довольно значительна, большинство исследователей полагает, что в основном понимание работы мозга может быть достигнуто при изучении нейронов, объединенных в единую связанную сеть. Эта парадигма и используется при построении, изучении и применении искусственных нейронных сетей, которым посвящена эта книга.
Количество нейронов в мозге оценивается величиной 1010-1011. Типичные нейроны имеют тело клетки (сому), множество ветвящихся коротких отростков - дендритов и единственный длинный и тонкий отросток - аксон. На конце аксон также разветвляется и образует контакты с дендритами других нейронов - синапсы рис 1.1(рис 1.1) Схема нейрона и межнейронного взаимодействия
Внутриклеточное пространство нейрона имеет отрицательный электрический потенциал по отношению к внеклеточному (-70 mV), то есть
клетка в целом поляризована. Поляризация возникает за счет избирательной проницаемости клеточной
После генерации импульса нейрон некоторое время (период рефрактерности) не может активироваться. Поэтому частота, с которой нейрон может генерировать импульсы ограничивается примерно 100 Гц.
Каждый из нейронов устанавливает синаптические связи в среднем с 104 другими нейронами. Поэтому число связей в мозге оценивается в 1014 -1015. Очень грубо можно считать, что нейроны мозга могут находиться в двух состояниях - возбужденном (когда они предают свое воздействие другим нейронам) и покоящемся (когда такой передачи нет).
До сих пор неизвестно, каким кодом пользуется нервная система для передачи взаимодействия. Может быть, он является бинарным, и
значение имеют указанные состояния нейронов. Возможно, важна частота электрической активности нейронов, кодирующая интенсивность
сигнала. Например, у нейронов коры эта частота может быть пропорциональна вероятности некоторого события. Наконец, информация может
содержаться не в импульсных процессах, а в более медленных изменениях потенциала
Мозг управляет организмом в целом, его восприятием окружения, движением, поддержанием важнейших функций жизнедеятельности,
оперативно реагируя на всевозможные изменения среды. Генетическая программа организма, конечно, тоже способна адаптироваться к
изменяющимся условиям, но очень медленно, за счет крайне редких полезных мутаций. Если использовать только этот способ, то необходимо
производить огромное потомство, только малая часть которого выживает. Этим методом пользуются низшие формы жизни - такие как бактерии
и вирусы. Высшие же формы в ходе эволюции выработали у себя способность к изменению и адаптации в течение жизни - благодаря особому
свойству своей нервной системы -
Объем накопленной в мозге информации вначале дополнял, а затем и превзошел (у рептилий и млекопитающих) объем наследственной
информации, закодированной в ДНК (см. рис. 1.2 ). Можно сказать, что генетическая информация у
высших организмов исполняет роль ракеты-носителя, направляя процесс построения организма. Затем управление передается адаптирующейся
к внешнему миру нервной системе, вершиной которой и является мозг.
(рис 1.2) Сравнение наследственной и приобретенной информации для различных видов организмов
В строении мозга как на фотографии запечатлен весь эволюционный путь его развития. Так, мозг человека фактически включает в себя три больших отдела, управляющие наиболее древней структурой (нейрошасси), доставшейся нам еще от рыб и амфибий, и ответственной за поддержание жизнедеятельности и размножение. Первый отдел - рептильный комплекс - возник несколько сот миллионов лет назад и помогает нам ориентироваться в пространстве. Второй отдел - лимбическая система - образовался около ста пятидесяти миллионов лет назад. Благодаря ей мы обладаем эмоциями. Наконец, последнее достижение - новая кора, особо развитая у человека, позволяет нам говорить и логически мыслить.
В фантастических романах прошлого человек будущего (или инопланетный гуманоид) иногда изображался как хилое существо с огромным мозгом. На самом деле, и при нынешних его размерах (примерно 5% от общего веса тела) мозг человека потребляет около 20% кислорода и, следовательно, энергии. При этом он обычно не задействован "на полную мощность": одновременно активны в нем лишь 2-3% нейронов . Благодаря такой избыточности, мозг человека обладает огромным запасом прочности, позволяющим ему работать даже несмотря на серьезные повреждения и утраты. Этой способности лишены современные компьютеры.
В дополнение к эволюционному разделению частей мозга, о котором мы говорили выше, в нервной системе явно различаются три типа нейронных структур: сенсорные, внутренние и эффекторные. Первые связывают наш мозг с внешним миром и обеспечивают поступление в него зрительной, слуховой, вкусовой, обонятельной и осязательной информации. Есть у нас и шестое чувство - чувство равновесия, за которое отвечает вестибулярный аппарат. Его особенность заключается в том, что он не вынесен наружу. Эффекторные нейроны управляют мышцами, внутренними органами, стенками сосудов и пр. Мозг таким образом контролирует работу сердца, дыхание, кровяное давление, температуру, поддерживает нужное содержание кислорода в крови, осуществляет гормональную регуляцию и пр. Промежуточные нейроны обрабатывают информацию, получаемую от сенсорных и передаваемую эффекторным нейронам.
Существующие компьютерные системы позволяют вводить в них изображения, звуковую и другие виды информации. Однако, в отличие от компьютера, снабженного сканером, телекамерой и микрофоном, мозг обладает вниманием, свойством, которое позволяет ему сосредотачиваться на важной в данный момент информации и игнорировать несущественную. Эффективные системы предобработки сенсорной информации, вырабатываемые в течение жизни путем обучения, позволяют мозгу эффективно распознавать сенсорные образы - способность, пока мало освоенная современными компьютерами.
Компьютеры имеют память! В нее можно записать программы, данные, изображения, что угодно. Однако, все они хранятся как некоторые
Мозг использует другой способ поиска информации - не по адресу, а по содержанию, вернее, по его достаточно представительной части. Вспомните телепередачу "Угадай мелодию", в которой участникам предлагается восстановить текст куплета по нескольким нотам мелодии. Очевидно, что эти ноты составляют лишь часть песни, в которой музыка вместе с текстом составляют единый информационный образ.
Память, способная восстанавливать полную информацию по ее достаточной части (двух нот в нашем примере недостаточно) называется содержательно-адресованной. При этом, мозг способен извлекать информацию и в случае, если исходные данные (ключ) являются не собственно ее частью, но связаны с ней устойчивой связью (в случае, если мелодию не удается узнать по нотам, она может быть восстановлена мозгом, если в поле его зрения попадется машущий крылами Валдис Пельш). Такая память называется в общем случае ассоциативной (авто- или гетеро-, соответственно).
Итак, наша память имеет ассоциативный содержательно-адресованный характер. Но это еще не все. Она является также и распределенной.
Это означает, что в мозге нет специализированного нейрона, отвечающего, например, за распознавание вашей бабушки . Наоборот, в
запоминании некоторой информации участвует множество нейронов, так что гибель некоторых из них обычно не удаляет соответствующий образ
из памяти. Более того, мозг обладает огромной компенсаторной способностью: поражение обширных участков приводит к тому, что
соответствующие функции берут на себя другие его части. Такое свойство систем называется робастностью (
Наконец, важнейшим свойством нашей памяти является ее активность. Суриков не видел, как Суворов переходит через Альпы, но создал в своем сознании соответствующий образ и материализовал его на холсте. Еще более причудливые примеры активности памяти могут быть найдены на картинах Босха.
Итак, человеческая память отличается от компьютерной тем, что она: содержательно-адресованая, ассоциативная, распределенная, робастная и активная.
Обсуждение способности к мышлению наиболее важно с точки зрения сопоставления традиционной вычислительной техники и нейрокомпьютеров. Казалось бы, современные компьютеры способны решать задачи высокого интеллектуального уровня. Они могут интегрировать сложнейшие системы дифференциальных уравнений, осуществлять логический вывод и как следствие - рассчитывать свойства веществ и играть в шахматы лучше человека.
Однако, все их достижения связаны с тем, что решение этих проблем может быть формализовано и представлено в виде последовательностей арифметических и логических операций - алгоритмов. Современный компьютер является ни чем иным, как чрезвычайно быстродействующим арифмометром, способным выполнить любую инструкцию, заключенную в программе. Структура компьютера является реализацией универсальной машины Тьюринга, и эта структура полностью отделена и независима от данных, которые обрабатываются компьютером при решении конкретной задачи.
Математические вычисления и логический вывод доступны и мозгу человека. Однако, они не исчерпывают того, что мы понимаем под мышлением. Удивительным образом, за реализацию соответствующих функций ответственно одно, левое, полушарие человеческого мозга. Его работа позволяет нам говорить, строить грамматически правильные фразы, писать. Оно ответственно за наше восприятие времени и, похоже, вследствие этого обрабатывает информацию последовательно, шаг за шагом.
В свое время, известный американский математик, лауреат Нобелевской премии по экономике Ричард Беллман заметил, что современные компьютеры по своей природе наиболее приспособлены для решения задач с начальными условиями (задачи Коши). Такие задачи могут быть решены последовательным получением решения от одного момента времени к другому, начиная с начального условия. В известном смысле, вся современная наука является результатом выдающегося и не всегда явно осознаваемого открытия Ньютона, впервые отделившего законы природы от начальных условий. Можно сказать, что традиционные компьютеры, в которых алгоритм отделен от данных, являются парафразом этого достижения. Из вышесказанного следует, что принципы работы обычных компьютеров оказываются в некотором смысле аналогичными принципам обработки информации именно левым полушарием мозга человека.
Однако, математика, логика и наука в целом являются позднейшими достижениями человеческого мышления. То есть, развитие вычислительной техники стартовало с имитации наиболее поздних находок эволюции человеческого мозга. Пропущенным оказался целый пласт его возможностей, которые реализованы в другом, правом, полушарии.
Что характерно для обработки информации в правом полушарии? Множество исследований свидетельствуют в пользу того, что оно ответственно за наше восприятие пространства, за смысл слов, интуицию, воображение, образное мышление. Похоже, что в отличие от левого полушария, оно обрабатывает информацию параллельным способом. Правое полушарие почти не умеет говорить, но знает, что значат грамматически правильные фразы левого полушария.
Нейрокомпьютеры и являются теми системами, которые должны реализовать возможности, заложенные в правом полушарии мозга.
Одним из основных отличий правого полушария от левого является то, что оно работает не с абстрактными именами объектов - символами, а с образами конкретных объектов, информацию о которых мозг получает из внешнего мира. В каком-то смысле оно пользуется правилом "Лучше один раз увидеть, чем сто раз услышать". Все виденное нами в жизни хранится в правом полушарии, все имена - в левом. Можно сказать, что понятие "собака" известно левому полушарию, а вот образ конкретной Жучки находится в правом.
Хотя правое полушарие и не знакомо с логикой и математикой, оно способно учиться узнавать предметы просто по их предъявлению, а
не по описанию, в его подходах данные и метод составляют единое целое. Способность правого полушария обучаться на примерах объясняется
в теории нейронных сетей
Воображение и интуиция, которые также связываются с работой правого полушария, дают нам возможность принимать решение в тех случаях, когда никакого рецепта не существует. Они являются более древними изобретениями мозга, чем логическое мышление и имеют прямую связь с творчеством. Очень ярко эта творческая активность проявляется в способности видеть сны. Изобретение сна, играющего, по всей видимости, важную роль в упорядочивании сенсорной информации, является древним достижением эволюции. Из млекопитающих только ехидна и дельфин не видят снов. Дельфин лишен их потому, что его полушария спят по очереди - для сна со сновидениями этого недостаточно.
Обычные компьютеры не знают и не имитируют ничего подобного сну. Это может быть важным указанием на то, что творческие процедуры на них вряд ли реализуемы. Напротив, как мы увидим далее, в нейронных сетях и нейрокомпьютерах процедуры, имитирующие сон, имеют очень важное значение.
Нейрокомпьютеры, как мы видим, вовсе не призваны заменить существующие традиционные вычислительные машины. Они лишь восполняют те возможности, для которых не удается построить формальных алгоритмических схем. Подобно тому, как в человеческом мозге левое и правое полушарие работают в диалоге и сообща, современные информационные системы должны использовать симбиоз традиционных компьютеров и нейромашин для полноценной и продуктивной обработки информации (см. рис 1.3(рис 1.3) Симбиоз традиционных и нейро- компьютеров сродни симбиозу правого и левого полушарий головного мозга
Однако, поскольку наш курс посвящен именно нейрокомпьютерам, мы хотели бы, все же, еще раз подчеркнуть важность именно правополушарной обработки информации. С этой целью мы приведем отрывок из доклада академика Владимира Игоревича Арнольда, сделанного в 1997 году и посвященного "жестким" и "мягким" математическим моделям. Содержание его как нельзя лучше поддерживает наш вывод.
Между математиками есть двоякого рода люди: 1) математики-философы, т.е. математики высшей математической мысли, для которых цифры и вычисления есть ремесло; для этого рода математиков цифры и исчисления не имеют никакого значения, их увлекают не цифры и исчисления, а сами математические идеи. Одним словом, это математики, так сказать чистой философской математики; 2) напротив, есть такие математики, которых философия математики, математические идеи не трогают, которые всю суть математики видят в исчислениях, цифрах и формулах... Математики-философы, к которым принадлежу и я, относятся всегда с презрением к математикам-исчислителям, а математики-исчислители, среди которых есть много ученых весьма знаменитых, смотрят на математиков-философов как на людей в известном смысле "тронутых". Сейчас мы знаем, что описанные Витте различия имеют физиологическое происхождение. Наш мозг состоит из двух полушарий. Левое отвечает за умножение многочленов, языки, шахматы, интриги и последовательности силлогизмов, а правое - за пространственную ориентацию, интуицию и все необходимое в реальной жизни. У "математиков - исчислителей" по терминологии Витте гипертрофировано левое полушарие, обычно за счет правого. Это заболевание и составляет их силу (вспомним "Защиту Лужина" Набокова). Но доминирование математиков этого типа и привело к засилью аксиоматически - схоластической математики, особенно в преподавании (в том числе и в средней школе), на которое общество естественно и законно реагирует резко отрицательно. Результатом явилось повсеместно наблюдаемое отвращение к математике и стремление всех правителей отомстить за перенесенные в школе унижения ее изничтожением. Мягкое моделирование требует гармоничной работы обоих полушарий мозга. С.Ю.Витте, "Воспоминания", т.3, гл.5
Мягкие модели, о которых говорит Арнольд, - это модели, поддающиеся изменениям, параметры в них не имеют точного значения. Эта мягкость и представляет главное достоинство нейросетевых моделей, которые лежат в основе архитектур будущих нейрокомпьютеров.
Итак, мы описали особенности двух парадигм обработки информации - "логической" и "образной". Первая доминирует в существующих компьютерах, вторая - лежит в основе работы мозга, хотя человеческий мозг отличает от мозга прочих животных наличие обоих компонент мышления. Для полноценного существования в окружающем нас мире ценны оба способа обработки информации. И они рано или поздно возникают - как в ходе биологической эволюции, так и в процессе эволюции компьютеров, но, что характерно, - в разной последовательности. Биологическая эволюция шла "от образов - к логике". (Вспомним три слоя мозга: древнейший - ориентация в пространстве, более новый - эмоции, и новейшая кора - речь и логика). Компьютеры же, напротив, начав с логики, лишь спустя несколько десятилетий начинают осваивать распознавание образов.
Откуда такое различие в направлениях развития? Что касается развития Жизни - понятно. На ранних этапах эволюции требовалось лишь правильно реагировать на внешние воздействия. Задача понимания законов действительности, их формализации для передачи из поколения в поколение возникла лишь с появлением социальных животных и языка. Мыслить логически - роскошь, доступная лишь тем, кто сумел выжить в миллиардолетней борьбе за существование. А компьютеры? Почему они не пошли по тому же пути? Почему мы узнаем о существовании нейрокомпьютеров на пятом десятке лет компьютерной гонки? Для ответа на этот вопрос, ключевой для понимания перспектив нейрокомпьютинга, необходимо бросить хотя бы беглый взгляд на историю развития компьютеров.
Технические предпосылки создания компьютеров накапливались постепенно. Механические калькуляторы существовали еще со времен Паскаля. Теория универсального компьютера была разработана англичанином Аланом Тьюрингом в 30-х годах. А новую элементную базу (лампы) подготовило широкое распространение радиотехники. Требовался лишь толчок со стороны практики, должна была возникнуть задача, которую было бы невозможно решить без ЭВМ. Такую задачу предоставила Вторая Мировая Война. Для военных нужд потребовался супер-калькулятор. Сначала это были задачи расчета баллистических траекторий и составления баллистических таблиц корректировки стрельбы. Затем появился новый класс задач, связанных с созданием атомного оружия, и с тех пор военные неизменно выступали как основные заказчики супер-вычислителей.
Таким образом, в момент своего появления компьютеры занимались исключительно вычислениями, что и отразилось в их названии. Вычисления по заранее разработанному алгоритму требовали одного: очень много раз повторять однотипную череду операций. На решение таких - алгоритмических - задач и были нацелены ЭВМ 40-х и 50-х годов.
Последовательная архитектура первых ЭВМ была продиктована их чрезвычайной дороговизной. Это позволяло обойтись минимумом аппаратуры, минимизировать издержки вычислений. Машинные ресурсы всячески экономились, и всю заботу о составлении алгоритмов и переводе их в машинные коды брали на себя люди.
К моменту появления первых ЭВМ война уже кончилась, но потребность в вычислениях осталась. Правда в 50-х годы приобрести ЭВМ могли себе позволить лишь крупные научные центры и государственные учреждения. В 60-х, после появления серийных ЭВМ, центральный компьютер появился и в коммерческих фирмах.
Переход к транзисторам, а потом - внедрение интегральных схем, делало компьютеры все более доступными. Удешевление машинного времени позволяло перекладывать на них все больше рутинной работы, должным образом формализованной и созревшей, таким образом, для автоматизации.
Движущей силой нового, "демократического" этапа развития вычислительной техники стала автоматизация труда информационных работников - белых воротничков. До появления ЭВМ автоматизация производства затрагивала, в основном, труд рабочих - синих воротничков. Работа же с информацией по-прежнему опиралась на бумажную технологию прошлых веков. По мере усложнения производства это приводило к постоянному разрастанию штатов и росту издержек. Использование компьютеров для автоматизации конторского труда давало максимальную экономическую отдачу. Появилась концепция "безбумажного офиса", основанная на компьютерной обработке символьной информации - как числовой, так и текстовой. Компьютеры перестали восприниматься только как калькуляторы, а превратились в средства работы с текстовыми документами, хранения и обработки баз данных.
Новое качество придало компьютерным технологиям появление персональных ЭВМ и распространение компьютерных сетей. Эти два новшества приблизили компьютер к рядовому человеку и сделали для него потенциально доступной всю информацию, накопленную в мире. Выход компьютеров "в массы" сопровождался, с одной стороны, невиданными ранее темпами удешевления электронной обработки данных, с другой - качественной "гуманизацией" компьютерного интерфейса.
Именно интерфейс пользователя, делающий удобным и комфортным человеко-машинное общение стал двигателем нового этапа развития ЭВМ. Узким местом, снижающим эффективность человеко-машинного симбиоза, является неспособность современных ЭВМ оперировать сенсорной или, более обще - образной информацией. Человек, мозг которого ориентирован именно на такого рода информацию, является сейчас единственным связующим звеном между миром абстрактных символов, перерабатываемых компьютерами, и внешним миром.
Неспособность компьютеров видеть, слышать и ощущать не позволяет им освободить людей от их теперешних обязанностей "универсальных манипуляторов" и контролеров при машинном производстве. Отсутствие сенсорного восприятия мира компьютерами делает доступные им модели мира беспомощными. Компьютерный "кретинизм" мешает в человеко-машинном общении, не дает возможности объяснить компьютерам самые элементарные для человека понятия.
Между тем, уже сейчас стоимость компьютерной обработки информации и стоимость человеческого мышления почти сравнялись.
Следовательно, становится экономически целесообразным переложить все рутинные человеческие функции на компьютеры: все, что может быть формализовано немедленно превращается в программные продукты и включается в производственный процесс.
Однако, наращивание темпов компьютеризации наталкивается на ограниченные возможности современных компьютеров в решении неалгоритмизируемых задач - обработке образов. Это и есть то узкое место, которое сейчас резко сужает возможные области применения компьютеров и, соответственно, - емкость потенциального рынка. Искусственные нейросети призваны "расшить" это узкое место, обеспечив компьютерам способность оперировать образной информацией.
Главное отличительное свойство образов - большая информационная насыщенность, или, выражаясь языком электротехники, широкополосность информации. Иными словами, образ характеризуется числом бит на порядки превосходящим информационную размерность символа. Сравните 32-64-разрядные машинные слова современных ЭВМ и графические образы, характеризуемые мегабайтами информации. При этом, образ является единым информационным объектом. Многие его атрибуты (например, связность областей) являются глобальными - их нельзя вычленить, обрабатывая отдельные части образа независимо.
Можно, конечно, обрабатывать образы последовательно, шаг за шагом, небольшими порциями - символами, как это до сих пор и
делают компьютеры. Машинные слова современных процессоров имеют размерности от 16 до 64. Однако, это с неизбежностью замедляет
вычисления. Повышение параллелизма за счет увеличения разрядности универсальных процессоров идет медленно и с большим трудом, т.к.
сопровождается резким усложнением их структуры. Согласно эмпирическому закону
Очевидно, что эта тенденция, распространенная на размерность n>100, приводит к нереалистичным размерам электронных схем.
Следовательно, коренное увеличение быстродействия, требуемое для обработки образов в реальном времени, должно сопровождаться не менее
коренным изменением схемотехники. Должны появиться специализированные процессоры образов, построенные на новых принципах, отличных
от используемых в универсальных компьютерах.
Специфика этого нового поколения процессоров диктуется самой природой образной информации - ее широкополосностью.
Широкополосность образов имеет далеко идущие последствия. Пусть компьютер манипулирует n-разрядными символами. Количество информации,
требуемое для описания произвольного преобразования таких символов составляет $$\log_{2}2^{n2^{n}}=n2^{n}$$
бит. Иными словами, для описания произвольного алгоритма обработки n-разрядных символов потребуется 2n таких символов.
Это типичный пример "комбинаторного взрыва".
| Разрядность n машинных слов | Длина произвольного алгоритма |
|---|---|
| 8 | 256B |
| 16 | 128KB |
| 32 | 16GB |
| ... | ... |
| 1024 | 21000B |
Отсюда и следует качественное различие обработки символьной (малоразрядной) и образной (многоразрядной) информации. Для символов
в принципе возможно описать любой способ их обработки. Для образов это в принципе невозможно. Естественно, существуют относительно
тривиальные преобразования образов, поддающиеся формализации, т.е. имеющие компактное описание. На таких операциях построены
Для таких неформализуемых задач частичным описанием алгоритма является некое подмножеством полной таблицы преобразований - множество примеров, или обучающее множество. Возникает новый класс задач - восстановления алгоритма по набору примеров, обучения на примерах.
Процессоры образов должны обладать способностью обобщения конечного числа примеров на потенциально необозримое множество возможных ситуаций, иными словами, способностью предсказуемого поведения в новых ситуациях. В этом своем качестве они противоположны обычным компьютером, где алгоритм в явном виде задает поведение во всех мыслимых ситуациях.
Итак, возникает новая парадигма вычислительных машин: алгоритмы, порождаемые данными в универсальном процессе обучения, специализированные для данного класса операций с образами, адаптированные под конкретные информационные задачи. Это - естественный путь развития вычислительной техники, который обеспечивает одновременно и универсальность и простоту архитектуры таких универсальных спец-процессоров.
Нейрокомпьютинг, как Вы уже догадались, как раз и является описанной выше новой парадигмой вычислительных систем. Основная задача нейрокомпьютеров - обработка образов, основанная на обучении - та же, что и у биологических нейросистем. Подобно биологическим, искусственные нейросети нацелены на параллельную обработку широкополосных образов. В новой схемотехнике, как и в мозгу, остутствуют общие шины, нет разделения на активный процессор и пассивную память. Вычисления, как и обучение, распределены по всем активным элементам - нейронам, каждый из которых есть элементарный процессор образов, т.к. производит хотя и простейшую операцию, но сразу над большим количеством входов. Как вычисления, так и обучение полностью параллельны. В этом сила природных нейрокомпьютеров. Это дает возможность решать задачи, непосильные даже самым мощным суперкомпьютерам, несмотря на миллионнократную разницу в быстродействии элементной базы.
Вписав появление нейрокомпьютинга в общий процесс эволюции компьютеров, мы получаем возможность заглянуть в ближайшее будущее - экстраполируя сегодняшние тенденции.
Сегодняшний нейрокомпьютинг проходит "обкатку", в основном, в программном продукте для задач ассоциативной обработки данных, редко используя при этом свой "параллельный" потенциал. Такие приложения как раз и являются основной темой данной книги. Эпоха истинного - параллельного - нейрокомпьютинга начнется с выходом на рынок широкого ассортимента аппаратных средств - специализированных нейрочипов для обработки изображений, речи и прочей сенсорной информации. Можно представить себе, например, дверные замки, распознающие хозяина по виду, голосу, и быть может, запаху в совокупности. Системы жизнеобеспечения жилищ станут адаптивными и обучаемыми. Все бытовые приборы поумнеют и приобретут способность угадывать, что от них требуется именно в данный момент. Провозвестником таких изменений можно считать нейросетевой блок адаптивного управления в недавно появившемся пылесосе фирмы Samsung.
Сенсорные датчики приобретут способность реагировать, а регулирующие системы - ощущать. Умные контроллеры, распознающие
потенциально
Однако, наибольшие изменения, коснутся, по-видимому, самих компьютеров. По мнению Билла Гейтса, главы небезызвестной Microsoft, высказанному им на собрании совета директоров, через 10 лет 90% операционной системы будет занято решением задач распознавания образов. Таким образом, при проектировании будущих поколений компьютеров нейрокомпьютинг выдвигается на первый план.
Можно даже представить себе примерный сценарий проникновения нейросистем в компьютеры будущего, связанный с развитием глобальной сети Internet. Сейчас именно она направляет развитие компьютерных систем, постепенно превращая разрозненную сеть персоналок, рабочих станций и мэйнфреймов в единый мировой сетевой компьютер с неограниченными информационными ресурсами. Известная фирма Forrester Research, занимающаяся прогнозированием рынков, оценивает рынок услуг, связанных с Internet, в 2001 году на уровне $350 млрд. Практически все крупные компьютерные фирмы уже включились в борьбу за этот гигантский потенциальный рынок. Достаточно упомянуть ту же Microsoft, тратящую по $100 млн. в год только на исследования, связанные с Internet.
И подобно тому, как эпоха великих открытий XV века стимулировала развитие астрономии и точной механики для совершенствования навигационных приборов, освоение нового - информационного - океана требует развития новых средств навигации - ассоциативного поиска, создания адаптивных и автономных агентов. (Уже сейчас индексация Сети ведется автономными роботами.) Вспомним, каким мощным стимулом развития персональных ЭВМ был удобный графический интерфейс пользователя. Новый интерфейс пользователя для работы в Сети будет основываться на агентах, представляющих интересы пользователя в сети. Этот новый вид программного обеспечения, получивший название agentware, претендует на центральное место в будущей системе человеко-машинного общения. Между тем, первые экземпляры agentware уже появились на рынке, и что характерно, многие основаны на технологии нейросетей (см., например, http://f.agentware.com). Это, по-видимому, сегодня кратчайший путь к созданию легко обучаемых автономных электронных секретарей. Естественно предположить, что именно на этом направлении, в силу его стратегической важности, в ближайшем будущем будет достигнут наибольший прогресс.
Видимо, искусственный интеллект, о котором так долго говорили и спорили, начнет, наконец, материализовываться в этих пока что очень примитивных нейро-агентах. Вскоре электронные агенты вынуждены будут вступить в общение не только со своим хозяином и пассивными данными, но и с другими такими же агентами. В Сети возникнет новый социум с новыми правилами отношений. Разум же и личность, напомним, - понятия социальные. Агенты, учащиеся принимать решения от лица пользователя в социальном окружении, неизбежно приобретут все атрибуты личности.
Но это в будущем. Современный же нейрокомпьютинг - только первая ласточка. В наше время эта технология распознавания ситуаций и принятия решений отрабатывается в конкретных, четко очерченных областях (например, игра на бирже), не требующих знания социального контекста, пока недоступного компьютерам. До принятия действительно значимых управленческих решений нейрокомпьютерами еще очень далеко. Но дорогу осилит идущий.
Мы наблюдаем удивительное явление: из такого безусловно пустого, абсолютно безличного материала как цифровая машина, удалось, благодаря специальным программам, сконструировать настоящие личности $$\dots$$ С.Лем " Non serviam"
Правый мозг любит сладкое больше, чем левый. И где же тут парадокс? - спросил я, стараясь как можно незаметнее оттолкнуть левую руку, которая опять совала мне пряник в рот. С.Лем, "Мир на Земле"
В этой книге, основанной на курсе лекций, прочитанном авторами в Финансово-Аналитическом Колледже МИФИ, мы знакомим читателя с основами нейросетевой обработки данных и примерами типовых применений, преимущественно в области финансов и бизнеса.
Наш опыт свидетельствует, что главным препятствием к широкому практическому применению нейрокомпьютинга служит недостаточное понимание его основ. Эта книга писалась с целью восполнить этот пробел. Поэтому основное внимание здесь уделяется описанию принципов нейросетевой обработки данных, их потенциальных возможностей и преимуществ, а также подробному разбору нескольких конкретных применений. Упор делается на концептуальной стороне дела, а не на описании конкретных алгоритмов. Предполагается, что в случае необходимости читатель сможет воспользоваться одним из многочисленных коммерческих нейро-эмуляторов, а не возьмется программировать нейросети "с нуля" на С++. Главная задача книги - научить читателя "видеть" нейросетевые постановки задач в его повседневной работе, помочь ему автоматизировать рутинную обработку сложной многофакторной информации с помощью современного математического аппарата - искусственных нейронных сетей.
Хотя мы старались избегать математических выкладок и, по возможности, упростить изложение, хотелось бы заранее предупредить, что материал этой книги рассчитан на достаточно подготовленного читателя - как минимум студента старших курсов. Наш "идеальный" читатель - студент, научный работник, финансовый аналитик, консультант, брокер или просто бизнесмен, желающий повысить эффективность своего бизнеса путем более вдумчивой работы с доступной ему информацией.
Одной из характерных черт нейрокомпьютинга является обучение на примерах. Поэтому и мы начнем с серии примеров, которые лучше любых описаний наметят возможные области практических приложений нейросетей и подкрепят решимость читателя заняться их изучением. В последнее время в прессе все чаще стали мелькать сообщения, где так или иначе упоминаются искусственные нейронные сети. Вот только несколько выдержек, иллюстрирующих возможные области применений нейросетей:
Автопилотируемый гиперзвуковой самолет-разведчик. Названный LoFLYTE (Low-Observable Flight Test Experiment) реактивный беспилотный самолет длиной 2,5 м был разработан для NASA и Air Force фирмой Accurate Automation Corp., Chattanooga, TN в рамках программы поддержки малого инновационного бизнеса. Это экспериментальная разработка для исследования новых принципов пилотирования, включая нейронные сети, позволяющие автопилоту обучаться, копируя приемы пилотирования летчика. Со временем нейросети перенимают опыт управления, а скорость обработки информации позволит быстро находить выход в экстремальных и аварийных ситуациях. LoFLYTE предназначен для полетов со скоростью 4-5 Махов, когда скорости реакции пилота может не хватить для адекватного реагирования на изменения режима полета. (Пресс-релиз NASA №96-154 от 2 августа 1996 г. )
Системы безопасности в аэропортах. Американская фирма SAIC (Science Application International Corporation)
использовала нейронные сети в своем проекте TNA. TNA представляет собой ящик стоимостью $750.000, который
способен обнаруживать пластиковую взрывчатку в запакованном багаже. TNA бомбардирует багаж медленными нейтронами, вызывающими
вторичное гамма-излучение, спектр которого анализируется нейронной сетью. Система обнаруживает взрывчатку с вероятностью выше
97% и просматривает 10 мест багажа в минуту (для Международного Аэропорта Лос-Анжелеса потребуется 10 таких систем общей
стоимостью около $8 млн). SAIC получила контракт на разработку TNA от Федерального Управления по Авиации (
Нейросети на финансовых рынках.Американский Citibank использует нейросетевые предсказания с 1990 года. В 1992
году, по свидетельству журнала The Economist, автоматический дилинг показывал доходность 25% годовых, что намного превышает
показатели большинства брокеров. Chemical Bank использует нейро-систему фирмы Neural Data для предварительной обработки транзакций на валютных биржах
23 стран, фильтруя "подозрительные" сделки.
Распознавание краденных кредитных карт. В 1986 году известный конструктор нейрокомпьютеров профессор Роберт Хехт-Нильсен основал компанию HNC. Переключившись в 1990 году с призводства нейрокомпьютеров на предоставление конкретных решений в различных областях, HNC Software Corp. является сейчас лидером на рынке контроля транзакций по пластиковым картам. Ее основной продукт Falcon (Сокол), выпущенный в сентябре 1992 г., контролирует сейчас более 220 млн карточных счетов, выявляя и предотвращая в реальном времени подозрительные сделки по, возможно, краденным кредитным/дебетным картам. Искусственные нейросети обучаются типичному поведению клиентов, различая резкую смену характера покупок, сигнализирующую о возможной краже. Ежегодные потери крупных банков от подобных краж измеряются десятками миллионов долларов, и когда в 1994 г. впервые за всю историю пластиковых карт эти потери пошли на убыль, этот прогресс пресса связывала с успешным внедрением системы Falcon. Клиентами HNC Software являются 16 из 25 крупнейших в мире эмитентов пластиковых карт. (Пресс-релиз HNC Software http://www.hnc.com)
Активная реклама в Internet.Нейросетевой продукт SelectCast фирмы Aptex Software Inc. (дочерней фирмы HNC Software Corp.) выявляет профили интересов пользователей Internet и предлагает им соответствующим образом отфильтрованную рекламу. В июле 1997 года один из лидеров поискового рынка Internet - Excite, Inc. лицензировала SelectCast для использования на своих поисковых серверах. После установки на серверах Excite и Infoseek, нейросетевая реклама охватит около трети всех пользователей Internet. Согласно проведенным исследованиям, установлено, что отклик на такую активную рекламу в среднем вдвое выше, чем на обычную рекламу, размещаемую в Сети. А на отдельные виды рекламы отклик возрос впятеро. Заметим, что рекламный сектор Internet переживает сейчас период бурного развития. Результаты первого полугодия 1997 года свидетельствуют о годовом темпе роста 250%, что в денежном выражении составит в 1997 году $400 млн. (Scientific American, Dec 1997, "On-line Advertising goes one-on-one".)
Мониторинг и персонализированная рассылка новостей. Распознавание темы текстовых сообщений - другой пример успешного использования искусственных нейросетей. Сервер новостей Convectis (продукт все той же Aptex Software Inc. http://www.aptex.com выбран в июне 1997г. лидером персонализированной доставки новостей в Internet - PointCast Inc. - для автоматической рубрикации сообщений по категориям. Сверяя значения слов по контексту, Convectis способен в реальном масштабе времени распознавать тематику и рубрицировать огромные потоки текстовых сообщений, передаваемых по сетям Reuters, NBC, CBS и др. Так, например, информационное агентство Scoop, специализирующееся на поставке бизнес-новостей и также лицензировавшее Convectis в июле 1997г., использует свыше 1600 источников информации. После анализа сообщения Convectis генерирует аннотацию, список ключевых слов и список рубрик, к которым относится данное сообщение. Существуют и другие электронные агентства новостей, использующие нейросети для рубрикации и персонализации информации (см., например, http://www.wisewire-corp.com)
Приведенные выше примеры свидетельствуют о том, что нейросетевая обработка данных постепенно становится неотъемлемой компонентой высоких технологий, определяющих жизнь современного мира. На них будут опираться новые военные доктрины, они будут контролировать нашу безопасность и торговать на электронных биржах, на них основываются нарождающиеся масс-медиа в глобальной сети Internet. Интерфейс с этой глобальной Сетью, постепенно превращающейся в единый распределенный компьютер, также, по-видимому, будет основываться на нейросетевых обучаемых агентах - представителях пользователя в Сети.
Что же это такое - искусственные нейронные сети? Какое отношение имеют искусственные нейросети к естественным? Чем отличается нейрокомпьютинг от обычных методов компьютерного моделирования? Каковы его "экологические ниши" в мире информационных технологий и перспективы на будущее? Этим вопросам и будет посвящена данная, вводная, лекция нашего курса.
Для начала попробуем описать особенности обработки информации мозгом. Посмотрим, что из того, на что способен мозг, еще по большей части недоступно современным системам обработки информации.
Мозг построен из клеток двух типов: глиальных и нейронов. И хотя роль глии в его работе, видимо, довольно значительна, большинство исследователей полагает, что в основном понимание работы мозга может быть достигнуто при изучении нейронов, объединенных в единую связанную сеть. Эта парадигма и используется при построении, изучении и применении искусственных нейронных сетей, которым посвящена эта книга.
Количество нейронов в мозге оценивается величиной 1010-1011. Типичные нейроны имеют тело клетки (сому), множество ветвящихся коротких отростков - дендритов и единственный длинный и тонкий отросток - аксон. На конце аксон также разветвляется и образует контакты с дендритами других нейронов - синапсы рис 1.1(рис 1.1) Схема нейрона и межнейронного взаимодействия
Внутриклеточное пространство нейрона имеет отрицательный электрический потенциал по отношению к внеклеточному (-70 mV), то есть
клетка в целом поляризована. Поляризация возникает за счет избирательной проницаемости клеточной
После генерации импульса нейрон некоторое время (период рефрактерности) не может активироваться. Поэтому частота, с которой нейрон может генерировать импульсы ограничивается примерно 100 Гц.
Каждый из нейронов устанавливает синаптические связи в среднем с 104 другими нейронами. Поэтому число связей в мозге оценивается в 1014 -1015. Очень грубо можно считать, что нейроны мозга могут находиться в двух состояниях - возбужденном (когда они предают свое воздействие другим нейронам) и покоящемся (когда такой передачи нет).
До сих пор неизвестно, каким кодом пользуется нервная система для передачи взаимодействия. Может быть, он является бинарным, и
значение имеют указанные состояния нейронов. Возможно, важна частота электрической активности нейронов, кодирующая интенсивность
сигнала. Например, у нейронов коры эта частота может быть пропорциональна вероятности некоторого события. Наконец, информация может
содержаться не в импульсных процессах, а в более медленных изменениях потенциала
Мозг управляет организмом в целом, его восприятием окружения, движением, поддержанием важнейших функций жизнедеятельности,
оперативно реагируя на всевозможные изменения среды. Генетическая программа организма, конечно, тоже способна адаптироваться к
изменяющимся условиям, но очень медленно, за счет крайне редких полезных мутаций. Если использовать только этот способ, то необходимо
производить огромное потомство, только малая часть которого выживает. Этим методом пользуются низшие формы жизни - такие как бактерии
и вирусы. Высшие же формы в ходе эволюции выработали у себя способность к изменению и адаптации в течение жизни - благодаря особому
свойству своей нервной системы -
Объем накопленной в мозге информации вначале дополнял, а затем и превзошел (у рептилий и млекопитающих) объем наследственной
информации, закодированной в ДНК (см. рис. 1.2 ). Можно сказать, что генетическая информация у
высших организмов исполняет роль ракеты-носителя, направляя процесс построения организма. Затем управление передается адаптирующейся
к внешнему миру нервной системе, вершиной которой и является мозг.(рис 1.2) Сравнение наследственной и приобретенной информации для различных видов организмов
В строении мозга как на фотографии запечатлен весь эволюционный путь его развития. Так, мозг человека фактически включает в себя три больших отдела, управляющие наиболее древней структурой (нейрошасси), доставшейся нам еще от рыб и амфибий, и ответственной за поддержание жизнедеятельности и размножение. Первый отдел - рептильный комплекс - возник несколько сот миллионов лет назад и помогает нам ориентироваться в пространстве. Второй отдел - лимбическая система - образовался около ста пятидесяти миллионов лет назад. Благодаря ей мы обладаем эмоциями. Наконец, последнее достижение - новая кора, особо развитая у человека, позволяет нам говорить и логически мыслить.
В фантастических романах прошлого человек будущего (или инопланетный гуманоид) иногда изображался как хилое существо с огромным мозгом. На самом деле, и при нынешних его размерах (примерно 5% от общего веса тела) мозг человека потребляет около 20% кислорода и, следовательно, энергии. При этом он обычно не задействован "на полную мощность": одновременно активны в нем лишь 2-3% нейронов . Благодаря такой избыточности, мозг человека обладает огромным запасом прочности, позволяющим ему работать даже несмотря на серьезные повреждения и утраты. Этой способности лишены современные компьютеры.
В дополнение к эволюционному разделению частей мозга, о котором мы говорили выше, в нервной системе явно различаются три типа нейронных структур: сенсорные, внутренние и эффекторные. Первые связывают наш мозг с внешним миром и обеспечивают поступление в него зрительной, слуховой, вкусовой, обонятельной и осязательной информации. Есть у нас и шестое чувство - чувство равновесия, за которое отвечает вестибулярный аппарат. Его особенность заключается в том, что он не вынесен наружу. Эффекторные нейроны управляют мышцами, внутренними органами, стенками сосудов и пр. Мозг таким образом контролирует работу сердца, дыхание, кровяное давление, температуру, поддерживает нужное содержание кислорода в крови, осуществляет гормональную регуляцию и пр. Промежуточные нейроны обрабатывают информацию, получаемую от сенсорных и передаваемую эффекторным нейронам.
Существующие компьютерные системы позволяют вводить в них изображения, звуковую и другие виды информации. Однако, в отличие от компьютера, снабженного сканером, телекамерой и микрофоном, мозг обладает вниманием, свойством, которое позволяет ему сосредотачиваться на важной в данный момент информации и игнорировать несущественную. Эффективные системы предобработки сенсорной информации, вырабатываемые в течение жизни путем обучения, позволяют мозгу эффективно распознавать сенсорные образы - способность, пока мало освоенная современными компьютерами.
Компьютеры имеют память! В нее можно записать программы, данные, изображения, что угодно. Однако, все они хранятся как некоторые
Мозг использует другой способ поиска информации - не по адресу, а по содержанию, вернее, по его достаточно представительной части. Вспомните телепередачу "Угадай мелодию", в которой участникам предлагается восстановить текст куплета по нескольким нотам мелодии. Очевидно, что эти ноты составляют лишь часть песни, в которой музыка вместе с текстом составляют единый информационный образ.
Память, способная восстанавливать полную информацию по ее достаточной части (двух нот в нашем примере недостаточно) называется содержательно-адресованной. При этом, мозг способен извлекать информацию и в случае, если исходные данные (ключ) являются не собственно ее частью, но связаны с ней устойчивой связью (в случае, если мелодию не удается узнать по нотам, она может быть восстановлена мозгом, если в поле его зрения попадется машущий крылами Валдис Пельш). Такая память называется в общем случае ассоциативной (авто- или гетеро-, соответственно).
Итак, наша память имеет ассоциативный содержательно-адресованный характер. Но это еще не все. Она является также и распределенной.
Это означает, что в мозге нет специализированного нейрона, отвечающего, например, за распознавание вашей бабушки . Наоборот, в
запоминании некоторой информации участвует множество нейронов, так что гибель некоторых из них обычно не удаляет соответствующий образ
из памяти. Более того, мозг обладает огромной компенсаторной способностью: поражение обширных участков приводит к тому, что
соответствующие функции берут на себя другие его части. Такое свойство систем называется робастностью (
Наконец, важнейшим свойством нашей памяти является ее активность. Суриков не видел, как Суворов переходит через Альпы, но создал в своем сознании соответствующий образ и материализовал его на холсте. Еще более причудливые примеры активности памяти могут быть найдены на картинах Босха.
Итак, человеческая память отличается от компьютерной тем, что она: содержательно-адресованая, ассоциативная, распределенная, робастная и активная.
Обсуждение способности к мышлению наиболее важно с точки зрения сопоставления традиционной вычислительной техники и нейрокомпьютеров. Казалось бы, современные компьютеры способны решать задачи высокого интеллектуального уровня. Они могут интегрировать сложнейшие системы дифференциальных уравнений, осуществлять логический вывод и как следствие - рассчитывать свойства веществ и играть в шахматы лучше человека.
Однако, все их достижения связаны с тем, что решение этих проблем может быть формализовано и представлено в виде последовательностей арифметических и логических операций - алгоритмов. Современный компьютер является ни чем иным, как чрезвычайно быстродействующим арифмометром, способным выполнить любую инструкцию, заключенную в программе. Структура компьютера является реализацией универсальной машины Тьюринга, и эта структура полностью отделена и независима от данных, которые обрабатываются компьютером при решении конкретной задачи.
Математические вычисления и логический вывод доступны и мозгу человека. Однако, они не исчерпывают того, что мы понимаем под мышлением. Удивительным образом, за реализацию соответствующих функций ответственно одно, левое, полушарие человеческого мозга. Его работа позволяет нам говорить, строить грамматически правильные фразы, писать. Оно ответственно за наше восприятие времени и, похоже, вследствие этого обрабатывает информацию последовательно, шаг за шагом.
В свое время, известный американский математик, лауреат Нобелевской премии по экономике Ричард Беллман заметил, что современные компьютеры по своей природе наиболее приспособлены для решения задач с начальными условиями (задачи Коши). Такие задачи могут быть решены последовательным получением решения от одного момента времени к другому, начиная с начального условия. В известном смысле, вся современная наука является результатом выдающегося и не всегда явно осознаваемого открытия Ньютона, впервые отделившего законы природы от начальных условий. Можно сказать, что традиционные компьютеры, в которых алгоритм отделен от данных, являются парафразом этого достижения. Из вышесказанного следует, что принципы работы обычных компьютеров оказываются в некотором смысле аналогичными принципам обработки информации именно левым полушарием мозга человека.
Однако, математика, логика и наука в целом являются позднейшими достижениями человеческого мышления. То есть, развитие вычислительной техники стартовало с имитации наиболее поздних находок эволюции человеческого мозга. Пропущенным оказался целый пласт его возможностей, которые реализованы в другом, правом, полушарии.
Что характерно для обработки информации в правом полушарии? Множество исследований свидетельствуют в пользу того, что оно ответственно за наше восприятие пространства, за смысл слов, интуицию, воображение, образное мышление. Похоже, что в отличие от левого полушария, оно обрабатывает информацию параллельным способом. Правое полушарие почти не умеет говорить, но знает, что значат грамматически правильные фразы левого полушария.
Нейрокомпьютеры и являются теми системами, которые должны реализовать возможности, заложенные в правом полушарии мозга.
Одним из основных отличий правого полушария от левого является то, что оно работает не с абстрактными именами объектов - символами, а с образами конкретных объектов, информацию о которых мозг получает из внешнего мира. В каком-то смысле оно пользуется правилом "Лучше один раз увидеть, чем сто раз услышать". Все виденное нами в жизни хранится в правом полушарии, все имена - в левом. Можно сказать, что понятие "собака" известно левому полушарию, а вот образ конкретной Жучки находится в правом.
Хотя правое полушарие и не знакомо с логикой и математикой, оно способно учиться узнавать предметы просто по их предъявлению, а
не по описанию, в его подходах данные и метод составляют единое целое. Способность правого полушария обучаться на примерах объясняется
в теории нейронных сетей
Воображение и интуиция, которые также связываются с работой правого полушария, дают нам возможность принимать решение в тех случаях, когда никакого рецепта не существует. Они являются более древними изобретениями мозга, чем логическое мышление и имеют прямую связь с творчеством. Очень ярко эта творческая активность проявляется в способности видеть сны. Изобретение сна, играющего, по всей видимости, важную роль в упорядочивании сенсорной информации, является древним достижением эволюции. Из млекопитающих только ехидна и дельфин не видят снов. Дельфин лишен их потому, что его полушария спят по очереди - для сна со сновидениями этого недостаточно.
Обычные компьютеры не знают и не имитируют ничего подобного сну. Это может быть важным указанием на то, что творческие процедуры на них вряд ли реализуемы. Напротив, как мы увидим далее, в нейронных сетях и нейрокомпьютерах процедуры, имитирующие сон, имеют очень важное значение.
Нейрокомпьютеры, как мы видим, вовсе не призваны заменить существующие традиционные вычислительные машины. Они лишь восполняют те возможности, для которых не удается построить формальных алгоритмических схем. Подобно тому, как в человеческом мозге левое и правое полушарие работают в диалоге и сообща, современные информационные системы должны использовать симбиоз традиционных компьютеров и нейромашин для полноценной и продуктивной обработки информации (см. рис 1.3(рис 1.3) Симбиоз традиционных и нейро- компьютеров сродни симбиозу правого и левого полушарий головного мозга
Однако, поскольку наш курс посвящен именно нейрокомпьютерам, мы хотели бы, все же, еще раз подчеркнуть важность именно правополушарной обработки информации. С этой целью мы приведем отрывок из доклада академика Владимира Игоревича Арнольда, сделанного в 1997 году и посвященного "жестким" и "мягким" математическим моделям. Содержание его как нельзя лучше поддерживает наш вывод.
Между математиками есть двоякого рода люди: 1) математики-философы, т.е. математики высшей математической мысли, для которых цифры и вычисления есть ремесло; для этого рода математиков цифры и исчисления не имеют никакого значения, их увлекают не цифры и исчисления, а сами математические идеи. Одним словом, это математики, так сказать чистой философской математики; 2) напротив, есть такие математики, которых философия математики, математические идеи не трогают, которые всю суть математики видят в исчислениях, цифрах и формулах... Математики-философы, к которым принадлежу и я, относятся всегда с презрением к математикам-исчислителям, а математики-исчислители, среди которых есть много ученых весьма знаменитых, смотрят на математиков-философов как на людей в известном смысле "тронутых". Сейчас мы знаем, что описанные Витте различия имеют физиологическое происхождение. Наш мозг состоит из двух полушарий. Левое отвечает за умножение многочленов, языки, шахматы, интриги и последовательности силлогизмов, а правое - за пространственную ориентацию, интуицию и все необходимое в реальной жизни. У "математиков - исчислителей" по терминологии Витте гипертрофировано левое полушарие, обычно за счет правого. Это заболевание и составляет их силу (вспомним "Защиту Лужина" Набокова). Но доминирование математиков этого типа и привело к засилью аксиоматически - схоластической математики, особенно в преподавании (в том числе и в средней школе), на которое общество естественно и законно реагирует резко отрицательно. Результатом явилось повсеместно наблюдаемое отвращение к математике и стремление всех правителей отомстить за перенесенные в школе унижения ее изничтожением. Мягкое моделирование требует гармоничной работы обоих полушарий мозга. С.Ю.Витте, "Воспоминания", т.3, гл.5
Мягкие модели, о которых говорит Арнольд, - это модели, поддающиеся изменениям, параметры в них не имеют точного значения. Эта мягкость и представляет главное достоинство нейросетевых моделей, которые лежат в основе архитектур будущих нейрокомпьютеров.
Итак, мы описали особенности двух парадигм обработки информации - "логической" и "образной". Первая доминирует в существующих компьютерах, вторая - лежит в основе работы мозга, хотя человеческий мозг отличает от мозга прочих животных наличие обоих компонент мышления. Для полноценного существования в окружающем нас мире ценны оба способа обработки информации. И они рано или поздно возникают - как в ходе биологической эволюции, так и в процессе эволюции компьютеров, но, что характерно, - в разной последовательности. Биологическая эволюция шла "от образов - к логике". (Вспомним три слоя мозга: древнейший - ориентация в пространстве, более новый - эмоции, и новейшая кора - речь и логика). Компьютеры же, напротив, начав с логики, лишь спустя несколько десятилетий начинают осваивать распознавание образов.
Откуда такое различие в направлениях развития? Что касается развития Жизни - понятно. На ранних этапах эволюции требовалось лишь правильно реагировать на внешние воздействия. Задача понимания законов действительности, их формализации для передачи из поколения в поколение возникла лишь с появлением социальных животных и языка. Мыслить логически - роскошь, доступная лишь тем, кто сумел выжить в миллиардолетней борьбе за существование. А компьютеры? Почему они не пошли по тому же пути? Почему мы узнаем о существовании нейрокомпьютеров на пятом десятке лет компьютерной гонки? Для ответа на этот вопрос, ключевой для понимания перспектив нейрокомпьютинга, необходимо бросить хотя бы беглый взгляд на историю развития компьютеров.
Технические предпосылки создания компьютеров накапливались постепенно. Механические калькуляторы существовали еще со времен Паскаля. Теория универсального компьютера была разработана англичанином Аланом Тьюрингом в 30-х годах. А новую элементную базу (лампы) подготовило широкое распространение радиотехники. Требовался лишь толчок со стороны практики, должна была возникнуть задача, которую было бы невозможно решить без ЭВМ. Такую задачу предоставила Вторая Мировая Война. Для военных нужд потребовался супер-калькулятор. Сначала это были задачи расчета баллистических траекторий и составления баллистических таблиц корректировки стрельбы. Затем появился новый класс задач, связанных с созданием атомного оружия, и с тех пор военные неизменно выступали как основные заказчики супер-вычислителей.
Таким образом, в момент своего появления компьютеры занимались исключительно вычислениями, что и отразилось в их названии. Вычисления по заранее разработанному алгоритму требовали одного: очень много раз повторять однотипную череду операций. На решение таких - алгоритмических - задач и были нацелены ЭВМ 40-х и 50-х годов.
Последовательная архитектура первых ЭВМ была продиктована их чрезвычайной дороговизной. Это позволяло обойтись минимумом аппаратуры, минимизировать издержки вычислений. Машинные ресурсы всячески экономились, и всю заботу о составлении алгоритмов и переводе их в машинные коды брали на себя люди.
К моменту появления первых ЭВМ война уже кончилась, но потребность в вычислениях осталась. Правда в 50-х годы приобрести ЭВМ могли себе позволить лишь крупные научные центры и государственные учреждения. В 60-х, после появления серийных ЭВМ, центральный компьютер появился и в коммерческих фирмах.
Переход к транзисторам, а потом - внедрение интегральных схем, делало компьютеры все более доступными. Удешевление машинного времени позволяло перекладывать на них все больше рутинной работы, должным образом формализованной и созревшей, таким образом, для автоматизации.
Движущей силой нового, "демократического" этапа развития вычислительной техники стала автоматизация труда информационных работников - белых воротничков. До появления ЭВМ автоматизация производства затрагивала, в основном, труд рабочих - синих воротничков. Работа же с информацией по-прежнему опиралась на бумажную технологию прошлых веков. По мере усложнения производства это приводило к постоянному разрастанию штатов и росту издержек. Использование компьютеров для автоматизации конторского труда давало максимальную экономическую отдачу. Появилась концепция "безбумажного офиса", основанная на компьютерной обработке символьной информации - как числовой, так и текстовой. Компьютеры перестали восприниматься только как калькуляторы, а превратились в средства работы с текстовыми документами, хранения и обработки баз данных.
Новое качество придало компьютерным технологиям появление персональных ЭВМ и распространение компьютерных сетей. Эти два новшества приблизили компьютер к рядовому человеку и сделали для него потенциально доступной всю информацию, накопленную в мире. Выход компьютеров "в массы" сопровождался, с одной стороны, невиданными ранее темпами удешевления электронной обработки данных, с другой - качественной "гуманизацией" компьютерного интерфейса.
Именно интерфейс пользователя, делающий удобным и комфортным человеко-машинное общение стал двигателем нового этапа развития ЭВМ. Узким местом, снижающим эффективность человеко-машинного симбиоза, является неспособность современных ЭВМ оперировать сенсорной или, более обще - образной информацией. Человек, мозг которого ориентирован именно на такого рода информацию, является сейчас единственным связующим звеном между миром абстрактных символов, перерабатываемых компьютерами, и внешним миром.
Неспособность компьютеров видеть, слышать и ощущать не позволяет им освободить людей от их теперешних обязанностей "универсальных манипуляторов" и контролеров при машинном производстве. Отсутствие сенсорного восприятия мира компьютерами делает доступные им модели мира беспомощными. Компьютерный "кретинизм" мешает в человеко-машинном общении, не дает возможности объяснить компьютерам самые элементарные для человека понятия.
Между тем, уже сейчас стоимость компьютерной обработки информации и стоимость человеческого мышления почти сравнялись.
Следовательно, становится экономически целесообразным переложить все рутинные человеческие функции на компьютеры: все, что может быть формализовано немедленно превращается в программные продукты и включается в производственный процесс.
Однако, наращивание темпов компьютеризации наталкивается на ограниченные возможности современных компьютеров в решении неалгоритмизируемых задач - обработке образов. Это и есть то узкое место, которое сейчас резко сужает возможные области применения компьютеров и, соответственно, - емкость потенциального рынка. Искусственные нейросети призваны "расшить" это узкое место, обеспечив компьютерам способность оперировать образной информацией.
Главное отличительное свойство образов - большая информационная насыщенность, или, выражаясь языком электротехники, широкополосность информации. Иными словами, образ характеризуется числом бит на порядки превосходящим информационную размерность символа. Сравните 32-64-разрядные машинные слова современных ЭВМ и графические образы, характеризуемые мегабайтами информации. При этом, образ является единым информационным объектом. Многие его атрибуты (например, связность областей) являются глобальными - их нельзя вычленить, обрабатывая отдельные части образа независимо.
Можно, конечно, обрабатывать образы последовательно, шаг за шагом, небольшими порциями - символами, как это до сих пор и
делают компьютеры. Машинные слова современных процессоров имеют размерности от 16 до 64. Однако, это с неизбежностью замедляет
вычисления. Повышение параллелизма за счет увеличения разрядности универсальных процессоров идет медленно и с большим трудом, т.к.
сопровождается резким усложнением их структуры. Согласно эмпирическому закону
Очевидно, что эта тенденция, распространенная на размерность n>100, приводит к нереалистичным размерам электронных схем.
Следовательно, коренное увеличение быстродействия, требуемое для обработки образов в реальном времени, должно сопровождаться не менее
коренным изменением схемотехники. Должны появиться специализированные процессоры образов, построенные на новых принципах, отличных
от используемых в универсальных компьютерах.
Специфика этого нового поколения процессоров диктуется самой природой образной информации - ее широкополосностью.
Широкополосность образов имеет далеко идущие последствия. Пусть компьютер манипулирует n-разрядными символами. Количество информации,
требуемое для описания произвольного преобразования таких символов составляет $$\log_{2}2^{n2^{n}}=n2^{n}$$
бит. Иными словами, для описания произвольного алгоритма обработки n-разрядных символов потребуется 2n таких символов.
Это типичный пример "комбинаторного взрыва".
| Разрядность n машинных слов | Длина произвольного алгоритма |
|---|---|
| 8 | 256B |
| 16 | 128KB |
| 32 | 16GB |
| ... | ... |
| 1024 | 21000B |
Отсюда и следует качественное различие обработки символьной (малоразрядной) и образной (многоразрядной) информации. Для символов
в принципе возможно описать любой способ их обработки. Для образов это в принципе невозможно. Естественно, существуют относительно
тривиальные преобразования образов, поддающиеся формализации, т.е. имеющие компактное описание. На таких операциях построены
Для таких неформализуемых задач частичным описанием алгоритма является некое подмножеством полной таблицы преобразований - множество примеров, или обучающее множество. Возникает новый класс задач - восстановления алгоритма по набору примеров, обучения на примерах.
Процессоры образов должны обладать способностью обобщения конечного числа примеров на потенциально необозримое множество возможных ситуаций, иными словами, способностью предсказуемого поведения в новых ситуациях. В этом своем качестве они противоположны обычным компьютером, где алгоритм в явном виде задает поведение во всех мыслимых ситуациях.
Итак, возникает новая парадигма вычислительных машин: алгоритмы, порождаемые данными в универсальном процессе обучения, специализированные для данного класса операций с образами, адаптированные под конкретные информационные задачи. Это - естественный путь развития вычислительной техники, который обеспечивает одновременно и универсальность и простоту архитектуры таких универсальных спец-процессоров.
Нейрокомпьютинг, как Вы уже догадались, как раз и является описанной выше новой парадигмой вычислительных систем. Основная задача нейрокомпьютеров - обработка образов, основанная на обучении - та же, что и у биологических нейросистем. Подобно биологическим, искусственные нейросети нацелены на параллельную обработку широкополосных образов. В новой схемотехнике, как и в мозгу, остутствуют общие шины, нет разделения на активный процессор и пассивную память. Вычисления, как и обучение, распределены по всем активным элементам - нейронам, каждый из которых есть элементарный процессор образов, т.к. производит хотя и простейшую операцию, но сразу над большим количеством входов. Как вычисления, так и обучение полностью параллельны. В этом сила природных нейрокомпьютеров. Это дает возможность решать задачи, непосильные даже самым мощным суперкомпьютерам, несмотря на миллионнократную разницу в быстродействии элементной базы.
Вписав появление нейрокомпьютинга в общий процесс эволюции компьютеров, мы получаем возможность заглянуть в ближайшее будущее - экстраполируя сегодняшние тенденции.
Сегодняшний нейрокомпьютинг проходит "обкатку", в основном, в программном продукте для задач ассоциативной обработки данных, редко используя при этом свой "параллельный" потенциал. Такие приложения как раз и являются основной темой данной книги. Эпоха истинного - параллельного - нейрокомпьютинга начнется с выходом на рынок широкого ассортимента аппаратных средств - специализированных нейрочипов для обработки изображений, речи и прочей сенсорной информации. Можно представить себе, например, дверные замки, распознающие хозяина по виду, голосу, и быть может, запаху в совокупности. Системы жизнеобеспечения жилищ станут адаптивными и обучаемыми. Все бытовые приборы поумнеют и приобретут способность угадывать, что от них требуется именно в данный момент. Провозвестником таких изменений можно считать нейросетевой блок адаптивного управления в недавно появившемся пылесосе фирмы Samsung.
Сенсорные датчики приобретут способность реагировать, а регулирующие системы - ощущать. Умные контроллеры, распознающие
потенциально
Однако, наибольшие изменения, коснутся, по-видимому, самих компьютеров. По мнению Билла Гейтса, главы небезызвестной Microsoft, высказанному им на собрании совета директоров, через 10 лет 90% операционной системы будет занято решением задач распознавания образов. Таким образом, при проектировании будущих поколений компьютеров нейрокомпьютинг выдвигается на первый план.
Можно даже представить себе примерный сценарий проникновения нейросистем в компьютеры будущего, связанный с развитием глобальной сети Internet. Сейчас именно она направляет развитие компьютерных систем, постепенно превращая разрозненную сеть персоналок, рабочих станций и мэйнфреймов в единый мировой сетевой компьютер с неограниченными информационными ресурсами. Известная фирма Forrester Research, занимающаяся прогнозированием рынков, оценивает рынок услуг, связанных с Internet, в 2001 году на уровне $350 млрд. Практически все крупные компьютерные фирмы уже включились в борьбу за этот гигантский потенциальный рынок. Достаточно упомянуть ту же Microsoft, тратящую по $100 млн. в год только на исследования, связанные с Internet.
И подобно тому, как эпоха великих открытий XV века стимулировала развитие астрономии и точной механики для совершенствования навигационных приборов, освоение нового - информационного - океана требует развития новых средств навигации - ассоциативного поиска, создания адаптивных и автономных агентов. (Уже сейчас индексация Сети ведется автономными роботами.) Вспомним, каким мощным стимулом развития персональных ЭВМ был удобный графический интерфейс пользователя. Новый интерфейс пользователя для работы в Сети будет основываться на агентах, представляющих интересы пользователя в сети. Этот новый вид программного обеспечения, получивший название agentware, претендует на центральное место в будущей системе человеко-машинного общения. Между тем, первые экземпляры agentware уже появились на рынке, и что характерно, многие основаны на технологии нейросетей (см., например, http://f.agentware.com). Это, по-видимому, сегодня кратчайший путь к созданию легко обучаемых автономных электронных секретарей. Естественно предположить, что именно на этом направлении, в силу его стратегической важности, в ближайшем будущем будет достигнут наибольший прогресс.
Видимо, искусственный интеллект, о котором так долго говорили и спорили, начнет, наконец, материализовываться в этих пока что очень примитивных нейро-агентах. Вскоре электронные агенты вынуждены будут вступить в общение не только со своим хозяином и пассивными данными, но и с другими такими же агентами. В Сети возникнет новый социум с новыми правилами отношений. Разум же и личность, напомним, - понятия социальные. Агенты, учащиеся принимать решения от лица пользователя в социальном окружении, неизбежно приобретут все атрибуты личности.
Но это в будущем. Современный же нейрокомпьютинг - только первая ласточка. В наше время эта технология распознавания ситуаций и принятия решений отрабатывается в конкретных, четко очерченных областях (например, игра на бирже), не требующих знания социального контекста, пока недоступного компьютерам. До принятия действительно значимых управленческих решений нейрокомпьютерами еще очень далеко. Но дорогу осилит идущий.
Для получения официальных документов о завершении программы дополнительного профессионального образования (удостоверения о повышении квалификации, дипломов о профессиональной переподготовке и MBA) необходимо предоставить:
Внимание! Вы можете не заказывать доставку бумажной версии официального документы, а скачать его в электронном виде и распечатать самостоятельно. Информация о выданном документе в течение 1 месяца загружается в Федеральную информационную систему «Федеральный реестр сведений о документах об образовании и (или) о квалификации, документах об обучении» - ФИС ФРДО.
Доступ на новый сайт осуществляется с использованием адреса электронной почты, который был указан вами при регистрации на "старом". Мы постарались перенести все ваши данные с прежнего ресурса, однако не исключена вероятность потери части информации.
При возникновении проблемы со входом, воспользуйтесь функцией сброса пароля
Если вы обнаружите несоответствия, пожалуйста, сообщите нам.