| Россия |
Инспектор
Вы можете этот курс.
Опубликован: 25.12.2006 | Уровень: специалист | Доступ: платный
Лекция 2:
Нейрокомпьютеры: какие они?
Аннотация: Как начинался нейрокомпьютинг? Как выглядят современные нейрокомпьютеры? Какова их производительность и цена? Нейрокомпьютеры и
нейро-эмуляторы. Как и где используют нейрокомпьютинг? Основные парадигмы нейрокомпьютинга. Анатомия нейросетей. Классификация
нейро-архитектур.
Ключевые слова: perception, perceptron, метод обратного распространения ошибки, digital signal processor, Texas Instrument, Вычислительный элемент, CNN, cellular, neural network, Synaptic, VME, ETANN, CNAPS, synapse, распознавание изображений, shareware, freeware, wavelet, инженерия знаний, задачу аппроксимации, центр кластера, нейросетевой алгоритм, спектрофотометрия, радар, electronic system, autonomy, controlled system, нейротехнология, глобальные связи, логический вентиль, градиентный метод, внешний наблюдатель, режим обучения, рекуррентная сеть
В науке мало пользы от моделей, которые рабски подчиняются всем нашим желаниям. Мы хотим иметь модели, которые дерзят нам, модели, которые имеют свой собственный ум. Мы хотим получить из наших моделей больше, чем мы в них вложили. Т.Тоффоли, Н.Маролус, " Машины клеточных автоматов"
Хватит. Пора наконец рассказать правду про моего друга ЭПИКАКа. Тем более, что он обошелся налогоплательщикам в 776 434 927 долларов 54 цента. Раз они выложили такие денежки, то имеют полное право узнать чистую правду. К.Воннегут, "ЭПИКАК"
Краткая история нейрокомпьютинга
В прошлой лекции появление нейрокомпьютеров представлено как закономерный этап развития вычислительной техники. В результате, у читателя может сложиться впечатление, что и сама идея нейрокомпьютинга - недавнее изобретение. Это, однако, не так. Пути Эволюции редко бывают прямыми. Идеи нейрокомпьютинга появились практически одновременно с зарождением последовательных ЭВМ.
Ключевая работа Мак Каллока и Питтса по нейро-вычислениям (McCulloch and Pitts, 1943) появилась в 1943 году, на два года
раньше знаменитой докладной записки фон Неймана о принципах организации вычислений в последовательных универсальных ЭВМ.
Однако, должны были пройти многие десятилетия, прежде чем радикальное удешевление аппаратуры позволило им заявить о себе в полный голос. Дело в том, что на ранних стадиях развития вычислительной техники, последовательная архитектура обладает весьма ценным преимуществом перед параллельной. А именно, она позволяет получать полезные результаты уже при минимальном количестве аппаратуры. В следующей лекции мы покажем, что обучение нейросетей требует больших вычислительных затрат (сложность обучения растет как третья степень размерности задачи). Поэтому нейрокомпьютинг предъявляет достаточно жесткие требования к вычислительной мощности аппаратуры. Только совсем недавно, когда рядовому пользователю PC1Мы будем пользоваться этим "народным" термином для персональных компьютеров (Personal Computer) вместо более наукообразной аббревиатуры ПЭВМ стала доступна производительность супер-ЭВМ 70-х, нейросетевые методы решения прикладных задач стали приобретать популярность. Как мы увидим далее в этой лекции, даже сейчас "настоящие" параллельные нейрокомпьютеры еще слишком дороги и не получили пока широкого распространения. Что уж говорить о конце 50-х, начале 60-х, когда появились первые образцы нейрокомпьютеров.
Первый экспериментальный нейрокомпьютер Snark был построен Марвином Минским в 1951 году. Однако,
он не был приспособлен к решению практически интересных задач, и первый успех нейрокомпьютинга связывают с
разработкой другого американца - Френка Розенблатта - персептроном (от английского perception - восприятие)
(Rosenblatt, 1961). Персептрон был впервые смоделирован на универсальной ЭВМ IBM-704 в 1958 году, причем его
обучение требовало около получаса машинного времени. Аппаратный вариант - Mark I Perceptron, был построен в 1960 году и
предназначался для распознавания зрительных образов. Его рецепторное поле состояло из 400 пикселей (матрица фотоприемников
20x20), и он успешно справлялся с решением ряда задач - мог различать некоторые буквы. Однако по причинам, которые станут
понятны по мере знакомства с теорией нейросетей, возможности первых персептронов были весьма ограничены. Позднее, в 1969
году Минский в соавторстве с Пейпертом дает математическое обоснование принципиальной, как им казалось, ограниченности
персептронов (Minsky and Papert, 1969), что послужило началом охлаждения научных кругов к нейрокомпьютингу. Исследования
в этом направлении были свернуты вплоть до 1983 года, когда они, наконец, получили финансирование от Агентства Перспективных Военных
Исследований США, DARPA. Этот факт стал сигналом к началу нового нейросетевого бума.
Интерес широкой научной общественности к нейросетям пробудился в начале 80-х годов после теоретических работ физика Джона Хопфилда (Hopfield, 1982, 1984). Он и его многочисленные последователи обогатили теорию параллельных вычислений многими идеями из арсенала физики, такими как коллективные взаимодействия нейронов, энергия сети, температура обучения и т.д.
Однако, настоящий бум практических применений нейросетей начался после публикации Румельхартом с соавторами метода обучения многослойного персептрона, названного ими методом обратного распространения ошибки (error backpropagation) (Rumelhart et. al., 1986). Ограничения персептронов, о которых писали Минский и Пейперт, оказались преодолимыми, а возможности вычислительной техники - достаточными для решения широкого круга прикладных задач.
Далее в этой лекции мы вкратце опишем современное (правда чрезвычайно быстро меняющееся) состояние нейрокомпьютинга: нейросетевые продукты (как специализированное hardware, так и более доступное software), их сегодняшние применения, а также основные принципы нейровычислений.
