НОУ ИНТУИТ | Нейрокомпьютерные системы. Лекция 2: Модели нейронов

Учитесь и получайте официальные документы БЕСПЛАТНО. Вы можете поддержать наш проект.

Регистрация Вход

Твой путь к знаниям!

Опубликован: 13.09.2006 | Уровень: специалист | Доступ: свободно | ВУЗ: Новосибирский Государственный Университет

Вам нравится? Нравится 20 студентам

| Поделиться |

Поддержать программу

Нейроны типа WTA

Нейроны типа WTA (Winner Takes All — "Победитель получает все") имеют входной модуль в виде адаптивного сумматора. Выходной сигнал -го сумматора определяется по формуле

$\begin{align*} u_i = \sum_{j=0}^N w_{ij}x_j. \end{align*}$

По результатам сравнения сигналов ${u_i, i=1,2,\ldots,N }$ отдельных нейронов победителем признается нейрон, у которого u_i оказался наибольшим. Нейрон-победитель вырабатывает на своем выходе состояние 1, а остальные (проигравшие) нейроны переходят в состояние 0.

Для обучения нейронов WTA учитель не требуется. На начальном этапе случайным образом выбираются весовые коэффициенты $w_{ij}$ каждого нейрона, нормализуемые относительно 1 по формуле

$w_{ij} \leftarrow w_{ij}/(w_{i1}^2+w_{i2}^2+\ldots+w_{iN}^2)^{1/2}.$

После подачи входного вектора , компоненты которого нормализованы по формуле

$x_{ij} \leftarrow x_{ij}/(x_{i1}^2+x_{i2}^2+\ldots+x_{iN}^2)^{1/2},$

определяется победитель этапа. Победитель переходит в состояние 1, что позволяет произвести уточнение весов его входных линий $w_{ij}$ по правилу

$w_{ij}(t+1) = w_{ij}(t)+ \alpha [x - w_{ij}(t)].$

Проигравшие нейроны формируют на своих выходах состояние 0, что блокирует процесс уточнения их весовых коэффициентов.

Выходной сигнал -го нейрона может быть описан векторным отношением

$\begin{align*} u_i = w_i^T x = ||w_i||||x|| \cos \varphi_i. \end{align*}$

Поскольку ||w_i||=||x||=1 , значение u_i определяется углом между векторами и $w_i, u_i = cos \varphi_i$ . Поэтому победителем оказывается нейрон, вектор весов которого оказывается наиболее близким текущему обучающему вектору . В результате победы нейрона уточняются его весовые коэффициенты, значения которых приближаются к значениям текущего обучающего вектора .

Следствием конкуренции нейронов становится самоорганизация процесса обучения. Нейроны уточняют свои веса таким образом, что при предъявлении группы близких по значениям входных векторов победителем всегда оказывается один и тот же нейрон. Системы такого типа чаще всего применяются для классификации векторов.

Кубические модели нейронов

Вектор входных двоичных сигналов рассматривается как адрес ячейки памяти, содержимое которой равно 0 или 1. Для размерности вектора существует 2^N возможных адресов.

Можно рассматривать ячейки памяти, как вершины -мерного гиперкуба. Ячейки памяти получают значения независимо друг от друга. Полезно рассматривать ячейки памяти как содержащие поляризованные двоичные значения $\pm 1$ . Тогда работа кубического модуля описывается следующим образом.

Двоичный вход используется как адрес памяти, поляризованная двоичная величина считывается и конвертируется в неполяризованную форму функцией (см. формулу 1). Обозначим значения по адресу через $S_\chi$ , так что $y = h(S_\chi)$ . Такие модули мы будем называть кубическими, чтобы подчеркнуть геометрическое представление множества адресов значений активации как множество вершин гиперкуба.