Опубликован: 27.07.2006 | Доступ: свободный | Студентов: 6128 / 1494 | Оценка: 4.37 / 4.06 | Длительность: 13:49:00
ISBN: 978-5-9556-0049-9
Специальности: Программист
Лекция 13:

Когнитрон

< Лекция 12 || Лекция 13: 12345 || Лекция 14 >

Обучение когнитрона

Так как когнитрон реализован в виде многослойной сети, возникают сложные проблемы обучения, связанные с выбранной структурой. Получая обучающий набор входных образов, сеть самоорганизуется посредством изменения силы синаптических связей. При этом отсутствуют предварительно определенные выходные образы, представляющие требуемую реакцию сети, однако сеть самонастраивается с целью распознавания входных образов с замечательной точностью.

Алгоритм обучения когнитрона является концептуально привлекательным. В заданной области слоя обучается только наиболее сильно возбужденный нейрон. Автор сравнивает это с "элитным обучением", при котором обучаются только "умные" элементы. Те нейроны, которые уже хорошо обучены, что выражается силой их возбуждения, получат приращение силы своих синапсов с целью дальнейшего усиления своего возбуждения.

На рис. 13.2 показано, что области связи соседних узлов значительно перекрываются. Такое расточительное дублирование функций оправдывается взаимной конкуренцией между ближайшими узлами. Даже если узлы в начальный момент имеют абсолютно идентичный выход, небольшие отклонения всегда случаются; один из узлов всегда будет иметь более сильную реакцию на входной образ, чем соседние. Его сильное возбуждение будет оказывать сдерживающее воздействие на возбуждение соседних узлов, и усиливаться будут только его синапсысинапсы соседних узлов останутся неизменными.


Рис. 13.2.

Возбуждающий нейрон. Можно сказать, что выход возбуждающего нейрона в когнитроне определяется отношением его возбуждающих входов к тормозящим входам. Эта необычная функция имеет важные преимущества, как практические, так и теоретические. Суммарный возбуждающий вход в нейрон является взвешенной суммой входов от возбуждающих входов в предшествующем слое. Аналогично суммарный вход является взвешенной суммой входов от всех тормозящих нейронов. В символьном виде

E=\sum_i a_i u_i,\quad I=\sum_j b_j v_j,

где a_iвес i -го возбуждающего синапса, u_iвыход i -го возбуждающего нейрона, b_jвес j-го тормозящего синапса, v_jвыход j-го тормозящего нейрона.

Заметим, что веса имеют только положительные значения. Выход нейрона затем вычисляется следующим образом:

\begin{gathered}
NET=\frac{1+E}{1+I}-1,\\
OUT=\left\{\begin{aligned}
NET , & \quad \text{если } NET\ge 0,\\
0, & \quad \text{если } NET <0.
\end{aligned}
\right.
\end{gathered}

Предполагая, что NET имеет положительное значение, можно записать:

OUT=\frac{E-I}{1+I}.

Когда тормозящий вход мал ( I\ll 1 ), OUT может быть аппроксимировано как

OUT=E-I,

что соответствует выражению для обычного линейного порогового элемента (с нулевым порогом).

< Лекция 12 || Лекция 13: 12345 || Лекция 14 >