НОУ ИНТУИТ | Нейроинформатика. Лекция 8: Нейронные сети ассоциативной памяти

Учитесь и получайте официальные документы БЕСПЛАТНО. Вы можете поддержать наш проект.

Твой путь к знаниям!

Опубликован: 01.03.2007 | Уровень: специалист | Доступ: свободно

Для рассматриваемых сетей с ортогональным проектированием также возможно простое дообучение. На первый взгляд, это может показаться странным - если добавляемый эталон линейно независим от старых эталонов, то вообще говоря необходимо пересчитать матрицу Грамма и обратить ее. Однако симметричность матрицы Грамма позволяет не производить заново процедуру обращения всей матрицы. Действительно, обозначим через ${\bf{G}}_m$ - матрицу Грамма для множества из векторов x^i ; через ${\bf{E}}_m$ - единичную матрицу размерности $m \times m$ . При обращении матриц методом Гаусса используется следующая процедура:

Запишем матрицу размерности $m \times 2m$ следующего вида: $\left( {{\bf{G}}_m \left| {{\bf{E}}_m } \right.} \right)$ .
Используя операции сложения строк и умножения строки на ненулевое число преобразуем левую квадратную подматрицу к единичной. В результате получим $\left( {{\bf{E}}_m \left| {{\bf{G}}_m^{ - 1} } \right.} \right)$ .

Пусть известна ${\bf{G}}_m^{ - 1}$ - обратная к матрице Грамма для множества из m векторов x^i . Добавим к этому множеству вектор $x^{m + 1}$ . Тогда матрица для обращения матрицы ${\bf{G}}_{m + 1}$ методом Гаусса будет иметь вид:

$\left( {\left. {\begin{array}{*{20}c} & & & {\left( {x^1 ,x^{m + 1} } \right)} \\ & {{\bf{G}}_m } & & \vdots \\ & & & {\left( {x^m ,x^{m + 1} } \right)} \\ {\left( {x^1 ,x^{m + 1} } \right)} & \cdots & {\left( {x^m ,x^{m + 1} } \right)} & {\left( {x^{m + 1} ,x^{m + 1} } \right)} \\ \end{array}} \right|{\bf{E}}_{m + 1} } \right) .$

После приведения к единичной матрице главного минора ранга m получится следующая матрица:

$\left( {\left. {\begin{array}{*{20}c} & & & {b_1 } \\ & {{\bf{E}}_m } & & \vdots \\ & & & {b_m } \\ {\left( {x^1 ,x^{m + 1} } \right)} & \cdots & {\left( {x^m ,x^{m + 1} } \right)} & {\left( {x^{m + 1} ,x^{m + 1} } \right)} \\ \end{array}} \right|\begin{array}{*{20}c} & & & 0 \\ & {{\bf{G}}_m^{ - 1} } & & \vdots \\ & & & 0 \\ 0 & \cdots & 0 & 1 \\ \end{array}} \right) ,$

где b_i - неизвестные величины, полученные в ходе приведения главного минора к единичной матрице. Для завершения обращения матрицы ${\bf{G}}_{m + 1}$ необходимо привести к нулевому виду первые m элементов последней строки и $\left( {m + 1} \right)$ -о столбца. Для обращения в ноль i -о элемента последней строки необходимо умножить i -ю строку на $\left( {x^i ,x^{m + 1} } \right)$ и вычесть из последней строки. После проведения этого преобразования получим

$\left( {\left. {\begin{array}{*{20}c} & & & {b_1 } \\ & {{\bf{E}}_m } & & \vdots \\ & & & {b_m } \\ 0 & \cdots & 0 & {b_0 } \\ \end{array}} \right|\begin{array}{*{20}c} & & & 0 \\ & {{\bf{G}}_m^{ - 1} } & & \vdots \\ & & & 0 \\ {c_1 } & \cdots & {c_m } & 1 \\ \end{array}} \right) ,$

где

$b_0 = \left( {x^{m + 1} , x^{m + 1} } \right) - \sum\limits_{i = 1}^m {\left( {x^i ,x^{m + 1} } \right)b_i } ,$

$c_i = - \sum\limits_{j = 1}^m {\left( {x^j ,x^{m + 1} } \right){\bf{G}}_{m,ji}^{ - 1} } .$

только если новый эталон является линейной комбинацией первых m эталонов. Следовательно $b_0 \ne 0$ . Для завершения обращения необходимо разделить последнюю строку на b_0

и затем вычесть из всех предыдущих строк последнюю, умноженную на соответствующее номеру строки b_i

. В результате получим следующую матрицу

$\left( {\left. {\begin{array}{*{20}c} & & & 0 \\ & {{\bf{E}}_m } & & \vdots \\ & & & 0 \\ 0 & \cdots & 0 & 1 \\ \end{array}} \right|\begin{array}{*{20}c} & & & { - {{b_1 } \mathord{\left/ {\vphantom {{b_1 }{b_0 }}} \right. \kern-\nulldelimiterspace}{b_0 }}} \\ & {\bf{F}} & & \vdots \\ & & & { - {{b_m } \mathord{\left/ {\vphantom {{b_m }{b_0 }}} \right. \kern-\nulldelimiterspace}{b_0 }}} \\ {{{c_1 } \mathord{\left/ {\vphantom {{c_1 }{b_0 }}} \right. \kern-\nulldelimiterspace}{b_0 }}} & \cdots & {{{c_m } \mathord{\left/ {\vphantom {{c_m }{b_0 }}} \right. \kern-\nulldelimiterspace}{b_0 }}} & {{1 \mathord{\left/ {\vphantom {1 {b_0 }}} \right. \kern-\nulldelimiterspace}{b_0 }}} \\ \end{array}} \right) ,$

где ${\bf{F}}_{ij} = {\bf{G}}_{m,ij}^{ - 1} - {{b_i c_j }{\left/ {b_0 } \right }}$ . Поскольку матрица, обратная к симметричной, всегда симметрична получаем ${{c_i }{\left/ {b_0 } \right }} = {{ - b_i }{\left/ {b_0 } \right }}$ при всех i. Так как $b_0 \ne 0$ следовательно b_i = - c_i .

Обозначим через ${\bf{d}}$ вектор

$\left( {\left( {x^1 ,x^{m + 1} } \right), \ldots ,\left( {x^m ,x^{m + 1} } \right)} \right),$

через ${\bf{b}}$ - вектор $\left( {b_1 , \ldots ,b_m } \right)$ . Используя эти обозначения можно записать

${\bf{b}} = {\bf{G}}_m^{ - 1}{\bf{d}},{\rm{ }}b_0 = \left( {x^{m + 1} ,x^{m + 1} } \right) - \left( {{\bf{d}},{\bf{b}}} \right).$

Матрица ${\bf{G}}_{m + 1}^{ - 1}$ записывается в виде

${\bf{G}}_{m + 1}^{ - 1} = \frac{1}{{b_0 }}\left( {\begin{array}{*{20}c} {b_0 {\bf{G}}_m^{ - 1} + {\bf{b}} \otimes {\bf{b}}} & { - {\bf{b}}} \\ { - {\bf{b}}} & {\bf{1}} \\ \end{array}} \right) .$

Таким образом, при добавлении нового эталона требуется произвести следующие операции:

Вычислить вектор ${\bf{d}}$ ( скалярных произведений - операций, $mn \le n^2$ ).
Вычислить вектор ${\bf{b}}$ (умножение вектора на матрицу - операций).
Вычислить (два скалярных произведения - операций).
Умножить матрицу на число и добавить тензорное произведение вектора ${\bf{b}}$ на себя ( операций).
Записать ${\bf{G}}_{m + 1}^{ - 1}$ .

Таким образом, эта процедура требует m + n + mn + 3m^2 операций. Тогда как стандартная схема полного пересчета потребует:

Вычислить всю матрицу Грамма ( $n{{m\left( {m + 1} \right)} \mathord{\left/ {\vphantom {{m\left( {m + 1} \right)} 2}} \right. \kern-\nulldelimiterspace} 2}$ операций).
Методом Гаусса привести левую квадратную матрицу к единичному виду ( операций).
Записать ${\bf{G}}_{m + 1}^{ - 1}$ .

Всего ${{2m^3 + nm\left( {m + 1} \right)} \mathord{\left/ {\vphantom {{2m^3 + nm\left( {m + 1} \right)} 2}} \right. \kern-\nulldelimiterspace} 2}$ операций, что в раз больше.

Используя ортогональную сеть (6), удалось добиться независимости способности сети к запоминанию и точному воспроизведению эталонов от степени скоррелированности эталонов. Так, например, ортогональная сеть смогла правильно воспроизвести все буквы латинского алфавита в написании, приведенном на рис. 8.1.

У сети (6) можно выделить два основных недостатка:

Число линейно независимых эталонов должно быть меньше размерности системы .
Неинвариантностью - если два визуальных образа отличаются только своим положением в рамке, то в большинстве задач желательно объединять их в один эталон.

Оба этих недостатка можно устранить, изменив выбор весовых коэффициентов в (2).

Дальше >>

Нейроинформатика

Нейронные сети ассоциативной памяти

Вопросы и ответы

Студенты

Авторизоваться

Нейроинформатика

Нейронные сети ассоциативной памяти

Вопросы и ответы

Студенты