Опубликован: 03.04.2013 | Доступ: свободный | Студентов: 351 / 28 | Длительность: 34:17:00
Специальности: Разработчик аппаратуры
Лекция 5:

Нейрофизиологический и формально-логический базис нейроподобных вычислений

4.5. Многопороговые модели

Рассмотренные формальные модели нейронов и нейронных структур типа перцептрона в своей основе используют некоторые пороговые правила "принятия решений" на этапе формирования выходной реакции, для исследования которых был разработан аппарат пороговой логики [77]. В рамках этой теории классическую (много)пороговую модель формального нейрона, которая отражает основные электрофизиологические свойства реального нейрона [56], можно представить в импликативной форме:

(l_s(X_n^s,W_{n}) = \sum_{i=1}^n{x_i^s *w_{i})\in (h_{j-1},h_j]\Rightarrow f_{s} := b_j. ( 4.4)

Здесь X^{s}_{n}= (x^{s}_{n}, x^{s}_{n}_{-1}, ..., x^{s}_{1}) - n -мерный входной вектор с компонентами x_i^s\in\{v_i\}; |\{v_i\}| =q_i, i = \overline{l,n}; s = \overline{0,Q}; 
Q=\prod_{i=1}^n{q_i-1} ; компоненты "весового" вектора W = (w_n , w_{n- 1}, …, w_1) принимают значения w_{i}\in (-\infty, +\infty) ; индекс s представляет ранг значения свертки l_{s} (и однозначно связанного с ним вектора X^{s}_{n} ) на скалярной оси L ; f_{s}\in\{b_{j}\} - значения реализуемой логической функции F(X^{s}n)=(f_{0}, f_1, ..., f _{s}, ..., f _{Q}) ; |\{b_j\}| =\gamma ; max\gamma =k ; |\{F_{\alpha} (X^{s}_n)\}|= k^{Q+1}, а вектор порогов H_{\chi} = (h_1, …, h_{\chi}) разбивает множество \{l_{s}\} скалярных произведений входного и "весового" векторов на (\chi+1) пороговых полуинтервалов ( h_{j-1},h_j] ; h\in (-\infty,+\infty) ; j=\overline{1,\chi} ; (\gamma-1) \le \chi \le Q ; \Rightarrow - отношение следования; := - оператор подстановки (присваивания).

В отличие от формального нейрона Мак-Каллока - Питтса функциональная полнота многопороговых элементов и их моделей достигается только параметрической адаптацией, то есть вариацией весового \delta W_n и/или порогового \delta H_{\chi} векторов.

Если в (4.4) ввести ограничения на весовые коэффициенты типа w_i\in(-1, +1), то получим систему мажоритарных пороговых правил формального нейрона Мак-Каллока - Питтса, а если зафиксировать систему связей между пороговыми элементами по типу "каждый с каждым", получим перцептрон Розенблатта.

Задачи оптимального синтеза (много)пороговых моделей сформулированы В.И. Варшавским (предисловие к [77]):

  1. Нахождение условий реализуемости произвольной логической функции той или иной многопороговой моделью.
  2. Синтез многопороговой модели по заданной логической функции и некоторому критерию качества.
  3. Синтез сети из многопороговых моделей по заданной логической функции и некоторому критерию качества.

Характеристики структурной сложности,связывающие задачи 1-3 в единую схему оптимального синтеза многопороговых моделей, введены Л.А. Шоломовым [78]:

  1. сложность (много)пороговой модели:
    \mu(M) = \beta_1*\sum_{i=1}^{n}{|w_i|} + \beta_2 * \chi ( 4.5)

    где \beta_{1}, \beta_2 \ge 0 - некоторые одновременно не равные нулю "стоимостные" коэффициенты реализации "единицы" веса и одного порога соответственно;

  2. сложность логической функции F(X_{n}^{s},W_n) = (f_0, f_1, ..., f_s, ...,f _{Q}):
    \mu(F_a) = \min\mu(M), ( 4.6)

    где минимум берется по всем многопороговым моделям типа (4.4);

  3. сложность класса логических функций \{F_{a}(X^{s}_{n})\} (функция Шеннона):
    \mu(k,n)=max\mu(F_{a}), ( 4.7)

    где максимум берется по всем k -значным логическим функциям

    F_{a}(X^{s}_{n}) \in \{F_{a}(X_{n}^{s})\}.

В такой постановке, как и в любой задаче поисковой оптимизации, основная сложность связана с реализацией критерия (4.7), который требует полного перебора всех логических функций из некоторого класса, а основная трудность связана с неопределенностью выбора шага вариации (\Delta W_n) n -мерного весового вектора W.

Решая методом случайного поиска задачи оптимального синтеза (много)пороговых моделей, А.Т. Бахарев и Л.А. Растригин [79] обнаружили, что с позиций поиска минимума размерности вектора порогов H значение имеют только те вариации весового вектора \Delta W, которые нарушают отношение порядка (по индексу s ) между значениями свертки l_{s} на скалярной оси L. Например, для n=3 и x_{i}^{s} \in \{0,1\} (рис. 4.23) вариации весового вектора W в пределах пирамид с вершиной в начале координат и с основаниями (А_1, A_2, А_3), (А_2, A_3, А_4), (А_1, A_3, А_5) и т. д. дают фиксированный порядок следования индексов s, упорядоченных по возрастанию значений свертки l_s : (А_1, A _{2}, A _{3}) - l_0 <l_1 <l_2 <l_3 <l_4 <l_5<l_6<l_7, (А_2, A _{3}, A _{4}) - l_0 <l_1 <l_2 <l_3 <l_4 <l_5<l_6<l_7, (А_1, A _{3}, A _{5}) - l_0 <l_1 <l_2 <l_3 <l_4 <l_5<l_6<l_7.

Структура индексных зон первого октанта

Рис. 4.23. Структура индексных зон первого октанта

Вариации весового вектора \delta W_n \in \Delta W_n, которые сохраняют отношение порядка (по индексу s ) между значениями свертки l_{s}(X^{s}_{n},W_{n}), получили название индексных зон [79]. Они позволяют заменить непрерывные вариации \delta w_i = (-\infty,+\infty) конечным набором целочисленных значений \{w_i\}, отвечающих одному и тому же порядку следования индексов s, и разбить весь процесс оптимального синтеза формальных нейронов на два этапа:

  • абстрактно-логический, который осуществляется на множестве подстановок индексов \{s\} и где определяются условия минимально пороговой реализации (много)пороговой модели;
  • "физический", который обеспечивает переход от H_{\chi}, заданным на упорядоченном целочисленном множестве \{s\}, к W_n и H_{\chi} с непрерывными значениями компонент.

Работу (много)пороговой модели ((М)ПМ) типа (4.4) проиллюстрируем на примере ее настройки на реализацию булевых функций (БФ) двух переменных (q_{1} = q_{2} = k = n = 2, s = 0,3 ): "И" - F(x_{2}, x_{1}) = x_{2}*x _{1} ; "ИЛИ" - F(x_{2}, x _{1}) = x_{2}+x _{1} ; "НЕРАВНОЗНАЧНОСТЬ" - F(x_{2}, x_{1}) = x _{2}*^+x _{1}*^, и в предположении w_1 = 1,5, w_2 = 0,5. В этом случае значения свертки двумерных булевых s -векторов X_{2}^0= (0,0), X_{2}^1= (0,1), Х_{2}^2= (1,0) и Х_{2}^3 = (1,1) расположатся на скалярной оси L в лексикографическом (по индексу s ) порядке:

(l _{0} = 0) < (l _{1} = 0,5) < (l _{2} = 1,5) < (l _{3} = 2) ( 4.8)

Отсюда, для настройки (М)ПМ на реализацию:

  • БФ "И" необходимо, чтобы одномерный вектор порогов удовлетворял условию 1,5 < h_1 < 2, а правило подстановки значений функции над двумя пороговыми полуинтервалами имело вид: (l_{s}  \le h_1) \Rightarrow f_s:=0, (l_{s} > h_1) \Rightarrow f_s:=1 ;
  • БФ "ИЛИ" необходимо, чтобы при сохранившемся правиле подстановки одномерный вектор порогов принимал значение 0 < h_1 < 0,5 ;
  • БФ "НЕРАВНОЗНАЧНОСТЬ" необходимо, чтобы вектор порогов был двумерным с компонентами 0 < h_{1} < 0,5 и 1,5 < h _{2} < 2, а прави-ло подстановки значений над тремя пороговыми полуинтервалами имело вид (l_{s} \le h_1)  \Rightarrow f_s:=0 ; (h_1 < l_{s} \le h _{2}) \Rightarrow  f_s:=1 ; (l_{s} > h _{2}) \Rightarrow f_s:=0.

Вариации значений компонент весового вектора, размерности и значений компонент вектора порогов обеспечивают реализацию произвольной ЛФ n переменных, причем не каждая вариация весового вектора изменяет отношение порядка (по индексу s ) между значениями свертки на скалярной оси L. Так, при w_2= 2 и w_1 = 1 лексикографический порядок сохранится: (l _{0}=0) < (l _{1}=1) < (l _{2}=2) < (l _{3}=3), а при w_1 = 1,5 и w_2 = -0,5 он нарушится:

(l _{1}= -0,5) < (l _{0}=0) < (l _{3} =1) < (l _{2}=1,5), ( 4.9)

то есть вместо порядка следования индексов s вида (0, 1, 2, 3) в (4.8) получили порядок следования (1, 0, 3, 2) в (4.9).

Такой "перестановочный" эффект значений свертки на оси L служит источником минимизации размерности вектора порогов или, что одно и то же, системы решающих правил в (М)ПМ. Например, для БФ F(x_{2}, x _{1}) = \overline{x_{2}}*x_{1} при лексикографическом порядке требуется (М)ПМ с двумя порогами 0 < h_1 < 0,5 и 0,5 < h _{2} < 1, а при порядке следования (4.9) - с одним порогом -0,5 < h_1 < 0 и системой решающих правил (l_{s} \le h_1) \Rightarrow f_s:=1, (l_{s} > h1) \Rightarrow f_s:=0.

В [79, 80] проанализированы условия эквивалентного перехода от (М)ПМ с аналоговыми параметрами ( W и H ) к (М)ПМ с дискретными параметрами. Было показано, что перестройка входного преобразования (М)ПМ, связанная с вариациями \delta W_n = \{\delta w_{i} \} весового вектора, приводит к различным \xi -перестановкам упорядоченных компонент свертки l_{s(0)} < l_{s(1)} < … < l_{s(p)} < … < l_{s(Q)} на скалярной оси L (p = \overline{0,Q}). В результате полная вариация весового вектора W_n порождает множество \{\xi\} перестановок значений компонент свертки \{l_{s}\} и связанных с ними индексов s, что и позволяет разбить все пространство \{W_n\} на классы эквивалентности W_{n} \subset \{ W_n \}, такие, что вариации \delta W_n внутри класса (\delta W_n \in \Delta W_n) не нарушают связанного с этим классом отношения порядка между значениями компонент свертки.

Структура пространства индексных зон (ИЗ) или, что одно и то же, вариации \delta W_n \in \Delta W_n, сохраняющие отношение порядка \xi, зависит от размерности n входного вектора X_{n}^{s} и значности q_i его компонент, что иллюстрирует рис. 4.24 [79, 80], где показаны все восемь индексных зон для q_i = 2. Из рис. 4.24 видна центрально-осевая симметрия пространства индексных зон, что позволяет ограничить анализ их структуры только первым (гипер)октантом.

Структура пространства ИЗ для n = q1 = q = 2

Рис. 4.24. Структура пространства ИЗ для n = q1 = q = 2

Если в трехмерном случае индексные зоны представляют собой пирамиды с вершинами в начале координат, то в двумерном случае это уже сектора, заключенные между наклонными линиями на целочисленной решетке, которая задается значениями компонент входного вектора x_i \in X_n.

Равномерность разбиения пространства \{W_n\} на индексные зоны нарушается уже при q_i \ge 4 (рис. 4.25), что приводит к разно "устойчивой" реализации ЛФ, зависящей от выбранного значения весового вектора.

Зависимость структуры пространства ИЗ от значности входных переменных при n = 2,

Рис. 4.25. Зависимость структуры пространства ИЗ от значности входных переменных при n = 2,

Из сказанного следует, при фиксированном векторе порогов H и правиле подстановки \{l_{s}\}_{j}\to b_{j} вариации весового вектора \delta W внутри индексной зоны изменяют значения \{l_{s}\}, но не нарушают отношение порядка между ними, а значит, и задаваемое (4.4) правило реализации ЛФ. Например, в заштрихованной индексной зоне (рис. 4.2) отношение порядка имеет вид l _{0} = 0 < l _{1} = 1,5 < l _{2} = 3 < l _{3} = 4,5. Здесь для определенности указаны значения l_{s} отвечающие (w_2 = 3) > (w_1 = 1,5). Тогда при h_1 = 4 реализуется ЛФ "И" F(x_{1}, x_2) = x _{1}&x _{2}, если правило подстановки имеет вид (l_{s} < h_1) \to f_s:=0, (l_{s} > h_1) \to f_s:=1. Переход в индексную зону с номером 2 сопровождается инверсией неравенства (w_1 = 3) > (w_2 = 1,5), которая приводит к новому порядку следования l_{s} на скалярной оси L: l _{0} = 0 < l_2 = 1,5 <  l _{1} = 3 < l_3 = 4,5. Однако он не нарушает правила подстановки, задаваемые функцией "И". Если (М)ПМ настроен на ЛФ F(x_{2}, x_{1}) = \overline{х_{2}}*x_{1 } то такая же вариация весового вектора (при неизменном правиле подстановки l_{s} < h_{1} = 1 \to f_s :=0; h_1 < l_{s} \le h_{2} = 2 \to f_s :=1 ; и h_2 < l_{s} \to f_s:=0 ) приведет к реализации ЛФ F(x_{2}, x_{1}) = x_{2}*\overline{x_{t}}.

Таким образом, с позиций устойчивой реализации заданной функции F_a вида (4.4) необходимо как минимум сохранить отношение порядка (при фиксированном правиле разбиения \{l_{s}\} и правиле подстановки \{l_{s}\}_j  \to b_j ), а при перестройке (М)ПМ с одной функции на другую при той же системе решающих правил надо перейти в другую ИЗ, то есть изменить отношение порядка.