Нервная система человека и животных состоит из однотипных клеток, именуемых нейронами, которые связаны между собой разветвленной системой аксонно-коллатеральных связей (рис. 4.1). Главная отличительная черта нейронов - это наличие в невозбужденном состоянии разности электрических потенциалов (потенциал покоя - рис. 4.2) на полупроницаемой мембране и аксонно-коллатеральных связях. Это обусловлено разной концентрацией ионов калия и натрия на внешней и внутренней поверхности мембраны, которая в значительно большей мере препятствует ионам натрия диффундировать внутрь клетки (рис. 4.3).
(рис 4.1) Основные морфологические компоненты нейрона
(рис 4.2) Потенциал действияЭта разность потенциалов поддерживается силами поверхностного натяжения
(рис 4.3) Схема распространения потенциала действия по нервному волокнуВ отличие от коллатералей
Сома нейрона отделена от
где $$x_i, w_i, h$$ - соответственно входные воздействия на нейрон, весовые коэффициенты "восприятия" входных спайков на мембране нейрона и порог возбуждения нейрона.
"Взвешенному" суммированию в (4.1) отвечает нейрохимический механизм передачи возбуждения через синаптическую щель (рис. 4.4 [57]), которая отделяет аксон или коллатерали от мембраны принимающего (постсинаптического) нейрона.
(рис 4.4) Структура синапса [3]Пресинаптическое волокно (
Синаптические механизмы возбуждения ткани были впервые обнаружены в нервно-мышечных окончаниях, регулирующих (координирующих в пространстве и во времени) процессы сжатия и растяжения мышцы в целом. Исследования возбуждающих синапсов показали [57], что пре-синаптические импульсы неизменно вызывают локальную деполяризацию постсинаптической мембраны. В чисто нейронных синапсах такая реакция именуется возбуждающим постсинаптическим потенциалом (ВПСП), а ее эквивалент в нервно-мышечном окончании - потенциалом концевой пластины (ПКП).
Экспериментально был показан эффект пространственной сум-мации [57], когда несколько синхронных пресинаптических импульсов повышали амплитуду ВПСП, но не длительность локальной деполяризации постсинаптической мембраны.
Одним из главных показателей синапсов является время задержки от момента прихода пресинаптического импульса к бляшке до начала постсинаптической деполяризации, регистрируемой внеклеточно. В зависимости от функционального назначения нейрона и типа подопытного животного время задержки на синапсах колеблется от 0,3 мсек и до 2 мсек, где первое значение характерно для центральной нервной системы млекопитающих и для нервно-мышечных соединений поперечно-полосатых мышц [57].
Длительное время в физиологии синапсов противостояли две теории передачи возбуждения через синапс: более ранняя - электрическая и более поздняя - нейрохимическая. Сторонники нейрохимических механизмов передачи возбуждения через синаптическую щель исходили из наличия
Всем этим требованиям на момент наиболее успешных исследований синаптических механизмов удовлетворяли только ацетилхолин и нора-дреналин, метаболизм которых и был изучен достаточно полно. Показано [57], что с ростом частоты пресинаптических импульсов выделение аце-тилхолина возрастает в 70 раз по отношению к состоянию покоя, а интенсивность его синтеза увеличивается в 7 раз. При этом были раскрыты механизмы депонирования избыточного ацетилхолина, что в совокупности создает условия для адекватного реагирования синапса на возрастание частоты пресинаптического возбуждения.
Многообразие синапсов с электрической формой передачи возбуждений гораздо шире, чем с нейрохимической. Но во всех случаях передача в таких синапсах осуществляется только в одном направлении и посредством деполяризующего действия электрического тока, который создается либо импульсами, либо синаптическими потенциалами в пре-синаптической мембране [57].
Приведенные данные говорят об аналоговом или как минимум циф-роаналоговом механизме локальной деполяризации постсинаптической
На момент создания нейроподобных вычислительных технологий (середина 50-х годов прошлого столетия) не вполне ясно было, на что больше влияет деполяризация
| Наименование | Значение | Наименование | Значение |
|---|---|---|---|
| Диаметр клетки | Малые: 5-30 мк | Диаметр митохондрий | 0,2 мк |
| Большие: 30-100 мк | Диаметр пузырька | 200-1000 Е | |
| Количество синапсов сомы нейрона | Тангенциального ядра золотой рыбки: 1 | Плотность синаптических пузырьков | 250 шт/мк2 |
| Симпатического ганглия лягушки: 15-55 | Толщина |
пресинаптической до 70 Е | |
| Мотонейрона кошки: 1200-1800 | постсинаптической 60-100 Е | ||
| Ретикулярной формации: до 4000 | Длина |
до 1,5 м | |
| Удельная плотность синапсов сомы и дендритов нейрона | Ядра Дейтериса: 10000/50000 мк2 | Диаметр |
0,05 мк - 1 мм |
| Мотонейрона кошки: 15000/100000 мк2 | Длина перехвата Ранвье | 1-2 мк | |
| Масса дендритов | Более 50 % массы мозга | Диаметр поры |
4-8 Е |
| Диаметр дендрита | ~1,6 мк | Сопротивление |
Состояние покоя: 1000 ом |
| Плотность шипиков | (1-37)/10 мк2 | Активное состояние: 20 ом | |
| Длина шипика | ~2 мк | Удельная емкость |
~1 мкф/см2 |
| Скорость проведения "спайка" | При диаметре 2-4 мк: 0,8-2 м/сек | Время задержки в синапсе | 0,3-2 мсек |
| При диаметре 6-8 мк: 6-8 м/сек | Продолжительность "спайка" | 1,5-6,5 мсек | |
| При больших диаметрах: до 100 м/сек | Период рефрактерности | 0,1-2 мсек |
Приведенных данных достаточно, чтобы сформулировать "системотехнический базис" реальных нейронных технологий:
Таким образом, на основе приведенных данных можно заключить:
(Нейро)физиология по своему научному статусу интегрирует все достижения фундаментальных исследований физических, биофизических, химических, биохимических, молекулярно-биологических и нейрофизиологических процессов, протекающих в реальных нейронах, корковых и подкорковых образованиях, в периферической, вегетативной и центральной нервной системе и других нервных образованиях, которые участвуют в формировании устойчивых целенаправленных форм поведения и приспособительных реакций целостного организма и составляющих его систем: пищеварительной, оборонительной, дыхательной, иммунной, кровеносной, половой, гормональной и т. д. Такой междисциплинарный характер исследований требует высокого уровня абстракции, отражающей наиболее общие закономерности роста, развития и жизнедеятельности организмов различной сложности, что в конечном счете должно было привести и привело к формированию нейрокибернетических принципов и методов структурно-функциональной организации живых систем. Поэтому неудивительно, что для раскрытия механизмов становления условных рефлексов еще в 1935 году в лаборатории лауреата Нобелевской премии И.П. Павлова был использован один из базовых принципов кибернетики и нейрокибернетики - принцип обратной связи (П.К. Анохин). Дальнейшее совершенствование аналитических методов исследований физических, биофизических, химических, биохимических, молекулярно-биологических и нейрофизиологических процессов жизнедеятельности привело к созданию теории функциональных систем [25], которая отличается от классической кибернетики в главном: обратная связь в живых системах используется не только и не столько для усиления и/или подавления уже существующих входных сигналов, а для опережающего формирования механизмов оценки качества результатов будущего действия, которые невозможно свести к одним лишь процедурам экстраполяции случайных процессов, положенным Н. Винером в основание кибернетики и хорошо изученным на данный момент.
Базовым для теории функциональных систем является положение о том, что "единственным физиологическим принципом деятельности целого мозга, объясняющим поведение животных и человека, является принцип условного рефлекса [25]". Его справедливость вытекает из того факта, что в процессе обучения, без которого не обходится ни одна приспособительная деятельность организма, прежде всего должна быть установлена объективная, субъективная или даже волюнтаристская "причинно-следственная связь". Фактически должна быть построена своего рода "личная теория", формулирующая правила или алгоритм поведения индивидуума в конкретной обстановке. И только закрепив такую достаточно условную причинно-следственную связь между воздействием, именуемым "стимулом", и локальной, безусловно-рефлекторной, реакцией организма, можно рассматривать сформированный условный рефлекс в качестве "неделимой единицы физиологического проекта" и встраивать его в бол ее "сложный" целостный поведенческий акт, состоящий из последовательности локальных реакций, направленных на достижение той или иной цели поведения.
Здесь термин "условная связь" используется в расширенной трактовке, которая дополняет классическую Павловскую трактовку субъективным опытом отдельной особи, который может быть проигнорирован другими особями, особенно если их обучение протекает по принципу "делай как я". В частности, это может произойти, когда установленная отдельной особью "причинно-следственная связь" на самом деле является виртуальной и не имеет никакого отношения к реальным физико-химическим или молекулярно-биологическим законам взаимодействия с внешней средой. По И.П. Павлову термин "условный" используется в более узком смысле. Он подчеркивает, что данный тип реакции возможен только при воспроизводстве условий выработки причинно-следственной связи между одним из возможных стимулов и одной из возможных безусловных (врожденных, не приобретенных) физиологических реакций организма.
Приспособительные признаки условного рефлекса по И.П. Павлову (излагается по [25]):
Сигнальный характер условного рефлекса имеет глубокие молекулярно-биологические корни и является физиологическим проявлением общего для живых систем принципа опережающего отражения событий "неорганического" мира [25]. Этот принцип исходит из того, что даже простейшие биологические существа нашей планеты уже представляли собой системы (полу)открытого типа, которые связаны с окружающей средой через мембрану с избирательной проницаемостью рядом химических превращений, зарождающихся на мембране и продолжающихся целой серией многосвязных многостадийных ферментативных реакций внутри клеток и простейших организмов [60]. Исход такого взаимодействия живых систем с окру-
жающей средой априори никогда не известен, но негативный или даже трагический опыт такого взаимодействия можно учесть, а позитивный опыт воспроизвести только при условии повторяемости событий внешнего по отношению к организму мира. Поэтому для того чтобы организм смог вписаться в пространственно-временную структуру неорганического мира, у него должны быть механизмы опережающего отражения хотя бы повторяющихся в нем последовательных событий (рис. 4.5 [25]).
Из рис. 4.5 видно, если организм воспринимает некоторую последовательность событий как совокупность независимых воздействий, то он может реагировать на каждое из них только в отдельности и только постфактум. В этом случае у него нет возможности для активного противодействия внешним угрозам или для создания благоприятных условий эффективной "встречи" с биологически полезным событием "Д" во внешней среде (рис. 4.5-а). Напротив (рис. 4.5-б), если организм установил "причинно-следственную связь", гарантирующую ему более чем в 50 % случаев наступление события "Д" после того, как наступило событие "А", то у него есть время для подготовки условий встречи с биологически полезным событием "Д" или активного противодействия угрозе, проистекающей из такой встречи.
Таким образом, выработка условного рефлекса или, что одно и то же установление условной причинно-следственной связи между последовательными событиями внешней среды всегда сопровождается упреждающим синтезом молекулярно-биологических структур, адекватных условиям функционального взаимодействия с биологически важным событием. Но поскольку между структурой и функцией нет и не может быть взаимно однозначного соответствия, то встает вопрос о принципах и методах отбора адекватных молекулярно-биологических структур.
(рис 4.5) Два типа реакций протоплазмы на последовательность внешних воздействий [25]Структурно-функциональное единство живых систем в теории функциональных систем представлено принципом гетерохронии роста и эмбрионального развития, который применим и к сложным техническим системам. Данный принцип исходит из того, что для выживания новорожденный должен обладать необходимым комплексом структурно-функциональных возможностей, который включает [25]:
Экспериментальные и натурные данные говорят о том, что гете-рохронный и избирательный рост структур зародыша не направлен на равномерное развитие любого органа как целого. Он служит главной цели эволюции - наделению новорожденного полноценными и жизненно важными функциональными системами. В результате в развитии зародыша предпочтение отдается формированию жизненно важной функции, возможно, и в ущерб созданию того или иного органа как целого. Характерное проявление этого принципа - "шумы" сердца у новорожденных и в более позднем подростковом возрасте, которые не вызваны патологией сердечной мышцы.
В результате можно считать, что гетерохронность является базовым механизмом системогенеза, в том числе и сложных технических систем, в рамках которого предпочтение отдается избирательному и ускоренному развитию тех разнообразных по качеству и локализации структурных образований, которые, консолидируясь в целом, интегрируют полноценную функциональную систему, обеспечивающую новорожденному выживание [25].
Принцип опережающего отражения фактически ставит вопрос о механизмах трансформации системных макровзаимодействий на уровень молекулярных процессов и наоборот. Ответ на первую часть вопроса дает принцип конвергентного замыкания условного рефлекса, который был сформулирован П.К. Анохиным [25] в виде гипотезы, так как на тот момент отсутствовала достаточная нейрохимическая экспериментальная база. Тем не менее, этот принцип раскрыл схему перевода индифферентного
стимула в биологически значимый условный сигнал,что и является нейрофизиологическим итогом любого "обучения" организма. По П.К. Анохину, в логической схеме конвергентного замыкания на макроуровне задействованы два типа каналов поступления генерализованного возбуждения коры больших полушарий, по которым передается информация как об индифферентных, так и о безусловных раздражителях. Каналы первого типа проходят через лемнисковую систему и таламус к проекционным зонам коры, а второго типа - через ретикулярную формацию, связанную разветвленной сетью коллатералей с каналами первого типа [61]. Основная особенность возбуждений коллатерального ответвления в ретикулярную формацию состоит в том, что они являются опосредованными, множественными копиями возбуждений, направляемых в таламус и кору. Поэтому можно считать, что все подкорковые образования, хотя и с разной степенью пространственно-временной активности, постоянно задействованы в генерализованном возбуждении коры больших полушарий. Это является необходимым условием встречи на одном или группе корковых нейронов (конвергентных нейронов) требуемой комбинации пока еще индифферентного и биологически значимого возбуждений из (под)мно-жества возможных комбинаций. В их отборе (из множества всевозможных комбинаций), по П.К. Анохину, участвует сложный комплекс (нейро) физиологических механизмов функциональной системы.
Сама по себе встреча индифферентного и безусловного возбуждений на корковом нейроне также не является достаточным условием для трансформации такой первоначально разнесенной во времени и пространстве пары в устойчивую условно-рефлекторную связь, даже если эта пара часто воспроизводится в процессе жизнедеятельности организма. Согласно теории функциональной системы из всех таких повторяющихся пар отбираются только те, которые, будучи спроецированы на комплекс эфферентных (нисходящих) возбуждений, обеспечивают организму устойчивый, биологически полезный приспособительный эффект. При этом необязательно тождественное воспроизведение всего комплекса внешних и внутренних условий существования организма. Поэтому на последней стадии афферентного (восходящего) синтеза отбор и закрепление устойчивых комбинаций теперь уже условных и безусловных раздражителей осуществляется на уровне метаболических процессов конвергентных нейронов,где только и возможно взвешенное сопоставление оперативного опыта "(само)обучающейся" особи с опытом ее эволюционного и эмбрионального становления и развития.
Согласно [62] приобретенный особью опыт фиксируется на уровне молекулярных процессов клетки. Это нашло экспериментальное подтверждение в опытах с "каннибальными" планариями, которые обучались гораздо быстрее, получив с пищей информацию об оперативно накопленном опыте
через клеточный субстрат, "добытый" из сородичей с выработанным условным рефлексом. H. Hyden в своей теории молекулярной памяти [63] раскрыл роль РНК в процессе "обучения" эволюционно более поздних нервных клеток, одно только возбуждение которых приводит к специфическим структурным перестройкам нативного белка. По H. Hyden, схема "записи" информации в макромолекулярную память имеет следующий вид:
Схема "чтения" структурно представленной информации имеет тот же вид, но приходящие с той же частотой возбуждения теперь уже разрушают сформировавшийся комплекс (био)химических реакций. Именно этот эффект "перерегулирования" приводит к возбуждению нейрона, который стремится восстановить структуру нативных белков, регенерируя их по классической схеме: "транскрипция ДНК - матричная РНК - фермент - белок".
Современные исследования показали, что в межнейрональных и субнейрональных взаимодействиях решающую роль играют не столько пресинаптические трансформации пришедших возбуждений, сколько специфическая биохимическая активность веществ в составе постсинап-тической
Из приведенных данных видно, что в реальных нейронах:
Таким образом, если организмы рассматривать как прототип систем, где успешно решены проблемы синтеза "ненадежными" методами и средствами из "ненадежных" компонент с "малым временем жизни", то в систематику синтеза нанометровой или супрамолекулярной вычислительной техники необходимо включить следующие базовые положения теории функциональных систем П.К. Анохина (рис. 4.6) [25]:
Одна из первых успешных попыток построения формальной модели реальных нейронов была предпринята в 1943 году физиологом У.С. Мак-Каллоком и математиком У. Питтсом [64]. Главное ее достоинство - это простота, которая, с одной стороны, позволяет проводить анализ функциональных возможностей сложных нейронных структур, что важно для нейрофизиологов, а с другой стороны - оценивать функциональную устойчивость нейроподобных вычислительных структур при флуктуациях порогов, что важно для инженеров.
В дальнейшем под формальным нейроном стали понимать элемент вычислительной машины, который обладает следующими свойствами [65]:
Фактически У. Мак-Каллоку и У. Питтсу удалось корректно формализовать известные на тот момент времени механизмы синаптической передачи электрофизиологических возбуждений (см. раздел 4.1).
Для описания логических функций, реализуемых формальным нейроном, используют диаграммы Венна, в которых логические переменные представлены следующими областями (рис. 4.8):
(рис 4.8) Диаграмма Венна для 2 и 3 переменныхДля изображения логических функций с помощью диаграмм Венна достаточно поставить точку в соответствующем месте:

Вид реализуемой формальным нейроном логической функции зависит как от правил соединения волокон, так и от значения порога. Если формальный нейрон имеет $$\delta$$ входов, то множество возможных комбинаций значений входных сигналов насчитывает $$2^{\delta}$$ значений, которым на диаграмме Венна соответствует своя область. Поэтому каждой комбинации значений входных сигналов можно поставить в соответствие суммарное значение возбуждения, которое можно представить числом и записать его в соответствующую область диаграммы Венна. В результате каждый формальный нейрон рис. 4.9 можно представить эквивалентным нейроном рис. 4.10.
(рис 4.9) Формальные нейроны и соответствующие им диаграммы Венна [65]
(рис 4.10) В каждой области диаграммы Венна указана величина возбуждения при соответствующей входной комбинации [65]Возможен и другой вариант представления формального нейрона, когда в поля диаграммы Венна вписаны числа, отвечающие порядку появления соответствующей точки при возрастании порога исходного нейрона (рис. 4.11).
(рис 4.11) В каждой области диаграммы Венна указано число, соответствующее порядку появления точек при возрастании порога [65]Сетью Мак-Каллока называется объединение четырех или более рядов формальных нейронов без обратных связей типа рис. 4.12.
(рис 4.12) Сеть Мак-Каллока \delta=2 [65]Из приведенных данных следует:
При этом следует иметь в виду, что полнота формального нейрона достигается за счет его структурно-параметрической перестройки, то есть вариацией порога как параметра и схемы соединения с другими нейронами сети как структурного фактора.
Чтобы по известной структуре сети определить реакцию выхода, необходимо руководствоваться следующими правилами:
Выходная реакция единственного нейрона третьего ряда, а значит, и всей сети определяется двумя точками собственной диаграммы Венна:
Сети из формальных нейронов позволили перевести из абстрактной в инженерную плоскость исследования по синтезу надежных элементов из ненадежных компонент Дж. фон Неймана [66]. В частности, сеть рис. 4.13 логически устойчива при колебаниях порогов в пределах 75 %. (Сеть считается логически устойчивой, если она сохраняет реализуемую логическую функцию при одновременной флуктуации порогов составляющих формальных нейронов [65].)
В рамках этих исследований удалось показать [65]:
(рис 4.13) Логически устойчивая сеть Мак-Каллока \delta=2 [65]С.О. Мкртчян предложил схему формального нейрона с разрешающими взаимодействиями входных волокон [67], которые он привел к входам формального нейрона, дополнив пороговый элемент блоком входных логических преобразований (рис. 4.14 [68]), эквивалентных "сетевым преобразованиям" формального нейрона Мак-Каллока - Питтса.
При этом С.О. Мкртчян отказался от традиционного сетевого подхода к построению нейро-ЭВМ и сосредоточил свои усилия на синтезе традиционных блоков и устройств вычислительной техники на основе аппаратно реализованных формальных нейронов. В итоге были синтезированы все блоки и устройства традиционных ЭВМ, включая и конечные автоматы, основу которых составляют RS -триггеры (рис. 4.15).
(рис 4.14) Формальные нейроны с равноправными запрещающими и разрешающими входами [68]
(рис 4.15) Схемы RS-триггеров на пороговых и формальных нейронах [68]Тем не менее, нейрокомпьютерная и компьютерная техника продолжили развиваться параллельными курсами, что можно объяснить следующими причинами. Технологические успехи микроэлектроники выдвинули на первый план не минимизацию затрат активных (преобразующих) элементов (транзисторов), а средств коммутации, которые стали основными "пожирателями" площади кристаллов и главными источниками временных и энергетических издержек обмена информацией СБИС с "внешней средой". Более того, нейроподобная элементная база в принципе не могла выиграть у традиционных булевых вентилей даже по удельным аппаратным затратам, измеряемым количеством вентилей на одну реализуемую логическую функцию в составе многофункционального или универсального (функционально полного) логического модуля, на что, собственно, и делал ставку С.О. Мкртчян [68]. В частности, на универсальный логический модуль, реализующий 16 логических функций двух переменных, требуется всего 9 вентилей "И - НЕ " и два инвертора. В результате удельные затраты булевых вентилей на 1 логическую функцию составляют ~10 вентилей / 16 функций, то есть 0,625 вентиля на функцию. Для реализации в микроэлектронном операционном базисе порогового элемента на два входа требуются одноразрядный сумматор, блок сравнения и регистры хранения порога и весовых коэффициентов, где только на одноразрядный сумматор расходуется порядка 9 вентилей типа "И", "ИЛИ" и 4 инвертора. Поэтому нейроподобная элементная база способна выиграть у традиционных булевых вентилей только в том случае, если используемый физико-технический процесс будет адекватен системе преобразований формального нейрона "суммирование - сравнение - подстановка".
Этим можно объяснить возрождение интереса к нейросетевым вычислительным устройствам, которое произошло в середине 80-х годов прошлого столетия благодаря Дж. Хопфилду и Д. Танку [69], предложившим эффективную процедуру обучения сетей Мак-Каллока - Питтса. Именно эффективное обучение нейросетей пока является главным преимуществом нейрокомпьютерных технологий перед традиционными компьютерными технологиями, где главные временные издержки сосредоточены в процедурах формализации и программирования, с помощью которых задачи пользователя преобразуются в булево представление, исполняемое элементной базой ЭВМ.
Дж. Хопфилд и Д. Танк предложили проводить обучение нейро-ЭВМ на принципах аналоговой вычислительной техники, когда поиск решения дискретной задачи осуществляется в непрерывном пространстве, в котором как раз и выполняются нейронные вычисления. При этом обучение формулируется как поиск глобального оптимума некоторой функции, для достижения которого требуется как минимум умение выбираться из локального экстремума, для чего в аналоговые цепи обычно встраивают некоторые параметры "прибыли", которые эквивалентны параметру "температуры" в
Для этих целей подходит модель нейроподобной сети, в которой состояние $$i$$ -го формального нейрона описывается выходом $$V_{i}G{V^{0}i , V^{1}i }$$ (излагается по [70]). Входные возбуждения формального нейрона формируются двумя источниками: внешним сигналом $$I_{i}$$ и состояниями осталь-ных нейронов. Дж. Хопфилд ввел энергетическую функцию произвольного состояния симметрично связанной сети:
$$E = - \sum{T_{ij}*V_{i}*V_{j}} -\sum{I_{i}*V_i},$$где первая сумма берется по $$i < j$$, вторая сумма просто по $$i$$, а $$T_{ij} $$ представляет силу синаптического взаимодействия нейрона $$j $$ с нейроном $$i $$ (в биологической интерпретации).
Из (4.2) следует, что в энергетическую функцию нейросети вклад вносят только возбужденные нейроны, у которых $$V_i = 1$$, что соответствует состоянию " on " $$i$$ -го нейрона, а невозбужденные нейроны, у которых $$V_i = 0$$ (состояние "off") никакого влияния на энергию всей сети не оказывают ни за счет первого, ни за счет второго слагаемого. Поэтому разность значений энергии $$i$$ -го нейрона между его возбужденным и невозбужденным состояниями можно определить соотношением:
$$E_{i(on)} - E_{i(off)}= \Delta{E_i} = -\sum{T_{ij}*V_{j}} - \sum{I_{i}}$$Если $$\Delta E_{i}$$ отрицательна, то для минимизации энергии требуется усиление взаимодействий этого нейрона с остальными и/или внешней средой. В противном случае требуется ослабление такого взаимодействия.
В такой интерпретации локальные и глобальные минимумы можно рассматривать в качестве хранимых образцов, а нейросеть - как структурно организованную ассоциативную память, устойчиво воспроизводящую совокупность минимумов, свойственных только данной нейросети ("хранящую" значения $$p_{1}, p_{2}, p_{3}, p_{4}$$ - рис. 4.16).
(рис 4.16) Сеть Хопфилда в качестве структурно организованной ассоциативной памяти [70]С другой стороны, используя модель отжига для выхода сети из локального минимума, можно для каждого $$i$$ -го элемента памяти вычислить (4.3). Доказано, что двоичный механизм поиска глобального минимума регулируется вероятностной функцией $$P_{i} = 1/(1+e^{\Delta{E_i}/T})$$, где переменная $$T $$ аналогична температуре в модельном отжиге и по существу является масштабирующим множителем, управляющим интенсивностью "шума", который поддерживает флуктуационный характер изменения энергии в сети. При возрастании $$T P_{i}\to 0,5$$, и поэтому система ведет себя хаотично безотносительно к ограничениям в самой сети. При $$T = 0$$ и $$\Delta E_{i} = 0$$ система становится детерминированной ( $$P_{i} = 1$$ ) и скатывается в ближайший локальный минимум. Когда сеть Хопфилда - Танка достигает температурного равновесия, относительная вероятность ее нахождения в состоянии $$a$$ по сравнению с вероятностью состояния $$b$$ в данный момент времени $$T$$ подчиняется распределению Больцмана: $$P_{a}/P_{b} = e^{-(Ea} ^{-Eb)/ T}$$.
Отсюда, состояние температурного равновесия не гарантирует достижения некоторого устойчивого состояния в сети, причем сами состояния продолжают варьировать даже при установившемся распределении вероятностей.
Наилучшая стратегия достижения температурного равновесия (признак конца обучения нейросети) при любой заданной температуре $$T $$ состоит в том, чтобы стартовать с высокой температуры, сделав легко преодолимыми энергетические барьеры системы, и постепенно понижать $$T$$, повышая статус состояний с низкой энергией. В итоге при плавном
изменении температуры $$T $$ можно с большой вероятностью попасть в глобальный минимум или остановиться в достаточной близости от него. Таким образом, на основе приведенных данных можно заключить:
В модели формального нейрона Мак-Каллока - Питтса отражены практически все известные на тот момент структурно-функциональные особенности работы реальных нейронов. Исключение составляет только зависящий от многих внешних факторов цифро-аналоговый механизм диффузии
Второе существенное отличие монотипных и генотипных моделей нервной системы состоит в методе определения функциональных характеристик: в первом случае функциональные свойства постулируются и используются в качестве исходных данных, а во втором случае исходной является физическая система, представленная статистическими свойствами класса, а ее функциональные свойства являются конечной целью исследований. Именно второй подход адекватен условиям психофизиологических исследований, когда на первый план выходят не индивидуальные особенности нервной системы особи, а общие закономерности адаптации и обучения, свойственные классам таких особей, которые репродуцированы генетическими методами, подверженными вариационным изменениям. Здесь, так же как и при переходе от механизмов локальной деполяризации к возбуждению всего нейрона, проявляется структурно-функциональный полиморфизм, но уже при переходе с физиологического на психологический уровень исследования живых систем.
При создании перцептрона как генотипной модели реальных нейронов и сетей Ф. Розенблатт исходил из более поздних достижений не только нейрофизиологии, но и психологии [71]:
Для формализации такой психофизиологической модели нервной системы Ф. Розенблатт использовал следующие определения [71]. При этом определения, задающие правила функционирования составляющих перцептрон элементов и генерируемых ими сигналов, были распределены по группам:
Определение 1. Под сигналом понимается любая измеримая переменная величина (напряжение, интенсивность светового потока, концентрация химических реагентов и т. п.), измеряемыми параметрами которой являются как минимум амплитуда, время и местоположение.
Определение 2. Генератором сигнала считается любой элемент или устройство $$u_{i} $$ произвольной физико-химической, нейрохимической или молекулярно-биологической природы, которые способны производить выходные сигналы $$u*$$.
Определение 3. Производящей функцией сигнала является любая функция, которая определяет закон изменения амплитуды сигнала, производимого генератором сигнала.
Определение 4. Связью (соединением) является канал произвольной физико-химической, нейрохимической или молекулярно-биологической природы, с помощью которого сигнал от одного генератора сигналов (начальный элемент или вход) может быть передан другому генератору (конечный элемент или выход). Связь $$c_{ij} $$ характеризуется своими начальными $$u_{i} $$ и конечными $$u_{j} $$ элементами и передающей функцией, которая определяет амплитуду сигнала $$c ^{*}_{ij} (t)$$, поступившего на конечный элемент (выход), как функцию амплитуды и момента появления сигнала, генерируемого начальным элементом (входом).
Определение 5. Передающая сеть представляет собой систему соединенных в сеть генераторов сигнала.
Определение 6. Сенсорным элементом ( $$S$$ -элементом) является любой чувствительный элемент, который вырабатывает сигнал являющийся функцией входной энергии (света, звука, давления, тепла, электричества и т. п.). Входной сигнал $$S$$ -элемента $$s$$, который поступил из внешней среды $$W$$ в момент времени $$t$$, обозначается $$c ^{*}_{W(t)}(t)$$ ; сигнал, который вырабатывается элементом $$s_i$$ в момент времени $$t - s^{*}_{i}(t)$$.
Определение 7. Простым $$S$$ -элементом считается тот, который выдает выходной сигнал $$s^*_i = +1$$, если входной сигнал $$c*_{W} \ge \chi_{i}$$, и $$s^*_i = 0$$ в противном случае, где $$\chi_{i}$$ - порог срабатывания $$S$$ -элемента $$s_{i}$$.
Определение 8. Ассоциативным элементом ( $$A$$ -элементом) называется генератор сигнала (обычно логический элемент решающего типа) с входными и выходными связями $$c_{ij}$$, по которым поступают сигналы $$c^*_{ij}$$. Сигнал, вырабатываемый $$A$$ -элементом $$a_{j}$$, обозначается $$a^{*}_{j}(t)$$.
Определение 9. Простым $$A$$ -элементом называется логический решающий элемент, который выдает выходной сигнал $$a ^{*} = +1$$, когда алгебраическая сумма его входных сигналов $$а_i \ge \chi_{i} > 0$$, и $$a^*_i = 0$$ в противном случае. Если $$a ^{*}_i = +1$$, то говорят, что $$A$$ -элемент является активным.
Определение 10. Реагирующим элементом ( $$R$$ -элементом) называется генератор сигнала, имеющий входные связи и выдающий сигнал, который поступает во внешнюю сеть (окружающую среду или другую систему). Сигнал, вырабатываемый $$r_{i}$$ -элементом, обозначают $$r ^{*}_{i}$$.
Определение 11. $$R$$ -элемент является простым, если он выдает сигнал $$r _{i}^* = +1$$, когда сумма его входных сигналов является строго положительной, и сигнал $$r _{i}^* = -1$$, когда сумма его входных сигналов является строго отрицательной. Если сумма входных сигналов равна нулю, выход $$R$$ -элемента можно считать либо нулевым, либо неопределенным (в частности, колеблющимся возле нулевого уровня).
Определение 12. Передающие функции связей в перцептроне зависят от двух параметров: времени передачи импульса по каналам связи $$\tau_{ij} _{}$$ и коэффициента (веса) связи $$v_{ij}$$. Передающая функция связи $$c_{ij}$$ от элемента $$u_{i}$$ к элементу $$u_{j}$$ имеет вид:
$$c^{*}_{ij}(t)=f [v_{ij}(t), u^{*}_{i}(t-\tau_{ij})],$$а веса могут быть постоянными или переменными (зависящими от времени), когда вес является функцией памяти.
Определение 13. Активное состояние сети в момент $$t $$ определяется совокупностью сигналов $$u^{*}_{i}$$, выдаваемых всеми генераторами сигналов в этот момент $$t$$.
Определение 14. Состояние памяти сети характеризуется конфигурацией весов всех связей с переменным весом в определенный момент времени.
Определение 15. Фазовым пространством сети называется пространство всех возможных состояний памяти данной сети. Состоянию памяти системы в каждый момент времени соответствует точка в фазовом пространстве, а траектория этой точки в фазовом пространстве описывает историю системы. Фазовое пространство является $$N$$ -мерным эвклидовым, если сеть имеет $$N $$ связей с переменным весом и каждой связи соответствует своя координата.
Определение 16. Коэффициенты соединения (веса) $$v_{ij} $$ для всех пар элементов $$u_{i} $$ и $$u_{j} $$ образуют матрицу $$||V||$$ взаимодействия сети, состоящей из $$S$$ -, $$A$$ - и $$R$$ -элементов. Если связь от элемента $$u_{i} $$ к элементу $$u_{j} $$ отсутствует, считается $$v_{ij} = 0$$. Задание матрицы взаимодействия эквивалентно заданию точки в фазовом пространстве.
Определение 17. Перцептрон представляет собой сеть, состоящую из $$S$$ -, $$A$$ - и $$R$$ -элементов, с переменной матрицей $$||V||$$, определяемой последовательностью прошлых активностей сети.
Определение 18. Логическое расстояние от элемента $$u_{i} $$ до элемента $$u_{j }$$ равно наименьшему числу связей, с помощью которых сигнал от элемента $$u_{i} $$ можно передать элементу $$u_{j}.$$
Определение 19. Перцептроном с последовательными связями называется система, в которой все связи, начинающиеся от элементов с логическим расстоянием $$d $$ от ближайшего $$S$$ -элемента, оканчиваются на элементах с логическим расстоянием $$d+1$$ от ближайшего $$S$$ -элемента.
Определение 20. Перцептроном с перекрестными связями называется система, в которой некоторые связи соединяют друг с другом элементы одного типа ( $$S$$, $$A$$ или $$R$$ ), находящиеся на одинаковом логическом расстоянии от $$S$$ -элементов, причем все остальные связи - последовательного типа.
Определение 21. Перцептроном с обратной связью называется система, в которой по крайней мере один элемент $$A $$ или $$R$$, находящийся на расстоянии $$d $$ от ближайшего $$S$$ -элемента, является исходным в цепи обратной связи к $$S$$ -элементу или $$A$$ -элементу, расстояние которого до ближайшего $$S$$ -элемента $$d_2 < d_1$$, то есть обратная связь соединяет выход элемента, расположенного ближе к выходу сети, с входом элемента, расположенного ближе к ее входам.
Определение 22. Простым перцептроном называется любая система, удовлетворяющая следующим условиям:
Определение 23. Перцептрон называется элементарным, если он является простым, содержит простые $$R$$ - и $$A$$ -элементы, а его передающая функция имеет вид:
$$c^*_{ij}(t) = u^*_i(t- \tau)v_{ij}(t).$$Определение 24. Стимул представляет собой любое непустое множество входных сигналов $$c ^{*}_{W(i)}(t)$$, поступающих на $$S$$ -элементы в момент времени $$t$$. Если сенсорное поле (в частности, сетчатка) имеет $$N_s$$ сенсорных элементов, то стимул представляет собой $$N_s$$ -мерный вектор, каждой компоненте которого соответствует сигнал на входе соответствующего $$S$$ -элемента. Стимул отсутствует, если все входные сигналы равны нулю и если не оговорены другие условия.
Определение 25. Пространством стимулов (внешней средой $$W_n$$ с числом различных стимулов $$n$$ ) называется любое множество стимулов, определенное для данной системы $$S$$ -элементов.
Определение 26. Пространство последовательностей стимулов представляет собой множество всевозможных последовательностей стимулов, каждое из которых содержит упорядоченный ряд стимулов из множества $$W_{n}$$.
Определение 27. Реакцией называется любое соответствие между входными сигналами $$R$$ -элемента и стимулами из множества $$W_{n}$$. Для простого перцептрона реакция $$R(W_{n})$$ представляет собой $$n$$ -мерный вектор ( $$R_{1}, R_{2}, …, R_{n}$$ ), компонентами которого являются значения реакции элемента на действие каждого стимула ( $$S_{1}, S_{2}, …, S_{n}$$ ) внешней среды.
Определение 28. Классификацией называется выделение класса эквивалентных реакций. Две реакции считаются эквивалентными, если соответственные компоненты совпадают по знаку. Для любого перцептрона с единственным простым R-элементом классификация $$C(W_{n})$$ разделяет множество $$W_{n} $$ на два класса: положительный класс, включающий в себя все стимулы, для которых $$r^{*} = +1$$, и отрицательный класс, состоящий из стимулов, для которых $$r^{*} = -1$$.
Определение 29. Последовательность реакций представляет собой соответствие последовательности выходных сигналов $$R$$ -элемента последовательностям стимулов из пространства этих последовательностей.
Определение 30. Для данного перцептрона решение относительно реакции (классификации) существует, если в его фазовом пространстве имеется такая точка, что при предъявлении стимула $$S_{i} $$ будет иметь место реакция $$R_{i} $$ (определяемая реакцией $$R(W_{n})$$ ) для всех $$S_{i}$$, входящих в $$W_{n}$$.
Определение 31. Системой подкрепления называется любой набор правил, с помощью которых изменяется с течением времени матрица взаимодействия (состояние памяти) перцептрона.
Определение 32. Система управления подкреплением - это любая внешняя по отношению к перцептрону система, которая осуществляет изменения его матрицы взаимодействия в соответствии с правилами принятой системы подкрепления.
Определение 33. Положительное подкрепление - это такой процесс подкрепления, при котором вес связи, начинающейся на активном элементе $$u_{i} $$ и оканчивающейся на элементе $$u_{j}$$, изменяется на величину $$\Delta v_{ij}(t)$$ (или со скоростью $$dv_{ij} /dt$$ ), знак которой совпадает со знаком сигнала $$u^{*}_{j}(t)$$.
Определение 34. Отрицательное подкрепление - это такой процесс подкрепления, при котором вес связи, начинающейся на активном элементе $$u_{i} $$ и оканчивающейся на элементе $$u_{j}$$, изменяется на величину $$\Delta v_{ij}(t)$$ (или со скоростью $$dv_{ij} /dt$$ ), знак которой противоположен знаку сигнала $$u^{*}_{j}(t) $$.
Определение 35. Система подкрепления относится к монополярному типу, если веса всех связей, оканчивающихся на элементе $$u_{j}$$, остаются неизменными в течение всего отрезка времени $$t$$ до тех пор, пока $$u^*(t )$$ не станет строго положительной.
Определение 36. Система подкрепления относится к биполярному типу, если веса связей изменяются независимо от знака входного сигнала элемента, на котором они заканчиваются.
Определение 37. Система подкрепления относится к $$а$$ -типу, а перцептрон является а-перцептроном, если веса всех активных связей, которые заканчиваются на элементе $$u_{j} $$ (связи, для которых $$u^*_i(t-\tau)\ne 0$$ ), изменяются на одинаковую величину $$\Delta v_{ij}(t)=\eta$$ или с постоянной скоростью в течение всего времени действия подкрепления, причем веса неактивных связей $$(u^{*}_{i}(t-\tau)=0)$$ за это время остаются неизменными.
Определение 38. Система подкрепления относится ку-типу, а перцептрон является $$\gamma$$ -перцептроном, если веса всех активных связей сначала изменяются на равную величину, а затем из весов всех связей вычитается величина, равная полному изменению весов всех активных связей, деленному на число всех связей (взвешенное изменение активности). $$\gamma$$ -Система подкрепления консервативна относительно весов, так как в ней полная сумма весов всех связей не может ни возрастать, ни убывать. Изменение $$v_{ij} $$ при этом определяется:
$$\Delta v_{ij}(t) = \left [ w_{ij}(t) - \cfrac{\sum_i{w_{ij}(t)}}{N_j} \right ] \eta, \text{ где } w_{ij} =\begin{cases} 1, \text{ если } u_i^*(t-\tau)\ne 0, \\ 0, \text{ в противном случае }\\ \end{cases}$$Здесь $$N$$ - число связей, оканчивающихся на элементе , $$\eta $$ - величина сигнала подкрепления (обычно $$\pm 1$$ или $$0$$ ).
Определение 39. Подкрепление называется дискретным, если величина изменения веса фиксирована ( $$|\Delta v| = |\eta |$$ ), и непрерывным, если эта величина может принимать произвольное значение.
Определение 40. Система подкрепления с управлением по реакции ( $$R$$ -управляемая система) представляет собой такой метод обучения, при котором величина сигнала подкрепления $$\eta$$ постоянна, а его знак полностью определяется текущим значением реакции $$r^{*}$$ независимо от конкретного действующего стимула $$S$$.
Определение 41. Система подкрепления с управлением по стимулам ( $$S$$ -управляемая система) представляет собой такой метод обучения, при котором величина сигнала подкрепления $$\eta$$ постоянна, а его знак полностью определяется текущим значением стимула или, что одно и то же, значением $$C(W_n)$$. В этом случае текущее значение реакции перцептрона не оказывает влияния ни на знак, ни на величину сигнала подкрепления $$\eta$$.
Определение 42. Система подкрепления с коррекцией ошибок представляет собой такой метод обучения, при котором величина сигнала подкрепления $$\eta$$ равна $$0$$ до тех пор, пока текущая реакция перцептрона остается правильной. При появлении неправильной реакции знак ? определяется знаком ошибки. В такой системе подкрепление равно нулю для правильной реакции и отрицательно для неправильной: $$\eta = f(R^{*}-r^{*})$$, где $$R^{*}$$ - желательная реакция, $$r^{*}$$ - полученная реакция и $$f $$ - знакоопре-деленная монотонная функция, такая, что $$f(0) = 0$$.
Определение 43. Экспериментальная система - это система, состоящая из перцептрона, пространства стимулов $$W_{n}$$ и системы управления подкреплением.
Эксперимент предполагает наличие экспериментальной системы, метода обучения и метода испытания перцептрона или, что одно и то же, измерения его характеристик. В простейшем случае (рис. 4.17) методы обучения и испытания перцептрона возложены на человека, который корректирует систему подкрепления с использованием информации, полученной на основе анализа экспериментальных характеристик перцептрона. В этой схеме перцептрон является "пассивным" объектом обучения, и чтобы его сделать "активным", необходимо задействовать глобальную обратную связь с выхода элементов $$R$$ -типа на внешнюю среду (рис. 4.18).
(рис 4.17) Экспериментальная система с простым перцептроном [71]При этом следует иметь в виду, что в $$R$$ -управляемой системе информационный канал от внешней среды ( $$W_{n}$$ ) к системе управления подкреплением не является функциональным, в то время как в $$S$$ -управляемой системе нефункциональным уже является канал от элементов $$R$$ -типа к системе подкрепления. В системе с коррекцией ошибок функциональными являются оба канала.
Графически перцептрон можно представить тремя типами схем: функциональной, структурной и символической (рис. 4.19). Функциональная схема детализирует связи между элементами различных слоев перцептро-на: сенсорного, ассоциативного и реагирующего. В структурной схеме весь сенсорный слой представлен одним элементом, элементы ассоциативного слоя детализируются до диаграмм Венна и связей с элементами реагирующего слоя. Символьная диаграмма идентифицирует только типы связей, существующих между элементами перцептрона: от $$S$$ -типа к $$A$$ -типу, от $$A$$ -типа к $$R$$ -типу и связи элементов $$S$$ -типа между собой.
(рис 4.18) Общая схема экспериментальной системы [71]
(рис 4.19) Схемы представления перцептрона [71]Проведенная Ф. Розенблаттом "формализация" нервного субстрата и правил его функционирования носит скорее инженерный, чем строгий математический характер и, как модель Мак-Каллока - Питтса, включает два уровня:
Но в отличие от моделей Мак-Каллока - Питтса в перцептроне:
Закладывая основы нейродинамики, Ф. Розенблатт стремился создать аналог статистической физикой для эффективного анализа реальных психофизиологических процессов. Но в итоге ему удалось распространить апробированные в термодинамике статистические методы на качественно новую область "нефизических" исследований, связанных с моделированием процессов обучения вообще и распознавания образов в частности [71]. Главная специфика задач обучения и распознавания - это неэффективность алгоритмических методов из-за постоянно изменяющегося комплекса внешних условий и неоднозначности возможных, но эквивалентных в некотором смысле реакций, что противоречит базовым положениям математики, в том числе и вычислительной [45]. Скрытый парадокс задач обучения "машин" состоит в необходимости применения формальных методов и средств к самому процессу формализации, что требует включения этого процесса в полный "жизненный цикл" ра боты "машины". В результате система обучения с подкреплением типа рис. 4.18 является практически единственным средством установления и постоянной модификации условных причинно-следственных связей, действительных только для фиксированного на некотором интервале времени комплекса внешних условий.
Несмотря на большие достижения в области построения (само)обу-чающихся машин и систем [2, 16, 17, 33, 34], особенно решающих задачи распознавания образов, классификации и идентификации [72-76], включить в их полный жизненный цикл все задачи формализации так и не удалось. В частности, открытым всегда остается вопрос перехода от реальных объектов и процессов к их математическим представителям - множествам и числам, то есть вопрос о том, что и чем измерять, лежит вне контура обучения и является прерогативой разработчика машины или системы распознавания, классификации и идентификации.
Поэтому типичной является следующая постановка задачи [72]. Пусть имеется набор $$d$$ данных (образов), подлежащих классификации (распознаванию, идентификации) и представленных действительными (комплексными, целыми) числами $$(x _{1}, x _{2}, …, x _{d})$$. Требуется найти разделяющую поверхность (рис. 4.20) для $$R$$ классов объектов $$\{R_{i} \} (| \{R_{i}\} | = R)$$ в $$d$$ -мерном евклидовом пространстве $$E^{d}$$, точки которого представлены числами $$(x _{1}, x _{2}, …, x _{d}) $$ или векторами $$X_d$$. Считается, что разделяющую поверхность можно полностью определить скалярными функциями $${g_i(X_{d})} $$ (дискриминантными функциями), такими, что $$g_{i}(X_{d} ) > g_{j}(X_{d})$$, если $$X_{d} \in R_i$$, где $$i \ne j, i,j = \overline{1,R}.$$ В нашем случае: $$g_1(X_{d}) = max(g_1, g _{2}, g_3)$$,если $$X_{d}\in R_1$$ ; $$g _{2}(X_d) = max(g_1, g_2, g _{3})$$, если $$X_{d}\in R$$ ; и $$g_3(X_{d}) = max(g_1, g_2, g _{3})$$, если $$X_{d}\in R_{3}$$, где $$R$$ - внешняя часть незаштрихованной области.
(рис 4.20) Пример разделяющей поверхности для R = 3 и d = 2 [72]Отвечающая такой постановке задачи структурная схема системы классификации имеет вид рис. 4.21-а [72], которая трансформируется в схему простейшего классификатора, разбивающего множество объектов на два класса (рис. 4.21-б - $$R = 2$$ ). В последнем случае блок выбора максимума вырождается в пороговый элемент, работающий по правилу: $$X_{d}\in R_{1}$$, если $$g(X_{d} ) \ge h$$, и $$X_{d} \in R$$, если $$g(X) < h$$, где $$h$$ - значение порога. Отсюда, настроить (адаптировать) классификаторы рис. 4.18 на конкретное множество классифицируемых (разделяемых, различаемых и т. п.) объектов - это найти множество дискриминантных функций $${g_i(X_{d})} $$ с однозначно определенными максимумами для всей совокупности объектов $$\{Xd\}$$ и классов $${R} (| \{X_d\} | \ge |\{R\}|)$$.
(рис 4.21) Модели классификаторов [72]Выбор дискриминантных функций обычно представляет центральную задачу обучения системы классификации (идентификации, распознавания образов), что предполагает отсутствие полной априорной информации о классифицируемых объектах и/или вариабельных условиях, при которых будет протекать классификация.
Отличают [72] параметрические и непараметрические методы обучения, к первым из которых прибегают, если априори известны "почти все" параметры, характеризующие принадлежность каждого объекта $$X_{d}$$ к соответствующему классу $$R_{i}$$. Поэтому в данном случае обучающая выборка используется для нахождения значений этих параметров, по которым в дальнейшем строятся дискриминантные функции. Например, априори известно, что объекты первого класса группируются около точки $$\tilde{x}_{1}$$ или, что одно и то же, вектора $$X ^1_{2}$$, а объекты второго класса - вокруг точки $$\tilde{x}_{2}$$ или вектора $$X^{2}_{2}$$ соответственно (рис. 4.22).
(рис 4.22) Линейная разделяющая поверхность, зависящая от параметров множеств объектов [72]Точные численные значения типичных (эталонных и т. п.) представителей соответствующего класса $$\tilde{x}_{1}$$ и $$\tilde{x}_{2}$$ считаются неизвестными и рассматриваются как параметры, вариация которых позволяет получить оценки для $$X^{1}_2$$ и $$X^{2}_{2}$$, которые и находятся во время обучения. В качестве таких оценок обычно используются всевозможные "средние", определяемые как центры "масс", "тяжести" и т. п. классифицируемых подмножеств (см. рис. 4.20). Зная оценки $$\tilde{x}_{1}$$ и $$\tilde{x}_{2}$$, можно построить дискриминантную поверхность. В данном случае она представляет собой перпендикулярную линию, проходящую через середину отрезка между центральными точками классов $$R_1$$ и $$R _{2}$$, которой соответствует дискриминантная функция
$$g(X_d) = (X^{1}_d - X^{2}_d)*X_{d}+0,5(|X^{2}_d|^{2}- |X^{1}_d| ^{2}),$$где $$(X^{1}_d - X^{2}_d)*X_{d} $$ - скалярное произведение векторов ( $$X^{1}_{d} - X^{2}_d$$ ) и $$X_d$$, а $$|X_d|^{2}$$ - квадрат модуля соответствующего вектора.
Таким образом, чем выше репрезентативность обучающей выборки, тем достоверней определяются центры подмножеств классифицируемых объектов и тем точнее и достоверней работает система классификации. Отсюда, перцептронные модели и основанные на них системы распознавания образов не отменяют знаний о предметной области (свойствах классифицируемых объектов и их подмножеств), а только изменяют форму представления этих знаний,которые тем достоверней, чем более представительна обучающая выборка.
Описанный подход к построению систем распознавания образов послужил толчком к развитию теории распознавания образов [73-76], в рамках которой классификация по критерию минимума расстояния уже предстала как частный случай теории статистических решений и синтаксического анализа последовательностей символов. Успехи в теории и практике распознавания образов в какой-то мере отодвинули на второй план главную задачу нейродинамики, которая должна была дать ответ на вопрос о механизмах установления причинно-следственных связей в живых системах. Для этого необходимо формализовать процессы преобразования информации, что требует построения информационных эквивалентов традиционных для физики скалярных и особенно векторных понятий, таких как масса, энергия, импульс, сила, потоки массы, обобщенные силы и т. п. В частности, "векторизация" информационных процессов требует объективной оценки направления приложения "информационных усилий", что сопряжено с прагматической и/или семантической оценкой преобразований входной информации в выходную, которую, по П.К. Анохину, невозможно получить без формализации цели поведения системы и достигнутого ею полезного приспособительного эффекта.
Рассмотренные формальные модели нейронов и нейронных структур типа перцептрона в своей основе используют некоторые пороговые правила "принятия решений" на этапе формирования выходной реакции, для исследования которых был разработан аппарат пороговой логики [77]. В рамках этой теории классическую (много)пороговую модель формального нейрона, которая отражает основные электрофизиологические свойства реального нейрона [56], можно представить в импликативной форме:
$$(l_s(X_n^s,W_{n}) = \sum_{i=1}^n{x_i^s *w_{i})\in (h_{j-1},h_j]\Rightarrow f_{s} := b_j.$$Здесь $$X^{s}_{n}= (x^{s}_{n}, x^{s}_{n}_{-1}, ..., x^{s}_{1})$$ - $$n$$ -мерный входной вектор с компонентами $$x_i^s\in\{v_i\}; |\{v_i\}| =q_i, i = \overline{l,n}; s = \overline{0,Q}; Q=\prod_{i=1}^n{q_i-1}$$ ; компоненты "весового" вектора $$W = (w_n , w_{n- 1}, …, w_1) $$ принимают значения $$w_{i}\in (-\infty, +\infty)$$ ; индекс $$s$$ представляет ранг значения свертки $$l_{s}$$ (и однозначно связанного с ним вектора $$X^{s}_{n}$$ ) на скалярной оси $$L$$ ; $$f_{s}\in\{b_{j}\}$$ - значения реализуемой логической функции $$F(X^{s}n)=(f_{0}, f_1, ..., f _{s}, ..., f _{Q})$$ ; $$|\{b_j\}| =\gamma$$ ; $$max\gamma =k$$ ; $$|\{F_{\alpha} (X^{s}_n)\}|= k^{Q+1}$$, а вектор порогов $$H_{\chi} = (h_1, …, h_{\chi}) $$ разбивает множество $$\{l_{s}\}$$ скалярных произведений входного и "весового" векторов на $$(\chi+1) $$ пороговых полуинтервалов $$( h_{j-1},h_j]$$ ; $$h\in (-\infty,+\infty)$$ ; $$j=\overline{1,\chi}$$ ; $$(\gamma-1) \le \chi \le Q$$ ; $$\Rightarrow$$ - отношение следования; $$:=$$ - оператор подстановки (присваивания).
В отличие от формального нейрона Мак-Каллока - Питтса функциональная полнота многопороговых элементов и их моделей достигается только параметрической адаптацией, то есть вариацией весового $$\delta W_n$$ и/или порогового $$\delta H_{\chi}$$ векторов.
Если в (4.4) ввести ограничения на весовые коэффициенты типа $$w_i\in(-1, +1)$$, то получим систему мажоритарных пороговых правил формального нейрона Мак-Каллока - Питтса, а если зафиксировать систему связей между пороговыми элементами по типу "каждый с каждым", получим перцептрон Розенблатта.
Задачи оптимального синтеза (много)пороговых моделей сформулированы В.И. Варшавским (предисловие к [77]):
Характеристики структурной сложности,связывающие задачи 1-3 в единую схему оптимального синтеза многопороговых моделей, введены Л.А. Шоломовым [78]:
где $$\beta_{1}, \beta_2 \ge 0$$ - некоторые одновременно не равные нулю "стоимостные" коэффициенты реализации "единицы" веса и одного порога соответственно;
где минимум берется по всем многопороговым моделям типа (4.4);
где максимум берется по всем $$k$$ -значным логическим функциям
$$F_{a}(X^{s}_{n}) \in \{F_{a}(X_{n}^{s})\}.$$В такой постановке, как и в любой задаче
Решая методом случайного поиска задачи оптимального синтеза (много)пороговых моделей, А.Т. Бахарев и Л.А. Растригин [79] обнаружили, что с позиций поиска минимума размерности вектора порогов $$H $$ значение имеют только те вариации весового вектора $$\Delta W$$, которые нарушают отношение порядка (по индексу $$s$$ ) между значениями свертки $$l_{s}$$ на скалярной оси $$L.$$ Например, для $$n=3$$ и $$x_{i}^{s} \in \{0,1\}$$ (рис. 4.23) вариации весового вектора $$W $$ в пределах пирамид с вершиной в начале координат и с основаниями $$(А_1, A_2, А_3), (А_2, A_3, А_4), (А_1, A_3, А_5)$$ и т. д. дают фиксированный порядок следования индексов $$s$$, упорядоченных по возрастанию значений свертки $$l_s $$: $$(А_1, A _{2}, A _{3}) - l_0 <l_1 <l_2 <l_3 <l_4 <l_5<l_6<l_7$$, $$(А_2, A _{3}, A _{4}) - l_0 <l_1 <l_2 <l_3 <l_4 <l_5<l_6<l_7$$, $$(А_1, A _{3}, A _{5}) - l_0 <l_1 <l_2 <l_3 <l_4 <l_5<l_6<l_7$$.
(рис 4.23) Структура индексных зон первого октантаВариации весового вектора $$\delta W_n \in \Delta W_n$$, которые сохраняют отношение порядка (по индексу $$s$$ ) между значениями свертки $$l_{s}(X^{s}_{n},W_{n})$$, получили название индексных зон [79]. Они позволяют заменить непрерывные вариации $$\delta w_i = (-\infty,+\infty)$$ конечным набором целочисленных значений $$\{w_i\}$$, отвечающих одному и тому же порядку следования индексов $$s$$, и разбить весь процесс оптимального синтеза формальных нейронов на два этапа:
Работу (много)пороговой модели ((М)ПМ) типа (4.4) проиллюстрируем на примере ее настройки на реализацию булевых функций (БФ) двух переменных $$(q_{1} = q_{2} = k = n = 2, s = 0,3 )$$: "И" - $$F(x_{2}, x_{1}) = x_{2}*x _{1}$$ ; "ИЛИ" - $$F(x_{2}, x _{1}) = x_{2}+x _{1}$$ ; "НЕРАВНОЗНАЧНОСТЬ" - $$F(x_{2}, x_{1}) = x _{2}*^+x _{1}*^$$, и в предположении $$w_1 = 1,5$$, $$w_2 = 0,5$$. В этом случае значения свертки двумерных булевых $$s$$ -векторов $$X_{2}^0= (0,0)$$, $$X_{2}^1= (0,1)$$, $$Х_{2}^2= (1,0)$$ и $$Х_{2}^3 = (1,1)$$ расположатся на скалярной оси $$L $$ в лексикографическом (по индексу $$s$$ ) порядке:
$$(l _{0} = 0) < (l _{1} = 0,5) < (l _{2} = 1,5) < (l _{3} = 2)$$Отсюда, для настройки (М)ПМ на реализацию:
Вариации значений компонент весового вектора, размерности и значений компонент вектора порогов обеспечивают реализацию произвольной ЛФ $$n$$ переменных, причем не каждая вариация весового вектора изменяет отношение порядка (по индексу $$s$$ ) между значениями свертки на скалярной оси $$L$$. Так, при $$w_2= 2$$ и $$w_1 = 1$$ лексикографический порядок сохранится: $$(l _{0}=0) < (l _{1}=1) < (l _{2}=2) < (l _{3}=3)$$, а при $$w_1 = 1,5$$ и $$w_2 = -0,5$$ он нарушится:
$$(l _{1}= -0,5) < (l _{0}=0) < (l _{3} =1) < (l _{2}=1,5),$$то есть вместо порядка следования индексов $$s$$ вида $$(0, 1, 2, 3)$$ в (4.8) получили порядок следования $$(1, 0, 3, 2)$$ в (4.9).
Такой "перестановочный" эффект значений свертки на оси $$L$$ служит источником минимизации размерности вектора порогов или, что одно и то же, системы решающих правил в (М)ПМ. Например, для БФ $$F(x_{2}, x _{1}) = \overline{x_{2}}*x_{1}$$ при лексикографическом порядке требуется (М)ПМ с двумя порогами $$0 < h_1 < 0,5$$ и $$0,5 < h _{2} < 1$$, а при порядке следования (4.9) - с одним порогом $$-0,5 < h_1 < 0$$ и системой решающих правил $$(l_{s} \le h_1) \Rightarrow f_s:=1$$, $$(l_{s} > h1) \Rightarrow f_s:=0$$.
В [79, 80] проанализированы условия эквивалентного перехода от (М)ПМ с аналоговыми параметрами ( $$W$$ и $$H$$ ) к (М)ПМ с дискретными параметрами. Было показано, что перестройка входного преобразования (М)ПМ, связанная с вариациями $$\delta W_n = \{\delta w_{i} \}$$ весового вектора, приводит к различным $$\xi$$ -перестановкам упорядоченных компонент свертки $$l_{s(0)} < l_{s(1)} < … < l_{s(p)} < … < l_{s(Q)}$$ на скалярной оси $$L $$ $$(p = \overline{0,Q})$$. В результате полная вариация весового вектора $$W_n$$ порождает множество $$\{\xi\}$$ перестановок значений компонент свертки $$\{l_{s}\}$$ и связанных с ними индексов $$s$$, что и позволяет разбить все пространство $$\{W_n\}$$ на классы эквивалентности $$W_{n} \subset \{ W_n \}$$, такие, что вариации $$\delta W_n$$ внутри класса $$(\delta W_n \in \Delta W_n) $$ не нарушают связанного с этим классом отношения порядка между значениями компонент свертки.
Структура пространства индексных зон (ИЗ) или, что одно и то же, вариации $$\delta W_n \in \Delta W_n$$, сохраняющие отношение порядка $$\xi$$, зависит от размерности $$n$$ входного вектора $$X_{n}^{s}$$ и значности $$q_i$$ его компонент, что иллюстрирует рис. 4.24 [79, 80], где показаны все восемь индексных зон для $$q_i = 2$$. Из рис. 4.24 видна центрально-осевая симметрия пространства индексных зон, что позволяет ограничить анализ их структуры только первым (гипер)октантом.
(рис 4.24) Структура пространства ИЗ для n = q1 = q = 2Если в трехмерном случае индексные зоны представляют собой пирамиды с вершинами в начале координат, то в двумерном случае это уже сектора, заключенные между наклонными линиями на целочисленной решетке, которая задается значениями компонент входного вектора $$x_i \in X_n$$.
Равномерность разбиения пространства $$\{W_n\}$$ на индексные зоны нарушается уже при $$q_i \ge 4$$ (рис. 4.25), что приводит к разно "устойчивой" реализации ЛФ, зависящей от выбранного значения весового вектора.
(рис 4.25) Зависимость структуры пространства ИЗ от значности входных переменных при n = 2,Из сказанного следует, при фиксированном векторе порогов $$H $$ и правиле подстановки $$\{l_{s}\}_{j}\to b_{j}$$ вариации весового вектора $$\delta W$$ внутри индексной зоны изменяют значения $$\{l_{s}\}$$, но не нарушают отношение порядка между ними, а значит, и задаваемое (4.4) правило реализации ЛФ. Например, в заштрихованной индексной зоне (рис. 4.2) отношение порядка имеет вид $$l _{0} = 0 < l _{1} = 1,5 < l _{2} = 3 < l _{3} = 4,5$$. Здесь для определенности указаны значения $$l_{s} $$ отвечающие $$(w_2 = 3) > (w_1 = 1,5)$$. Тогда при $$h_1 = 4$$ реализуется ЛФ "И" $$F(x_{1}, x_2) = x _{1}x _{2}$$, если правило подстановки имеет вид $$(l_{s} < h_1) \to f_s:=0$$, $$(l_{s} > h_1) \to f_s:=1$$. Переход в индексную зону с номером 2 сопровождается инверсией неравенства $$(w_1 = 3) > (w_2 = 1,5)$$, которая приводит к новому порядку следования $$l_{s} $$ на скалярной оси $$L:$$ $$l _{0} = 0 < l_2 = 1,5 < l _{1} = 3 < l_3 = 4,5$$. Однако он не нарушает правила подстановки, задаваемые функцией "И". Если (М)ПМ настроен на ЛФ $$F(x_{2}, x_{1}) = \overline{х_{2}}*x_{1 }$$ то такая же вариация весового вектора (при неизменном правиле подстановки $$l_{s} < h_{1} = 1 \to f_s :=0; $$ $$h_1 < l_{s} \le h_{2} = 2 \to f_s :=1$$ ; и $$h_2 < l_{s} \to f_s:=0$$ ) приведет к реализации ЛФ $$F(x_{2}, x_{1}) = x_{2}*\overline{x_{t}}$$.
Таким образом, с позиций устойчивой реализации заданной функции $$F_a$$ вида (4.4) необходимо как минимум сохранить отношение порядка (при фиксированном правиле разбиения $$\{l_{s}\}$$ и правиле подстановки $$\{l_{s}\}_j \to b_j$$ ), а при перестройке (М)ПМ с одной функции на другую при той же системе решающих правил надо перейти в другую ИЗ, то есть изменить отношение порядка.
Выделив в (4.5) в качестве доминирующей составляющей $$\mu(M) = \beta_2*\psi$$ и используя аппарат индексных зон, А.Т. Бахарев показал [80, 81]:
Точное решение модифицированной таким образом задачи оптимального синтеза (М)ПМ удалось найти [80, 81] для $$n \le 5$$, а квазиоптимальное решение для $$6 \le n \le 10$$, что было вызвано как ограничениями метода случайного поиска, так и уровнем использованных вычислительных средств. Для сравнения, японские ученые, проводившие достаточно интенсивные исследования в этой области, в тот же период времени смогли достичь показателей $$q = 3$$, $$n \le 3$$ [82, 83].
В современных условиях актуальными стали исследования формальных нейронов, у которых число входов исчисляется десятками [84], а незнание структуры индексных зон имеет два негативных последствия:
Преодоление или хотя бы ослабление указанных проблем может приблизить нас к более эффективному управлению ресурсами (супер) нейрокомпьютеров, в которых по предварительным оценкам количество формальных нейронов может быть порядка $$10^{5}-10^{6}$$, а количество входов у каждого из них - порядка $$10^{2}-10^{3}$$.
Введем комбинаторную схему прямого порождения транспозиций значений свертки на скалярной оси $$L $$ и дадим точную оценку количества таких транспозиций [85].
Чтобы получить все множество перестановок индексов $$s$$, генерируемых оператором линейной свертки, требуется еще процедура отбора комбинаций совместных транспозиций.
Комбинаторная схема порождения транспозиций значений свертки на скалярной оси $$L$$ базируется на двух известных утверждениях:
Утверждение 4.1. При сложении двух и более неравенств, одно из
которых противоположного знака ( $$w_2 > w_1$$ и $$w_3 > w_4$$ ), результирующее неравенство ( $$w_2 + w_3 > < w_1 + w_4$$ ) может быть произвольного знака ( аддитивный источник транспозиции - $$А$$ -источник и $$А$$ -транспозиция соответственно). Утверждение 4.2. При умножении двух и более неравенств, одно из которых противоположного знака ( $$x _{1} > x _{2}$$ и $$w_1 < w_2$$ ), результирующее неравенство $$(x_1*w_1 > < x_2*w_2$$ ) может быть произвольного знака (мультипликативный источник транспозиции - $$М $$ -источник и $$М $$ -транспозиция соответственно).
Схему порождения транспозиций сначала построим для классов БФ, где задействован только $$А $$ -источник, а затем обобщим ее на случай $$k $$ -значных ЛФ, где срабатывают еще $$М $$ -источник и $$АМ $$ -источник.
В качестве образующей комбинаторной схемы порождения транспозиций выберем систему неравенств:
$$w_n > w_{n-1} > … > w _{2} > w _{1} > 0,$$считая, что $$w_i$$ удовлетворяют условию линейной независимости:
$$w_i\ne\sum_{i\ne j}{d_j w_j}, i=\overline{1,n}; 1\le j\le n$$где $$d_{j}\in \{0, \pm 1, \pm 2, …, \pm q_m -1\}$$, $$q_{m} = max (q_{n} , q_{n- 1}, …, q _{1})$$.
Тогда $$l_{s(1)} > < l_{s(2)}$$, если $$X_n^{s(1)}\ne X_n^{s(2)}$$, а реализуемое оператором линейной свертки отображение $$L(X^{s}_{n}, W_{n}):X^{s}_{n}\to l_{s}$$ - изоморфно и обеспечивает строгий порядок следования (по $$s$$ ) $$l$$ на скалярной оси $$L $$. В частности, отвечающее (4.10) и (4.11) каноническое правило присвоения значений компонентам весового вектора $$w _{1} = 1$$, $$W_i = w_{i-1}*q_{i-1} (i = 2,n)$$ обеспечивает лексикографический порядок следования $$l_{s}$$ на оси $$L$$.
Для булевых входных векторов с $$x_{i}^{s} \in \{0,1\}$$:
где взятые в скобки цифры (1) и (2) задают принадлежность индексируемого объекта к левой и правой части неоднозначного неравенства $$l_{s(1)} > < l_{s(2)}$$.
Для (4.10) справедливы:
Утверждение 4.3. Сумма любого количества ( $$\varеpsilon(2)$$ ) $$w_i$$ с младшими значениями индексов $$i$$ может быть как меньше, так и больше любого $$w_i$$ ( $$\varеpsilon(1)=1$$ ) со старшим значением индекса $$i$$.
Утверждение 4.4. Для любой комбинации значений е(1) и е(2), удовлетворяющих (4.12), всегда найдется хотя бы одна пара $$l_{s(1)}$$ и $$l_{s (2)}$$ с взаимно исключающими индексами $$i$$ ( $$i(s(1))\ne i(s(2))$$ ), для которых $$l_{s(1)} > < l_{s(2)}$$.
Утверждение 4.4 исходит из того, что при любых ( $$\varepsilon(1), \varepsilon (2) \ge 2$$ ) всегда найдутся $$\{w_{i} \}_{s(1)}$$ и $$\{w_{i} \}_{s(2)}$$ c взаимно исключающими индексами $$i$$, которые можно разбить на непересекающиеся подмножества $$\{w^{'}_i\}_{s(1)}, \{w^{''}_i\}_{s(1)}, \{w^{'}_i\}_{s(2)}, \{w^{''}_i\}_{s(2)},$$ такие, что $$l^'_{s(1)} < l^'_{s(2)}$$, а $$l^{''}_{s(1)} > l^{''}_{s(2)}$$, то есть $$l_{s(1)} = l^'_{s(1)} + l^{''}_{s(1)} > < l_{s(2)} = l^'_{s(2)} + l^{''}_{s(2)}.$$
На основе этих утверждений можно построить $$\varepsilon$$ -спецификацию $$\{\varepsilon (1), \varepsilon (2)\}$$, задающую множество всех допустимых транспозиций $$Т (2, n )$$ значений свертки булевых векторов на скалярной оси $$L:$$
$$\begin{array}{rrrrrrr} (1, 2), (1, 3), (1, 4), (1, 5), …, (1, n-2), (1, n-1)\\ (2, 2), (2, 3), (2, 4), …, (2, n-3), (2, n-2)\\ (3, 2), (3, 3), …, (3, n-4), (3, n-3)\\ (4, 2), …, (4, n-5), (4, n-4) \\ … … … …\\ (n-3, 2), (n-3, 3) \\ (n-2, 2) \end{array}$$в которой каждая строка идентифицируется $$\varepsilon(1)$$, а каждый столбец - $$\varepsilon = \varepsilon(1)+\varepsilon(2) = const$$, $$\varepsilon = \overline{3, n}$$. Каждому элементу 1-й строки $$\varepsilon$$ -спецификации (4.13) соответствует
$$P_{n-m}^{\varepsilon-1}=\sum_{m=1}^{n-\varepsilon+1}{C_{n-m}^{\varepsilon-1}}$$комбинаций $$l_{s(1)} $$ и $$l_{s(2)}$$, удовлетворяющих утверждению 4.3, где $$C_{n-m}^{\varepsilon-1}$$ - число сочетаний из $$(n - m)$$ элементов $$w_i$$ по $$\varepsilon-1$$, а $$m$$ - текущий индекс, который связан со значением "старшего" индекса $$i$$ в утверждении 3 соотношением: $$\max{i} = n - m + 1, m = \overline{1,(n - \varepsilon+1)}.$$
Соотношение (4.14) иллюстрирует табл. 4.2, где представлены все $$А$$ -транспозиции сверток булевых векторов типа ( $$\varepsilon (1)=1$$, $$\varepsilon (2)$$ ) для $$n = 6$$. (Все численные результаты получены совместно с И. Клейменовым и А. Саломатовым.)
| $$С_{6-m}^2$$ | Транспозиции типа $$(1,2)$$ | $$С_{6-m}^3$$ | Транспозиции типа $$(1,3)$$ | $$С_{6-m}^4$$ | Транспозиции типа $$(1,4)$$ |
|---|---|---|---|---|---|
| $$m = 1;\\ C_5^2 =10$$ | $$w_6 >< w_2+w_1\\ w_6 >< w_3+w_1\\ w_6 >< w_3+w_2\\ w_6 >< w_4+w_1\\ w_6 >< w_4+w_2\\ w_6 >< w_4+w_3\\ w_6 >< w_5+w_1\\ w_6 >< w_5+w_2\\ w_6 >< w_5+w_3\\ w_6 >< w_2+w_4 $$ | $$m = 1;\\ C_5^3 =10$$ | $$w_6 >< w_3+w_2+w_1\\ w_6 >< w_4+w_2+w_1\\ w_6 >< w_4+w_3+w_1\\ w_6 >< w_4+w_3+w_2\\ w_6 >< w_5+w_2+w_1\\ w_6 >< w_5+w_3+w_1\\ w_6 >< w_5+w_3+w_2\\ w_6 >< w_5+w_4+w_1\\ w_6 >< w_5+w_4+w_2\\ w_6 >< w_5+w_4+w_3 $$ | $$m = 1;\\ C_5^4 =5$$ | $$w_6 >< w_4+w_3+w_2+w_1\\ w_6 >< w_5+w_3+w_2+w_1\\ w_6 >< w_5+w_4+w_2+w_1\\ w_6 >< w_5+w_4+w_3+w_1\\ w_6 >< w_5+w_4+w_3+w_2\\ $$ |
| $$m = 2;\\ C_4^2 =6$$ | $$w_5 >< w_2+w_1\\ w_5 >< w_3+w_1\\ w_5 >< w_3+w_2\\ w_5 >< w_4+w_1\\ w_5 >< w_4+w_2\\ w_5 >< w_4+w_3\\ $$ | $$m = 2;\\ C_4^3 =4$$ | $$w_5 >< w_3+w_2+w_1\\ w_5 >< w_4+w_2+w_1\\ w_5 >< w_4+w_3+w_1\\ w_5 >< w_4+w_3+w_2 $$ | $$m = 2;\\ C_4^4 =1$$ | $$w_5 >< w_4+w_3+w_2+w_1$$ |
| $$m = 3;\\ C_3^2 =3$$ | $$w_4 >< w_2+w_1\\ w_4 >< w_3+w_1\\ w_4 >< w_3+w_2 $$ | $$m = 3;\\ C_3^3 =1$$ | $$w_5 >< w_3+w_2+w_1$$ | $$P_{n-m}^{4}=6$$ | |
| $$m = 4;\\ C_2^2 =1$$ | $$w_3 >< w_2+w_1$$ | $$P_{6-m}^{3}=15$$ | $$С_{6-m}^5$$ | Транспозиции типа $$(1,5)$$ | |
| $$P_{6-m}^{2}=20$$ | $$m = 1;\\ C_5^5 =1$$ | $$w_6 >< w_5+w_4+w_3+w_2+w_1$$ | |||
| $$P_{n-m}^{5}=1$$ | |||||
Взяв в качестве образующей каждую $$А $$ -транспозицию типа ( $$\varepsilon (1) = 1, \varepsilon (2) \ge 3$$ ) и переставив в них справа налево любую из компонент $$w_i (w_i(s(1)):= w_i(s(2)))$$, можно получить все $$А $$ -транспозиции типа ( $$\varepsilon (1) = 2, \varepsilon (2) = \varepsilon -2$$ ), которые отвечают 2-й строке $$\varepsilon$$ -спецификации (4.13). Таких $$А $$ -транспозиций в каждом столбце ?-спецификации будет $$С_{\varepsilon-1}^1$$. Исключением является 2-й столбец, где $$А $$ -транспозиции типа ( $$\varepsilon (1) = 2, \varepsilon (2) = 2$$ ) образованы из $$А $$ -транспозиции типа ( $$\varepsilon (1) = 1, \varepsilon (2) = 3$$ ) перестановкой справа налево одной, самой "младшей" по (4.10) компоненты, что порождает $$С_3^0$$ производных $$А $$ -транспозиций (табл. 4.3).
Продолжив процедуру перестановок справа налево различных двоек, троек и т. д. $$w_i$$, можно убедиться, что каждая образующая $$А $$ -транспозиция 1-й строки $$\varepsilon$$ -спецификации порождает, включая и самих себя, подклассы $$А $$ -транспозиций, причем мощности этих подклассов по каждому столбцу $$\varepsilon$$ -спецификации образуют ряд:
где $$\chi = E[(\varepsilon-1)/2]-1,E[*]$$ - целая часть $$[*]$$.
Приняв за четный последний столбец $$\varepsilon$$ -спецификации (4.13), комбинаторную схему порождения всех $$А $$ -транспозиций, генерируемых оператором линейной свертки булевых векторов, можно представить:
$$\begin{array}{ccccccc} P^2_{n-m}, P^3_{n-m}, P^4_{n-m}, P^5_{n-m}, …, P^{n-2}_{n-m}, P^{n-1}_{n-m}, \\ C^0_2, C^0_3, C^0_4, C^0_5, … , C^0_{n-2}, C^0_{n-1}, \\ C^0_3, C^1_4, C^1_5, … , C^1_{n-2}, C^1_{n-1}, \\ C^0_4, C^1_5, … , C^2_{n-2}, C^2_{n-1}, \\ C^0_5, … , C^3_{n-2}, C^3_{n-1}, \\ ... … , ... ... \\ C^{\chi-1}_{n-2}, C^{\chi}_{n-1}, \\ C^{\chi-2}_{n-2}, C^{\chi-1}_{n-1}, \\ ... … , ... ... \\ C^{0}_{n-2}, C^1_{n-1}, \\ C^{0}_{n-1}, \\ \end{array}$$Здесь в 1-й строке указаны постоянные для каждого столбца множители $$P_{n-m}^{\varepsilon-1}$$ соответствующие мощностям подклассов образующих $$А $$ -транспозиций $$\varepsilon$$ -спецификаций.
| $$С_{6-m}^3$$ | Транспозиции типа $$(2,2)$$ | $$С_{6-m}^3$$ | Транспозиции типа $$(2,3)$$ | $$С_{\varepsilon-1}^4$$ | Транспозиции типа $$(3,3)$$ |
|---|---|---|---|---|---|
| $$m = 1;\\ C_5^3 =10$$ | $$w_1+w_6 >< w_3+w_2\\ w_1+w_6 >< w_4+w_2\\ w_1+w_6 >< w_4+w_3\\ w_1+w_6 >< w_5+w_2\\ w_1+w_6 >< w_5+w_3\\ w_1+w_6 >< w_5+w_4\\ w_2+w_6 >< w_4+w_3\\ w_2+w_6 >< w_5+w_3\\ w_2+w_6 >< w_5+w_4\\ w_3+w_6 >< w_5+w_4 $$ | $$m = 1;\\ C_5^4=5$$ | $$w_1+w_6 >< w_4+w_3+w_2\\ w_1+w_6 >< w_5+w_3+w_2\\ w_1+w_6 >< w_5+w_4+w_2\\ w_1+w_6 >< w_5+w_4+w_3\\ w_2+w_6 >< w_5+w_4+w_3 $$ | $$\varepsilon-m = 5;\\ C_5^1 =5$$ | $$w_2+w_1+w_6 >< w_5+w_4+w_3\\ w_3+w_1+w_6 >< w_5+w_4+w_2\\ w_4+w_1+w_6 >< w_5+w_3+w_2\\ w_5+w_1+w_6 >< w_4+w_3+w_2\\ w_3+w_2+w_6 >< w_5+w_4+w_1 $$ |
| $$m = 2;\\ C_4^3 =4$$ | $$w_1+w_5 >< w_3+w_2\\ w_1+w_5 >< w_4+w_2\\ w_1+w_5 >< w_4+w_3\\ w_2+w_5 >< w_4+w_3 $$ | $$m = 2;\\ C_4^4 =1$$ | $$w_1+w_5 >< w_4+w_3+w_2 $$ | $$C_5^1 * P_{6-m}^5=5*1=5 $$ | |
| $$m = 3;\\ C_3^3 =4$$ | $$w_1+w_4 >< w_3+w_2 $$ | $$m = 1;\\ C_5^4=5$$ | $$w_2+w_6 >< w_4+w_3+w_1\\ w_2+w_6 >< w_5+w_3+w_1\\ w_2+w_6 >< w_5+w_4+w_1\\ w_3+w_6 >< w_5+w_4+w_1\\ w_3+w_6 >< w_5+w_4+w_2 $$ | $$С_{6-m}^4$$ | Транспозиции типа $$(3,2)$$ |
| $$C_3^0 * P_{6-m}^3=1*15=15$$ | $$m = 2;\\ C_4^4=1$$ | $$w_2+w_5 >< w_4+w_3+w_1 $$ | $$m = 1;\\ C_5^4=5$$ | $$w_2+w_1+w_6 >< w_4+w_3\\ w_2+w_1+w_6 >< w_5+w_3\\ w_2+w_1+w_6 >< w_5+w_4\\ w_3+w_1+w_6 >< w_5+w_4\\ w_2+w_3+w_6 >< w_5+w_4 $$ | |
| $$С_{\varepsilon-1}^1$$ | Транспозиции типа $$(2,4)$$ | $$m = 1;\\ C_5^4=1$$ | $$w_3+w_6 >< w_4+w_2+w_1\\ w_3+w_6 >< w_5+w_2+w_1\\ w_4+w_6 >< w_5+w_2+w_1\\ w_4+w_6 >< w_5+w_3+w_1\\ w_4+w_6 >< w_5+w_3+w_2 $$ | $$m = 2;\\ C_4^4=1$$ | $$w_2+w_1+w_5 >< w_4+w_3 $$ |
| $$\varepsilon-1=5;\\ C_5^1=5$$ | $$w_1+w_6 >< w_5+w_4+w_3+w_2\\ w_2+w_6 >< w_5+w_4+w_3+w_1\\ w_3+w_6 >< w_5+w_4+w_2+w_1\\ w_4+w_6 >< w_5+w_3+w_2+w_1\\ w_5+w_6 >< w_4+w_3+w_2+w_1 $$ | $$m = 2;\\ C_4^4=1$$ | $$w_3+w_5 >< w_4+w_2+w_1 $$ | $$C_4^0 * P_{6-m}^4=1*6=6$$ | |
| $$C_5^1 * P_{6-m}^5=5*1=5 $$ | $$m = 1;\\ C_5^4=5$$ | $$w_4+w_6 >< w_3+w_2+w_1\\ w_5+w_6 >< w_3+w_2+w_1\\ w_5+w_6 >< w_4+w_2+w_1\\ w_5+w_6 >< w_4+w_3+w_1\\ w_5+w_6 >< w_4+w_3+w_2 $$ | $$С_{\varepsilon-1}^0$$ | Транспозиции типа $$(4,2)$$ | |
| $$m = 2;\\ C_4^4=5$$ | $$w_4+w_5 >< w_3+w_2+w_1 $$ | $$1$$ | $$w_1+w_2+w_3+w_6><w_5+w_4 $$ | ||
| $$C_5^0 * P_{6-m}^4=4*6=24$$ | $$C_5^0 * P_{6-m}^5=1*1=1$$ | ||||
Сумма элементов $$С^{\gamma}_{n-1}$$ столбца из (4.15) представляет собой мощность множества $$А $$ -транспозиций, порожденных каждой образующей соответствующего типа:
$$R_{\varepsilon-1}^{\chi} = \begin{cases} 2\sum_{r=0}^{\chi}{C_{\varepsilon-1}^r}, \text{ для четных }\varepsilon \\ 2\sum_{r=0}^{\chi}{C_{\varepsilon-1}^r - C_{\varepsilon-1}^{\chi}}, \text{ для нечетных }\varepsilon \\ \end{cases}$$Общее число $$А $$ -транспозиций, генерируемых оператором линейной свертки булевых векторов при ограничении (4.10) на компоненты весового вектора:
$$T(2,n) = \sum_{\varepsilon-1}{T(2,\varepsilon)} = \sum_{\varepsilon-1}{R^{\chi}_{\varepsilon-1}*P_{n-m}^{\varepsilon-1}}$$или
$$T(2,n) = 2\sum_{\varepsilon-1}{\sum_{\gamma}{C_{\varepsilon-1}^{\gamma}}\sum_b{ C^{\varepsilon-1}_{m-b}}} - \sum_{\varepsilon-1}{\sum_{2(\gamma+1)}{C_{\varepsilon-1}^{\gamma}}\sum_b{ C^{\varepsilon-1}_{m-b}}}$$где $$\varepsilon-1 =\overline{2,(n-1)}, r\overline{0,\chi}$$, а $$T(2,\varepsilon) = R_{\varepsilon-1}^{\chi} * P^{\varepsilon-1}_{n-m}$$.
В табл. 4.4 даны численные значения $$R_{\varepsilon-1}^{\chi}$$, $$P^{\varepsilon-1}_{n-m}$$ и $$T(2,n)$$ для $$n = 10$$, что не было получено в [81] машинным способом.
Все $$А $$ -транспозиции, генерируемые оператором линейной свертки булевых векторов, можно получить, сняв ограничение (4.10) и выполнив над $$\{w_{i} \}$$ группу переименований переменных [86] $$D_i = Z_i*N_i ( | D_{i} | = 2^n * n !)$$, которая представляет собой произведение группы перестановок $$N_i (|N_i | = n !)$$ знакопеременной группы $$Z_i (|Z_i | = 2^n )$$.
В этом случае (4.16) примет вид:
$$Т (2, n, Z_i, N_i) = 2^n*n!*T(2, n)$$и при $$n = 10$$ $$Т (2, n, Z_i, N_i) = 4,3*10^{13}$$, что объясняет как вычислительные трудности прямого решения задач оптимального синтеза (М)ПМ за счет полной вариации весового вектора [79-81], так и стремление использовать модели формальных нейронов с непрерывными параметрами [87-89].
Обобщим комбинаторную схему (4.13), (4.15) на случай $$k $$ -значных входных векторов $$X^{s}_{n}$$.
| $$\varepsilon$$ | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | $$T(2,n)$$ |
|---|---|---|---|---|---|---|---|---|---|
| $$R_{\varepsilon-1}^{\gamma}$$ | 1 | 2 | 6 | 12 | 29 | 58 | 130 | 260 | 12222 |
| $$R^{\varepsilon-1}_{10-m}$$ | 120 | 210 | 252 | 210 | 120 | 45 | 10 | 1 | |
| $$T(2,\varepsilon)$$ | 120 | 420 | 1512 | 2520 | 3480 | 2610 | 1300 | 260 | |
| $$R^{\varepsilon-1}_{9-m}$$ | 84 | 126 | 126 | 84 | 36 | 9 | 1 | 3790 | |
| $$T(2,\varepsilon)$$ | 84 | 252 | 756 | 1002 | 1044 | 522 | 130 | ||
| $$R^{\varepsilon-1}_{8-m}$$ | 56 | 70 | 56 | 28 | 8 | 1 | 1158 | ||
| $$T(2,\varepsilon)$$ | 56 | 140 | 336 | 336 | 232 | 58 | |||
| $$R^{\varepsilon-1}_{7-m}$$ | 35 | 35 | 21 | 7 | 1 | 344 | |||
| $$T(2,\varepsilon)$$ | 35 | 70 | 126 | 84 | 29 | ||||
| $$R^{\varepsilon-1}_{6-m}$$ | 20 | 15 | 6 | 1 | 98 | ||||
| $$T(2,\varepsilon)$$ | 20 | 30 | 36 | 12 | |||||
| $$R^{\varepsilon-1}_{5-m}$$ | 10 | 5 | 1 | 25 | |||||
| $$T(2,\varepsilon)$$ | 10 | 10 | 5 | ||||||
| $$R^{\varepsilon-1}_{4-m}$$ | 4 | 1 | 6 | ||||||
| $$T(2,\varepsilon)$$ | 4 | 2 | |||||||
| $$R^{\varepsilon-1}_{3-m}$$ | 1 | 1 | |||||||
| $$T(2,\varepsilon)$$ | 1 |
Если для булевых векторов
Например, при $$q_1 = q_2 = ... = q_n = k = 3$$ $$А $$ -транспозиция $$w_3 > < w_{2}+w_{1 }$$ порождает $$АМ$$ -транспозиции вида $$w_3 > < w_{2}+2 w _{1}$$, $$w_3 > < 2w_2 + w_1$$, $$w_3 > < 2w_2 + 2w_1$$, $$2w_3 > < w_2 + w_1$$, $$2w_3 > < w_2 + 2w_1$$, $$2w_3 > < 2w_2 + w_1,$$ причем первые три срабатывают при условии $$w_3 > w_{2}+w_{1}$$, а последние три - при условии $$w_3 < w_{2}+ w _{1}$$. Это объясняется тем, что любая комбинация $$\{q_{i} > 1\}$$ может инвертировать знак только одного из неравенств в порождающей $$А $$ -транспозиции, а противоположное неравенство той же транспозиции она может только усилить.
Выполнив в $$АМ$$ -транспозиции $$x _{3}^{s(1)} * w _{3} > < x _{2}^{s(2)} *w_{2}+ x_{1}^{s(2)} *w_{1}$$ подстановки $$x_{i}^{s(1)} := x^{s(1)}_j$$ и $$x_{i}^{s(2)} := x_j ^{s(2)}$$, отвечающие по $$(i, j)$$ подстановкам $$w_i:=w_j (i\ne j)$$ комбинаторной схемы (4.13), (4.15) можно получить все $$АМ$$ -транспозиции типа ( $$\varеpsilon(1)=1, \varеpsilon(2)=2$$ ).
Аналогично для $$А $$ -транспозиций типа ( $$\varеpsilon(1)=1, \varеpsilon(2)$$ ), из которых остальные транспозиции схемы (4.13), (4.15) были получены перестановками компонент весового вектора вида $$w_i(s(1)):=w_j(s(2))$$, что при $$i(x) = i(w)$$ соответствует перестановкам $$k$$ -значных компонент входного вектора вида $$x_{i}^{s(1)} := x_{i}^{s(2)}$$.
Чтобы определить количество порождаемых таким способом $$АМ$$ -транспозиций, рассмотрим вектора $$\tilde{X}_{\varepsilon}^s = X_n^{s(1)} \cup X_n^{s(2)}$$, которые представляют объединение неравных нулю $$k$$ -значных компонент входных векторов $$X_{n}^{s(1)}$$ и $$Х_{n}^{s(2)}$$ с взаимно исключающими индексами $$i(s(1)) \ne i(s(2))$$, где $$|\{х^{s(1)}_i\}| = \varepsilon(1)$$, $$|\{х^{s(2)}_i\}| = \varepsilon(2)$$, $$\varepsilon(1) + \varepsilon(2) = \varepsilon = \overline{2,n}$$, $$\varepsilon(1)$$, $$\varepsilon(2) = \overline{1,(n-1)}$$, а $$x_i ^{s(1)},x_{i}^{s (2)} \in \{1, (k- 1)\}$$. Выделим из $$\{\tilde{X}^{s}_{\varepsilon} \}$$ подмножество $$\{X^{s}_{\varepsilon} \}$$, отвечающее по $$\varepsilon$$ требованиям 1-й строки $$\varepsilon$$ -спецификации (4.13), а по $$i$$ требованию "непрерывной" монотонности: $$X_{\varepsilon=2}^s=(x_2^{s(1)},x_{1}^{s(2)}), X_{\varepsilon=3}^s=(x_3^{s(1)},x_{2}^{s(2)},x_{1}^{s(2)}), \dots, X_{\varepsilon=n}^s=(x_n^{s(1)},x_{n-1}^{s(2)},\dots,x_{1}^{s(2)})$$. Тогда для $$k$$ -значных входных векторов $$X^{s}_{n}$$:
Из (4.18)-(4.20) видно: мощность множества векторов $$\tilde{X}^{s}_{\varepsilon}$$ соответствует количеству $$АМ$$ -транспозиций, порождаемых каждой образующей $$А $$ -транспозицией, соответствующего по ? столбца схемы (4.13), (4.15), если из $$\{X^{s}_{\varepsilon} \}$$, а значит, и из $$\{\tilde{X}^{s}_{\varepsilon} \}$$ исключить вектора с кратными по $$q_{i }$$ компонентами.
В приведенных выше $$АМ$$ -транспозициях отсутствует транспозиция $$2w_3 > < 2w_{2}+2w_{1}$$, в которой компоненты $$x_{3} = x_{2} = x_{1} = 2\,q$$ -кратны в данном случае образующей комбинации $$x_{3} = x_{2} = x_{1} = 1$$.
Отсюда, если компоненты $$\{w_{i}\}$$ отвечают ограничению (4.10), то
$$Т(k,n) = \sum_{\varepsilon}{\Theta(k,\varepsilon) * R_{\varepsilon-1}^{\chi} * P^{\varepsilon-1}_{n-m}}$$где $$\Theta(k,\varepsilon)= \Theta_0(k,\varepsilon) - \Theta_1(k,\varepsilon)$$, а $$\Theta_1(k,\varepsilon)$$ - количество $$Х_{\varepsilon}^{s}$$ с $$q$$ -кратными значениями $$\{x_{i}^s\}$$ по отношению к некоторой образующей комбинации $$\{x_{i}^s \}$$.
Чтобы выделить из $$\{Х_{\varepsilon}^{s}\}$$ вектора с $$q $$ -кратными компонентами и рассчитать их количество $$\Theta_{1}$$, построим вектора $$Y^{s(u)}_{\varepsilon}$$, у которых значность $$y_i \in \{1,q(u)}$$ выбирается по правилу $$q(u) = Е[(k -1)/u] \ge 1$$, где $$\{u\}$$ - простые числа из натурального ряда $$\overline{2,(k-l)}$$. В табл. 4.5 приведены вектора $$Y^{s(u)}_{\varepsilon} $$ при $$k= 11$$ и $$\varepsilon = 3$$. В этом случае $$\{u\} = \{2, 3, 5, 7\}$$, $$q(2) = 5$$, $$q(3) = 3$$, $$q(5) = 2$$, $$q(7) =1$$.
| u | $$y_3^{s(1)}$$ | $$y_2^{s(2)}$$ | $$y_1^{s(2)}$$ | $$y_3^{s(1)}$$ | $$y_2^{s(2)}$$ | $$y_1^{s(2)}$$ | $$y_3^{s(1)}$$ | $$y_2^{s(2)}$$ | $$y_1^{s(2)}$$ | $$y_3^{s(1)}$$ | $$y_2^{s(2)}$$ | $$y_1^{s(2)}$$ | $$y_3^{s(1)}$$ | $$y_2^{s(2)}$$ | $$y_1^{s(2)}$$ |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 2 | 1 | 1 | 1 | 2 | 1 | 1 | 3 | 1 | 1 | 4 | 1 | 1 | 5 | 1 | 1 |
| 1 | 1 | 2 | 2 | 1 | 2 | 3 | 1 | 2 | 4 | 1 | 2 | 5 | 1 | 2 | |
| 1 | 1 | 3 | 2 | 1 | 3 | 3 | 1 | 3 | 4 | 1 | 3 | 5 | 1 | 3 | |
| 1 | 1 | 4 | 2 | 1 | 4 | 3 | 1 | 4 | 4 | 1 | 4 | 5 | 1 | 4 | |
| 1 | 1 | 5 | 2 | 1 | 5 | 3 | 1 | 5 | 4 | 1 | 5 | 5 | 1 | 5 | |
| 1 | 5 | 5 | 2 | 5 | 5 | 3 | 5 | 5 | 4 | 5 | 5 | 5 | 5 | 5 | |
| 3 | 1 | 1 | 1 | 2 | 1 | 1 | 3 | 1 | 1 | ||||||
| 1 | 1 | 2 | 2 | 1 | 2 | 3 | 1 | 2 | |||||||
| 1 | 1 | 3 | 2 | 1 | 3 | 3 | 1 | 3 | |||||||
| 1 | 3 | 3 | 2 | 3 | 1 | 3 | 3 | 3 | |||||||
| 5 | 1 | 1 | 1 | 2 | 1 | 1 | |||||||||
| 1 | 1 | 2 | 2 | 1 | 2 | ||||||||||
| 1 | 2 | 1 | 2 | 1 | 1 | ||||||||||
| 1 | 2 | 2 | 2 | 2 | 2 | ||||||||||
| 7 | 1 | 1 | 1 |
Из данных табл. 4.5 видно, что покомпонентное умножение векторов $$Y_{\varepsilon}^{s(u)}$$ на соответствующие им скаляры $$q(u)$$ и порождает все $$\tilde{X_{\varepsilon}^s}$$ с $$q$$ -кратными компонентами.
Поэтому при $$q_n = q_{n- 1} = … = q_1 = k$$:
$$\Theta_1(k,\varepsilon) = \sum_u(q(u))^{\varepsilon}$$а при $$q_i \ne q_j$$ ( $$i\ne j$$ ):
$$\Theta_1(q_\varepsilon, q_{\varepsilon-1},…,q_1) = \sum_u{\prod_{i=1}^{\varepsilon}{q_i(u)}$$Численный анализ соотношений (4.22)-(4.23) для $$k = 3 \div 11$$ и $$n = 2\div 11$$ (табл. 4.6 и 4.7) показал:
| $$k$$ | $$\varepsilon$$ | $$y_{\varepsilon}^{s(2)}$$ | $$y_{\varepsilon}^{s(3)}$$ | $$y_{\varepsilon}^{s(5)}$$ | $$y_{\varepsilon}^{s(7)}$$ | $$\Theta_0(k,\varepsilon)$$ | $$\Theta_1(k,\varepsilon)$$ | $$\Theta(k,\varepsilon)$$ | $$T(2,\varepsilon)$$ | $$T(k,\varepsilon)$$ |
|---|---|---|---|---|---|---|---|---|---|---|
| 11 | 3 | 125 | 27 | 8 | 1 | 103 | 161 | 839 | 20 | 16780 |
| 4 | 625 | 81 | 16 | 1 | 104 | 723 | 9277 | 30 | 278310 | |
| 5 | 3125 | 243 | 32 | 1 | 105 | 3401 | 96599 | 30 | 2897970 | |
| 6 | 15625 | 729 | 64 | 1 | 106 | 16419 | 983581 | 12 | 11802972 | |
| $$Т(k, 6)/к_6 \approx = 8.46$$ | 92 | 14996032 | ||||||||
| 10 | 3 | 64 | 27 | 8 | 1 | 93 | 100 | 629 | 20 | 12580 |
| 4 | 256 | 81 | 16 | 1 | 94 | 354 | 6207 | 30 | 186210 | |
| 5 | 1024 | 243 | 32 | 1 | 95 | 1300 | 57749 | 30 | 1732470 | |
| 6 | 4096 | 729 | 64 | 1 | 96 | 4890 | 526551 | 12 | 6318612 | |
| $$Т(k, 6)/к_6 \approx = 8.25$$ | 92 | 8249872 | ||||||||
| 9 | 3 | 64 | 8 | 1 | 83 | 74 | 438 | 20 | 8760 | |
| 4 | 256 | 16 | 1 | 84 | 274 | 3822 | 30 | 114660 | ||
| 5 | 1024 | 32 | 1 | 85 | 1058 | 31710 | 30 | 951300 | ||
| 6 | 4096 | 64 | 1 | 86 | 4162 | 257982 | 12 | 3095784 | ||
| $$Т(k, 6)/к_6 \approx = 7.85$$ | 92 | 4170504 | ||||||||
| 8 | 3 | 27 | 8 | 1 | 73 | 37 | 306 | 20 | 6120 | |
| 4 | 81 | 16 | 1 | 74 | 99 | 2302 | 30 | 69060 | ||
| 5 | 243 | 32 | 1 | 75 | 277 | 16530 | 30 | 495900 | ||
| 6 | 729 | 64 | 1 | 76 | 795 | 116854 | 12 | 1402248 | ||
| $$Т(k, 6)/к_6 \approx = 7.53$$ | 92 | 1973328 | ||||||||
| 7 | 3 | 27 | 8 | 63 | 36 | 180 | 20 | 3600 | ||
| 4 | 81 | 16 | 64 | 98 | 1198 | 30 | 35940 | |||
| 5 | 243 | 32 | 65 | 276 | 7500 | 30 | 225000 | |||
| 6 | 729 | 64 | 66 | 794 | 45862 | 12 | 550344 | |||
| $$Т(k, 6)/к_6 \approx = 6.92$$ | 92 | 814884 | ||||||||
| 6 | 3 | 8 | 1 | 53 | 10 | 115 | 20 | 2300 | ||
| 4 | 16 | 1 | 54 | 18 | 607 | 30 | 18210 | |||
| 5 | 32 | 1 | 55 | 34 | 3091 | 30 | 92730 | |||
| 6 | 64 | 1 | 56 | 66 | 15559 | 12 | 186708 | |||
| $$Т(k, 6)/к_6 \approx =6.43$$ | 92 | 299948 | ||||||||
| 5 | 3 | 8 | 1 | 43 | 9 | 55 | 20 | 1100 | ||
| 4 | 16 | 1 | 44 | 17 | 239 | 30 | 7170 | |||
| 5 | 32 | 1 | 45 | 33 | 991 | 30 | 29730 | |||
| 6 | 64 | 1 | 46 | 65 | 4031 | 12 | 48372 | |||
| $$Т(k, 6)/к_6 \approx =5.53$$ | 92 | 86372 | ||||||||
| 4 | 3 | 1 | 1 | 33 | 2 | 25 | 20 | 500 | ||
| 4 | 1 | 1 | 34 | 2 | 79 | 30 | 2370 | |||
| 5 | 1 | 1 | 35 | 2 | 241 | 30 | 7230 | |||
| 6 | 1 | 1 | 36 | 2 | 727 | 12 | 8724 | |||
| $$Т(k, 6)/к_6 \approx =4.6$$ | 92 | 18824 | ||||||||
| 3 | 3 | 1 | 23 | 1 | 7 | 20 | 140 | |||
| 4 | 1 | 24 | 1 | 15 | 30 | 450 | ||||
| 5 | 1 | 25 | 1 | 31 | 30 | 930 | ||||
| 6 | 1 | 26 | 1 | 63 | 12 | 756 | ||||
| $$Т(k, 6)/к_6 \approx =3.12$$ | 92 | 2276 | ||||||||
| $$\varepsilon$$ | $$\Theta(k,\varepsilon)$$ | $$n=6$$ | $$n=5$$ | $$n=4$$ | $$n=3$$ | ||||
|---|---|---|---|---|---|---|---|---|---|
| $$Т(2, \varepsilon)$$ | $$Т(k, \varepsilon)$$ | $$Т(2, \varepsilon)$$ | $$Т(k, \varepsilon)$$ | $$Т(2, \varepsilon)$$ | $$Т(k, \varepsilon)$$ | $$Т(2, \varepsilon)$$ | $$Т(k, \varepsilon)$$ | ||
| Y | 839 | 20 | 16780 | 10 | 8390 | 4 | 3356 | 1 | 839 |
| 4 | 9277 | 30 | 278310 | 10 | 92770 | 2 | 18554 | - | - |
| 5 | 96599 | 30 | 2897970 | 5 | 482995 | - | - | - | - |
| 6 | 983581 | 12 | 11802972 | - | - | - | - | - | - |
| $$Т(k,n)$$ | 92 | 14996032 | 25 | 584155 | 6 | 21910 | 1 | 839 | |
(рис 4.26) Количество АМ-транспозиций как функция k
(рис 4.27) Количество АМ-транспозиций как функция nОтвечающий утверждению 2 $$M$$ -источник срабатывает независимо от $$А $$ -источника, когда $$\{X^{s}_{\varepsilon=2} \}$$ порождается из $$Х_{\varepsilon=2} = (х_2^{s(1)},х_1^{s(2)})$$ подстановками $$x_{i}^{s(1)} := x_j ^{s(1)}$$ и $$x_{i}^{s(2)}:= x_j ^{s(2)}$$, в которых:
$$i\ne j, i(s(1)) > i(s(2)), i(s(1)) = \overline{2,n} , i(s(2)) = \overline{1,(n-1)} , \\ x_i^{s(1)} = \overline{(1,q_i(s(1))-2)} , x_i^{s(2)} = \overline{(x_i^{s(1)},q_i(s(2))-1)} , x_i^{s(1)} < x_i^{s(2)}$$Ограничениям (4.24) удовлетворяет $$x_i$$ -спецификация:
$$$$ \begin{array}{r} (1, 2), (1, 3), (1,4), (1, 5), (1,6), \dots, (1, q_i(s(2))-1) \\ (2, 3), (\underline{2,4}), (2, 5), (\underline{2,6}), \dots, (2, q_i(s(2))-1)\\ (3,4), (3, 5), (\underline{3,6}), \dots, (3, q_i(s(2))-1)\\ (4, 5), (\underline{4,6}), \dots, (4, q_i(s(2))-1)\\ \dots\dots\dots\dots\dots \dots\dots\dots\dots \\ (q_i(s(1))-2, q_i(s(2))-1) \end{array} $$$$в которой:
Из (4.25) видно, что количество $$M$$ -транспозиций значений свертки $$l_{s(1)} > < l_{s(2)} $$ при ограничении (4.10) на компоненты весового вектора определяется:
где $$\varepsilon = \begin{cases} 0, \text{ если } q_{i(1)} \ge q_{i(2)} \\ 1, \text{ если } q_{i(1)} < q_{i(2)} \\ \end{cases}$$
Таким образом, оператору линейной свертки входных векторов в (4.4) соответствует комбинаторная схема порождения транспозиций вида:
$$\begin{array}{cccccccc} \Theta(k,2),\Theta(k,3), \Theta(k,4), \Theta(k,5), \Theta(k,6), …, \Theta(k,n-1), \Theta(k,n), \\ P^1_{n-m},P^2_{n-m}, P^3_{n-m}, P^4_{n-m}, P^5_{n-m}, …, P^{n-2}_{n-m}, P^{n-1}_{n-m}, \\ C^0_1C^0_2, C^0_3, C^0_4, C^0_5, … , C^0_{n-2}, C^0_{n-1}, \\ C^0_3, C^1_4, C^1_5, … , C^1_{n-2}, C^1_{n-1}, \\ C^0_4, C^1_5, … , C^2_{n-2}, C^2_{n-1}, \\ C^0_5, … , C^3_{n-2}, C^3_{n-1}, \\ ... … , ... ... \\ C^{\chi-1}_{n-2}, C^{\chi}_{n-1}, \\ C^{\chi-2}_{n-2}, C^{\chi-1}_{n-1}, \\ ... … , ... ... \\ C^{0}_{n-2}, C^1_{n-1}, \\ C^{0}_{n-1}, \\ \end{array}$$где $$\Theta(k=2,2) = 0, P_{n-m}^1 =n(n-1)/2$$
Из принятых соглашений следует: в каждой транспозиции неравенство $$l_{s(1)} < l_{s(2)} $$ соответствует лексикографическому порядку следования значений свертки на скалярной оси $$L $$, а переход к противоположному неравенству при непрерывном сканировании в пространстве значений весового вектора происходит после выполнения равенства $$l_{s(1)} = l_{s(2)}$$.
Отсюда, все точки, принадлежащие граням (гипер)пирамид, задающих границы индексных зон в пространстве значений $$W_n$$, нарушают условие (4.11) линейной независимости $$w_i$$ в (4.10), а значит, и условие изоморфизма в отображении $$L(X_{n}^{s}, W_n): X^{s}_n \to l_s$$. В частности, на рис. 4.23 условию $$w_3 = w_{2}+ w_{1}$$ отвечают точки плоскости $$(0, А_2, А_5)$$, а условию $$w_3 = w_2$$ - точки плоскости $$(0, А_2, А_4, А_{10} )$$ и т. д. Это говорит о том, что на границах индексных зон различные вектора $$X_{n}^{s(1)}$$ и $$X_{n}^{s(2)}$$ имеют общий гомоморфный скалярный образ, что делает их неразличимыми методами пороговой логики, использующими в качестве входного преобразования оператор линейной свертки входных векторов (прообразов).
В $${X^{s}_{n}}$$ кроме $$q$$ -кратности имеется еще и $$i$$ -кратность, которая тиражирует рассмотренные $$А $$ -и $$АМ$$ -транспозиции на $$(k^{n-\varepsilon}- 1)$$ комбинаций векторов $$(X_{n}^{s(1)},X_{n}^{s(2)} )$$, в которых $$(n - \varepsilon)$$ компонент $$x^{s}_i \ge 0$$ одновременно принадлежат левой и правой части неоднозначного неравенства $$l_{s(1)} > < l_{s(2)}$$.
Например, для булевых векторов с $$n = 4$$ $$А $$ -транспозиция $$w_3 > < w_2+ w_1$$ тиражируется на $$i$$ -кратную транспозицию $$w_4+w_3 > < w_4+ w_2+w_1$$, а $$А $$ -транспозиция $$w_4 > < w_2 + w_{1}$$ тиражируется на транспозицию $$w_4+w_{3} > < w_{3}+ w_2 + w_{1}$$. В результате в первом случае одновременно с < всегда реализуется $$l_4 < l_3$$, а во втором $$l_{12} < l_{11}$$ случае одновременно с $$l_{8} < l_{3}$$ всегда реализуется $$l_{12} < l_{7}$$.
В случае $$n$$ -мерных булевых векторов $$X^{s}_{n}$$ все проекции индексных зон на плоскости $$(w, w)$$ имеют одинаковую "площадь" и, как следствие, обеспечивают равноустойчивую систему решающих правил по отношению к флуктуациям $$\{\pm \Delta x_{i} \}$$ и $$\{\pm \Delta w_i \}$$ реальных физических величин $$\{x_{i}\}$$ и $$\{w_i\}$$. Для $$k$$ -значных входных векторов равенство таких "площадей" нарушается, а структура неравномерного разбиения $$\{w_i, w_{j} \}$$ проекциями $$n$$ -мерных индексных зон определяется не только $$q_{i}$$ -значностью $$x_{i}$$ и $$x_{j}$$, но и правилом кодирования $$\{a_{i}\}$$ и $$\{a_{j}\}$$ ( $$x_{i} \in \{a_{i}\}$$, $$x_{j}\in {\a_j\})$$, от которого зависит количество $$\Theta_{1}(k, \varepsilon)$$ $$q$$ -кратных комбинаций $$(X_{n}^{s(1)},X_{n}^{s(2)}$$ ) в (4.21) и (4.26). Например, при $$k = 6$$ и кодировании $$\{a_{i}\}$$ числами натурального ряда 0,5 из состава М-транспозиций исключается комбинация ( $$x_{i}^{s(1)} =1 ,x_{i}^{s(2)} =2$$ ) (рис. 4.28). При кодировании $$\{a_{i}\}$$ простыми числами (рис. 4.29) такая кратная комбинация отсутствует. В результате не только возрастает количество проекций индексных зон на плоскости $$(w_i, w_j)$$, но и более неравномерно распределяется "площадь" между ними.
(рис 4.28) Структура индексных зон (n=2; q_{2}=q_{1}=6) при кодировании x_{i} числами натурального рядаОтсюда можно заключить:
(рис 4.29) Структура индексных зон (n=2; q2=q1=6) при кодировании xi простыми числамиВведенные комбинаторные схемы и отвечающие им численные соотношения:
За всю историю развития вычислительной техники интерес к нейро-компьютерным технологиям возрастал каждый раз, когда наступал либо застой в архитектурных решениях ЭВМ, либо прогресс в элементной базе. Современный повышенный интерес к нейрокомпьютерным технологиям [84, 87-89] фактически совпал по времени с наметившимся прорывом в области нанотехнологий, где в качестве "рабочего тела" выступают квантовые системы различной степени сложности: от одноэлектронных транзисторов [92, 93] и до квантовых компьютеров [94]. Схемотехнический парадокс традиционной нейроподобной элементной базы [68] вызван тем, что в этом случае логические функции реализуются через арифметические. Это предопределяет повышенные затраты традиционных логических вентилей, которые сначала расходуются на реализацию арифметических преобразований формальных нейронов и только после этого на реализацию логических преобразований блоков и устройств вычислительной техники, построенных на формальных нейронах. Объединение возможностей нейрокомпью-терных программных [88] и нанотехнологических [95] инструментальных платформ позволяет преодолеть или хотя бы ослабить последствия этого парадокса за счет прямого отображения функций пользователя на квантовые системы, фундаментальные свойства которых определяются и описываются
различными группами симметрий [96]. Так, правила отбора [97] задают возможные квантовые переходы для атомов, молекул, взаимодействующих элементарных частиц и т. д. Эти правила напрямую связаны с симметрией квантовых систем, с помощью которой определяют неизменные (инвариантные) свойства этих систем при определенных преобразованиях координат и времени. В частности, в квантовой механике допустимы только те переходы из одного состояния в другое, которые не нарушают законы сохранения энергии, импульса, электрического заряда и т. д.
Переход к теоретико-групповым моделям формальных нейронов позволяет сохранить традиционную схему кремниевой компиляции [98, 99] на основе библиотек "стандартных элементов", которые в данном случае должны реализовать не булевы функции, а "элементарные группы симметрий". Поэтому нейрокомпилятор должен представить задание пользователя в фиксированном теоретико-групповом операционном базисе, реализуемом на технологическом уровне производства и эксплуатации компьютеров с нано- или супрамолекулярной элементной базой. Отсюда и встает задача доказательства не только возможности, но и эффективности использования теоретико-групповых моделей классических (много)поро-говых элементов в задачах оптимального синтеза нейроподобных ЭВМ. При этом совершенно безразлично, в каком операционном базисе будет работать ЭВМ с нано- или супрамолекулярной элементной базой, так как нейроподобный операционный базис фактически используется и на уровне "элементарных действий" ЭВМ классических архитектур (см. лекцию 3).
Учитывая быстрое нарастание размерности задач оптимального синтеза (много)пороговых моделей до гиперкомбинаторной, ограничим конкретные примеры и характеристики теоретико-групповой модели классом булевых функций от $$n \le 4$$ переменных [100].
Для булевых функций параметры (М)ПМ (4.4) принимают значения $$x_i^s \in \{0,1\}$$ ; $$Q=2^n-1$$ ; $$f_s \in \{0,1\}\,\alpha = \overline{0,(2^{2^n}-1)}$$, и поэтому оператор линейной свертки можно записать:
$$l_{s}(X^{s}_{n},W_{n}) = \sum_i{w_{i}},$$где суммирование ведется по тем $$i$$, для которых $$х^s_i = 1$$, то есть в случае булевых функций входной вектор $$X^{s}_{n}$$ используется как "маска", определяющая правило "ассоциативного" суммирования компонент весового вектора $$\{w_i \}$$.
Не изменяя значений конечного множества весовых коэффициентов $$\{w_i\}$$, их можно расположить в произвольном порядке (по $$i$$ ) над компонентами входного вектора $$\{х_i^s\}$$, что соответствует группе подстановок $$N_i$$ (порядок группы $$| N_i | = n$$!). В результате изменятся правила суммирования весовых коэффициентов в (4.27), что индуцирует изоморфную группу подстановок $$N_s$$ значений свертки $$l_{s}$$, а вместе с ними и индексов $$s$$ на скалярной оси $$L.$$ Например, при $$n = 3$$ (табл. 4.8) получим 6 подстановок индексов s в упорядоченной по возрастанию последовательности значений свертки $$\{\hat{l}_{s}\}$$, из которых одна соответствует лексикографическому порядку $$s:= 0, 1, 2, 3, 4, 5, 6, 7$$.
| $$s$$ | $$x_3$$ | $$x_2$$ | $$x_1$$ | $$w_3 = 4,\\ w_2=2, \\ w_1= 1$$ | $$w_3 = 4,\\ w_2=1, \\ w_1= 2$$ | $$w_3 = 2,\\ w_2=4, \\ w_1= 1$$ | $$w_3 = 2,\\ w_2=1, \\ w_1= 4$$ | $$w_3 = 1,\\ w_2=4, \\ w_1= 2$$ | $$w_3 = 1,\\ w_2=2, \\ w_1= 4$$ | |||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| $$\{l_s\}$$ | $$\{l_s\}$$ | $$\{\hat{l}_s\}$$ | $$\{l_s\}$$ | $$\{\hat{l}_s\}$$ | $$\{l_s\}$$ | $$\{\hat{l}_s\}$$ | $$\{l_s\}$$ | $$\{\hat{l}_s\}$$ | $$\{l_s\}$$ | $$\{\hat{l}_s\}$$ | ||||
| 0 | 0 | 0 | 0 | $$l_0=0$$ | $$l_0=0$$ | $$l_0=0$$ | $$l_0=0$$ | $$l_0=0$$ | $$l_0=0$$ | $$l_0=0$$ | $$l_0=0$$ | $$l_0=0$$ | $$l_0=0$$ | $$l_0=0$$ |
| 1 | 0 | 0 | 1 | $$l_1=1$$ | $$l_1=2$$ | $$l_1=1$$ | $$l_1=1$$ | $$l_1=1$$ | $$l_1=4$$ | $$l_1=1$$ | $$l_1=2$$ | $$l_4=1$$ | $$l_1=4$$ | $$l_4=1$$ |
| 2 | 0 | 1 | 0 | $$l_2=2$$ | $$l_2=1$$ | $$l_1=2$$ | $$l_2=4$$ | $$l_4=2$$ | $$l_2=1$$ | $$l_4=2$$ | $$l_2=4$$ | $$l_1=2$$ | $$l_2=2$$ | $$l_2=2$$ |
| 3 | 0 | 1 | 1 | $$l_3=3$$ | $$l_3=3$$ | $$l_3=3$$ | $$l_3=5$$ | $$l_5=3$$ | $$l_3=5$$ | $$l_6=3$$ | $$l_3=6$$ | $$l_5=3$$ | $$l_3=6$$ | $$l_6=3$$ |
| 4 | 1 | 0 | 0 | $$l_4=4$$ | $$l_4=4$$ | $$l_4=4$$ | $$l_4=2$$ | $$l_2=4$$ | $$l_4=2$$ | $$l_1=4$$ | $$l_4=1$$ | $$l_2=4$$ | $$l_4=1$$ | $$l_1=4$$ |
| 5 | 1 | 0 | 1 | $$l_5=5$$ | $$l_5=6$$ | $$l_6=5$$ | $$l_5=3$$ | $$l_3=5$$ | $$l_5=6$$ | $$l_3=5$$ | $$l_5=3$$ | $$l_6=5$$ | $$l_5=5$$ | $$l_5=5$$ |
| 6 | 1 | 1 | 0 | $$l_6=6$$ | $$l_6=5$$ | $$l_5=6$$ | $$l_6=6$$ | $$l_6=6$$ | $$l_6=3$$ | $$l_5=6$$ | $$l_6=5$$ | $$l_3=6$$ | $$l_6=3$$ | $$l_3=6$$ |
| 7 | 1 | 1 | 1 | $$l_7=7$$ | $$l_7=7$$ | $$l_7=7$$ | $$l_7=7$$ | $$l_7=7$$ | $$l_7=7$$ | $$l_7=7$$ | $$l_7=7$$ | $$l_7=7$$ | $$l_7=7$$ | $$l_7=7$$ |
Группа инверсии знаков $$Z_{i} ( |Z_{i}| = 2^{n})$$ при неизменных абсолютных значениях компонент весового вектора $$\{\pm w_{i} \}$$ индуцирует изоморфную группу подстановок $$Z_{s}$$ (табл. 4.9) значений свертки $$l_{s}$$, а с ними и индексов s на скалярной оси $$L$$.
| $$s$$ | $$x_3$$ | $$x_2$$ | $$x_1$$ | $$w_3 = 4,\\ w_2=2, \\ w_1= 1$$ | $$w_3 = 4,\\w_2=2, \\ w_1=-1$$ | $$w_3 = 4,\\w_2=-2, \\ w_1= 1$$ | $$w_3 = 4,\\w_2=-2, \\ w_1= -1$$ | |||
|---|---|---|---|---|---|---|---|---|---|---|
| $$\{l_s\}$$ | $$\{l_s\}$$ | $$\{\hat{l}_s\}$$ | $$\{l_s\}$$ | $$\{\hat{l}_s\}$$ | $$\{l_s\}$$ | $$\{\hat{l}_s\}$$ | ||||
| 0 | 0 | 0 | 0 | $$l_0=0$$ | $$l_0=0$$ | $$l_1=-1$$ | $$l_0=0$$ | $$l_2=-2$$ | $$l_0=0$$ | $$l_3=-3$$ |
| 1 | 0 | 0 | 1 | $$l_1=1$$ | $$l_1=-1$$ | $$l_0=0$$ | $$l_1=1$$ | $$l_3=-1$$ | $$l_1=-1$$ | $$l_2=-2$$ |
| 2 | 0 | 1 | 0 | $$l_2=2$$ | $$l_2=2$$ | $$l_2=1$$ | $$l_2=-2$$ | $$l_0=0$$ | $$l_2=-2$$ | $$l_2=-1$$ |
| 3 | 0 | 1 | 1 | $$l_3=3$$ | $$l_3=1$$ | $$l_2=2$$ | $$l_3=-1$$ | $$l_1=1$$ | $$l_3=-3$$ | $$l_0=0$$ |
| 4 | 1 | 0 | 0 | $$l_4=4$$ | $$l_4=4$$ | $$l_5=3$$ | $$l_4=4$$ | $$l_6=2$$ | $$l_4=4$$ | $$l_7=1$$ |
| 5 | 1 | 0 | 1 | $$l_5=5$$ | $$l_5=3$$ | $$l_4=4$$ | $$l_5=5$$ | $$l_7=3$$ | $$l_5=3$$ | $$l_6=2$$ |
| 6 | 1 | 1 | 0 | $$l_6=6$$ | $$l_6=6$$ | $$l_7=5$$ | $$l_6=2$$ | $$l_4=4$$ | $$l_6=2$$ | $$l_5=3$$ |
| 7 | 1 | 1 | 1 | $$l_7=7$$ | $$l_7=5$$ | $$l_6=6$$ | $$l_7=3$$ | $$l_5=5$$ | $$l_7=1$$ | $$l_4=4$$ |
На основе данных таблиц 4.8 и 4.9 можно сформировать подстановки индексов $$s$$, которые отвечают прямому произведению групп $$D = Z*N$$. Элементы групп D_{s} индуцируются элементами группы переименования переменных $$D_i = Z*N_i ( | D_{i} | = 2^n* n !)$$.
Как показано в разделе 4.7, в непрерывной группе вращений весового вектора $$W_n$$ имеется еще один источник подстановок значений свертки $$l_{s}$$, а вместе с ними и индексов $$s$$ на скалярной оси $$L ,$$ который связан с инверсией отношения "больше-меньше" между различными комбинациями значений компонент весового вектора $$\{w_i\}$$. Чтобы получить множество подстановок этого типа, достаточно наложить ограничение $$w_n > w_{n-1} > … > w_1 > 0$$. Тогда при $$n = 3$$ между значениями компонент весового вектора могут установиться отношения $$w_3 > (w_2+w_1 )$$ и $$w_3 < (w _{2}+w _{1})$$.
В результате преобразование (4.27) компонент весового вектора $$W_3$$ порождает группу подстановок $$\Omega_{3}$$ из двух элементов: тождественная подстановка с лексикографическим порядком следования индексов $$s:=0, 1, 2, 3, 4, 5, 6, 7 (Lex ) $$ и подстановка вида $$s:=0, 1, 2, 4, 3, 5, 6, 7$$. Прямое произведение групп $$\Omega_3 *Z_3$$ также является группой подстановок порядка $$|\Omega_3 | * | Z_3 |$$ (совокупность подстановок таблиц 4.9 и 4.10).
Продолжение табл. 4.9
| $$s$$ | $$x_3$$ | $$x_2$$ | $$x_1$$ | $$w_3 = -4,\\ w_2=2, \\ w_1= 1$$ | $$w_3 = -4,\\w_2=2, \\ w_1=-1$$ | $$w_3 = -4,\\w_2=-2, \\ w_1= 1$$ | $$w_3 = -4,\\w_2=-2, \\ w_1= -1$$ | ||||
|---|---|---|---|---|---|---|---|---|---|---|---|
| $$\{l_s\}$$ | $$\{\hat{l}_s\}$$ | $$\{l_s\}$$ | $$\{\hat{l}_s\}$$ | $$\{l_s\}$$ | $$\{\hat{l}_s\}$$ | $$\{l_s\}$$ | $$\{\hat{l}_s\}$$ | ||||
| 0 | 0 | 0 | 0 | $$l_0= 0$$ | $$l_4=-4$$ | $$l_0= 0$$ | $$l_5=-5$$ | $$l_0= 0$$ | $$l_6=-6$$ | $$l_0= 0$$ | $$l_7=-7$$ |
| 1 | 0 | 0 | 1 | $$l_1= 1$$ | $$l_5=-3$$ | $$l_1=-1$$ | $$l_4=-4$$ | $$l_1= 1$$ | $$l_7=-5$$ | $$l_1=-1$$ | $$l_6=-6$$ |
| 2 | 0 | 1 | 0 | $$l_2= 2$$ | $$l_6=-2$$ | $$l_2= 2$$ | $$l_7=-3$$ | $$l_2= 2$$ | $$l_4=-4$$ | $$l_2=-2$$ | $$l_5=-5$$ |
| 3 | 0 | 1 | 1 | $$l_3= 3$$ | $$l_7=-1$$ | $$l_3= 1$$ | $$l_6=-2$$ | $$l_3=-1$$ | $$l_5=-3$$ | $$l_3=-3$$ | $$l_3=-4$$ |
| 4 | 1 | 0 | 0 | $$l_4=-4$$ | $$l_0= 0$$ | $$l_4=-4$$ | $$l_1=-1$$ | $$l_4=-4$$ | $$l_2=-2$$ | $$l_4=-4$$ | $$l_3=-3$$ |
| 5 | 1 | 0 | 1 | $$l_5=-3$$ | $$l_1= 1$$ | $$l_5=-5$$ | $$l_0= 0$$ | $$l_5=-3$$ | $$l_3=-1$$ | $$l_5=-5$$ | $$l_2=-2$$ |
| 6 | 1 | 1 | 0 | $$l_6=-2$$ | $$l_2= 2$$ | $$l_6=-2$$ | $$l_3= 1$$ | $$l_6=-6$$ | $$l_0= 0$$ | $$l_6=-6$$ | $$l_1=-1$$ |
| 7 | 1 | 1 | 1 | $$l_7=-1$$ | $$l_3= 3$$ | $$l_7=-3$$ | $$l_2= 2$$ | $$l_7=-5$$ | $$l_1= 1$$ | $$l_7=-7$$ | $$l_0= 0$$ |
Таким образом, для достоверной оценки функций качества (4.6) и (4.7) в случае $$n = 3$$ необходимо иметь всего два образующих весовых вектора $$W _{3} = (4, 2, 1)$$ и $$W _{3} = (4, 3, 2)$$. Остальные весовые вектора являются производными и их можно получить перестановками и инверсиями знаков целочисленных компонент, которые и порождают все многообразие подстановок индексов $$s$$, напрямую влияющих на размерность вектора порогов, а значит, и на численные значения функций качества (4.6) и (4.7).
| $$s$$ | $$x_3$$ | $$x_2$$ | $$x_1$$ | $$w_3 = 4,\\w_2= 3, \\ w_1= 2$$ | $$w_3 = 4,\\w_2= 3, \\ w_1=-2$$ | $$w_3 = 4,\\w_2=-3, \\ w_1= 2$$ | $$w_3 = 4,\\w_2=-3, \\ w_1=-2$$ | ||||
|---|---|---|---|---|---|---|---|---|---|---|---|
| $$\{l_s\}$$ | $$\{\hat{l}_s\}$$ | $$\{l_s\}$$ | $$\{\hat{l}_s\}$$ | $$\{l_s\}$$ | $$\{\hat{l}_s\}$$ | $$\{l_s\}$$ | $$\{\hat{l}_s\}$$ | ||||
| 0 | 0 | 0 | 0 | $$l_0= 0$$ | $$l_0= 0$$ | $$l_0= 0$$ | $$l_1=-2$$ | $$l_0= 0$$ | $$l_2=-3$$ | $$l_0= 0$$ | $$l_3=-5$$ |
| 1 | 0 | 0 | 1 | $$l_1= 2$$ | $$l_1= 2$$ | $$l_1=-2$$ | $$l_0= 0$$ | $$l_1= 2$$ | $$l_3=-1$$ | $$l_1=-2$$ | $$l_2=-3$$ |
| 2 | 0 | 1 | 0 | $$l_2= 3$$ | $$l_2= 3$$ | $$l_2= 3$$ | $$l_3= 1$$ | $$l_2=-3$$ | $$l_0= 0$$ | $$l_2=-3$$ | $$l_1=-2$$ |
| 3 | 0 | 1 | 1 | $$l_3= 5$$ | $$l_4= 4$$ | $$l_3= 1$$ | $$l_5= 2$$ | $$l_3=-1$$ | $$l_6=1 $$ | $$l_3=-5$$ | $$l_7=-1$$ |
| 4 | 1 | 0 | 0 | $$l_4= 4$$ | $$l_3= 5$$ | $$l_4= 4$$ | $$l_2= 3$$ | $$l_4= 4$$ | $$l_1= 2$$ | $$l_4= 4$$ | $$l_0= 0$$ |
| 5 | 1 | 0 | 1 | $$l_5= 6$$ | $$l_5= 6$$ | $$l_5= 2$$ | $$l_4= 4$$ | $$l_5= 6$$ | $$l_7= 3$$ | $$l_5= 2$$ | $$l_6= 1$$ |
| 6 | 1 | 1 | 0 | $$l_6= 7$$ | $$l_6= 7$$ | $$l_6= 7$$ | $$l_7= 5$$ | $$l_6= 1$$ | $$l_4= 4$$ | $$l_6= 1$$ | $$l_5= 2$$ |
| 7 | 1 | 1 | 1 | $$l_7= 9$$ | $$l_7= 9$$ | $$l_7= 5$$ | $$l_6= 7$$ | $$l_7= 3$$ | $$l_5= 6$$ | $$l_7=-1$$ | $$l_4= 4$$ |
Поэтому на этапе абстрактного синтеза (много)пороговых моделей оператор линейной свертки с непрерывными значениями весовых коэффициентов можно заменить конечной группой преобразований $$\Psi= \Omega_{3}*Z_{s}*N_{s}$$, которая представляет собой прямое произведение следующих групп: подстановок индексов $$s$$, индуцированных оператором (4.27), ассоциативного суммирования компонент весового вектора $$\{w_{i} \}$$ с отношением "больше-меньше", группой инверсий знака и группой подстановок (по индексу $$i$$ ) множества компонент весового вектора.
Продолжение табл. 4.10
| $$s$$ | $$x_3$$ | $$x_2$$ | $$x_1$$ | $$w_3 =-4,\\w_2= 3, \\ w_1= 2$$ | $$w_3 =-4,\\w_2= 3, \\ w_1=-2$$ | $$w_3 =-4,\\w_2=-3, \\ w_1= 2$$ | $$w_3 =-4,\\w_2=-3, \\ w_1=-2$$ | ||||
|---|---|---|---|---|---|---|---|---|---|---|---|
| $$\{l_s\}$$ | $$\{\hat{l}_s\}$$ | $$\{l_s\}$$ | $$\{\hat{l}_s\}$$ | $$\{l_s\}$$ | $$\{\hat{l}_s\}$$ | $$\{l_s\}$$ | $$\{\hat{l}_s\}$$ | ||||
| 0 | 0 | 0 | 0 | $$l_0= 0$$ | $$l_4=-4$$ | $$l_0= 0$$ | $$l_5=-6$$ | $$l_0= 0$$ | $$l_6=-7$$ | $$l_0= 0$$ | $$l_7=-9$$ |
| 1 | 0 | 0 | 1 | $$l_1= 2$$ | $$l_5=-2$$ | $$l_1=-2$$ | $$l_4=-4$$ | $$l_1=-4$$ | $$l_7=-5$$ | $$l_1=-2$$ | $$l_6=-7$$ |
| 2 | 0 | 1 | 0 | $$l_2= 3$$ | $$l_6=-1$$ | $$l_2= 3$$ | $$l_7=-3$$ | $$l_2=-3$$ | $$l_4=-4$$ | $$l_2=-3$$ | $$l_5=-6$$ |
| 3 | 0 | 1 | 1 | $$l_3= 5$$ | $$l_0= 0$$ | $$l_3= 1$$ | $$l_1=-2$$ | $$l_3=-1$$ | $$l_2=-3$$ | $$l_3=-5$$ | $$l_3=-5$$ |
| 4 | 1 | 0 | 0 | $$l_4=-4$$ | $$l_7= 1$$ | $$l_4=-4$$ | $$l_6=-1$$ | $$l_4=-4$$ | $$l_5=-2$$ | $$l_4=-4$$ | $$l_4=-4$$ |
| 5 | 1 | 0 | 1 | $$l_5=-2$$ | $$l_1= 2$$ | $$l_5=-6$$ | $$l_0= 0$$ | $$l_5=-2$$ | $$l_3=-1$$ | $$l_5=-6$$ | $$l_2=-3$$ |
| 6 | 1 | 1 | 0 | $$l_6=-1$$ | $$l_2= 3$$ | $$l_6=-1$$ | $$l_3= 1$$ | $$l_6=-7$$ | $$l_0= 0$$ | $$l_6=-7$$ | $$l_1=-2$$ |
| 7 | 1 | 1 | 1 | $$l_7= 1$$ | $$l_3= 5$$ | $$l_7=-3$$ | $$l_2= 2$$ | $$l_7=-5$$ | $$l_1= 2$$ | $$l_7=-9$$ | $$l_0= 0$$ |
Для $$n = 4$$ множество $$\Omega_4$$ трансформируется в дистрибутивную структуру, которая представляет собой теоретико-множественное объединение 13 двухэлементных групп подстановок, каждая из которых содержит тождественную и обратную по отношению к себе подстановки. Теоретико-множественное пересечение всех двухэлементных групп дистрибутивной структуры $$\Omega_4$$ содержит единственную тождественную подстановку
В разделе 4.6 показано, что комбинаторная схема порождения совместных инверсий отношения "больше-меньше" использует так называемую [85] е-спецификацию, элементы которой характеризуют количество компонент весового вектора, стоящих в левой (е(1)) и правой (е(2)) части инвертируемого отношения. В частности, для $$n = 4$$ $$\varepsilon$$ -спецификация имеет вид $$[\varepsilon(1) = 1;\varepsilon(2) = 2]$$ ; $$[\varepsilon(1) = 1;\varepsilon(2) = 3]$$ ; $$[\varepsilon(1) = 2; \varepsilon(2) = 2]$$. Такая спецификация систематизирует перечисление конечного множества инвертируемых отношений "больше-меньше" (неоднозначных неравенств, в случае $$n = 4$$ представленных в табл. 4.11), которые еще необходимо доопределить множеством кратных инверсий значений свертки по правилу:
| $$\varepsilon(1) = 1;\varepsilon(2) = 2$$ | $$\varepsilon(1) = 1;\varepsilon(2) = 3$$ | $$\varepsilon(1) = 2;\varepsilon(2) = 2$$ |
|---|---|---|
| $$w_4><w_2+w_1 $$ | $$w_4><w_3+w_2+w_1$$ | $$w_1+w_4><w_3+w_2$$ |
| $$w_4><w_3+w_1 $$ | ||
| $$w_4><w_3+w_2 $$ | ||
| $$w_3><w_2+w_1 $$ |
На основе этих транспозиций значений свертки строятся цепочки транзитивных транспозиций, которые отвечают классическим правилам преобразования неравенств: неравенство только усилится, если к
"большему" прибавить "большее" или из "меньшего" вычесть "большее". В нашем случае существует только три цепочки транзитивных транспозиций (без учета кратных):
(Здесь символ $$\sim$$ представляет отношение эквивалентности).
Отсюда: независимо можно осуществить только транспозиции, принадлежащие различным транзитивным цепочкам, общее количество которых в нашем случае не превышает 3 (без учета кратных), а сами транспозиции можно выполнить только между двумя смежными значениями индекса свертки $$s $$.
Выбрав определенную стратегию анализа цепочек транзитивных транспозиций, можно, не зная конкретных численных значений весовых коэффициентов, перечислить все подстановки значений свертки $$\{\hat{l}_{s}\}$$ и отвечающие им подстановки индексов $$s$$:
$$(w_{3} > w_{2}+w_1) \sim (l_{4} > l_3)$$:
$$(w_{3} < w_{2}+w_{1}) \sim (l_{4} < l_3)$$:
$$(w_{3} > w_2+w_1) \sim (l_4 < l_{3}), (w_4+w_1 < w_{3}+w_2) \sim (l_9 < l_6)$$:
$$(w_{3} <w_{2} + w_1) \sim (l_{4} < l_{3}), (w_{4}+w_1 < w_{3}+w_{2}) - (l_9 <l_{6})$$:
Здесь подстановки образуют пары: в первом подмножестве - $$(1, 2)$$, $$(2, 3)$$, $$(3, 4)$$, во втором подмножестве - $$(1, 5)$$, $$(5, 6)$$, $$(6, 7)$$, $$(7, 8)$$, $$(8, 9)$$, в третьем подмножестве - $$(3, 10)$$, $$(10, 11)$$ и в четвертом подмножестве - $$(7, 12)$$, $$(12, 13)$$, $$(13, 14)$$. Поэтому отношение частичного порядка для элементов $$\Omega\in\Omega_{4}$$ обеспечивается правилом перечисления подстановок из одного и того же подмножества, в котором каждая последующая подстановка отличается от предыдущей только одной транспозицией (с точностью до кратных транспозиций).
Чтобы перейти от элементов дистрибутивной структуры $$\Omega_{4}$$ к порождающим ее значениям весовых коэффициентов $$\{w_{i} \}$$, достаточно одним из стандартных способов найти решения систем неравенств, отвечающих каждой приведенной выше подстановке индексов $$s$$. В частности, простейшим методом "проб и ошибок" можно получить все целочисленные значения весовых коэффициентов (табл. 4.12 для $$n = 4$$ ). В первой графе табл. 4.12 указан порядковый номер подстановки индексов $$s$$, а первая строка соответствует лексикографическому порядку их перечисления. Из данных этой таблицы видно, что в случае $$n = 4$$ для решения задач оптимального синтеза (много)пороговых моделей требуется всего 14 образующих весовых векторов, у которых компоненты переименуются с помощью конечных групп подстановок и инверсий знака.
| № | $$w_{4}$$ | $$w_{3}$$ | $$w_{2}$$ | $$w_1$$ | Условие |
|---|---|---|---|---|---|
| 1 | 8 | 4 | 2 | 1 | Lex |
| 2 | 10 | 6 | 3 | 2 | $$w_{4}= 10 < w_3+w_2+w_1 =11;$$ |
| 3 | 10 | 4 | 3 | 2 | $$w_{3} = 4< w_{2}+w_1=5;$$ |
| 4 | 8 | 4 | 3 | 2 | $$w_{4}= 8 < w_3+w_2+w_1 = 9; w_{3} = 4 < w_2+w_1 = 5;$$ |
| 5 | 10 | 7 | 4 | 2 | $$w_{4}= 10<w_{3}+w_{2}= 11; w_{4}= 10<w_3+w_{2}+w_1= 13;$$ |
| 6 | 8 | 6 | 4 | 1 | $$w_{4} = 8< w_{3}+w_{2}= 10; w_{4}= 4 < w_{3}+w_{2}+w_1 =11; w_1+w_{4} = 9 < w_{3}+w_{2}= 10;$$ |
| 7 | 10 | 6 | 5 | 2 | $$w_{4}= 10 < w_{3}+w_{2}= 11; w_{3}=6<w_{2}+w_1 = 7; w_{4}= 10 < w_{3}+w_{2}+w_1 = 13;$$ |
| 8 | 11 | 8 | 7 | 2 | $$w_{4}= 11 <w_{3}+w_{2}= 15; w_{3}= 8 < w_{2}+w_1 = 9; w_1+w_{4} = 13 <w_{3}+w_{2}= 15; w_{4} = 11 < w_3+w_{2}+w_1 =17;$$ |
| 9 | 10 | 8 | 4 | 3 | $$w_{4} = 10 < w_3+w_1 = 11; w_{4}= 10 < w_3+w_2+w_1 = 15;$$ |
| 10 | 8 | 7 | 4 | 2 | $$w_{4}= 8<w_{3}+w_1=9; w_{4}= 8< w_{3}+w_{2}+w_1= 13; w_1+w_{4}= 10<w_{3}+w_{2}= 11;$$ |
| 11 | 10 | 7 | 5 | 4 | $$w_{4}= 10<w_3+w_1= 11; w_3 = 7 < w_{2}+w_1 = 9; w_{4}= 10<w_3+w_{2}+w_1= 16;$$ |
| 12 | 10 | 8 | 6 | 3 | $$w_{4}= 10<w_3+w_1= 11; w_3 = 8< w_{2}+w_1 = 9; w_{4}= 10<w_3+w_{2}+w_1= 17; w_1+w_{4} = 13 < w_3+w_2= 14;$$ |
| 13 | 10 | 8 | 6 | 5 | $$w_{4}= 10<w_{2}+w_1= 11; w_{3} = 8< w_{2}+w_1= 11; w_{4}= 10 < w_{3}+w_{2}+w_1= 19;$$ |
| 14 | 10 | 8 | 7 | 4 | $$w_{4}= 10<w_{2}+w_1= 15; w_{3} = 8< w_{2}+w_1= 15; w_{4}= 10 < w_{3}+w_{2}+w_1= 19; w_1+w_4 = 14 < w_{3}+w_{2}= 15;$$ |
Если нейроподобный теоретико-групповой компилятор использовать при создании ЭВМ классической архитектуры, то для минимизации библиотеки стандартных элементов, реализуемых непосредственно в технологическом процессе, можно использовать только образующие булевы функции [101, 102].
Метод образующих булевых функций широко использовался в теории и практике многофункциональных логических модулей, к которым относятся и (много)пороговые элементы и их модели. В случае (много) пороговых моделей он позволяет существенным образом снизить вариации вектора порогов $$H_{\chi}$$, ограничив их конечным множеством целочисленных значений. Для этого достаточно все множество булевых функций $${F_{\alpha}(X^{s}_{n})}$$ разбить на смежные (по группам дистрибутивной структуры $$\Psi = \Omega_n *Z_s *N_s$$ ) классы [103]: $$\{F_{\alpha}{X^{s}_{n})\} =\bigcup\{F_{\alpha}(\Psi [Х_n^s])\}$$, а вектор порогов $$H_{\chi}$$ определить в целочисленном пространстве $$\{s\}$$ и только для образующих булевых функций $$\{F_{\alpha} (X^{s}_{n})\} \subset \{F_{\alpha}(X^{s}_{n})\}$$, где теоретико-множественное объединение ( $$\bigcup$$ ) берется по образующим булевым функциям с индексами $$\аlpha _{0}$$.
Схема поиска множества образующих для заданного класса булевых функций:
где: $$(r_1+r_0) =Q + 1$$, a $$\{\tilde{X}^s_n\}_{r_1}$$, $$\{\tilde{X}^s_n\}_{r_2}$$ - подмножества входных векторов, на которых булева функция $$\{F_{\alpha}(X^s_n)\}$$ принимает соответственно "единичное" и "нулевое" значение. Количество подклассов с одинаковой первичной спецификацией можно ограничить условием $$(r_{1} \ge r_{0})$$, нарушение которого приводит к подклассам инверсных булевых функций с инвертированными образующими.
где $$Ф[X^s_n]$$ представляет собой поочередно выполняемые преобразования $$N_{s} [X^{s}_{n} ]$$ и $$Z_{s} [X^{s}_{n} ]$$, а теоретико-множественные объединения берутся по образующим по классам смежности $$\alpha_0(Ф)$$: $$\alpha_{0} (N)$$, $$\alpha _{0} (Z)$$ соответственно, в качестве которых может выступать любая функция из класса.
где $$\alpha_0(D_s)$$ - индекс образующей из класса смежных по группе переименования переменных $$D_s = Z_s*N_s$$, а теоретико-множественное объединение берется по образующим для классов, смежных по группе $$N_s$$, с индексом $$\alpha_{0}(N)$$.
Здесь $$\аlpha_{0}(\Psi)$$ - индекс образующей для классов смежных булевых функций по группам дистрибутивной структуры $$\Psi = \Omega_n*Z_s*N_s$$, а компоненты вектора порогов $$h_{\alpha_0}$$, $$h_{\tilde{\alpha}_0}$$ для образующих $$F_{\alpha_0(D_s)}$$ и $$F_{\tilde{\alpha}_0(D_s)}$$ имеют одинаковый ранг, если $$h_{\alpha_0}, h_{\tilde{\alpha}_0} \in (l_{s(1)},l_{s(2)})$$, где $$l_{s(1)} < l_{s(2)}$$.
При $$n = 3$$ (табл. 4.13) требуется всего 13 образующих (без учета инверсных) для смежных по группам дистрибутивной структуры W классов, объединение которых и дает все множество булевых функций от трех переменных:
| Первичная спецификация булевых функций | (0,8) | (1,7) | (2,6) | (3,5) | (4,4) |
|---|---|---|---|---|---|
| Количество образующих булевых функций | 1 | 1 | 3 | 3 | 5 |
| Мощность классов смежных булевых функций | 1 | 8 | 12 | 24 | 14 |
| 12 | 24 | 24 | |||
| 4 | 8 | 24 | |||
| 6 | |||||
| 2 | |||||
| Итого булевых функций: (1+8+28+56)*2+70=256 | 1 | 8 | 28 | 56 | 70 |
Если нейроподобный теоретико-групповой компилятор предназначен для синтеза нейро-ЭВМ, то следует учитывать, что стратегия адаптации (много)пороговых моделей формальных нейронов "дочерней" и "материнской" нейро-ЭВМ отличаются критериями эффективности, что не отражено в классической схеме (много)порогового элемента (рис. 4.30). В реальности адаптивные возможности составляющих элементов расходуются на практически несовместные цели:
(рис 4.30) Схема классической (М)ПМ формального нейрона в классе БФ трех переменныхДля достижения максимально устойчивой реализации заданной булевой функции $$F_{\alpha} (X _{n}^{s})$$ необходимо, чтобы вектор порогов смещался по скалярной оси, компенсируя паразитные флуктуации $$\pm \Delta \tilde{W}_n$$ весового вектора $$H_{\chi} = \varphi(W_{n} \pm\Delta\tilde{W}_n)$$. Для этого достаточно (рис. 4.31) компоненты вектора порогов вычислять непрерывно с помощью оператора линейной свертки, но для фиксированного множества значений входного вектора $$\{\breve{Х}_n^{h(j)}\}$$, определяющего левые и правые границы интервалов "эквизнач-ности" заданной булевой функции на скалярной оси $$L $$.
(рис 4.31) Схема (М)ПМ "дочерней" нейро-ЭВМ с F_{a}(X^{s}_{n}) = constПоэтому, если формальный нейрон ориентирован на использование в "дочерней" нейро-ЭВМ, необходимо фиксировать подмножество значений входного вектора, по отношению к которому и определяется положение компонент вектора порогов. В этом случае правила выбора компонент вектора порогов для настройки (много)пороговой модели на реализацию, например, образующей булевой функции $$F_{ug} (x_{3},x_{2},x_{1}) = x_{3}x_{2}x_{1} + x_{3}x_{2}x_{1 }$$ имеют вид $$h_1 = - 0,5$$ ; $$h_2 = + 0,5$$ ; $$h_3 = w_3 +w_{2}+w_{1}-0,5$$ и $$h_4 = w_3 +w_{2}+w_{1} + 0,5$$, система решающих пороговых правил имеет вид $$h_1 < l_{s} \le h_2 \Rightarrow f_s:=1$$ и $$h_3 < l_{s} \le h_4 \Rightarrow f_s:=1$$. В результате вариации весового вектора (заштрихованные клетки табл. 4.8) приводят к тому, что система решающих правил
"отслеживает" положение одних и тех же (по индексу $$s$$ ) значений $$l_{0}$$ и $$l_{7}$$ на упорядоченном множестве значений свертки $$\hat{l}_s$$, то есть $$F_{129}(x_3, x_{2}, x_1) = const$$ при всех вариациях весового вектора.
Для достижения минимальной избыточности управления "материнской" нейро-ЭВМ необходимо минимизировать количество образующих булевых функций, а вектор порогов минимальной размерности для каждой образующей определить с помощью системы решающих правил, указывающих только ранги значений свертки, между которыми необходимо размещать значения компонент вектора порогов. Поэтому если формальный нейрон ориентирован на использование в "материнской" нейро-ЭВМ, то для каждой образующей булевой функции необходимо зафиксировать не сами значения компонент вектора порогов, а только места их расположения (по индексу $$s$$ ) на упорядоченном множестве значений свертки $$\{\hat{l}_s\}$$ (рис. 4.32).
(рис 4.32) Схема (М)ПМ "материнской" нейро-ЭВМ c ранговой системой решающих правилВ частности, для настройки (много)пороговой модели на реализацию той же образующей булевой функции $$F_{129} (x _{3}, x _{2}, x _{1})$$ и сопряженного с ней класса необходимо, чтобы значение одного порога было больше минимального значения $$\{\hat{l}_s\}$$, а другого - меньше максимального значения $$\hat{l}_s$$. В результате такой ранговой "фиксации" вектора порогов (заштрихованные клетки табл. 4.9) вариации знаков весового вектора приводят к настройке (много)пороговой модели на реализацию еще трех булевых функций: $$F_{68}(x_{3},x_{2},x_{l}) = \bar{x}_{3}\bar{x}_{2}x_{1} + x_{3}x_{2}\bar{x}_{l}$$, $$F_{36} (x_{3},x_{2},x_{l}) = \bar{x}_{3}x_{2}\bar{x}_{l} + x_{3}\bar{x}_{2}x_{l}$$ и $$F_{24} (x_{3},x_{2},x_{1}) =\bar{x}_{3}x_{2}x_1+ х_{3}\bar{x}_{2}\bar{x}_{1}$$, с двукратной избыточностью управления, так как при фиксированном векторе порогов только половина вариаций знака компонент весового вектора порождает дополнительные булевы функции.
На основе приведенных данных можно заключить:
Нервная система человека и животных состоит из однотипных клеток, именуемых нейронами, которые связаны между собой разветвленной системой аксонно-коллатеральных связей (рис. 4.1). Главная отличительная черта нейронов - это наличие в невозбужденном состоянии разности электрических потенциалов (потенциал покоя - рис. 4.2) на полупроницаемой мембране и аксонно-коллатеральных связях. Это обусловлено разной концентрацией ионов калия и натрия на внешней и внутренней поверхности мембраны, которая в значительно большей мере препятствует ионам натрия диффундировать внутрь клетки (рис. 4.3).
(рис 4.1) Основные морфологические компоненты нейрона
(рис 4.2) Потенциал действияЭта разность потенциалов поддерживается силами поверхностного натяжения
(рис 4.3) Схема распространения потенциала действия по нервному волокнуВ отличие от коллатералей
Сома нейрона отделена от
где $$x_i, w_i, h$$ - соответственно входные воздействия на нейрон, весовые коэффициенты "восприятия" входных спайков на мембране нейрона и порог возбуждения нейрона.
"Взвешенному" суммированию в (4.1) отвечает нейрохимический механизм передачи возбуждения через синаптическую щель (рис. 4.4 [57]), которая отделяет аксон или коллатерали от мембраны принимающего (постсинаптического) нейрона.
(рис 4.4) Структура синапса [3]Пресинаптическое волокно (
Синаптические механизмы возбуждения ткани были впервые обнаружены в нервно-мышечных окончаниях, регулирующих (координирующих в пространстве и во времени) процессы сжатия и растяжения мышцы в целом. Исследования возбуждающих синапсов показали [57], что пре-синаптические импульсы неизменно вызывают локальную деполяризацию постсинаптической мембраны. В чисто нейронных синапсах такая реакция именуется возбуждающим постсинаптическим потенциалом (ВПСП), а ее эквивалент в нервно-мышечном окончании - потенциалом концевой пластины (ПКП).
Экспериментально был показан эффект пространственной сум-мации [57], когда несколько синхронных пресинаптических импульсов повышали амплитуду ВПСП, но не длительность локальной деполяризации постсинаптической мембраны.
Одним из главных показателей синапсов является время задержки от момента прихода пресинаптического импульса к бляшке до начала постсинаптической деполяризации, регистрируемой внеклеточно. В зависимости от функционального назначения нейрона и типа подопытного животного время задержки на синапсах колеблется от 0,3 мсек и до 2 мсек, где первое значение характерно для центральной нервной системы млекопитающих и для нервно-мышечных соединений поперечно-полосатых мышц [57].
Длительное время в физиологии синапсов противостояли две теории передачи возбуждения через синапс: более ранняя - электрическая и более поздняя - нейрохимическая. Сторонники нейрохимических механизмов передачи возбуждения через синаптическую щель исходили из наличия
Всем этим требованиям на момент наиболее успешных исследований синаптических механизмов удовлетворяли только ацетилхолин и нора-дреналин, метаболизм которых и был изучен достаточно полно. Показано [57], что с ростом частоты пресинаптических импульсов выделение аце-тилхолина возрастает в 70 раз по отношению к состоянию покоя, а интенсивность его синтеза увеличивается в 7 раз. При этом были раскрыты механизмы депонирования избыточного ацетилхолина, что в совокупности создает условия для адекватного реагирования синапса на возрастание частоты пресинаптического возбуждения.
Многообразие синапсов с электрической формой передачи возбуждений гораздо шире, чем с нейрохимической. Но во всех случаях передача в таких синапсах осуществляется только в одном направлении и посредством деполяризующего действия электрического тока, который создается либо импульсами, либо синаптическими потенциалами в пре-синаптической мембране [57].
Приведенные данные говорят об аналоговом или как минимум циф-роаналоговом механизме локальной деполяризации постсинаптической
На момент создания нейроподобных вычислительных технологий (середина 50-х годов прошлого столетия) не вполне ясно было, на что больше влияет деполяризация
| Наименование | Значение | Наименование | Значение |
|---|---|---|---|
| Диаметр клетки | Малые: 5-30 мк | Диаметр митохондрий | 0,2 мк |
| Большие: 30-100 мк | Диаметр пузырька | 200-1000 Е | |
| Количество синапсов сомы нейрона | Тангенциального ядра золотой рыбки: 1 | Плотность синаптических пузырьков | 250 шт/мк2 |
| Симпатического ганглия лягушки: 15-55 | Толщина |
пресинаптической до 70 Е | |
| Мотонейрона кошки: 1200-1800 | постсинаптической 60-100 Е | ||
| Ретикулярной формации: до 4000 | Длина |
до 1,5 м | |
| Удельная плотность синапсов сомы и дендритов нейрона | Ядра Дейтериса: 10000/50000 мк2 | Диаметр |
0,05 мк - 1 мм |
| Мотонейрона кошки: 15000/100000 мк2 | Длина перехвата Ранвье | 1-2 мк | |
| Масса дендритов | Более 50 % массы мозга | Диаметр поры |
4-8 Е |
| Диаметр дендрита | ~1,6 мк | Сопротивление |
Состояние покоя: 1000 ом |
| Плотность шипиков | (1-37)/10 мк2 | Активное состояние: 20 ом | |
| Длина шипика | ~2 мк | Удельная емкость |
~1 мкф/см2 |
| Скорость проведения "спайка" | При диаметре 2-4 мк: 0,8-2 м/сек | Время задержки в синапсе | 0,3-2 мсек |
| При диаметре 6-8 мк: 6-8 м/сек | Продолжительность "спайка" | 1,5-6,5 мсек | |
| При больших диаметрах: до 100 м/сек | Период рефрактерности | 0,1-2 мсек |
Приведенных данных достаточно, чтобы сформулировать "системотехнический базис" реальных нейронных технологий:
Таким образом, на основе приведенных данных можно заключить:
(Нейро)физиология по своему научному статусу интегрирует все достижения фундаментальных исследований физических, биофизических, химических, биохимических, молекулярно-биологических и нейрофизиологических процессов, протекающих в реальных нейронах, корковых и подкорковых образованиях, в периферической, вегетативной и центральной нервной системе и других нервных образованиях, которые участвуют в формировании устойчивых целенаправленных форм поведения и приспособительных реакций целостного организма и составляющих его систем: пищеварительной, оборонительной, дыхательной, иммунной, кровеносной, половой, гормональной и т. д. Такой междисциплинарный характер исследований требует высокого уровня абстракции, отражающей наиболее общие закономерности роста, развития и жизнедеятельности организмов различной сложности, что в конечном счете должно было привести и привело к формированию нейрокибернетических принципов и методов структурно-функциональной организации живых систем. Поэтому неудивительно, что для раскрытия механизмов становления условных рефлексов еще в 1935 году в лаборатории лауреата Нобелевской премии И.П. Павлова был использован один из базовых принципов кибернетики и нейрокибернетики - принцип обратной связи (П.К. Анохин). Дальнейшее совершенствование аналитических методов исследований физических, биофизических, химических, биохимических, молекулярно-биологических и нейрофизиологических процессов жизнедеятельности привело к созданию теории функциональных систем [25], которая отличается от классической кибернетики в главном: обратная связь в живых системах используется не только и не столько для усиления и/или подавления уже существующих входных сигналов, а для опережающего формирования механизмов оценки качества результатов будущего действия, которые невозможно свести к одним лишь процедурам экстраполяции случайных процессов, положенным Н. Винером в основание кибернетики и хорошо изученным на данный момент.
Базовым для теории функциональных систем является положение о том, что "единственным физиологическим принципом деятельности целого мозга, объясняющим поведение животных и человека, является принцип условного рефлекса [25]". Его справедливость вытекает из того факта, что в процессе обучения, без которого не обходится ни одна приспособительная деятельность организма, прежде всего должна быть установлена объективная, субъективная или даже волюнтаристская "причинно-следственная связь". Фактически должна быть построена своего рода "личная теория", формулирующая правила или алгоритм поведения индивидуума в конкретной обстановке. И только закрепив такую достаточно условную причинно-следственную связь между воздействием, именуемым "стимулом", и локальной, безусловно-рефлекторной, реакцией организма, можно рассматривать сформированный условный рефлекс в качестве "неделимой единицы физиологического проекта" и встраивать его в бол ее "сложный" целостный поведенческий акт, состоящий из последовательности локальных реакций, направленных на достижение той или иной цели поведения.
Здесь термин "условная связь" используется в расширенной трактовке, которая дополняет классическую Павловскую трактовку субъективным опытом отдельной особи, который может быть проигнорирован другими особями, особенно если их обучение протекает по принципу "делай как я". В частности, это может произойти, когда установленная отдельной особью "причинно-следственная связь" на самом деле является виртуальной и не имеет никакого отношения к реальным физико-химическим или молекулярно-биологическим законам взаимодействия с внешней средой. По И.П. Павлову термин "условный" используется в более узком смысле. Он подчеркивает, что данный тип реакции возможен только при воспроизводстве условий выработки причинно-следственной связи между одним из возможных стимулов и одной из возможных безусловных (врожденных, не приобретенных) физиологических реакций организма.
Приспособительные признаки условного рефлекса по И.П. Павлову (излагается по [25]):
Сигнальный характер условного рефлекса имеет глубокие молекулярно-биологические корни и является физиологическим проявлением общего для живых систем принципа опережающего отражения событий "неорганического" мира [25]. Этот принцип исходит из того, что даже простейшие биологические существа нашей планеты уже представляли собой системы (полу)открытого типа, которые связаны с окружающей средой через мембрану с избирательной проницаемостью рядом химических превращений, зарождающихся на мембране и продолжающихся целой серией многосвязных многостадийных ферментативных реакций внутри клеток и простейших организмов [60]. Исход такого взаимодействия живых систем с окру-
жающей средой априори никогда не известен, но негативный или даже трагический опыт такого взаимодействия можно учесть, а позитивный опыт воспроизвести только при условии повторяемости событий внешнего по отношению к организму мира. Поэтому для того чтобы организм смог вписаться в пространственно-временную структуру неорганического мира, у него должны быть механизмы опережающего отражения хотя бы повторяющихся в нем последовательных событий (рис. 4.5 [25]).
Из рис. 4.5 видно, если организм воспринимает некоторую последовательность событий как совокупность независимых воздействий, то он может реагировать на каждое из них только в отдельности и только постфактум. В этом случае у него нет возможности для активного противодействия внешним угрозам или для создания благоприятных условий эффективной "встречи" с биологически полезным событием "Д" во внешней среде (рис. 4.5-а). Напротив (рис. 4.5-б), если организм установил "причинно-следственную связь", гарантирующую ему более чем в 50 % случаев наступление события "Д" после того, как наступило событие "А", то у него есть время для подготовки условий встречи с биологически полезным событием "Д" или активного противодействия угрозе, проистекающей из такой встречи.
Таким образом, выработка условного рефлекса или, что одно и то же установление условной причинно-следственной связи между последовательными событиями внешней среды всегда сопровождается упреждающим синтезом молекулярно-биологических структур, адекватных условиям функционального взаимодействия с биологически важным событием. Но поскольку между структурой и функцией нет и не может быть взаимно однозначного соответствия, то встает вопрос о принципах и методах отбора адекватных молекулярно-биологических структур.
(рис 4.5) Два типа реакций протоплазмы на последовательность внешних воздействий [25]Структурно-функциональное единство живых систем в теории функциональных систем представлено принципом гетерохронии роста и эмбрионального развития, который применим и к сложным техническим системам. Данный принцип исходит из того, что для выживания новорожденный должен обладать необходимым комплексом структурно-функциональных возможностей, который включает [25]:
Экспериментальные и натурные данные говорят о том, что гете-рохронный и избирательный рост структур зародыша не направлен на равномерное развитие любого органа как целого. Он служит главной цели эволюции - наделению новорожденного полноценными и жизненно важными функциональными системами. В результате в развитии зародыша предпочтение отдается формированию жизненно важной функции, возможно, и в ущерб созданию того или иного органа как целого. Характерное проявление этого принципа - "шумы" сердца у новорожденных и в более позднем подростковом возрасте, которые не вызваны патологией сердечной мышцы.
В результате можно считать, что гетерохронность является базовым механизмом системогенеза, в том числе и сложных технических систем, в рамках которого предпочтение отдается избирательному и ускоренному развитию тех разнообразных по качеству и локализации структурных образований, которые, консолидируясь в целом, интегрируют полноценную функциональную систему, обеспечивающую новорожденному выживание [25].
Принцип опережающего отражения фактически ставит вопрос о механизмах трансформации системных макровзаимодействий на уровень молекулярных процессов и наоборот. Ответ на первую часть вопроса дает принцип конвергентного замыкания условного рефлекса, который был сформулирован П.К. Анохиным [25] в виде гипотезы, так как на тот момент отсутствовала достаточная нейрохимическая экспериментальная база. Тем не менее, этот принцип раскрыл схему перевода индифферентного
стимула в биологически значимый условный сигнал,что и является нейрофизиологическим итогом любого "обучения" организма. По П.К. Анохину, в логической схеме конвергентного замыкания на макроуровне задействованы два типа каналов поступления генерализованного возбуждения коры больших полушарий, по которым передается информация как об индифферентных, так и о безусловных раздражителях. Каналы первого типа проходят через лемнисковую систему и таламус к проекционным зонам коры, а второго типа - через ретикулярную формацию, связанную разветвленной сетью коллатералей с каналами первого типа [61]. Основная особенность возбуждений коллатерального ответвления в ретикулярную формацию состоит в том, что они являются опосредованными, множественными копиями возбуждений, направляемых в таламус и кору. Поэтому можно считать, что все подкорковые образования, хотя и с разной степенью пространственно-временной активности, постоянно задействованы в генерализованном возбуждении коры больших полушарий. Это является необходимым условием встречи на одном или группе корковых нейронов (конвергентных нейронов) требуемой комбинации пока еще индифферентного и биологически значимого возбуждений из (под)мно-жества возможных комбинаций. В их отборе (из множества всевозможных комбинаций), по П.К. Анохину, участвует сложный комплекс (нейро) физиологических механизмов функциональной системы.
Сама по себе встреча индифферентного и безусловного возбуждений на корковом нейроне также не является достаточным условием для трансформации такой первоначально разнесенной во времени и пространстве пары в устойчивую условно-рефлекторную связь, даже если эта пара часто воспроизводится в процессе жизнедеятельности организма. Согласно теории функциональной системы из всех таких повторяющихся пар отбираются только те, которые, будучи спроецированы на комплекс эфферентных (нисходящих) возбуждений, обеспечивают организму устойчивый, биологически полезный приспособительный эффект. При этом необязательно тождественное воспроизведение всего комплекса внешних и внутренних условий существования организма. Поэтому на последней стадии афферентного (восходящего) синтеза отбор и закрепление устойчивых комбинаций теперь уже условных и безусловных раздражителей осуществляется на уровне метаболических процессов конвергентных нейронов,где только и возможно взвешенное сопоставление оперативного опыта "(само)обучающейся" особи с опытом ее эволюционного и эмбрионального становления и развития.
Согласно [62] приобретенный особью опыт фиксируется на уровне молекулярных процессов клетки. Это нашло экспериментальное подтверждение в опытах с "каннибальными" планариями, которые обучались гораздо быстрее, получив с пищей информацию об оперативно накопленном опыте
через клеточный субстрат, "добытый" из сородичей с выработанным условным рефлексом. H. Hyden в своей теории молекулярной памяти [63] раскрыл роль РНК в процессе "обучения" эволюционно более поздних нервных клеток, одно только возбуждение которых приводит к специфическим структурным перестройкам нативного белка. По H. Hyden, схема "записи" информации в макромолекулярную память имеет следующий вид:
Схема "чтения" структурно представленной информации имеет тот же вид, но приходящие с той же частотой возбуждения теперь уже разрушают сформировавшийся комплекс (био)химических реакций. Именно этот эффект "перерегулирования" приводит к возбуждению нейрона, который стремится восстановить структуру нативных белков, регенерируя их по классической схеме: "транскрипция ДНК - матричная РНК - фермент - белок".
Современные исследования показали, что в межнейрональных и субнейрональных взаимодействиях решающую роль играют не столько пресинаптические трансформации пришедших возбуждений, сколько специфическая биохимическая активность веществ в составе постсинап-тической
Из приведенных данных видно, что в реальных нейронах:
Таким образом, если организмы рассматривать как прототип систем, где успешно решены проблемы синтеза "ненадежными" методами и средствами из "ненадежных" компонент с "малым временем жизни", то в систематику синтеза нанометровой или супрамолекулярной вычислительной техники необходимо включить следующие базовые положения теории функциональных систем П.К. Анохина (рис. 4.6) [25]:
Одна из первых успешных попыток построения формальной модели реальных нейронов была предпринята в 1943 году физиологом У.С. Мак-Каллоком и математиком У. Питтсом [64]. Главное ее достоинство - это простота, которая, с одной стороны, позволяет проводить анализ функциональных возможностей сложных нейронных структур, что важно для нейрофизиологов, а с другой стороны - оценивать функциональную устойчивость нейроподобных вычислительных структур при флуктуациях порогов, что важно для инженеров.
В дальнейшем под формальным нейроном стали понимать элемент вычислительной машины, который обладает следующими свойствами [65]:
Фактически У. Мак-Каллоку и У. Питтсу удалось корректно формализовать известные на тот момент времени механизмы синаптической передачи электрофизиологических возбуждений (см. раздел 4.1).
Для описания логических функций, реализуемых формальным нейроном, используют диаграммы Венна, в которых логические переменные представлены следующими областями (рис. 4.8):
(рис 4.8) Диаграмма Венна для 2 и 3 переменныхДля изображения логических функций с помощью диаграмм Венна достаточно поставить точку в соответствующем месте:

Вид реализуемой формальным нейроном логической функции зависит как от правил соединения волокон, так и от значения порога. Если формальный нейрон имеет $$\delta$$ входов, то множество возможных комбинаций значений входных сигналов насчитывает $$2^{\delta}$$ значений, которым на диаграмме Венна соответствует своя область. Поэтому каждой комбинации значений входных сигналов можно поставить в соответствие суммарное значение возбуждения, которое можно представить числом и записать его в соответствующую область диаграммы Венна. В результате каждый формальный нейрон рис. 4.9 можно представить эквивалентным нейроном рис. 4.10.
(рис 4.9) Формальные нейроны и соответствующие им диаграммы Венна [65]
(рис 4.10) В каждой области диаграммы Венна указана величина возбуждения при соответствующей входной комбинации [65]Возможен и другой вариант представления формального нейрона, когда в поля диаграммы Венна вписаны числа, отвечающие порядку появления соответствующей точки при возрастании порога исходного нейрона (рис. 4.11).
(рис 4.11) В каждой области диаграммы Венна указано число, соответствующее порядку появления точек при возрастании порога [65]Сетью Мак-Каллока называется объединение четырех или более рядов формальных нейронов без обратных связей типа рис. 4.12.
(рис 4.12) Сеть Мак-Каллока \delta=2 [65]Из приведенных данных следует:
При этом следует иметь в виду, что полнота формального нейрона достигается за счет его структурно-параметрической перестройки, то есть вариацией порога как параметра и схемы соединения с другими нейронами сети как структурного фактора.
Чтобы по известной структуре сети определить реакцию выхода, необходимо руководствоваться следующими правилами:
Выходная реакция единственного нейрона третьего ряда, а значит, и всей сети определяется двумя точками собственной диаграммы Венна:
Сети из формальных нейронов позволили перевести из абстрактной в инженерную плоскость исследования по синтезу надежных элементов из ненадежных компонент Дж. фон Неймана [66]. В частности, сеть рис. 4.13 логически устойчива при колебаниях порогов в пределах 75 %. (Сеть считается логически устойчивой, если она сохраняет реализуемую логическую функцию при одновременной флуктуации порогов составляющих формальных нейронов [65].)
В рамках этих исследований удалось показать [65]:
(рис 4.13) Логически устойчивая сеть Мак-Каллока \delta=2 [65]С.О. Мкртчян предложил схему формального нейрона с разрешающими взаимодействиями входных волокон [67], которые он привел к входам формального нейрона, дополнив пороговый элемент блоком входных логических преобразований (рис. 4.14 [68]), эквивалентных "сетевым преобразованиям" формального нейрона Мак-Каллока - Питтса.
При этом С.О. Мкртчян отказался от традиционного сетевого подхода к построению нейро-ЭВМ и сосредоточил свои усилия на синтезе традиционных блоков и устройств вычислительной техники на основе аппаратно реализованных формальных нейронов. В итоге были синтезированы все блоки и устройства традиционных ЭВМ, включая и конечные автоматы, основу которых составляют RS -триггеры (рис. 4.15).
(рис 4.14) Формальные нейроны с равноправными запрещающими и разрешающими входами [68]
(рис 4.15) Схемы RS-триггеров на пороговых и формальных нейронах [68]Тем не менее, нейрокомпьютерная и компьютерная техника продолжили развиваться параллельными курсами, что можно объяснить следующими причинами. Технологические успехи микроэлектроники выдвинули на первый план не минимизацию затрат активных (преобразующих) элементов (транзисторов), а средств коммутации, которые стали основными "пожирателями" площади кристаллов и главными источниками временных и энергетических издержек обмена информацией СБИС с "внешней средой". Более того, нейроподобная элементная база в принципе не могла выиграть у традиционных булевых вентилей даже по удельным аппаратным затратам, измеряемым количеством вентилей на одну реализуемую логическую функцию в составе многофункционального или универсального (функционально полного) логического модуля, на что, собственно, и делал ставку С.О. Мкртчян [68]. В частности, на универсальный логический модуль, реализующий 16 логических функций двух переменных, требуется всего 9 вентилей "И - НЕ " и два инвертора. В результате удельные затраты булевых вентилей на 1 логическую функцию составляют ~10 вентилей / 16 функций, то есть 0,625 вентиля на функцию. Для реализации в микроэлектронном операционном базисе порогового элемента на два входа требуются одноразрядный сумматор, блок сравнения и регистры хранения порога и весовых коэффициентов, где только на одноразрядный сумматор расходуется порядка 9 вентилей типа "И", "ИЛИ" и 4 инвертора. Поэтому нейроподобная элементная база способна выиграть у традиционных булевых вентилей только в том случае, если используемый физико-технический процесс будет адекватен системе преобразований формального нейрона "суммирование - сравнение - подстановка".
Этим можно объяснить возрождение интереса к нейросетевым вычислительным устройствам, которое произошло в середине 80-х годов прошлого столетия благодаря Дж. Хопфилду и Д. Танку [69], предложившим эффективную процедуру обучения сетей Мак-Каллока - Питтса. Именно эффективное обучение нейросетей пока является главным преимуществом нейрокомпьютерных технологий перед традиционными компьютерными технологиями, где главные временные издержки сосредоточены в процедурах формализации и программирования, с помощью которых задачи пользователя преобразуются в булево представление, исполняемое элементной базой ЭВМ.
Дж. Хопфилд и Д. Танк предложили проводить обучение нейро-ЭВМ на принципах аналоговой вычислительной техники, когда поиск решения дискретной задачи осуществляется в непрерывном пространстве, в котором как раз и выполняются нейронные вычисления. При этом обучение формулируется как поиск глобального оптимума некоторой функции, для достижения которого требуется как минимум умение выбираться из локального экстремума, для чего в аналоговые цепи обычно встраивают некоторые параметры "прибыли", которые эквивалентны параметру "температуры" в
Для этих целей подходит модель нейроподобной сети, в которой состояние $$i$$ -го формального нейрона описывается выходом $$V_{i}G{V^{0}i , V^{1}i }$$ (излагается по [70]). Входные возбуждения формального нейрона формируются двумя источниками: внешним сигналом $$I_{i}$$ и состояниями осталь-ных нейронов. Дж. Хопфилд ввел энергетическую функцию произвольного состояния симметрично связанной сети:
$$E = - \sum{T_{ij}*V_{i}*V_{j}} -\sum{I_{i}*V_i},$$где первая сумма берется по $$i < j$$, вторая сумма просто по $$i$$, а $$T_{ij} $$ представляет силу синаптического взаимодействия нейрона $$j $$ с нейроном $$i $$ (в биологической интерпретации).
Из (4.2) следует, что в энергетическую функцию нейросети вклад вносят только возбужденные нейроны, у которых $$V_i = 1$$, что соответствует состоянию " on " $$i$$ -го нейрона, а невозбужденные нейроны, у которых $$V_i = 0$$ (состояние "off") никакого влияния на энергию всей сети не оказывают ни за счет первого, ни за счет второго слагаемого. Поэтому разность значений энергии $$i$$ -го нейрона между его возбужденным и невозбужденным состояниями можно определить соотношением:
$$E_{i(on)} - E_{i(off)}= \Delta{E_i} = -\sum{T_{ij}*V_{j}} - \sum{I_{i}}$$Если $$\Delta E_{i}$$ отрицательна, то для минимизации энергии требуется усиление взаимодействий этого нейрона с остальными и/или внешней средой. В противном случае требуется ослабление такого взаимодействия.
В такой интерпретации локальные и глобальные минимумы можно рассматривать в качестве хранимых образцов, а нейросеть - как структурно организованную ассоциативную память, устойчиво воспроизводящую совокупность минимумов, свойственных только данной нейросети ("хранящую" значения $$p_{1}, p_{2}, p_{3}, p_{4}$$ - рис. 4.16).
(рис 4.16) Сеть Хопфилда в качестве структурно организованной ассоциативной памяти [70]С другой стороны, используя модель отжига для выхода сети из локального минимума, можно для каждого $$i$$ -го элемента памяти вычислить (4.3). Доказано, что двоичный механизм поиска глобального минимума регулируется вероятностной функцией $$P_{i} = 1/(1+e^{\Delta{E_i}/T})$$, где переменная $$T $$ аналогична температуре в модельном отжиге и по существу является масштабирующим множителем, управляющим интенсивностью "шума", который поддерживает флуктуационный характер изменения энергии в сети. При возрастании $$T P_{i}\to 0,5$$, и поэтому система ведет себя хаотично безотносительно к ограничениям в самой сети. При $$T = 0$$ и $$\Delta E_{i} = 0$$ система становится детерминированной ( $$P_{i} = 1$$ ) и скатывается в ближайший локальный минимум. Когда сеть Хопфилда - Танка достигает температурного равновесия, относительная вероятность ее нахождения в состоянии $$a$$ по сравнению с вероятностью состояния $$b$$ в данный момент времени $$T$$ подчиняется распределению Больцмана: $$P_{a}/P_{b} = e^{-(Ea} ^{-Eb)/ T}$$.
Отсюда, состояние температурного равновесия не гарантирует достижения некоторого устойчивого состояния в сети, причем сами состояния продолжают варьировать даже при установившемся распределении вероятностей.
Наилучшая стратегия достижения температурного равновесия (признак конца обучения нейросети) при любой заданной температуре $$T $$ состоит в том, чтобы стартовать с высокой температуры, сделав легко преодолимыми энергетические барьеры системы, и постепенно понижать $$T$$, повышая статус состояний с низкой энергией. В итоге при плавном
изменении температуры $$T $$ можно с большой вероятностью попасть в глобальный минимум или остановиться в достаточной близости от него. Таким образом, на основе приведенных данных можно заключить:
В модели формального нейрона Мак-Каллока - Питтса отражены практически все известные на тот момент структурно-функциональные особенности работы реальных нейронов. Исключение составляет только зависящий от многих внешних факторов цифро-аналоговый механизм диффузии
Второе существенное отличие монотипных и генотипных моделей нервной системы состоит в методе определения функциональных характеристик: в первом случае функциональные свойства постулируются и используются в качестве исходных данных, а во втором случае исходной является физическая система, представленная статистическими свойствами класса, а ее функциональные свойства являются конечной целью исследований. Именно второй подход адекватен условиям психофизиологических исследований, когда на первый план выходят не индивидуальные особенности нервной системы особи, а общие закономерности адаптации и обучения, свойственные классам таких особей, которые репродуцированы генетическими методами, подверженными вариационным изменениям. Здесь, так же как и при переходе от механизмов локальной деполяризации к возбуждению всего нейрона, проявляется структурно-функциональный полиморфизм, но уже при переходе с физиологического на психологический уровень исследования живых систем.
При создании перцептрона как генотипной модели реальных нейронов и сетей Ф. Розенблатт исходил из более поздних достижений не только нейрофизиологии, но и психологии [71]:
Для формализации такой психофизиологической модели нервной системы Ф. Розенблатт использовал следующие определения [71]. При этом определения, задающие правила функционирования составляющих перцептрон элементов и генерируемых ими сигналов, были распределены по группам:
Определение 1. Под сигналом понимается любая измеримая переменная величина (напряжение, интенсивность светового потока, концентрация химических реагентов и т. п.), измеряемыми параметрами которой являются как минимум амплитуда, время и местоположение.
Определение 2. Генератором сигнала считается любой элемент или устройство $$u_{i} $$ произвольной физико-химической, нейрохимической или молекулярно-биологической природы, которые способны производить выходные сигналы $$u*$$.
Определение 3. Производящей функцией сигнала является любая функция, которая определяет закон изменения амплитуды сигнала, производимого генератором сигнала.
Определение 4. Связью (соединением) является канал произвольной физико-химической, нейрохимической или молекулярно-биологической природы, с помощью которого сигнал от одного генератора сигналов (начальный элемент или вход) может быть передан другому генератору (конечный элемент или выход). Связь $$c_{ij} $$ характеризуется своими начальными $$u_{i} $$ и конечными $$u_{j} $$ элементами и передающей функцией, которая определяет амплитуду сигнала $$c ^{*}_{ij} (t)$$, поступившего на конечный элемент (выход), как функцию амплитуды и момента появления сигнала, генерируемого начальным элементом (входом).
Определение 5. Передающая сеть представляет собой систему соединенных в сеть генераторов сигнала.
Определение 6. Сенсорным элементом ( $$S$$ -элементом) является любой чувствительный элемент, который вырабатывает сигнал являющийся функцией входной энергии (света, звука, давления, тепла, электричества и т. п.). Входной сигнал $$S$$ -элемента $$s$$, который поступил из внешней среды $$W$$ в момент времени $$t$$, обозначается $$c ^{*}_{W(t)}(t)$$ ; сигнал, который вырабатывается элементом $$s_i$$ в момент времени $$t - s^{*}_{i}(t)$$.
Определение 7. Простым $$S$$ -элементом считается тот, который выдает выходной сигнал $$s^*_i = +1$$, если входной сигнал $$c*_{W} \ge \chi_{i}$$, и $$s^*_i = 0$$ в противном случае, где $$\chi_{i}$$ - порог срабатывания $$S$$ -элемента $$s_{i}$$.
Определение 8. Ассоциативным элементом ( $$A$$ -элементом) называется генератор сигнала (обычно логический элемент решающего типа) с входными и выходными связями $$c_{ij}$$, по которым поступают сигналы $$c^*_{ij}$$. Сигнал, вырабатываемый $$A$$ -элементом $$a_{j}$$, обозначается $$a^{*}_{j}(t)$$.
Определение 9. Простым $$A$$ -элементом называется логический решающий элемент, который выдает выходной сигнал $$a ^{*} = +1$$, когда алгебраическая сумма его входных сигналов $$а_i \ge \chi_{i} > 0$$, и $$a^*_i = 0$$ в противном случае. Если $$a ^{*}_i = +1$$, то говорят, что $$A$$ -элемент является активным.
Определение 10. Реагирующим элементом ( $$R$$ -элементом) называется генератор сигнала, имеющий входные связи и выдающий сигнал, который поступает во внешнюю сеть (окружающую среду или другую систему). Сигнал, вырабатываемый $$r_{i}$$ -элементом, обозначают $$r ^{*}_{i}$$.
Определение 11. $$R$$ -элемент является простым, если он выдает сигнал $$r _{i}^* = +1$$, когда сумма его входных сигналов является строго положительной, и сигнал $$r _{i}^* = -1$$, когда сумма его входных сигналов является строго отрицательной. Если сумма входных сигналов равна нулю, выход $$R$$ -элемента можно считать либо нулевым, либо неопределенным (в частности, колеблющимся возле нулевого уровня).
Определение 12. Передающие функции связей в перцептроне зависят от двух параметров: времени передачи импульса по каналам связи $$\tau_{ij} _{}$$ и коэффициента (веса) связи $$v_{ij}$$. Передающая функция связи $$c_{ij}$$ от элемента $$u_{i}$$ к элементу $$u_{j}$$ имеет вид:
$$c^{*}_{ij}(t)=f [v_{ij}(t), u^{*}_{i}(t-\tau_{ij})],$$а веса могут быть постоянными или переменными (зависящими от времени), когда вес является функцией памяти.
Определение 13. Активное состояние сети в момент $$t $$ определяется совокупностью сигналов $$u^{*}_{i}$$, выдаваемых всеми генераторами сигналов в этот момент $$t$$.
Определение 14. Состояние памяти сети характеризуется конфигурацией весов всех связей с переменным весом в определенный момент времени.
Определение 15. Фазовым пространством сети называется пространство всех возможных состояний памяти данной сети. Состоянию памяти системы в каждый момент времени соответствует точка в фазовом пространстве, а траектория этой точки в фазовом пространстве описывает историю системы. Фазовое пространство является $$N$$ -мерным эвклидовым, если сеть имеет $$N $$ связей с переменным весом и каждой связи соответствует своя координата.
Определение 16. Коэффициенты соединения (веса) $$v_{ij} $$ для всех пар элементов $$u_{i} $$ и $$u_{j} $$ образуют матрицу $$||V||$$ взаимодействия сети, состоящей из $$S$$ -, $$A$$ - и $$R$$ -элементов. Если связь от элемента $$u_{i} $$ к элементу $$u_{j} $$ отсутствует, считается $$v_{ij} = 0$$. Задание матрицы взаимодействия эквивалентно заданию точки в фазовом пространстве.
Определение 17. Перцептрон представляет собой сеть, состоящую из $$S$$ -, $$A$$ - и $$R$$ -элементов, с переменной матрицей $$||V||$$, определяемой последовательностью прошлых активностей сети.
Определение 18. Логическое расстояние от элемента $$u_{i} $$ до элемента $$u_{j }$$ равно наименьшему числу связей, с помощью которых сигнал от элемента $$u_{i} $$ можно передать элементу $$u_{j}.$$
Определение 19. Перцептроном с последовательными связями называется система, в которой все связи, начинающиеся от элементов с логическим расстоянием $$d $$ от ближайшего $$S$$ -элемента, оканчиваются на элементах с логическим расстоянием $$d+1$$ от ближайшего $$S$$ -элемента.
Определение 20. Перцептроном с перекрестными связями называется система, в которой некоторые связи соединяют друг с другом элементы одного типа ( $$S$$, $$A$$ или $$R$$ ), находящиеся на одинаковом логическом расстоянии от $$S$$ -элементов, причем все остальные связи - последовательного типа.
Определение 21. Перцептроном с обратной связью называется система, в которой по крайней мере один элемент $$A $$ или $$R$$, находящийся на расстоянии $$d $$ от ближайшего $$S$$ -элемента, является исходным в цепи обратной связи к $$S$$ -элементу или $$A$$ -элементу, расстояние которого до ближайшего $$S$$ -элемента $$d_2 < d_1$$, то есть обратная связь соединяет выход элемента, расположенного ближе к выходу сети, с входом элемента, расположенного ближе к ее входам.
Определение 22. Простым перцептроном называется любая система, удовлетворяющая следующим условиям:
Определение 23. Перцептрон называется элементарным, если он является простым, содержит простые $$R$$ - и $$A$$ -элементы, а его передающая функция имеет вид:
$$c^*_{ij}(t) = u^*_i(t- \tau)v_{ij}(t).$$Определение 24. Стимул представляет собой любое непустое множество входных сигналов $$c ^{*}_{W(i)}(t)$$, поступающих на $$S$$ -элементы в момент времени $$t$$. Если сенсорное поле (в частности, сетчатка) имеет $$N_s$$ сенсорных элементов, то стимул представляет собой $$N_s$$ -мерный вектор, каждой компоненте которого соответствует сигнал на входе соответствующего $$S$$ -элемента. Стимул отсутствует, если все входные сигналы равны нулю и если не оговорены другие условия.
Определение 25. Пространством стимулов (внешней средой $$W_n$$ с числом различных стимулов $$n$$ ) называется любое множество стимулов, определенное для данной системы $$S$$ -элементов.
Определение 26. Пространство последовательностей стимулов представляет собой множество всевозможных последовательностей стимулов, каждое из которых содержит упорядоченный ряд стимулов из множества $$W_{n}$$.
Определение 27. Реакцией называется любое соответствие между входными сигналами $$R$$ -элемента и стимулами из множества $$W_{n}$$. Для простого перцептрона реакция $$R(W_{n})$$ представляет собой $$n$$ -мерный вектор ( $$R_{1}, R_{2}, …, R_{n}$$ ), компонентами которого являются значения реакции элемента на действие каждого стимула ( $$S_{1}, S_{2}, …, S_{n}$$ ) внешней среды.
Определение 28. Классификацией называется выделение класса эквивалентных реакций. Две реакции считаются эквивалентными, если соответственные компоненты совпадают по знаку. Для любого перцептрона с единственным простым R-элементом классификация $$C(W_{n})$$ разделяет множество $$W_{n} $$ на два класса: положительный класс, включающий в себя все стимулы, для которых $$r^{*} = +1$$, и отрицательный класс, состоящий из стимулов, для которых $$r^{*} = -1$$.
Определение 29. Последовательность реакций представляет собой соответствие последовательности выходных сигналов $$R$$ -элемента последовательностям стимулов из пространства этих последовательностей.
Определение 30. Для данного перцептрона решение относительно реакции (классификации) существует, если в его фазовом пространстве имеется такая точка, что при предъявлении стимула $$S_{i} $$ будет иметь место реакция $$R_{i} $$ (определяемая реакцией $$R(W_{n})$$ ) для всех $$S_{i}$$, входящих в $$W_{n}$$.
Определение 31. Системой подкрепления называется любой набор правил, с помощью которых изменяется с течением времени матрица взаимодействия (состояние памяти) перцептрона.
Определение 32. Система управления подкреплением - это любая внешняя по отношению к перцептрону система, которая осуществляет изменения его матрицы взаимодействия в соответствии с правилами принятой системы подкрепления.
Определение 33. Положительное подкрепление - это такой процесс подкрепления, при котором вес связи, начинающейся на активном элементе $$u_{i} $$ и оканчивающейся на элементе $$u_{j}$$, изменяется на величину $$\Delta v_{ij}(t)$$ (или со скоростью $$dv_{ij} /dt$$ ), знак которой совпадает со знаком сигнала $$u^{*}_{j}(t)$$.
Определение 34. Отрицательное подкрепление - это такой процесс подкрепления, при котором вес связи, начинающейся на активном элементе $$u_{i} $$ и оканчивающейся на элементе $$u_{j}$$, изменяется на величину $$\Delta v_{ij}(t)$$ (или со скоростью $$dv_{ij} /dt$$ ), знак которой противоположен знаку сигнала $$u^{*}_{j}(t) $$.
Определение 35. Система подкрепления относится к монополярному типу, если веса всех связей, оканчивающихся на элементе $$u_{j}$$, остаются неизменными в течение всего отрезка времени $$t$$ до тех пор, пока $$u^*(t )$$ не станет строго положительной.
Определение 36. Система подкрепления относится к биполярному типу, если веса связей изменяются независимо от знака входного сигнала элемента, на котором они заканчиваются.
Определение 37. Система подкрепления относится к $$а$$ -типу, а перцептрон является а-перцептроном, если веса всех активных связей, которые заканчиваются на элементе $$u_{j} $$ (связи, для которых $$u^*_i(t-\tau)\ne 0$$ ), изменяются на одинаковую величину $$\Delta v_{ij}(t)=\eta$$ или с постоянной скоростью в течение всего времени действия подкрепления, причем веса неактивных связей $$(u^{*}_{i}(t-\tau)=0)$$ за это время остаются неизменными.
Определение 38. Система подкрепления относится ку-типу, а перцептрон является $$\gamma$$ -перцептроном, если веса всех активных связей сначала изменяются на равную величину, а затем из весов всех связей вычитается величина, равная полному изменению весов всех активных связей, деленному на число всех связей (взвешенное изменение активности). $$\gamma$$ -Система подкрепления консервативна относительно весов, так как в ней полная сумма весов всех связей не может ни возрастать, ни убывать. Изменение $$v_{ij} $$ при этом определяется:
$$\Delta v_{ij}(t) = \left [ w_{ij}(t) - \cfrac{\sum_i{w_{ij}(t)}}{N_j} \right ] \eta, \text{ где } w_{ij} =\begin{cases} 1, \text{ если } u_i^*(t-\tau)\ne 0, \\ 0, \text{ в противном случае }\\ \end{cases}$$Здесь $$N$$ - число связей, оканчивающихся на элементе , $$\eta $$ - величина сигнала подкрепления (обычно $$\pm 1$$ или $$0$$ ).
Определение 39. Подкрепление называется дискретным, если величина изменения веса фиксирована ( $$|\Delta v| = |\eta |$$ ), и непрерывным, если эта величина может принимать произвольное значение.
Определение 40. Система подкрепления с управлением по реакции ( $$R$$ -управляемая система) представляет собой такой метод обучения, при котором величина сигнала подкрепления $$\eta$$ постоянна, а его знак полностью определяется текущим значением реакции $$r^{*}$$ независимо от конкретного действующего стимула $$S$$.
Определение 41. Система подкрепления с управлением по стимулам ( $$S$$ -управляемая система) представляет собой такой метод обучения, при котором величина сигнала подкрепления $$\eta$$ постоянна, а его знак полностью определяется текущим значением стимула или, что одно и то же, значением $$C(W_n)$$. В этом случае текущее значение реакции перцептрона не оказывает влияния ни на знак, ни на величину сигнала подкрепления $$\eta$$.
Определение 42. Система подкрепления с коррекцией ошибок представляет собой такой метод обучения, при котором величина сигнала подкрепления $$\eta$$ равна $$0$$ до тех пор, пока текущая реакция перцептрона остается правильной. При появлении неправильной реакции знак ? определяется знаком ошибки. В такой системе подкрепление равно нулю для правильной реакции и отрицательно для неправильной: $$\eta = f(R^{*}-r^{*})$$, где $$R^{*}$$ - желательная реакция, $$r^{*}$$ - полученная реакция и $$f $$ - знакоопре-деленная монотонная функция, такая, что $$f(0) = 0$$.
Определение 43. Экспериментальная система - это система, состоящая из перцептрона, пространства стимулов $$W_{n}$$ и системы управления подкреплением.
Эксперимент предполагает наличие экспериментальной системы, метода обучения и метода испытания перцептрона или, что одно и то же, измерения его характеристик. В простейшем случае (рис. 4.17) методы обучения и испытания перцептрона возложены на человека, который корректирует систему подкрепления с использованием информации, полученной на основе анализа экспериментальных характеристик перцептрона. В этой схеме перцептрон является "пассивным" объектом обучения, и чтобы его сделать "активным", необходимо задействовать глобальную обратную связь с выхода элементов $$R$$ -типа на внешнюю среду (рис. 4.18).
(рис 4.17) Экспериментальная система с простым перцептроном [71]При этом следует иметь в виду, что в $$R$$ -управляемой системе информационный канал от внешней среды ( $$W_{n}$$ ) к системе управления подкреплением не является функциональным, в то время как в $$S$$ -управляемой системе нефункциональным уже является канал от элементов $$R$$ -типа к системе подкрепления. В системе с коррекцией ошибок функциональными являются оба канала.
Графически перцептрон можно представить тремя типами схем: функциональной, структурной и символической (рис. 4.19). Функциональная схема детализирует связи между элементами различных слоев перцептро-на: сенсорного, ассоциативного и реагирующего. В структурной схеме весь сенсорный слой представлен одним элементом, элементы ассоциативного слоя детализируются до диаграмм Венна и связей с элементами реагирующего слоя. Символьная диаграмма идентифицирует только типы связей, существующих между элементами перцептрона: от $$S$$ -типа к $$A$$ -типу, от $$A$$ -типа к $$R$$ -типу и связи элементов $$S$$ -типа между собой.
(рис 4.18) Общая схема экспериментальной системы [71]
(рис 4.19) Схемы представления перцептрона [71]Проведенная Ф. Розенблаттом "формализация" нервного субстрата и правил его функционирования носит скорее инженерный, чем строгий математический характер и, как модель Мак-Каллока - Питтса, включает два уровня:
Но в отличие от моделей Мак-Каллока - Питтса в перцептроне:
Закладывая основы нейродинамики, Ф. Розенблатт стремился создать аналог статистической физикой для эффективного анализа реальных психофизиологических процессов. Но в итоге ему удалось распространить апробированные в термодинамике статистические методы на качественно новую область "нефизических" исследований, связанных с моделированием процессов обучения вообще и распознавания образов в частности [71]. Главная специфика задач обучения и распознавания - это неэффективность алгоритмических методов из-за постоянно изменяющегося комплекса внешних условий и неоднозначности возможных, но эквивалентных в некотором смысле реакций, что противоречит базовым положениям математики, в том числе и вычислительной [45]. Скрытый парадокс задач обучения "машин" состоит в необходимости применения формальных методов и средств к самому процессу формализации, что требует включения этого процесса в полный "жизненный цикл" ра боты "машины". В результате система обучения с подкреплением типа рис. 4.18 является практически единственным средством установления и постоянной модификации условных причинно-следственных связей, действительных только для фиксированного на некотором интервале времени комплекса внешних условий.
Несмотря на большие достижения в области построения (само)обу-чающихся машин и систем [2, 16, 17, 33, 34], особенно решающих задачи распознавания образов, классификации и идентификации [72-76], включить в их полный жизненный цикл все задачи формализации так и не удалось. В частности, открытым всегда остается вопрос перехода от реальных объектов и процессов к их математическим представителям - множествам и числам, то есть вопрос о том, что и чем измерять, лежит вне контура обучения и является прерогативой разработчика машины или системы распознавания, классификации и идентификации.
Поэтому типичной является следующая постановка задачи [72]. Пусть имеется набор $$d$$ данных (образов), подлежащих классификации (распознаванию, идентификации) и представленных действительными (комплексными, целыми) числами $$(x _{1}, x _{2}, …, x _{d})$$. Требуется найти разделяющую поверхность (рис. 4.20) для $$R$$ классов объектов $$\{R_{i} \} (| \{R_{i}\} | = R)$$ в $$d$$ -мерном евклидовом пространстве $$E^{d}$$, точки которого представлены числами $$(x _{1}, x _{2}, …, x _{d}) $$ или векторами $$X_d$$. Считается, что разделяющую поверхность можно полностью определить скалярными функциями $${g_i(X_{d})} $$ (дискриминантными функциями), такими, что $$g_{i}(X_{d} ) > g_{j}(X_{d})$$, если $$X_{d} \in R_i$$, где $$i \ne j, i,j = \overline{1,R}.$$ В нашем случае: $$g_1(X_{d}) = max(g_1, g _{2}, g_3)$$,если $$X_{d}\in R_1$$ ; $$g _{2}(X_d) = max(g_1, g_2, g _{3})$$, если $$X_{d}\in R$$ ; и $$g_3(X_{d}) = max(g_1, g_2, g _{3})$$, если $$X_{d}\in R_{3}$$, где $$R$$ - внешняя часть незаштрихованной области.
(рис 4.20) Пример разделяющей поверхности для R = 3 и d = 2 [72]Отвечающая такой постановке задачи структурная схема системы классификации имеет вид рис. 4.21-а [72], которая трансформируется в схему простейшего классификатора, разбивающего множество объектов на два класса (рис. 4.21-б - $$R = 2$$ ). В последнем случае блок выбора максимума вырождается в пороговый элемент, работающий по правилу: $$X_{d}\in R_{1}$$, если $$g(X_{d} ) \ge h$$, и $$X_{d} \in R$$, если $$g(X) < h$$, где $$h$$ - значение порога. Отсюда, настроить (адаптировать) классификаторы рис. 4.18 на конкретное множество классифицируемых (разделяемых, различаемых и т. п.) объектов - это найти множество дискриминантных функций $${g_i(X_{d})} $$ с однозначно определенными максимумами для всей совокупности объектов $$\{Xd\}$$ и классов $${R} (| \{X_d\} | \ge |\{R\}|)$$.
(рис 4.21) Модели классификаторов [72]Выбор дискриминантных функций обычно представляет центральную задачу обучения системы классификации (идентификации, распознавания образов), что предполагает отсутствие полной априорной информации о классифицируемых объектах и/или вариабельных условиях, при которых будет протекать классификация.
Отличают [72] параметрические и непараметрические методы обучения, к первым из которых прибегают, если априори известны "почти все" параметры, характеризующие принадлежность каждого объекта $$X_{d}$$ к соответствующему классу $$R_{i}$$. Поэтому в данном случае обучающая выборка используется для нахождения значений этих параметров, по которым в дальнейшем строятся дискриминантные функции. Например, априори известно, что объекты первого класса группируются около точки $$\tilde{x}_{1}$$ или, что одно и то же, вектора $$X ^1_{2}$$, а объекты второго класса - вокруг точки $$\tilde{x}_{2}$$ или вектора $$X^{2}_{2}$$ соответственно (рис. 4.22).
(рис 4.22) Линейная разделяющая поверхность, зависящая от параметров множеств объектов [72]Точные численные значения типичных (эталонных и т. п.) представителей соответствующего класса $$\tilde{x}_{1}$$ и $$\tilde{x}_{2}$$ считаются неизвестными и рассматриваются как параметры, вариация которых позволяет получить оценки для $$X^{1}_2$$ и $$X^{2}_{2}$$, которые и находятся во время обучения. В качестве таких оценок обычно используются всевозможные "средние", определяемые как центры "масс", "тяжести" и т. п. классифицируемых подмножеств (см. рис. 4.20). Зная оценки $$\tilde{x}_{1}$$ и $$\tilde{x}_{2}$$, можно построить дискриминантную поверхность. В данном случае она представляет собой перпендикулярную линию, проходящую через середину отрезка между центральными точками классов $$R_1$$ и $$R _{2}$$, которой соответствует дискриминантная функция
$$g(X_d) = (X^{1}_d - X^{2}_d)*X_{d}+0,5(|X^{2}_d|^{2}- |X^{1}_d| ^{2}),$$где $$(X^{1}_d - X^{2}_d)*X_{d} $$ - скалярное произведение векторов ( $$X^{1}_{d} - X^{2}_d$$ ) и $$X_d$$, а $$|X_d|^{2}$$ - квадрат модуля соответствующего вектора.
Таким образом, чем выше репрезентативность обучающей выборки, тем достоверней определяются центры подмножеств классифицируемых объектов и тем точнее и достоверней работает система классификации. Отсюда, перцептронные модели и основанные на них системы распознавания образов не отменяют знаний о предметной области (свойствах классифицируемых объектов и их подмножеств), а только изменяют форму представления этих знаний,которые тем достоверней, чем более представительна обучающая выборка.
Описанный подход к построению систем распознавания образов послужил толчком к развитию теории распознавания образов [73-76], в рамках которой классификация по критерию минимума расстояния уже предстала как частный случай теории статистических решений и синтаксического анализа последовательностей символов. Успехи в теории и практике распознавания образов в какой-то мере отодвинули на второй план главную задачу нейродинамики, которая должна была дать ответ на вопрос о механизмах установления причинно-следственных связей в живых системах. Для этого необходимо формализовать процессы преобразования информации, что требует построения информационных эквивалентов традиционных для физики скалярных и особенно векторных понятий, таких как масса, энергия, импульс, сила, потоки массы, обобщенные силы и т. п. В частности, "векторизация" информационных процессов требует объективной оценки направления приложения "информационных усилий", что сопряжено с прагматической и/или семантической оценкой преобразований входной информации в выходную, которую, по П.К. Анохину, невозможно получить без формализации цели поведения системы и достигнутого ею полезного приспособительного эффекта.
Рассмотренные формальные модели нейронов и нейронных структур типа перцептрона в своей основе используют некоторые пороговые правила "принятия решений" на этапе формирования выходной реакции, для исследования которых был разработан аппарат пороговой логики [77]. В рамках этой теории классическую (много)пороговую модель формального нейрона, которая отражает основные электрофизиологические свойства реального нейрона [56], можно представить в импликативной форме:
$$(l_s(X_n^s,W_{n}) = \sum_{i=1}^n{x_i^s *w_{i})\in (h_{j-1},h_j]\Rightarrow f_{s} := b_j.$$Здесь $$X^{s}_{n}= (x^{s}_{n}, x^{s}_{n}_{-1}, ..., x^{s}_{1})$$ - $$n$$ -мерный входной вектор с компонентами $$x_i^s\in\{v_i\}; |\{v_i\}| =q_i, i = \overline{l,n}; s = \overline{0,Q}; Q=\prod_{i=1}^n{q_i-1}$$ ; компоненты "весового" вектора $$W = (w_n , w_{n- 1}, …, w_1) $$ принимают значения $$w_{i}\in (-\infty, +\infty)$$ ; индекс $$s$$ представляет ранг значения свертки $$l_{s}$$ (и однозначно связанного с ним вектора $$X^{s}_{n}$$ ) на скалярной оси $$L$$ ; $$f_{s}\in\{b_{j}\}$$ - значения реализуемой логической функции $$F(X^{s}n)=(f_{0}, f_1, ..., f _{s}, ..., f _{Q})$$ ; $$|\{b_j\}| =\gamma$$ ; $$max\gamma =k$$ ; $$|\{F_{\alpha} (X^{s}_n)\}|= k^{Q+1}$$, а вектор порогов $$H_{\chi} = (h_1, …, h_{\chi}) $$ разбивает множество $$\{l_{s}\}$$ скалярных произведений входного и "весового" векторов на $$(\chi+1) $$ пороговых полуинтервалов $$( h_{j-1},h_j]$$ ; $$h\in (-\infty,+\infty)$$ ; $$j=\overline{1,\chi}$$ ; $$(\gamma-1) \le \chi \le Q$$ ; $$\Rightarrow$$ - отношение следования; $$:=$$ - оператор подстановки (присваивания).
В отличие от формального нейрона Мак-Каллока - Питтса функциональная полнота многопороговых элементов и их моделей достигается только параметрической адаптацией, то есть вариацией весового $$\delta W_n$$ и/или порогового $$\delta H_{\chi}$$ векторов.
Если в (4.4) ввести ограничения на весовые коэффициенты типа $$w_i\in(-1, +1)$$, то получим систему мажоритарных пороговых правил формального нейрона Мак-Каллока - Питтса, а если зафиксировать систему связей между пороговыми элементами по типу "каждый с каждым", получим перцептрон Розенблатта.
Задачи оптимального синтеза (много)пороговых моделей сформулированы В.И. Варшавским (предисловие к [77]):
Характеристики структурной сложности,связывающие задачи 1-3 в единую схему оптимального синтеза многопороговых моделей, введены Л.А. Шоломовым [78]:
где $$\beta_{1}, \beta_2 \ge 0$$ - некоторые одновременно не равные нулю "стоимостные" коэффициенты реализации "единицы" веса и одного порога соответственно;
где минимум берется по всем многопороговым моделям типа (4.4);
где максимум берется по всем $$k$$ -значным логическим функциям
$$F_{a}(X^{s}_{n}) \in \{F_{a}(X_{n}^{s})\}.$$В такой постановке, как и в любой задаче
Решая методом случайного поиска задачи оптимального синтеза (много)пороговых моделей, А.Т. Бахарев и Л.А. Растригин [79] обнаружили, что с позиций поиска минимума размерности вектора порогов $$H $$ значение имеют только те вариации весового вектора $$\Delta W$$, которые нарушают отношение порядка (по индексу $$s$$ ) между значениями свертки $$l_{s}$$ на скалярной оси $$L.$$ Например, для $$n=3$$ и $$x_{i}^{s} \in \{0,1\}$$ (рис. 4.23) вариации весового вектора $$W $$ в пределах пирамид с вершиной в начале координат и с основаниями $$(А_1, A_2, А_3), (А_2, A_3, А_4), (А_1, A_3, А_5)$$ и т. д. дают фиксированный порядок следования индексов $$s$$, упорядоченных по возрастанию значений свертки $$l_s $$: $$(А_1, A _{2}, A _{3}) - l_0 <l_1 <l_2 <l_3 <l_4 <l_5<l_6<l_7$$, $$(А_2, A _{3}, A _{4}) - l_0 <l_1 <l_2 <l_3 <l_4 <l_5<l_6<l_7$$, $$(А_1, A _{3}, A _{5}) - l_0 <l_1 <l_2 <l_3 <l_4 <l_5<l_6<l_7$$.
(рис 4.23) Структура индексных зон первого октантаВариации весового вектора $$\delta W_n \in \Delta W_n$$, которые сохраняют отношение порядка (по индексу $$s$$ ) между значениями свертки $$l_{s}(X^{s}_{n},W_{n})$$, получили название индексных зон [79]. Они позволяют заменить непрерывные вариации $$\delta w_i = (-\infty,+\infty)$$ конечным набором целочисленных значений $$\{w_i\}$$, отвечающих одному и тому же порядку следования индексов $$s$$, и разбить весь процесс оптимального синтеза формальных нейронов на два этапа:
Работу (много)пороговой модели ((М)ПМ) типа (4.4) проиллюстрируем на примере ее настройки на реализацию булевых функций (БФ) двух переменных $$(q_{1} = q_{2} = k = n = 2, s = 0,3 )$$: "И" - $$F(x_{2}, x_{1}) = x_{2}*x _{1}$$ ; "ИЛИ" - $$F(x_{2}, x _{1}) = x_{2}+x _{1}$$ ; "НЕРАВНОЗНАЧНОСТЬ" - $$F(x_{2}, x_{1}) = x _{2}*^+x _{1}*^$$, и в предположении $$w_1 = 1,5$$, $$w_2 = 0,5$$. В этом случае значения свертки двумерных булевых $$s$$ -векторов $$X_{2}^0= (0,0)$$, $$X_{2}^1= (0,1)$$, $$Х_{2}^2= (1,0)$$ и $$Х_{2}^3 = (1,1)$$ расположатся на скалярной оси $$L $$ в лексикографическом (по индексу $$s$$ ) порядке:
$$(l _{0} = 0) < (l _{1} = 0,5) < (l _{2} = 1,5) < (l _{3} = 2)$$Отсюда, для настройки (М)ПМ на реализацию:
Вариации значений компонент весового вектора, размерности и значений компонент вектора порогов обеспечивают реализацию произвольной ЛФ $$n$$ переменных, причем не каждая вариация весового вектора изменяет отношение порядка (по индексу $$s$$ ) между значениями свертки на скалярной оси $$L$$. Так, при $$w_2= 2$$ и $$w_1 = 1$$ лексикографический порядок сохранится: $$(l _{0}=0) < (l _{1}=1) < (l _{2}=2) < (l _{3}=3)$$, а при $$w_1 = 1,5$$ и $$w_2 = -0,5$$ он нарушится:
$$(l _{1}= -0,5) < (l _{0}=0) < (l _{3} =1) < (l _{2}=1,5),$$то есть вместо порядка следования индексов $$s$$ вида $$(0, 1, 2, 3)$$ в (4.8) получили порядок следования $$(1, 0, 3, 2)$$ в (4.9).
Такой "перестановочный" эффект значений свертки на оси $$L$$ служит источником минимизации размерности вектора порогов или, что одно и то же, системы решающих правил в (М)ПМ. Например, для БФ $$F(x_{2}, x _{1}) = \overline{x_{2}}*x_{1}$$ при лексикографическом порядке требуется (М)ПМ с двумя порогами $$0 < h_1 < 0,5$$ и $$0,5 < h _{2} < 1$$, а при порядке следования (4.9) - с одним порогом $$-0,5 < h_1 < 0$$ и системой решающих правил $$(l_{s} \le h_1) \Rightarrow f_s:=1$$, $$(l_{s} > h1) \Rightarrow f_s:=0$$.
В [79, 80] проанализированы условия эквивалентного перехода от (М)ПМ с аналоговыми параметрами ( $$W$$ и $$H$$ ) к (М)ПМ с дискретными параметрами. Было показано, что перестройка входного преобразования (М)ПМ, связанная с вариациями $$\delta W_n = \{\delta w_{i} \}$$ весового вектора, приводит к различным $$\xi$$ -перестановкам упорядоченных компонент свертки $$l_{s(0)} < l_{s(1)} < … < l_{s(p)} < … < l_{s(Q)}$$ на скалярной оси $$L $$ $$(p = \overline{0,Q})$$. В результате полная вариация весового вектора $$W_n$$ порождает множество $$\{\xi\}$$ перестановок значений компонент свертки $$\{l_{s}\}$$ и связанных с ними индексов $$s$$, что и позволяет разбить все пространство $$\{W_n\}$$ на классы эквивалентности $$W_{n} \subset \{ W_n \}$$, такие, что вариации $$\delta W_n$$ внутри класса $$(\delta W_n \in \Delta W_n) $$ не нарушают связанного с этим классом отношения порядка между значениями компонент свертки.
Структура пространства индексных зон (ИЗ) или, что одно и то же, вариации $$\delta W_n \in \Delta W_n$$, сохраняющие отношение порядка $$\xi$$, зависит от размерности $$n$$ входного вектора $$X_{n}^{s}$$ и значности $$q_i$$ его компонент, что иллюстрирует рис. 4.24 [79, 80], где показаны все восемь индексных зон для $$q_i = 2$$. Из рис. 4.24 видна центрально-осевая симметрия пространства индексных зон, что позволяет ограничить анализ их структуры только первым (гипер)октантом.
(рис 4.24) Структура пространства ИЗ для n = q1 = q = 2Если в трехмерном случае индексные зоны представляют собой пирамиды с вершинами в начале координат, то в двумерном случае это уже сектора, заключенные между наклонными линиями на целочисленной решетке, которая задается значениями компонент входного вектора $$x_i \in X_n$$.
Равномерность разбиения пространства $$\{W_n\}$$ на индексные зоны нарушается уже при $$q_i \ge 4$$ (рис. 4.25), что приводит к разно "устойчивой" реализации ЛФ, зависящей от выбранного значения весового вектора.
(рис 4.25) Зависимость структуры пространства ИЗ от значности входных переменных при n = 2,Из сказанного следует, при фиксированном векторе порогов $$H $$ и правиле подстановки $$\{l_{s}\}_{j}\to b_{j}$$ вариации весового вектора $$\delta W$$ внутри индексной зоны изменяют значения $$\{l_{s}\}$$, но не нарушают отношение порядка между ними, а значит, и задаваемое (4.4) правило реализации ЛФ. Например, в заштрихованной индексной зоне (рис. 4.2) отношение порядка имеет вид $$l _{0} = 0 < l _{1} = 1,5 < l _{2} = 3 < l _{3} = 4,5$$. Здесь для определенности указаны значения $$l_{s} $$ отвечающие $$(w_2 = 3) > (w_1 = 1,5)$$. Тогда при $$h_1 = 4$$ реализуется ЛФ "И" $$F(x_{1}, x_2) = x _{1}x _{2}$$, если правило подстановки имеет вид $$(l_{s} < h_1) \to f_s:=0$$, $$(l_{s} > h_1) \to f_s:=1$$. Переход в индексную зону с номером 2 сопровождается инверсией неравенства $$(w_1 = 3) > (w_2 = 1,5)$$, которая приводит к новому порядку следования $$l_{s} $$ на скалярной оси $$L:$$ $$l _{0} = 0 < l_2 = 1,5 < l _{1} = 3 < l_3 = 4,5$$. Однако он не нарушает правила подстановки, задаваемые функцией "И". Если (М)ПМ настроен на ЛФ $$F(x_{2}, x_{1}) = \overline{х_{2}}*x_{1 }$$ то такая же вариация весового вектора (при неизменном правиле подстановки $$l_{s} < h_{1} = 1 \to f_s :=0; $$ $$h_1 < l_{s} \le h_{2} = 2 \to f_s :=1$$ ; и $$h_2 < l_{s} \to f_s:=0$$ ) приведет к реализации ЛФ $$F(x_{2}, x_{1}) = x_{2}*\overline{x_{t}}$$.
Таким образом, с позиций устойчивой реализации заданной функции $$F_a$$ вида (4.4) необходимо как минимум сохранить отношение порядка (при фиксированном правиле разбиения $$\{l_{s}\}$$ и правиле подстановки $$\{l_{s}\}_j \to b_j$$ ), а при перестройке (М)ПМ с одной функции на другую при той же системе решающих правил надо перейти в другую ИЗ, то есть изменить отношение порядка.
Выделив в (4.5) в качестве доминирующей составляющей $$\mu(M) = \beta_2*\psi$$ и используя аппарат индексных зон, А.Т. Бахарев показал [80, 81]:
Точное решение модифицированной таким образом задачи оптимального синтеза (М)ПМ удалось найти [80, 81] для $$n \le 5$$, а квазиоптимальное решение для $$6 \le n \le 10$$, что было вызвано как ограничениями метода случайного поиска, так и уровнем использованных вычислительных средств. Для сравнения, японские ученые, проводившие достаточно интенсивные исследования в этой области, в тот же период времени смогли достичь показателей $$q = 3$$, $$n \le 3$$ [82, 83].
В современных условиях актуальными стали исследования формальных нейронов, у которых число входов исчисляется десятками [84], а незнание структуры индексных зон имеет два негативных последствия:
Преодоление или хотя бы ослабление указанных проблем может приблизить нас к более эффективному управлению ресурсами (супер) нейрокомпьютеров, в которых по предварительным оценкам количество формальных нейронов может быть порядка $$10^{5}-10^{6}$$, а количество входов у каждого из них - порядка $$10^{2}-10^{3}$$.
Введем комбинаторную схему прямого порождения транспозиций значений свертки на скалярной оси $$L $$ и дадим точную оценку количества таких транспозиций [85].
Чтобы получить все множество перестановок индексов $$s$$, генерируемых оператором линейной свертки, требуется еще процедура отбора комбинаций совместных транспозиций.
Комбинаторная схема порождения транспозиций значений свертки на скалярной оси $$L$$ базируется на двух известных утверждениях:
Утверждение 4.1. При сложении двух и более неравенств, одно из
которых противоположного знака ( $$w_2 > w_1$$ и $$w_3 > w_4$$ ), результирующее неравенство ( $$w_2 + w_3 > < w_1 + w_4$$ ) может быть произвольного знака ( аддитивный источник транспозиции - $$А$$ -источник и $$А$$ -транспозиция соответственно). Утверждение 4.2. При умножении двух и более неравенств, одно из которых противоположного знака ( $$x _{1} > x _{2}$$ и $$w_1 < w_2$$ ), результирующее неравенство $$(x_1*w_1 > < x_2*w_2$$ ) может быть произвольного знака (мультипликативный источник транспозиции - $$М $$ -источник и $$М $$ -транспозиция соответственно).
Схему порождения транспозиций сначала построим для классов БФ, где задействован только $$А $$ -источник, а затем обобщим ее на случай $$k $$ -значных ЛФ, где срабатывают еще $$М $$ -источник и $$АМ $$ -источник.
В качестве образующей комбинаторной схемы порождения транспозиций выберем систему неравенств:
$$w_n > w_{n-1} > … > w _{2} > w _{1} > 0,$$считая, что $$w_i$$ удовлетворяют условию линейной независимости:
$$w_i\ne\sum_{i\ne j}{d_j w_j}, i=\overline{1,n}; 1\le j\le n$$где $$d_{j}\in \{0, \pm 1, \pm 2, …, \pm q_m -1\}$$, $$q_{m} = max (q_{n} , q_{n- 1}, …, q _{1})$$.
Тогда $$l_{s(1)} > < l_{s(2)}$$, если $$X_n^{s(1)}\ne X_n^{s(2)}$$, а реализуемое оператором линейной свертки отображение $$L(X^{s}_{n}, W_{n}):X^{s}_{n}\to l_{s}$$ - изоморфно и обеспечивает строгий порядок следования (по $$s$$ ) $$l$$ на скалярной оси $$L $$. В частности, отвечающее (4.10) и (4.11) каноническое правило присвоения значений компонентам весового вектора $$w _{1} = 1$$, $$W_i = w_{i-1}*q_{i-1} (i = 2,n)$$ обеспечивает лексикографический порядок следования $$l_{s}$$ на оси $$L$$.
Для булевых входных векторов с $$x_{i}^{s} \in \{0,1\}$$:
где взятые в скобки цифры (1) и (2) задают принадлежность индексируемого объекта к левой и правой части неоднозначного неравенства $$l_{s(1)} > < l_{s(2)}$$.
Для (4.10) справедливы:
Утверждение 4.3. Сумма любого количества ( $$\varеpsilon(2)$$ ) $$w_i$$ с младшими значениями индексов $$i$$ может быть как меньше, так и больше любого $$w_i$$ ( $$\varеpsilon(1)=1$$ ) со старшим значением индекса $$i$$.
Утверждение 4.4. Для любой комбинации значений е(1) и е(2), удовлетворяющих (4.12), всегда найдется хотя бы одна пара $$l_{s(1)}$$ и $$l_{s (2)}$$ с взаимно исключающими индексами $$i$$ ( $$i(s(1))\ne i(s(2))$$ ), для которых $$l_{s(1)} > < l_{s(2)}$$.
Утверждение 4.4 исходит из того, что при любых ( $$\varepsilon(1), \varepsilon (2) \ge 2$$ ) всегда найдутся $$\{w_{i} \}_{s(1)}$$ и $$\{w_{i} \}_{s(2)}$$ c взаимно исключающими индексами $$i$$, которые можно разбить на непересекающиеся подмножества $$\{w^{'}_i\}_{s(1)}, \{w^{''}_i\}_{s(1)}, \{w^{'}_i\}_{s(2)}, \{w^{''}_i\}_{s(2)},$$ такие, что $$l^'_{s(1)} < l^'_{s(2)}$$, а $$l^{''}_{s(1)} > l^{''}_{s(2)}$$, то есть $$l_{s(1)} = l^'_{s(1)} + l^{''}_{s(1)} > < l_{s(2)} = l^'_{s(2)} + l^{''}_{s(2)}.$$
На основе этих утверждений можно построить $$\varepsilon$$ -спецификацию $$\{\varepsilon (1), \varepsilon (2)\}$$, задающую множество всех допустимых транспозиций $$Т (2, n )$$ значений свертки булевых векторов на скалярной оси $$L:$$
$$\begin{array}{rrrrrrr} (1, 2), (1, 3), (1, 4), (1, 5), …, (1, n-2), (1, n-1)\\ (2, 2), (2, 3), (2, 4), …, (2, n-3), (2, n-2)\\ (3, 2), (3, 3), …, (3, n-4), (3, n-3)\\ (4, 2), …, (4, n-5), (4, n-4) \\ … … … …\\ (n-3, 2), (n-3, 3) \\ (n-2, 2) \end{array}$$в которой каждая строка идентифицируется $$\varepsilon(1)$$, а каждый столбец - $$\varepsilon = \varepsilon(1)+\varepsilon(2) = const$$, $$\varepsilon = \overline{3, n}$$. Каждому элементу 1-й строки $$\varepsilon$$ -спецификации (4.13) соответствует
$$P_{n-m}^{\varepsilon-1}=\sum_{m=1}^{n-\varepsilon+1}{C_{n-m}^{\varepsilon-1}}$$комбинаций $$l_{s(1)} $$ и $$l_{s(2)}$$, удовлетворяющих утверждению 4.3, где $$C_{n-m}^{\varepsilon-1}$$ - число сочетаний из $$(n - m)$$ элементов $$w_i$$ по $$\varepsilon-1$$, а $$m$$ - текущий индекс, который связан со значением "старшего" индекса $$i$$ в утверждении 3 соотношением: $$\max{i} = n - m + 1, m = \overline{1,(n - \varepsilon+1)}.$$
Соотношение (4.14) иллюстрирует табл. 4.2, где представлены все $$А$$ -транспозиции сверток булевых векторов типа ( $$\varepsilon (1)=1$$, $$\varepsilon (2)$$ ) для $$n = 6$$. (Все численные результаты получены совместно с И. Клейменовым и А. Саломатовым.)
| $$С_{6-m}^2$$ | Транспозиции типа $$(1,2)$$ | $$С_{6-m}^3$$ | Транспозиции типа $$(1,3)$$ | $$С_{6-m}^4$$ | Транспозиции типа $$(1,4)$$ |
|---|---|---|---|---|---|
| $$m = 1;\\ C_5^2 =10$$ | $$w_6 >< w_2+w_1\\ w_6 >< w_3+w_1\\ w_6 >< w_3+w_2\\ w_6 >< w_4+w_1\\ w_6 >< w_4+w_2\\ w_6 >< w_4+w_3\\ w_6 >< w_5+w_1\\ w_6 >< w_5+w_2\\ w_6 >< w_5+w_3\\ w_6 >< w_2+w_4 $$ | $$m = 1;\\ C_5^3 =10$$ | $$w_6 >< w_3+w_2+w_1\\ w_6 >< w_4+w_2+w_1\\ w_6 >< w_4+w_3+w_1\\ w_6 >< w_4+w_3+w_2\\ w_6 >< w_5+w_2+w_1\\ w_6 >< w_5+w_3+w_1\\ w_6 >< w_5+w_3+w_2\\ w_6 >< w_5+w_4+w_1\\ w_6 >< w_5+w_4+w_2\\ w_6 >< w_5+w_4+w_3 $$ | $$m = 1;\\ C_5^4 =5$$ | $$w_6 >< w_4+w_3+w_2+w_1\\ w_6 >< w_5+w_3+w_2+w_1\\ w_6 >< w_5+w_4+w_2+w_1\\ w_6 >< w_5+w_4+w_3+w_1\\ w_6 >< w_5+w_4+w_3+w_2\\ $$ |
| $$m = 2;\\ C_4^2 =6$$ | $$w_5 >< w_2+w_1\\ w_5 >< w_3+w_1\\ w_5 >< w_3+w_2\\ w_5 >< w_4+w_1\\ w_5 >< w_4+w_2\\ w_5 >< w_4+w_3\\ $$ | $$m = 2;\\ C_4^3 =4$$ | $$w_5 >< w_3+w_2+w_1\\ w_5 >< w_4+w_2+w_1\\ w_5 >< w_4+w_3+w_1\\ w_5 >< w_4+w_3+w_2 $$ | $$m = 2;\\ C_4^4 =1$$ | $$w_5 >< w_4+w_3+w_2+w_1$$ |
| $$m = 3;\\ C_3^2 =3$$ | $$w_4 >< w_2+w_1\\ w_4 >< w_3+w_1\\ w_4 >< w_3+w_2 $$ | $$m = 3;\\ C_3^3 =1$$ | $$w_5 >< w_3+w_2+w_1$$ | $$P_{n-m}^{4}=6$$ | |
| $$m = 4;\\ C_2^2 =1$$ | $$w_3 >< w_2+w_1$$ | $$P_{6-m}^{3}=15$$ | $$С_{6-m}^5$$ | Транспозиции типа $$(1,5)$$ | |
| $$P_{6-m}^{2}=20$$ | $$m = 1;\\ C_5^5 =1$$ | $$w_6 >< w_5+w_4+w_3+w_2+w_1$$ | |||
| $$P_{n-m}^{5}=1$$ | |||||
Взяв в качестве образующей каждую $$А $$ -транспозицию типа ( $$\varepsilon (1) = 1, \varepsilon (2) \ge 3$$ ) и переставив в них справа налево любую из компонент $$w_i (w_i(s(1)):= w_i(s(2)))$$, можно получить все $$А $$ -транспозиции типа ( $$\varepsilon (1) = 2, \varepsilon (2) = \varepsilon -2$$ ), которые отвечают 2-й строке $$\varepsilon$$ -спецификации (4.13). Таких $$А $$ -транспозиций в каждом столбце ?-спецификации будет $$С_{\varepsilon-1}^1$$. Исключением является 2-й столбец, где $$А $$ -транспозиции типа ( $$\varepsilon (1) = 2, \varepsilon (2) = 2$$ ) образованы из $$А $$ -транспозиции типа ( $$\varepsilon (1) = 1, \varepsilon (2) = 3$$ ) перестановкой справа налево одной, самой "младшей" по (4.10) компоненты, что порождает $$С_3^0$$ производных $$А $$ -транспозиций (табл. 4.3).
Продолжив процедуру перестановок справа налево различных двоек, троек и т. д. $$w_i$$, можно убедиться, что каждая образующая $$А $$ -транспозиция 1-й строки $$\varepsilon$$ -спецификации порождает, включая и самих себя, подклассы $$А $$ -транспозиций, причем мощности этих подклассов по каждому столбцу $$\varepsilon$$ -спецификации образуют ряд:
где $$\chi = E[(\varepsilon-1)/2]-1,E[*]$$ - целая часть $$[*]$$.
Приняв за четный последний столбец $$\varepsilon$$ -спецификации (4.13), комбинаторную схему порождения всех $$А $$ -транспозиций, генерируемых оператором линейной свертки булевых векторов, можно представить:
$$\begin{array}{ccccccc} P^2_{n-m}, P^3_{n-m}, P^4_{n-m}, P^5_{n-m}, …, P^{n-2}_{n-m}, P^{n-1}_{n-m}, \\ C^0_2, C^0_3, C^0_4, C^0_5, … , C^0_{n-2}, C^0_{n-1}, \\ C^0_3, C^1_4, C^1_5, … , C^1_{n-2}, C^1_{n-1}, \\ C^0_4, C^1_5, … , C^2_{n-2}, C^2_{n-1}, \\ C^0_5, … , C^3_{n-2}, C^3_{n-1}, \\ ... … , ... ... \\ C^{\chi-1}_{n-2}, C^{\chi}_{n-1}, \\ C^{\chi-2}_{n-2}, C^{\chi-1}_{n-1}, \\ ... … , ... ... \\ C^{0}_{n-2}, C^1_{n-1}, \\ C^{0}_{n-1}, \\ \end{array}$$Здесь в 1-й строке указаны постоянные для каждого столбца множители $$P_{n-m}^{\varepsilon-1}$$ соответствующие мощностям подклассов образующих $$А $$ -транспозиций $$\varepsilon$$ -спецификаций.
| $$С_{6-m}^3$$ | Транспозиции типа $$(2,2)$$ | $$С_{6-m}^3$$ | Транспозиции типа $$(2,3)$$ | $$С_{\varepsilon-1}^4$$ | Транспозиции типа $$(3,3)$$ |
|---|---|---|---|---|---|
| $$m = 1;\\ C_5^3 =10$$ | $$w_1+w_6 >< w_3+w_2\\ w_1+w_6 >< w_4+w_2\\ w_1+w_6 >< w_4+w_3\\ w_1+w_6 >< w_5+w_2\\ w_1+w_6 >< w_5+w_3\\ w_1+w_6 >< w_5+w_4\\ w_2+w_6 >< w_4+w_3\\ w_2+w_6 >< w_5+w_3\\ w_2+w_6 >< w_5+w_4\\ w_3+w_6 >< w_5+w_4 $$ | $$m = 1;\\ C_5^4=5$$ | $$w_1+w_6 >< w_4+w_3+w_2\\ w_1+w_6 >< w_5+w_3+w_2\\ w_1+w_6 >< w_5+w_4+w_2\\ w_1+w_6 >< w_5+w_4+w_3\\ w_2+w_6 >< w_5+w_4+w_3 $$ | $$\varepsilon-m = 5;\\ C_5^1 =5$$ | $$w_2+w_1+w_6 >< w_5+w_4+w_3\\ w_3+w_1+w_6 >< w_5+w_4+w_2\\ w_4+w_1+w_6 >< w_5+w_3+w_2\\ w_5+w_1+w_6 >< w_4+w_3+w_2\\ w_3+w_2+w_6 >< w_5+w_4+w_1 $$ |
| $$m = 2;\\ C_4^3 =4$$ | $$w_1+w_5 >< w_3+w_2\\ w_1+w_5 >< w_4+w_2\\ w_1+w_5 >< w_4+w_3\\ w_2+w_5 >< w_4+w_3 $$ | $$m = 2;\\ C_4^4 =1$$ | $$w_1+w_5 >< w_4+w_3+w_2 $$ | $$C_5^1 * P_{6-m}^5=5*1=5 $$ | |
| $$m = 3;\\ C_3^3 =4$$ | $$w_1+w_4 >< w_3+w_2 $$ | $$m = 1;\\ C_5^4=5$$ | $$w_2+w_6 >< w_4+w_3+w_1\\ w_2+w_6 >< w_5+w_3+w_1\\ w_2+w_6 >< w_5+w_4+w_1\\ w_3+w_6 >< w_5+w_4+w_1\\ w_3+w_6 >< w_5+w_4+w_2 $$ | $$С_{6-m}^4$$ | Транспозиции типа $$(3,2)$$ |
| $$C_3^0 * P_{6-m}^3=1*15=15$$ | $$m = 2;\\ C_4^4=1$$ | $$w_2+w_5 >< w_4+w_3+w_1 $$ | $$m = 1;\\ C_5^4=5$$ | $$w_2+w_1+w_6 >< w_4+w_3\\ w_2+w_1+w_6 >< w_5+w_3\\ w_2+w_1+w_6 >< w_5+w_4\\ w_3+w_1+w_6 >< w_5+w_4\\ w_2+w_3+w_6 >< w_5+w_4 $$ | |
| $$С_{\varepsilon-1}^1$$ | Транспозиции типа $$(2,4)$$ | $$m = 1;\\ C_5^4=1$$ | $$w_3+w_6 >< w_4+w_2+w_1\\ w_3+w_6 >< w_5+w_2+w_1\\ w_4+w_6 >< w_5+w_2+w_1\\ w_4+w_6 >< w_5+w_3+w_1\\ w_4+w_6 >< w_5+w_3+w_2 $$ | $$m = 2;\\ C_4^4=1$$ | $$w_2+w_1+w_5 >< w_4+w_3 $$ |
| $$\varepsilon-1=5;\\ C_5^1=5$$ | $$w_1+w_6 >< w_5+w_4+w_3+w_2\\ w_2+w_6 >< w_5+w_4+w_3+w_1\\ w_3+w_6 >< w_5+w_4+w_2+w_1\\ w_4+w_6 >< w_5+w_3+w_2+w_1\\ w_5+w_6 >< w_4+w_3+w_2+w_1 $$ | $$m = 2;\\ C_4^4=1$$ | $$w_3+w_5 >< w_4+w_2+w_1 $$ | $$C_4^0 * P_{6-m}^4=1*6=6$$ | |
| $$C_5^1 * P_{6-m}^5=5*1=5 $$ | $$m = 1;\\ C_5^4=5$$ | $$w_4+w_6 >< w_3+w_2+w_1\\ w_5+w_6 >< w_3+w_2+w_1\\ w_5+w_6 >< w_4+w_2+w_1\\ w_5+w_6 >< w_4+w_3+w_1\\ w_5+w_6 >< w_4+w_3+w_2 $$ | $$С_{\varepsilon-1}^0$$ | Транспозиции типа $$(4,2)$$ | |
| $$m = 2;\\ C_4^4=5$$ | $$w_4+w_5 >< w_3+w_2+w_1 $$ | $$1$$ | $$w_1+w_2+w_3+w_6><w_5+w_4 $$ | ||
| $$C_5^0 * P_{6-m}^4=4*6=24$$ | $$C_5^0 * P_{6-m}^5=1*1=1$$ | ||||
Сумма элементов $$С^{\gamma}_{n-1}$$ столбца из (4.15) представляет собой мощность множества $$А $$ -транспозиций, порожденных каждой образующей соответствующего типа:
$$R_{\varepsilon-1}^{\chi} = \begin{cases} 2\sum_{r=0}^{\chi}{C_{\varepsilon-1}^r}, \text{ для четных }\varepsilon \\ 2\sum_{r=0}^{\chi}{C_{\varepsilon-1}^r - C_{\varepsilon-1}^{\chi}}, \text{ для нечетных }\varepsilon \\ \end{cases}$$Общее число $$А $$ -транспозиций, генерируемых оператором линейной свертки булевых векторов при ограничении (4.10) на компоненты весового вектора:
$$T(2,n) = \sum_{\varepsilon-1}{T(2,\varepsilon)} = \sum_{\varepsilon-1}{R^{\chi}_{\varepsilon-1}*P_{n-m}^{\varepsilon-1}}$$или
$$T(2,n) = 2\sum_{\varepsilon-1}{\sum_{\gamma}{C_{\varepsilon-1}^{\gamma}}\sum_b{ C^{\varepsilon-1}_{m-b}}} - \sum_{\varepsilon-1}{\sum_{2(\gamma+1)}{C_{\varepsilon-1}^{\gamma}}\sum_b{ C^{\varepsilon-1}_{m-b}}}$$где $$\varepsilon-1 =\overline{2,(n-1)}, r\overline{0,\chi}$$, а $$T(2,\varepsilon) = R_{\varepsilon-1}^{\chi} * P^{\varepsilon-1}_{n-m}$$.
В табл. 4.4 даны численные значения $$R_{\varepsilon-1}^{\chi}$$, $$P^{\varepsilon-1}_{n-m}$$ и $$T(2,n)$$ для $$n = 10$$, что не было получено в [81] машинным способом.
Все $$А $$ -транспозиции, генерируемые оператором линейной свертки булевых векторов, можно получить, сняв ограничение (4.10) и выполнив над $$\{w_{i} \}$$ группу переименований переменных [86] $$D_i = Z_i*N_i ( | D_{i} | = 2^n * n !)$$, которая представляет собой произведение группы перестановок $$N_i (|N_i | = n !)$$ знакопеременной группы $$Z_i (|Z_i | = 2^n )$$.
В этом случае (4.16) примет вид:
$$Т (2, n, Z_i, N_i) = 2^n*n!*T(2, n)$$и при $$n = 10$$ $$Т (2, n, Z_i, N_i) = 4,3*10^{13}$$, что объясняет как вычислительные трудности прямого решения задач оптимального синтеза (М)ПМ за счет полной вариации весового вектора [79-81], так и стремление использовать модели формальных нейронов с непрерывными параметрами [87-89].
Обобщим комбинаторную схему (4.13), (4.15) на случай $$k $$ -значных входных векторов $$X^{s}_{n}$$.
| $$\varepsilon$$ | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | $$T(2,n)$$ |
|---|---|---|---|---|---|---|---|---|---|
| $$R_{\varepsilon-1}^{\gamma}$$ | 1 | 2 | 6 | 12 | 29 | 58 | 130 | 260 | 12222 |
| $$R^{\varepsilon-1}_{10-m}$$ | 120 | 210 | 252 | 210 | 120 | 45 | 10 | 1 | |
| $$T(2,\varepsilon)$$ | 120 | 420 | 1512 | 2520 | 3480 | 2610 | 1300 | 260 | |
| $$R^{\varepsilon-1}_{9-m}$$ | 84 | 126 | 126 | 84 | 36 | 9 | 1 | 3790 | |
| $$T(2,\varepsilon)$$ | 84 | 252 | 756 | 1002 | 1044 | 522 | 130 | ||
| $$R^{\varepsilon-1}_{8-m}$$ | 56 | 70 | 56 | 28 | 8 | 1 | 1158 | ||
| $$T(2,\varepsilon)$$ | 56 | 140 | 336 | 336 | 232 | 58 | |||
| $$R^{\varepsilon-1}_{7-m}$$ | 35 | 35 | 21 | 7 | 1 | 344 | |||
| $$T(2,\varepsilon)$$ | 35 | 70 | 126 | 84 | 29 | ||||
| $$R^{\varepsilon-1}_{6-m}$$ | 20 | 15 | 6 | 1 | 98 | ||||
| $$T(2,\varepsilon)$$ | 20 | 30 | 36 | 12 | |||||
| $$R^{\varepsilon-1}_{5-m}$$ | 10 | 5 | 1 | 25 | |||||
| $$T(2,\varepsilon)$$ | 10 | 10 | 5 | ||||||
| $$R^{\varepsilon-1}_{4-m}$$ | 4 | 1 | 6 | ||||||
| $$T(2,\varepsilon)$$ | 4 | 2 | |||||||
| $$R^{\varepsilon-1}_{3-m}$$ | 1 | 1 | |||||||
| $$T(2,\varepsilon)$$ | 1 |
Если для булевых векторов
Например, при $$q_1 = q_2 = ... = q_n = k = 3$$ $$А $$ -транспозиция $$w_3 > < w_{2}+w_{1 }$$ порождает $$АМ$$ -транспозиции вида $$w_3 > < w_{2}+2 w _{1}$$, $$w_3 > < 2w_2 + w_1$$, $$w_3 > < 2w_2 + 2w_1$$, $$2w_3 > < w_2 + w_1$$, $$2w_3 > < w_2 + 2w_1$$, $$2w_3 > < 2w_2 + w_1,$$ причем первые три срабатывают при условии $$w_3 > w_{2}+w_{1}$$, а последние три - при условии $$w_3 < w_{2}+ w _{1}$$. Это объясняется тем, что любая комбинация $$\{q_{i} > 1\}$$ может инвертировать знак только одного из неравенств в порождающей $$А $$ -транспозиции, а противоположное неравенство той же транспозиции она может только усилить.
Выполнив в $$АМ$$ -транспозиции $$x _{3}^{s(1)} * w _{3} > < x _{2}^{s(2)} *w_{2}+ x_{1}^{s(2)} *w_{1}$$ подстановки $$x_{i}^{s(1)} := x^{s(1)}_j$$ и $$x_{i}^{s(2)} := x_j ^{s(2)}$$, отвечающие по $$(i, j)$$ подстановкам $$w_i:=w_j (i\ne j)$$ комбинаторной схемы (4.13), (4.15) можно получить все $$АМ$$ -транспозиции типа ( $$\varеpsilon(1)=1, \varеpsilon(2)=2$$ ).
Аналогично для $$А $$ -транспозиций типа ( $$\varеpsilon(1)=1, \varеpsilon(2)$$ ), из которых остальные транспозиции схемы (4.13), (4.15) были получены перестановками компонент весового вектора вида $$w_i(s(1)):=w_j(s(2))$$, что при $$i(x) = i(w)$$ соответствует перестановкам $$k$$ -значных компонент входного вектора вида $$x_{i}^{s(1)} := x_{i}^{s(2)}$$.
Чтобы определить количество порождаемых таким способом $$АМ$$ -транспозиций, рассмотрим вектора $$\tilde{X}_{\varepsilon}^s = X_n^{s(1)} \cup X_n^{s(2)}$$, которые представляют объединение неравных нулю $$k$$ -значных компонент входных векторов $$X_{n}^{s(1)}$$ и $$Х_{n}^{s(2)}$$ с взаимно исключающими индексами $$i(s(1)) \ne i(s(2))$$, где $$|\{х^{s(1)}_i\}| = \varepsilon(1)$$, $$|\{х^{s(2)}_i\}| = \varepsilon(2)$$, $$\varepsilon(1) + \varepsilon(2) = \varepsilon = \overline{2,n}$$, $$\varepsilon(1)$$, $$\varepsilon(2) = \overline{1,(n-1)}$$, а $$x_i ^{s(1)},x_{i}^{s (2)} \in \{1, (k- 1)\}$$. Выделим из $$\{\tilde{X}^{s}_{\varepsilon} \}$$ подмножество $$\{X^{s}_{\varepsilon} \}$$, отвечающее по $$\varepsilon$$ требованиям 1-й строки $$\varepsilon$$ -спецификации (4.13), а по $$i$$ требованию "непрерывной" монотонности: $$X_{\varepsilon=2}^s=(x_2^{s(1)},x_{1}^{s(2)}), X_{\varepsilon=3}^s=(x_3^{s(1)},x_{2}^{s(2)},x_{1}^{s(2)}), \dots, X_{\varepsilon=n}^s=(x_n^{s(1)},x_{n-1}^{s(2)},\dots,x_{1}^{s(2)})$$. Тогда для $$k$$ -значных входных векторов $$X^{s}_{n}$$:
Из (4.18)-(4.20) видно: мощность множества векторов $$\tilde{X}^{s}_{\varepsilon}$$ соответствует количеству $$АМ$$ -транспозиций, порождаемых каждой образующей $$А $$ -транспозицией, соответствующего по ? столбца схемы (4.13), (4.15), если из $$\{X^{s}_{\varepsilon} \}$$, а значит, и из $$\{\tilde{X}^{s}_{\varepsilon} \}$$ исключить вектора с кратными по $$q_{i }$$ компонентами.
В приведенных выше $$АМ$$ -транспозициях отсутствует транспозиция $$2w_3 > < 2w_{2}+2w_{1}$$, в которой компоненты $$x_{3} = x_{2} = x_{1} = 2\,q$$ -кратны в данном случае образующей комбинации $$x_{3} = x_{2} = x_{1} = 1$$.
Отсюда, если компоненты $$\{w_{i}\}$$ отвечают ограничению (4.10), то
$$Т(k,n) = \sum_{\varepsilon}{\Theta(k,\varepsilon) * R_{\varepsilon-1}^{\chi} * P^{\varepsilon-1}_{n-m}}$$где $$\Theta(k,\varepsilon)= \Theta_0(k,\varepsilon) - \Theta_1(k,\varepsilon)$$, а $$\Theta_1(k,\varepsilon)$$ - количество $$Х_{\varepsilon}^{s}$$ с $$q$$ -кратными значениями $$\{x_{i}^s\}$$ по отношению к некоторой образующей комбинации $$\{x_{i}^s \}$$.
Чтобы выделить из $$\{Х_{\varepsilon}^{s}\}$$ вектора с $$q $$ -кратными компонентами и рассчитать их количество $$\Theta_{1}$$, построим вектора $$Y^{s(u)}_{\varepsilon}$$, у которых значность $$y_i \in \{1,q(u)}$$ выбирается по правилу $$q(u) = Е[(k -1)/u] \ge 1$$, где $$\{u\}$$ - простые числа из натурального ряда $$\overline{2,(k-l)}$$. В табл. 4.5 приведены вектора $$Y^{s(u)}_{\varepsilon} $$ при $$k= 11$$ и $$\varepsilon = 3$$. В этом случае $$\{u\} = \{2, 3, 5, 7\}$$, $$q(2) = 5$$, $$q(3) = 3$$, $$q(5) = 2$$, $$q(7) =1$$.
| u | $$y_3^{s(1)}$$ | $$y_2^{s(2)}$$ | $$y_1^{s(2)}$$ | $$y_3^{s(1)}$$ | $$y_2^{s(2)}$$ | $$y_1^{s(2)}$$ | $$y_3^{s(1)}$$ | $$y_2^{s(2)}$$ | $$y_1^{s(2)}$$ | $$y_3^{s(1)}$$ | $$y_2^{s(2)}$$ | $$y_1^{s(2)}$$ | $$y_3^{s(1)}$$ | $$y_2^{s(2)}$$ | $$y_1^{s(2)}$$ |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 2 | 1 | 1 | 1 | 2 | 1 | 1 | 3 | 1 | 1 | 4 | 1 | 1 | 5 | 1 | 1 |
| 1 | 1 | 2 | 2 | 1 | 2 | 3 | 1 | 2 | 4 | 1 | 2 | 5 | 1 | 2 | |
| 1 | 1 | 3 | 2 | 1 | 3 | 3 | 1 | 3 | 4 | 1 | 3 | 5 | 1 | 3 | |
| 1 | 1 | 4 | 2 | 1 | 4 | 3 | 1 | 4 | 4 | 1 | 4 | 5 | 1 | 4 | |
| 1 | 1 | 5 | 2 | 1 | 5 | 3 | 1 | 5 | 4 | 1 | 5 | 5 | 1 | 5 | |
| 1 | 5 | 5 | 2 | 5 | 5 | 3 | 5 | 5 | 4 | 5 | 5 | 5 | 5 | 5 | |
| 3 | 1 | 1 | 1 | 2 | 1 | 1 | 3 | 1 | 1 | ||||||
| 1 | 1 | 2 | 2 | 1 | 2 | 3 | 1 | 2 | |||||||
| 1 | 1 | 3 | 2 | 1 | 3 | 3 | 1 | 3 | |||||||
| 1 | 3 | 3 | 2 | 3 | 1 | 3 | 3 | 3 | |||||||
| 5 | 1 | 1 | 1 | 2 | 1 | 1 | |||||||||
| 1 | 1 | 2 | 2 | 1 | 2 | ||||||||||
| 1 | 2 | 1 | 2 | 1 | 1 | ||||||||||
| 1 | 2 | 2 | 2 | 2 | 2 | ||||||||||
| 7 | 1 | 1 | 1 |
Из данных табл. 4.5 видно, что покомпонентное умножение векторов $$Y_{\varepsilon}^{s(u)}$$ на соответствующие им скаляры $$q(u)$$ и порождает все $$\tilde{X_{\varepsilon}^s}$$ с $$q$$ -кратными компонентами.
Поэтому при $$q_n = q_{n- 1} = … = q_1 = k$$:
$$\Theta_1(k,\varepsilon) = \sum_u(q(u))^{\varepsilon}$$а при $$q_i \ne q_j$$ ( $$i\ne j$$ ):
$$\Theta_1(q_\varepsilon, q_{\varepsilon-1},…,q_1) = \sum_u{\prod_{i=1}^{\varepsilon}{q_i(u)}$$Численный анализ соотношений (4.22)-(4.23) для $$k = 3 \div 11$$ и $$n = 2\div 11$$ (табл. 4.6 и 4.7) показал:
| $$k$$ | $$\varepsilon$$ | $$y_{\varepsilon}^{s(2)}$$ | $$y_{\varepsilon}^{s(3)}$$ | $$y_{\varepsilon}^{s(5)}$$ | $$y_{\varepsilon}^{s(7)}$$ | $$\Theta_0(k,\varepsilon)$$ | $$\Theta_1(k,\varepsilon)$$ | $$\Theta(k,\varepsilon)$$ | $$T(2,\varepsilon)$$ | $$T(k,\varepsilon)$$ |
|---|---|---|---|---|---|---|---|---|---|---|
| 11 | 3 | 125 | 27 | 8 | 1 | 103 | 161 | 839 | 20 | 16780 |
| 4 | 625 | 81 | 16 | 1 | 104 | 723 | 9277 | 30 | 278310 | |
| 5 | 3125 | 243 | 32 | 1 | 105 | 3401 | 96599 | 30 | 2897970 | |
| 6 | 15625 | 729 | 64 | 1 | 106 | 16419 | 983581 | 12 | 11802972 | |
| $$Т(k, 6)/к_6 \approx = 8.46$$ | 92 | 14996032 | ||||||||
| 10 | 3 | 64 | 27 | 8 | 1 | 93 | 100 | 629 | 20 | 12580 |
| 4 | 256 | 81 | 16 | 1 | 94 | 354 | 6207 | 30 | 186210 | |
| 5 | 1024 | 243 | 32 | 1 | 95 | 1300 | 57749 | 30 | 1732470 | |
| 6 | 4096 | 729 | 64 | 1 | 96 | 4890 | 526551 | 12 | 6318612 | |
| $$Т(k, 6)/к_6 \approx = 8.25$$ | 92 | 8249872 | ||||||||
| 9 | 3 | 64 | 8 | 1 | 83 | 74 | 438 | 20 | 8760 | |
| 4 | 256 | 16 | 1 | 84 | 274 | 3822 | 30 | 114660 | ||
| 5 | 1024 | 32 | 1 | 85 | 1058 | 31710 | 30 | 951300 | ||
| 6 | 4096 | 64 | 1 | 86 | 4162 | 257982 | 12 | 3095784 | ||
| $$Т(k, 6)/к_6 \approx = 7.85$$ | 92 | 4170504 | ||||||||
| 8 | 3 | 27 | 8 | 1 | 73 | 37 | 306 | 20 | 6120 | |
| 4 | 81 | 16 | 1 | 74 | 99 | 2302 | 30 | 69060 | ||
| 5 | 243 | 32 | 1 | 75 | 277 | 16530 | 30 | 495900 | ||
| 6 | 729 | 64 | 1 | 76 | 795 | 116854 | 12 | 1402248 | ||
| $$Т(k, 6)/к_6 \approx = 7.53$$ | 92 | 1973328 | ||||||||
| 7 | 3 | 27 | 8 | 63 | 36 | 180 | 20 | 3600 | ||
| 4 | 81 | 16 | 64 | 98 | 1198 | 30 | 35940 | |||
| 5 | 243 | 32 | 65 | 276 | 7500 | 30 | 225000 | |||
| 6 | 729 | 64 | 66 | 794 | 45862 | 12 | 550344 | |||
| $$Т(k, 6)/к_6 \approx = 6.92$$ | 92 | 814884 | ||||||||
| 6 | 3 | 8 | 1 | 53 | 10 | 115 | 20 | 2300 | ||
| 4 | 16 | 1 | 54 | 18 | 607 | 30 | 18210 | |||
| 5 | 32 | 1 | 55 | 34 | 3091 | 30 | 92730 | |||
| 6 | 64 | 1 | 56 | 66 | 15559 | 12 | 186708 | |||
| $$Т(k, 6)/к_6 \approx =6.43$$ | 92 | 299948 | ||||||||
| 5 | 3 | 8 | 1 | 43 | 9 | 55 | 20 | 1100 | ||
| 4 | 16 | 1 | 44 | 17 | 239 | 30 | 7170 | |||
| 5 | 32 | 1 | 45 | 33 | 991 | 30 | 29730 | |||
| 6 | 64 | 1 | 46 | 65 | 4031 | 12 | 48372 | |||
| $$Т(k, 6)/к_6 \approx =5.53$$ | 92 | 86372 | ||||||||
| 4 | 3 | 1 | 1 | 33 | 2 | 25 | 20 | 500 | ||
| 4 | 1 | 1 | 34 | 2 | 79 | 30 | 2370 | |||
| 5 | 1 | 1 | 35 | 2 | 241 | 30 | 7230 | |||
| 6 | 1 | 1 | 36 | 2 | 727 | 12 | 8724 | |||
| $$Т(k, 6)/к_6 \approx =4.6$$ | 92 | 18824 | ||||||||
| 3 | 3 | 1 | 23 | 1 | 7 | 20 | 140 | |||
| 4 | 1 | 24 | 1 | 15 | 30 | 450 | ||||
| 5 | 1 | 25 | 1 | 31 | 30 | 930 | ||||
| 6 | 1 | 26 | 1 | 63 | 12 | 756 | ||||
| $$Т(k, 6)/к_6 \approx =3.12$$ | 92 | 2276 | ||||||||
| $$\varepsilon$$ | $$\Theta(k,\varepsilon)$$ | $$n=6$$ | $$n=5$$ | $$n=4$$ | $$n=3$$ | ||||
|---|---|---|---|---|---|---|---|---|---|
| $$Т(2, \varepsilon)$$ | $$Т(k, \varepsilon)$$ | $$Т(2, \varepsilon)$$ | $$Т(k, \varepsilon)$$ | $$Т(2, \varepsilon)$$ | $$Т(k, \varepsilon)$$ | $$Т(2, \varepsilon)$$ | $$Т(k, \varepsilon)$$ | ||
| Y | 839 | 20 | 16780 | 10 | 8390 | 4 | 3356 | 1 | 839 |
| 4 | 9277 | 30 | 278310 | 10 | 92770 | 2 | 18554 | - | - |
| 5 | 96599 | 30 | 2897970 | 5 | 482995 | - | - | - | - |
| 6 | 983581 | 12 | 11802972 | - | - | - | - | - | - |
| $$Т(k,n)$$ | 92 | 14996032 | 25 | 584155 | 6 | 21910 | 1 | 839 | |
(рис 4.26) Количество АМ-транспозиций как функция k
(рис 4.27) Количество АМ-транспозиций как функция nОтвечающий утверждению 2 $$M$$ -источник срабатывает независимо от $$А $$ -источника, когда $$\{X^{s}_{\varepsilon=2} \}$$ порождается из $$Х_{\varepsilon=2} = (х_2^{s(1)},х_1^{s(2)})$$ подстановками $$x_{i}^{s(1)} := x_j ^{s(1)}$$ и $$x_{i}^{s(2)}:= x_j ^{s(2)}$$, в которых:
$$i\ne j, i(s(1)) > i(s(2)), i(s(1)) = \overline{2,n} , i(s(2)) = \overline{1,(n-1)} , \\ x_i^{s(1)} = \overline{(1,q_i(s(1))-2)} , x_i^{s(2)} = \overline{(x_i^{s(1)},q_i(s(2))-1)} , x_i^{s(1)} < x_i^{s(2)}$$Ограничениям (4.24) удовлетворяет $$x_i$$ -спецификация:
$$$$ \begin{array}{r} (1, 2), (1, 3), (1,4), (1, 5), (1,6), \dots, (1, q_i(s(2))-1) \\ (2, 3), (\underline{2,4}), (2, 5), (\underline{2,6}), \dots, (2, q_i(s(2))-1)\\ (3,4), (3, 5), (\underline{3,6}), \dots, (3, q_i(s(2))-1)\\ (4, 5), (\underline{4,6}), \dots, (4, q_i(s(2))-1)\\ \dots\dots\dots\dots\dots \dots\dots\dots\dots \\ (q_i(s(1))-2, q_i(s(2))-1) \end{array} $$$$в которой:
Из (4.25) видно, что количество $$M$$ -транспозиций значений свертки $$l_{s(1)} > < l_{s(2)} $$ при ограничении (4.10) на компоненты весового вектора определяется:
где $$\varepsilon = \begin{cases} 0, \text{ если } q_{i(1)} \ge q_{i(2)} \\ 1, \text{ если } q_{i(1)} < q_{i(2)} \\ \end{cases}$$
Таким образом, оператору линейной свертки входных векторов в (4.4) соответствует комбинаторная схема порождения транспозиций вида:
$$\begin{array}{cccccccc} \Theta(k,2),\Theta(k,3), \Theta(k,4), \Theta(k,5), \Theta(k,6), …, \Theta(k,n-1), \Theta(k,n), \\ P^1_{n-m},P^2_{n-m}, P^3_{n-m}, P^4_{n-m}, P^5_{n-m}, …, P^{n-2}_{n-m}, P^{n-1}_{n-m}, \\ C^0_1C^0_2, C^0_3, C^0_4, C^0_5, … , C^0_{n-2}, C^0_{n-1}, \\ C^0_3, C^1_4, C^1_5, … , C^1_{n-2}, C^1_{n-1}, \\ C^0_4, C^1_5, … , C^2_{n-2}, C^2_{n-1}, \\ C^0_5, … , C^3_{n-2}, C^3_{n-1}, \\ ... … , ... ... \\ C^{\chi-1}_{n-2}, C^{\chi}_{n-1}, \\ C^{\chi-2}_{n-2}, C^{\chi-1}_{n-1}, \\ ... … , ... ... \\ C^{0}_{n-2}, C^1_{n-1}, \\ C^{0}_{n-1}, \\ \end{array}$$где $$\Theta(k=2,2) = 0, P_{n-m}^1 =n(n-1)/2$$
Из принятых соглашений следует: в каждой транспозиции неравенство $$l_{s(1)} < l_{s(2)} $$ соответствует лексикографическому порядку следования значений свертки на скалярной оси $$L $$, а переход к противоположному неравенству при непрерывном сканировании в пространстве значений весового вектора происходит после выполнения равенства $$l_{s(1)} = l_{s(2)}$$.
Отсюда, все точки, принадлежащие граням (гипер)пирамид, задающих границы индексных зон в пространстве значений $$W_n$$, нарушают условие (4.11) линейной независимости $$w_i$$ в (4.10), а значит, и условие изоморфизма в отображении $$L(X_{n}^{s}, W_n): X^{s}_n \to l_s$$. В частности, на рис. 4.23 условию $$w_3 = w_{2}+ w_{1}$$ отвечают точки плоскости $$(0, А_2, А_5)$$, а условию $$w_3 = w_2$$ - точки плоскости $$(0, А_2, А_4, А_{10} )$$ и т. д. Это говорит о том, что на границах индексных зон различные вектора $$X_{n}^{s(1)}$$ и $$X_{n}^{s(2)}$$ имеют общий гомоморфный скалярный образ, что делает их неразличимыми методами пороговой логики, использующими в качестве входного преобразования оператор линейной свертки входных векторов (прообразов).
В $${X^{s}_{n}}$$ кроме $$q$$ -кратности имеется еще и $$i$$ -кратность, которая тиражирует рассмотренные $$А $$ -и $$АМ$$ -транспозиции на $$(k^{n-\varepsilon}- 1)$$ комбинаций векторов $$(X_{n}^{s(1)},X_{n}^{s(2)} )$$, в которых $$(n - \varepsilon)$$ компонент $$x^{s}_i \ge 0$$ одновременно принадлежат левой и правой части неоднозначного неравенства $$l_{s(1)} > < l_{s(2)}$$.
Например, для булевых векторов с $$n = 4$$ $$А $$ -транспозиция $$w_3 > < w_2+ w_1$$ тиражируется на $$i$$ -кратную транспозицию $$w_4+w_3 > < w_4+ w_2+w_1$$, а $$А $$ -транспозиция $$w_4 > < w_2 + w_{1}$$ тиражируется на транспозицию $$w_4+w_{3} > < w_{3}+ w_2 + w_{1}$$. В результате в первом случае одновременно с < всегда реализуется $$l_4 < l_3$$, а во втором $$l_{12} < l_{11}$$ случае одновременно с $$l_{8} < l_{3}$$ всегда реализуется $$l_{12} < l_{7}$$.
В случае $$n$$ -мерных булевых векторов $$X^{s}_{n}$$ все проекции индексных зон на плоскости $$(w, w)$$ имеют одинаковую "площадь" и, как следствие, обеспечивают равноустойчивую систему решающих правил по отношению к флуктуациям $$\{\pm \Delta x_{i} \}$$ и $$\{\pm \Delta w_i \}$$ реальных физических величин $$\{x_{i}\}$$ и $$\{w_i\}$$. Для $$k$$ -значных входных векторов равенство таких "площадей" нарушается, а структура неравномерного разбиения $$\{w_i, w_{j} \}$$ проекциями $$n$$ -мерных индексных зон определяется не только $$q_{i}$$ -значностью $$x_{i}$$ и $$x_{j}$$, но и правилом кодирования $$\{a_{i}\}$$ и $$\{a_{j}\}$$ ( $$x_{i} \in \{a_{i}\}$$, $$x_{j}\in {\a_j\})$$, от которого зависит количество $$\Theta_{1}(k, \varepsilon)$$ $$q$$ -кратных комбинаций $$(X_{n}^{s(1)},X_{n}^{s(2)}$$ ) в (4.21) и (4.26). Например, при $$k = 6$$ и кодировании $$\{a_{i}\}$$ числами натурального ряда 0,5 из состава М-транспозиций исключается комбинация ( $$x_{i}^{s(1)} =1 ,x_{i}^{s(2)} =2$$ ) (рис. 4.28). При кодировании $$\{a_{i}\}$$ простыми числами (рис. 4.29) такая кратная комбинация отсутствует. В результате не только возрастает количество проекций индексных зон на плоскости $$(w_i, w_j)$$, но и более неравномерно распределяется "площадь" между ними.
(рис 4.28) Структура индексных зон (n=2; q_{2}=q_{1}=6) при кодировании x_{i} числами натурального рядаОтсюда можно заключить:
(рис 4.29) Структура индексных зон (n=2; q2=q1=6) при кодировании xi простыми числамиВведенные комбинаторные схемы и отвечающие им численные соотношения:
За всю историю развития вычислительной техники интерес к нейро-компьютерным технологиям возрастал каждый раз, когда наступал либо застой в архитектурных решениях ЭВМ, либо прогресс в элементной базе. Современный повышенный интерес к нейрокомпьютерным технологиям [84, 87-89] фактически совпал по времени с наметившимся прорывом в области нанотехнологий, где в качестве "рабочего тела" выступают квантовые системы различной степени сложности: от одноэлектронных транзисторов [92, 93] и до квантовых компьютеров [94]. Схемотехнический парадокс традиционной нейроподобной элементной базы [68] вызван тем, что в этом случае логические функции реализуются через арифметические. Это предопределяет повышенные затраты традиционных логических вентилей, которые сначала расходуются на реализацию арифметических преобразований формальных нейронов и только после этого на реализацию логических преобразований блоков и устройств вычислительной техники, построенных на формальных нейронах. Объединение возможностей нейрокомпью-терных программных [88] и нанотехнологических [95] инструментальных платформ позволяет преодолеть или хотя бы ослабить последствия этого парадокса за счет прямого отображения функций пользователя на квантовые системы, фундаментальные свойства которых определяются и описываются
различными группами симметрий [96]. Так, правила отбора [97] задают возможные квантовые переходы для атомов, молекул, взаимодействующих элементарных частиц и т. д. Эти правила напрямую связаны с симметрией квантовых систем, с помощью которой определяют неизменные (инвариантные) свойства этих систем при определенных преобразованиях координат и времени. В частности, в квантовой механике допустимы только те переходы из одного состояния в другое, которые не нарушают законы сохранения энергии, импульса, электрического заряда и т. д.
Переход к теоретико-групповым моделям формальных нейронов позволяет сохранить традиционную схему кремниевой компиляции [98, 99] на основе библиотек "стандартных элементов", которые в данном случае должны реализовать не булевы функции, а "элементарные группы симметрий". Поэтому нейрокомпилятор должен представить задание пользователя в фиксированном теоретико-групповом операционном базисе, реализуемом на технологическом уровне производства и эксплуатации компьютеров с нано- или супрамолекулярной элементной базой. Отсюда и встает задача доказательства не только возможности, но и эффективности использования теоретико-групповых моделей классических (много)поро-говых элементов в задачах оптимального синтеза нейроподобных ЭВМ. При этом совершенно безразлично, в каком операционном базисе будет работать ЭВМ с нано- или супрамолекулярной элементной базой, так как нейроподобный операционный базис фактически используется и на уровне "элементарных действий" ЭВМ классических архитектур (см. лекцию 3).
Учитывая быстрое нарастание размерности задач оптимального синтеза (много)пороговых моделей до гиперкомбинаторной, ограничим конкретные примеры и характеристики теоретико-групповой модели классом булевых функций от $$n \le 4$$ переменных [100].
Для булевых функций параметры (М)ПМ (4.4) принимают значения $$x_i^s \in \{0,1\}$$ ; $$Q=2^n-1$$ ; $$f_s \in \{0,1\}\,\alpha = \overline{0,(2^{2^n}-1)}$$, и поэтому оператор линейной свертки можно записать:
$$l_{s}(X^{s}_{n},W_{n}) = \sum_i{w_{i}},$$где суммирование ведется по тем $$i$$, для которых $$х^s_i = 1$$, то есть в случае булевых функций входной вектор $$X^{s}_{n}$$ используется как "маска", определяющая правило "ассоциативного" суммирования компонент весового вектора $$\{w_i \}$$.
Не изменяя значений конечного множества весовых коэффициентов $$\{w_i\}$$, их можно расположить в произвольном порядке (по $$i$$ ) над компонентами входного вектора $$\{х_i^s\}$$, что соответствует группе подстановок $$N_i$$ (порядок группы $$| N_i | = n$$!). В результате изменятся правила суммирования весовых коэффициентов в (4.27), что индуцирует изоморфную группу подстановок $$N_s$$ значений свертки $$l_{s}$$, а вместе с ними и индексов $$s$$ на скалярной оси $$L.$$ Например, при $$n = 3$$ (табл. 4.8) получим 6 подстановок индексов s в упорядоченной по возрастанию последовательности значений свертки $$\{\hat{l}_{s}\}$$, из которых одна соответствует лексикографическому порядку $$s:= 0, 1, 2, 3, 4, 5, 6, 7$$.
| $$s$$ | $$x_3$$ | $$x_2$$ | $$x_1$$ | $$w_3 = 4,\\ w_2=2, \\ w_1= 1$$ | $$w_3 = 4,\\ w_2=1, \\ w_1= 2$$ | $$w_3 = 2,\\ w_2=4, \\ w_1= 1$$ | $$w_3 = 2,\\ w_2=1, \\ w_1= 4$$ | $$w_3 = 1,\\ w_2=4, \\ w_1= 2$$ | $$w_3 = 1,\\ w_2=2, \\ w_1= 4$$ | |||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| $$\{l_s\}$$ | $$\{l_s\}$$ | $$\{\hat{l}_s\}$$ | $$\{l_s\}$$ | $$\{\hat{l}_s\}$$ | $$\{l_s\}$$ | $$\{\hat{l}_s\}$$ | $$\{l_s\}$$ | $$\{\hat{l}_s\}$$ | $$\{l_s\}$$ | $$\{\hat{l}_s\}$$ | ||||
| 0 | 0 | 0 | 0 | $$l_0=0$$ | $$l_0=0$$ | $$l_0=0$$ | $$l_0=0$$ | $$l_0=0$$ | $$l_0=0$$ | $$l_0=0$$ | $$l_0=0$$ | $$l_0=0$$ | $$l_0=0$$ | $$l_0=0$$ |
| 1 | 0 | 0 | 1 | $$l_1=1$$ | $$l_1=2$$ | $$l_1=1$$ | $$l_1=1$$ | $$l_1=1$$ | $$l_1=4$$ | $$l_1=1$$ | $$l_1=2$$ | $$l_4=1$$ | $$l_1=4$$ | $$l_4=1$$ |
| 2 | 0 | 1 | 0 | $$l_2=2$$ | $$l_2=1$$ | $$l_1=2$$ | $$l_2=4$$ | $$l_4=2$$ | $$l_2=1$$ | $$l_4=2$$ | $$l_2=4$$ | $$l_1=2$$ | $$l_2=2$$ | $$l_2=2$$ |
| 3 | 0 | 1 | 1 | $$l_3=3$$ | $$l_3=3$$ | $$l_3=3$$ | $$l_3=5$$ | $$l_5=3$$ | $$l_3=5$$ | $$l_6=3$$ | $$l_3=6$$ | $$l_5=3$$ | $$l_3=6$$ | $$l_6=3$$ |
| 4 | 1 | 0 | 0 | $$l_4=4$$ | $$l_4=4$$ | $$l_4=4$$ | $$l_4=2$$ | $$l_2=4$$ | $$l_4=2$$ | $$l_1=4$$ | $$l_4=1$$ | $$l_2=4$$ | $$l_4=1$$ | $$l_1=4$$ |
| 5 | 1 | 0 | 1 | $$l_5=5$$ | $$l_5=6$$ | $$l_6=5$$ | $$l_5=3$$ | $$l_3=5$$ | $$l_5=6$$ | $$l_3=5$$ | $$l_5=3$$ | $$l_6=5$$ | $$l_5=5$$ | $$l_5=5$$ |
| 6 | 1 | 1 | 0 | $$l_6=6$$ | $$l_6=5$$ | $$l_5=6$$ | $$l_6=6$$ | $$l_6=6$$ | $$l_6=3$$ | $$l_5=6$$ | $$l_6=5$$ | $$l_3=6$$ | $$l_6=3$$ | $$l_3=6$$ |
| 7 | 1 | 1 | 1 | $$l_7=7$$ | $$l_7=7$$ | $$l_7=7$$ | $$l_7=7$$ | $$l_7=7$$ | $$l_7=7$$ | $$l_7=7$$ | $$l_7=7$$ | $$l_7=7$$ | $$l_7=7$$ | $$l_7=7$$ |
Группа инверсии знаков $$Z_{i} ( |Z_{i}| = 2^{n})$$ при неизменных абсолютных значениях компонент весового вектора $$\{\pm w_{i} \}$$ индуцирует изоморфную группу подстановок $$Z_{s}$$ (табл. 4.9) значений свертки $$l_{s}$$, а с ними и индексов s на скалярной оси $$L$$.
| $$s$$ | $$x_3$$ | $$x_2$$ | $$x_1$$ | $$w_3 = 4,\\ w_2=2, \\ w_1= 1$$ | $$w_3 = 4,\\w_2=2, \\ w_1=-1$$ | $$w_3 = 4,\\w_2=-2, \\ w_1= 1$$ | $$w_3 = 4,\\w_2=-2, \\ w_1= -1$$ | |||
|---|---|---|---|---|---|---|---|---|---|---|
| $$\{l_s\}$$ | $$\{l_s\}$$ | $$\{\hat{l}_s\}$$ | $$\{l_s\}$$ | $$\{\hat{l}_s\}$$ | $$\{l_s\}$$ | $$\{\hat{l}_s\}$$ | ||||
| 0 | 0 | 0 | 0 | $$l_0=0$$ | $$l_0=0$$ | $$l_1=-1$$ | $$l_0=0$$ | $$l_2=-2$$ | $$l_0=0$$ | $$l_3=-3$$ |
| 1 | 0 | 0 | 1 | $$l_1=1$$ | $$l_1=-1$$ | $$l_0=0$$ | $$l_1=1$$ | $$l_3=-1$$ | $$l_1=-1$$ | $$l_2=-2$$ |
| 2 | 0 | 1 | 0 | $$l_2=2$$ | $$l_2=2$$ | $$l_2=1$$ | $$l_2=-2$$ | $$l_0=0$$ | $$l_2=-2$$ | $$l_2=-1$$ |
| 3 | 0 | 1 | 1 | $$l_3=3$$ | $$l_3=1$$ | $$l_2=2$$ | $$l_3=-1$$ | $$l_1=1$$ | $$l_3=-3$$ | $$l_0=0$$ |
| 4 | 1 | 0 | 0 | $$l_4=4$$ | $$l_4=4$$ | $$l_5=3$$ | $$l_4=4$$ | $$l_6=2$$ | $$l_4=4$$ | $$l_7=1$$ |
| 5 | 1 | 0 | 1 | $$l_5=5$$ | $$l_5=3$$ | $$l_4=4$$ | $$l_5=5$$ | $$l_7=3$$ | $$l_5=3$$ | $$l_6=2$$ |
| 6 | 1 | 1 | 0 | $$l_6=6$$ | $$l_6=6$$ | $$l_7=5$$ | $$l_6=2$$ | $$l_4=4$$ | $$l_6=2$$ | $$l_5=3$$ |
| 7 | 1 | 1 | 1 | $$l_7=7$$ | $$l_7=5$$ | $$l_6=6$$ | $$l_7=3$$ | $$l_5=5$$ | $$l_7=1$$ | $$l_4=4$$ |
На основе данных таблиц 4.8 и 4.9 можно сформировать подстановки индексов $$s$$, которые отвечают прямому произведению групп $$D = Z*N$$. Элементы групп D_{s} индуцируются элементами группы переименования переменных $$D_i = Z*N_i ( | D_{i} | = 2^n* n !)$$.
Как показано в разделе 4.7, в непрерывной группе вращений весового вектора $$W_n$$ имеется еще один источник подстановок значений свертки $$l_{s}$$, а вместе с ними и индексов $$s$$ на скалярной оси $$L ,$$ который связан с инверсией отношения "больше-меньше" между различными комбинациями значений компонент весового вектора $$\{w_i\}$$. Чтобы получить множество подстановок этого типа, достаточно наложить ограничение $$w_n > w_{n-1} > … > w_1 > 0$$. Тогда при $$n = 3$$ между значениями компонент весового вектора могут установиться отношения $$w_3 > (w_2+w_1 )$$ и $$w_3 < (w _{2}+w _{1})$$.
В результате преобразование (4.27) компонент весового вектора $$W_3$$ порождает группу подстановок $$\Omega_{3}$$ из двух элементов: тождественная подстановка с лексикографическим порядком следования индексов $$s:=0, 1, 2, 3, 4, 5, 6, 7 (Lex ) $$ и подстановка вида $$s:=0, 1, 2, 4, 3, 5, 6, 7$$. Прямое произведение групп $$\Omega_3 *Z_3$$ также является группой подстановок порядка $$|\Omega_3 | * | Z_3 |$$ (совокупность подстановок таблиц 4.9 и 4.10).
Продолжение табл. 4.9
| $$s$$ | $$x_3$$ | $$x_2$$ | $$x_1$$ | $$w_3 = -4,\\ w_2=2, \\ w_1= 1$$ | $$w_3 = -4,\\w_2=2, \\ w_1=-1$$ | $$w_3 = -4,\\w_2=-2, \\ w_1= 1$$ | $$w_3 = -4,\\w_2=-2, \\ w_1= -1$$ | ||||
|---|---|---|---|---|---|---|---|---|---|---|---|
| $$\{l_s\}$$ | $$\{\hat{l}_s\}$$ | $$\{l_s\}$$ | $$\{\hat{l}_s\}$$ | $$\{l_s\}$$ | $$\{\hat{l}_s\}$$ | $$\{l_s\}$$ | $$\{\hat{l}_s\}$$ | ||||
| 0 | 0 | 0 | 0 | $$l_0= 0$$ | $$l_4=-4$$ | $$l_0= 0$$ | $$l_5=-5$$ | $$l_0= 0$$ | $$l_6=-6$$ | $$l_0= 0$$ | $$l_7=-7$$ |
| 1 | 0 | 0 | 1 | $$l_1= 1$$ | $$l_5=-3$$ | $$l_1=-1$$ | $$l_4=-4$$ | $$l_1= 1$$ | $$l_7=-5$$ | $$l_1=-1$$ | $$l_6=-6$$ |
| 2 | 0 | 1 | 0 | $$l_2= 2$$ | $$l_6=-2$$ | $$l_2= 2$$ | $$l_7=-3$$ | $$l_2= 2$$ | $$l_4=-4$$ | $$l_2=-2$$ | $$l_5=-5$$ |
| 3 | 0 | 1 | 1 | $$l_3= 3$$ | $$l_7=-1$$ | $$l_3= 1$$ | $$l_6=-2$$ | $$l_3=-1$$ | $$l_5=-3$$ | $$l_3=-3$$ | $$l_3=-4$$ |
| 4 | 1 | 0 | 0 | $$l_4=-4$$ | $$l_0= 0$$ | $$l_4=-4$$ | $$l_1=-1$$ | $$l_4=-4$$ | $$l_2=-2$$ | $$l_4=-4$$ | $$l_3=-3$$ |
| 5 | 1 | 0 | 1 | $$l_5=-3$$ | $$l_1= 1$$ | $$l_5=-5$$ | $$l_0= 0$$ | $$l_5=-3$$ | $$l_3=-1$$ | $$l_5=-5$$ | $$l_2=-2$$ |
| 6 | 1 | 1 | 0 | $$l_6=-2$$ | $$l_2= 2$$ | $$l_6=-2$$ | $$l_3= 1$$ | $$l_6=-6$$ | $$l_0= 0$$ | $$l_6=-6$$ | $$l_1=-1$$ |
| 7 | 1 | 1 | 1 | $$l_7=-1$$ | $$l_3= 3$$ | $$l_7=-3$$ | $$l_2= 2$$ | $$l_7=-5$$ | $$l_1= 1$$ | $$l_7=-7$$ | $$l_0= 0$$ |
Таким образом, для достоверной оценки функций качества (4.6) и (4.7) в случае $$n = 3$$ необходимо иметь всего два образующих весовых вектора $$W _{3} = (4, 2, 1)$$ и $$W _{3} = (4, 3, 2)$$. Остальные весовые вектора являются производными и их можно получить перестановками и инверсиями знаков целочисленных компонент, которые и порождают все многообразие подстановок индексов $$s$$, напрямую влияющих на размерность вектора порогов, а значит, и на численные значения функций качества (4.6) и (4.7).
| $$s$$ | $$x_3$$ | $$x_2$$ | $$x_1$$ | $$w_3 = 4,\\w_2= 3, \\ w_1= 2$$ | $$w_3 = 4,\\w_2= 3, \\ w_1=-2$$ | $$w_3 = 4,\\w_2=-3, \\ w_1= 2$$ | $$w_3 = 4,\\w_2=-3, \\ w_1=-2$$ | ||||
|---|---|---|---|---|---|---|---|---|---|---|---|
| $$\{l_s\}$$ | $$\{\hat{l}_s\}$$ | $$\{l_s\}$$ | $$\{\hat{l}_s\}$$ | $$\{l_s\}$$ | $$\{\hat{l}_s\}$$ | $$\{l_s\}$$ | $$\{\hat{l}_s\}$$ | ||||
| 0 | 0 | 0 | 0 | $$l_0= 0$$ | $$l_0= 0$$ | $$l_0= 0$$ | $$l_1=-2$$ | $$l_0= 0$$ | $$l_2=-3$$ | $$l_0= 0$$ | $$l_3=-5$$ |
| 1 | 0 | 0 | 1 | $$l_1= 2$$ | $$l_1= 2$$ | $$l_1=-2$$ | $$l_0= 0$$ | $$l_1= 2$$ | $$l_3=-1$$ | $$l_1=-2$$ | $$l_2=-3$$ |
| 2 | 0 | 1 | 0 | $$l_2= 3$$ | $$l_2= 3$$ | $$l_2= 3$$ | $$l_3= 1$$ | $$l_2=-3$$ | $$l_0= 0$$ | $$l_2=-3$$ | $$l_1=-2$$ |
| 3 | 0 | 1 | 1 | $$l_3= 5$$ | $$l_4= 4$$ | $$l_3= 1$$ | $$l_5= 2$$ | $$l_3=-1$$ | $$l_6=1 $$ | $$l_3=-5$$ | $$l_7=-1$$ |
| 4 | 1 | 0 | 0 | $$l_4= 4$$ | $$l_3= 5$$ | $$l_4= 4$$ | $$l_2= 3$$ | $$l_4= 4$$ | $$l_1= 2$$ | $$l_4= 4$$ | $$l_0= 0$$ |
| 5 | 1 | 0 | 1 | $$l_5= 6$$ | $$l_5= 6$$ | $$l_5= 2$$ | $$l_4= 4$$ | $$l_5= 6$$ | $$l_7= 3$$ | $$l_5= 2$$ | $$l_6= 1$$ |
| 6 | 1 | 1 | 0 | $$l_6= 7$$ | $$l_6= 7$$ | $$l_6= 7$$ | $$l_7= 5$$ | $$l_6= 1$$ | $$l_4= 4$$ | $$l_6= 1$$ | $$l_5= 2$$ |
| 7 | 1 | 1 | 1 | $$l_7= 9$$ | $$l_7= 9$$ | $$l_7= 5$$ | $$l_6= 7$$ | $$l_7= 3$$ | $$l_5= 6$$ | $$l_7=-1$$ | $$l_4= 4$$ |
Поэтому на этапе абстрактного синтеза (много)пороговых моделей оператор линейной свертки с непрерывными значениями весовых коэффициентов можно заменить конечной группой преобразований $$\Psi= \Omega_{3}*Z_{s}*N_{s}$$, которая представляет собой прямое произведение следующих групп: подстановок индексов $$s$$, индуцированных оператором (4.27), ассоциативного суммирования компонент весового вектора $$\{w_{i} \}$$ с отношением "больше-меньше", группой инверсий знака и группой подстановок (по индексу $$i$$ ) множества компонент весового вектора.
Продолжение табл. 4.10
| $$s$$ | $$x_3$$ | $$x_2$$ | $$x_1$$ | $$w_3 =-4,\\w_2= 3, \\ w_1= 2$$ | $$w_3 =-4,\\w_2= 3, \\ w_1=-2$$ | $$w_3 =-4,\\w_2=-3, \\ w_1= 2$$ | $$w_3 =-4,\\w_2=-3, \\ w_1=-2$$ | ||||
|---|---|---|---|---|---|---|---|---|---|---|---|
| $$\{l_s\}$$ | $$\{\hat{l}_s\}$$ | $$\{l_s\}$$ | $$\{\hat{l}_s\}$$ | $$\{l_s\}$$ | $$\{\hat{l}_s\}$$ | $$\{l_s\}$$ | $$\{\hat{l}_s\}$$ | ||||
| 0 | 0 | 0 | 0 | $$l_0= 0$$ | $$l_4=-4$$ | $$l_0= 0$$ | $$l_5=-6$$ | $$l_0= 0$$ | $$l_6=-7$$ | $$l_0= 0$$ | $$l_7=-9$$ |
| 1 | 0 | 0 | 1 | $$l_1= 2$$ | $$l_5=-2$$ | $$l_1=-2$$ | $$l_4=-4$$ | $$l_1=-4$$ | $$l_7=-5$$ | $$l_1=-2$$ | $$l_6=-7$$ |
| 2 | 0 | 1 | 0 | $$l_2= 3$$ | $$l_6=-1$$ | $$l_2= 3$$ | $$l_7=-3$$ | $$l_2=-3$$ | $$l_4=-4$$ | $$l_2=-3$$ | $$l_5=-6$$ |
| 3 | 0 | 1 | 1 | $$l_3= 5$$ | $$l_0= 0$$ | $$l_3= 1$$ | $$l_1=-2$$ | $$l_3=-1$$ | $$l_2=-3$$ | $$l_3=-5$$ | $$l_3=-5$$ |
| 4 | 1 | 0 | 0 | $$l_4=-4$$ | $$l_7= 1$$ | $$l_4=-4$$ | $$l_6=-1$$ | $$l_4=-4$$ | $$l_5=-2$$ | $$l_4=-4$$ | $$l_4=-4$$ |
| 5 | 1 | 0 | 1 | $$l_5=-2$$ | $$l_1= 2$$ | $$l_5=-6$$ | $$l_0= 0$$ | $$l_5=-2$$ | $$l_3=-1$$ | $$l_5=-6$$ | $$l_2=-3$$ |
| 6 | 1 | 1 | 0 | $$l_6=-1$$ | $$l_2= 3$$ | $$l_6=-1$$ | $$l_3= 1$$ | $$l_6=-7$$ | $$l_0= 0$$ | $$l_6=-7$$ | $$l_1=-2$$ |
| 7 | 1 | 1 | 1 | $$l_7= 1$$ | $$l_3= 5$$ | $$l_7=-3$$ | $$l_2= 2$$ | $$l_7=-5$$ | $$l_1= 2$$ | $$l_7=-9$$ | $$l_0= 0$$ |
Для $$n = 4$$ множество $$\Omega_4$$ трансформируется в дистрибутивную структуру, которая представляет собой теоретико-множественное объединение 13 двухэлементных групп подстановок, каждая из которых содержит тождественную и обратную по отношению к себе подстановки. Теоретико-множественное пересечение всех двухэлементных групп дистрибутивной структуры $$\Omega_4$$ содержит единственную тождественную подстановку
В разделе 4.6 показано, что комбинаторная схема порождения совместных инверсий отношения "больше-меньше" использует так называемую [85] е-спецификацию, элементы которой характеризуют количество компонент весового вектора, стоящих в левой (е(1)) и правой (е(2)) части инвертируемого отношения. В частности, для $$n = 4$$ $$\varepsilon$$ -спецификация имеет вид $$[\varepsilon(1) = 1;\varepsilon(2) = 2]$$ ; $$[\varepsilon(1) = 1;\varepsilon(2) = 3]$$ ; $$[\varepsilon(1) = 2; \varepsilon(2) = 2]$$. Такая спецификация систематизирует перечисление конечного множества инвертируемых отношений "больше-меньше" (неоднозначных неравенств, в случае $$n = 4$$ представленных в табл. 4.11), которые еще необходимо доопределить множеством кратных инверсий значений свертки по правилу:
| $$\varepsilon(1) = 1;\varepsilon(2) = 2$$ | $$\varepsilon(1) = 1;\varepsilon(2) = 3$$ | $$\varepsilon(1) = 2;\varepsilon(2) = 2$$ |
|---|---|---|
| $$w_4><w_2+w_1 $$ | $$w_4><w_3+w_2+w_1$$ | $$w_1+w_4><w_3+w_2$$ |
| $$w_4><w_3+w_1 $$ | ||
| $$w_4><w_3+w_2 $$ | ||
| $$w_3><w_2+w_1 $$ |
На основе этих транспозиций значений свертки строятся цепочки транзитивных транспозиций, которые отвечают классическим правилам преобразования неравенств: неравенство только усилится, если к
"большему" прибавить "большее" или из "меньшего" вычесть "большее". В нашем случае существует только три цепочки транзитивных транспозиций (без учета кратных):
(Здесь символ $$\sim$$ представляет отношение эквивалентности).
Отсюда: независимо можно осуществить только транспозиции, принадлежащие различным транзитивным цепочкам, общее количество которых в нашем случае не превышает 3 (без учета кратных), а сами транспозиции можно выполнить только между двумя смежными значениями индекса свертки $$s $$.
Выбрав определенную стратегию анализа цепочек транзитивных транспозиций, можно, не зная конкретных численных значений весовых коэффициентов, перечислить все подстановки значений свертки $$\{\hat{l}_{s}\}$$ и отвечающие им подстановки индексов $$s$$:
$$(w_{3} > w_{2}+w_1) \sim (l_{4} > l_3)$$:
$$(w_{3} < w_{2}+w_{1}) \sim (l_{4} < l_3)$$:
$$(w_{3} > w_2+w_1) \sim (l_4 < l_{3}), (w_4+w_1 < w_{3}+w_2) \sim (l_9 < l_6)$$:
$$(w_{3} <w_{2} + w_1) \sim (l_{4} < l_{3}), (w_{4}+w_1 < w_{3}+w_{2}) - (l_9 <l_{6})$$:
Здесь подстановки образуют пары: в первом подмножестве - $$(1, 2)$$, $$(2, 3)$$, $$(3, 4)$$, во втором подмножестве - $$(1, 5)$$, $$(5, 6)$$, $$(6, 7)$$, $$(7, 8)$$, $$(8, 9)$$, в третьем подмножестве - $$(3, 10)$$, $$(10, 11)$$ и в четвертом подмножестве - $$(7, 12)$$, $$(12, 13)$$, $$(13, 14)$$. Поэтому отношение частичного порядка для элементов $$\Omega\in\Omega_{4}$$ обеспечивается правилом перечисления подстановок из одного и того же подмножества, в котором каждая последующая подстановка отличается от предыдущей только одной транспозицией (с точностью до кратных транспозиций).
Чтобы перейти от элементов дистрибутивной структуры $$\Omega_{4}$$ к порождающим ее значениям весовых коэффициентов $$\{w_{i} \}$$, достаточно одним из стандартных способов найти решения систем неравенств, отвечающих каждой приведенной выше подстановке индексов $$s$$. В частности, простейшим методом "проб и ошибок" можно получить все целочисленные значения весовых коэффициентов (табл. 4.12 для $$n = 4$$ ). В первой графе табл. 4.12 указан порядковый номер подстановки индексов $$s$$, а первая строка соответствует лексикографическому порядку их перечисления. Из данных этой таблицы видно, что в случае $$n = 4$$ для решения задач оптимального синтеза (много)пороговых моделей требуется всего 14 образующих весовых векторов, у которых компоненты переименуются с помощью конечных групп подстановок и инверсий знака.
| № | $$w_{4}$$ | $$w_{3}$$ | $$w_{2}$$ | $$w_1$$ | Условие |
|---|---|---|---|---|---|
| 1 | 8 | 4 | 2 | 1 | Lex |
| 2 | 10 | 6 | 3 | 2 | $$w_{4}= 10 < w_3+w_2+w_1 =11;$$ |
| 3 | 10 | 4 | 3 | 2 | $$w_{3} = 4< w_{2}+w_1=5;$$ |
| 4 | 8 | 4 | 3 | 2 | $$w_{4}= 8 < w_3+w_2+w_1 = 9; w_{3} = 4 < w_2+w_1 = 5;$$ |
| 5 | 10 | 7 | 4 | 2 | $$w_{4}= 10<w_{3}+w_{2}= 11; w_{4}= 10<w_3+w_{2}+w_1= 13;$$ |
| 6 | 8 | 6 | 4 | 1 | $$w_{4} = 8< w_{3}+w_{2}= 10; w_{4}= 4 < w_{3}+w_{2}+w_1 =11; w_1+w_{4} = 9 < w_{3}+w_{2}= 10;$$ |
| 7 | 10 | 6 | 5 | 2 | $$w_{4}= 10 < w_{3}+w_{2}= 11; w_{3}=6<w_{2}+w_1 = 7; w_{4}= 10 < w_{3}+w_{2}+w_1 = 13;$$ |
| 8 | 11 | 8 | 7 | 2 | $$w_{4}= 11 <w_{3}+w_{2}= 15; w_{3}= 8 < w_{2}+w_1 = 9; w_1+w_{4} = 13 <w_{3}+w_{2}= 15; w_{4} = 11 < w_3+w_{2}+w_1 =17;$$ |
| 9 | 10 | 8 | 4 | 3 | $$w_{4} = 10 < w_3+w_1 = 11; w_{4}= 10 < w_3+w_2+w_1 = 15;$$ |
| 10 | 8 | 7 | 4 | 2 | $$w_{4}= 8<w_{3}+w_1=9; w_{4}= 8< w_{3}+w_{2}+w_1= 13; w_1+w_{4}= 10<w_{3}+w_{2}= 11;$$ |
| 11 | 10 | 7 | 5 | 4 | $$w_{4}= 10<w_3+w_1= 11; w_3 = 7 < w_{2}+w_1 = 9; w_{4}= 10<w_3+w_{2}+w_1= 16;$$ |
| 12 | 10 | 8 | 6 | 3 | $$w_{4}= 10<w_3+w_1= 11; w_3 = 8< w_{2}+w_1 = 9; w_{4}= 10<w_3+w_{2}+w_1= 17; w_1+w_{4} = 13 < w_3+w_2= 14;$$ |
| 13 | 10 | 8 | 6 | 5 | $$w_{4}= 10<w_{2}+w_1= 11; w_{3} = 8< w_{2}+w_1= 11; w_{4}= 10 < w_{3}+w_{2}+w_1= 19;$$ |
| 14 | 10 | 8 | 7 | 4 | $$w_{4}= 10<w_{2}+w_1= 15; w_{3} = 8< w_{2}+w_1= 15; w_{4}= 10 < w_{3}+w_{2}+w_1= 19; w_1+w_4 = 14 < w_{3}+w_{2}= 15;$$ |
Если нейроподобный теоретико-групповой компилятор использовать при создании ЭВМ классической архитектуры, то для минимизации библиотеки стандартных элементов, реализуемых непосредственно в технологическом процессе, можно использовать только образующие булевы функции [101, 102].
Метод образующих булевых функций широко использовался в теории и практике многофункциональных логических модулей, к которым относятся и (много)пороговые элементы и их модели. В случае (много) пороговых моделей он позволяет существенным образом снизить вариации вектора порогов $$H_{\chi}$$, ограничив их конечным множеством целочисленных значений. Для этого достаточно все множество булевых функций $${F_{\alpha}(X^{s}_{n})}$$ разбить на смежные (по группам дистрибутивной структуры $$\Psi = \Omega_n *Z_s *N_s$$ ) классы [103]: $$\{F_{\alpha}{X^{s}_{n})\} =\bigcup\{F_{\alpha}(\Psi [Х_n^s])\}$$, а вектор порогов $$H_{\chi}$$ определить в целочисленном пространстве $$\{s\}$$ и только для образующих булевых функций $$\{F_{\alpha} (X^{s}_{n})\} \subset \{F_{\alpha}(X^{s}_{n})\}$$, где теоретико-множественное объединение ( $$\bigcup$$ ) берется по образующим булевым функциям с индексами $$\аlpha _{0}$$.
Схема поиска множества образующих для заданного класса булевых функций:
где: $$(r_1+r_0) =Q + 1$$, a $$\{\tilde{X}^s_n\}_{r_1}$$, $$\{\tilde{X}^s_n\}_{r_2}$$ - подмножества входных векторов, на которых булева функция $$\{F_{\alpha}(X^s_n)\}$$ принимает соответственно "единичное" и "нулевое" значение. Количество подклассов с одинаковой первичной спецификацией можно ограничить условием $$(r_{1} \ge r_{0})$$, нарушение которого приводит к подклассам инверсных булевых функций с инвертированными образующими.
где $$Ф[X^s_n]$$ представляет собой поочередно выполняемые преобразования $$N_{s} [X^{s}_{n} ]$$ и $$Z_{s} [X^{s}_{n} ]$$, а теоретико-множественные объединения берутся по образующим по классам смежности $$\alpha_0(Ф)$$: $$\alpha_{0} (N)$$, $$\alpha _{0} (Z)$$ соответственно, в качестве которых может выступать любая функция из класса.
где $$\alpha_0(D_s)$$ - индекс образующей из класса смежных по группе переименования переменных $$D_s = Z_s*N_s$$, а теоретико-множественное объединение берется по образующим для классов, смежных по группе $$N_s$$, с индексом $$\alpha_{0}(N)$$.
Здесь $$\аlpha_{0}(\Psi)$$ - индекс образующей для классов смежных булевых функций по группам дистрибутивной структуры $$\Psi = \Omega_n*Z_s*N_s$$, а компоненты вектора порогов $$h_{\alpha_0}$$, $$h_{\tilde{\alpha}_0}$$ для образующих $$F_{\alpha_0(D_s)}$$ и $$F_{\tilde{\alpha}_0(D_s)}$$ имеют одинаковый ранг, если $$h_{\alpha_0}, h_{\tilde{\alpha}_0} \in (l_{s(1)},l_{s(2)})$$, где $$l_{s(1)} < l_{s(2)}$$.
При $$n = 3$$ (табл. 4.13) требуется всего 13 образующих (без учета инверсных) для смежных по группам дистрибутивной структуры W классов, объединение которых и дает все множество булевых функций от трех переменных:
| Первичная спецификация булевых функций | (0,8) | (1,7) | (2,6) | (3,5) | (4,4) |
|---|---|---|---|---|---|
| Количество образующих булевых функций | 1 | 1 | 3 | 3 | 5 |
| Мощность классов смежных булевых функций | 1 | 8 | 12 | 24 | 14 |
| 12 | 24 | 24 | |||
| 4 | 8 | 24 | |||
| 6 | |||||
| 2 | |||||
| Итого булевых функций: (1+8+28+56)*2+70=256 | 1 | 8 | 28 | 56 | 70 |
Если нейроподобный теоретико-групповой компилятор предназначен для синтеза нейро-ЭВМ, то следует учитывать, что стратегия адаптации (много)пороговых моделей формальных нейронов "дочерней" и "материнской" нейро-ЭВМ отличаются критериями эффективности, что не отражено в классической схеме (много)порогового элемента (рис. 4.30). В реальности адаптивные возможности составляющих элементов расходуются на практически несовместные цели:
(рис 4.30) Схема классической (М)ПМ формального нейрона в классе БФ трех переменныхДля достижения максимально устойчивой реализации заданной булевой функции $$F_{\alpha} (X _{n}^{s})$$ необходимо, чтобы вектор порогов смещался по скалярной оси, компенсируя паразитные флуктуации $$\pm \Delta \tilde{W}_n$$ весового вектора $$H_{\chi} = \varphi(W_{n} \pm\Delta\tilde{W}_n)$$. Для этого достаточно (рис. 4.31) компоненты вектора порогов вычислять непрерывно с помощью оператора линейной свертки, но для фиксированного множества значений входного вектора $$\{\breve{Х}_n^{h(j)}\}$$, определяющего левые и правые границы интервалов "эквизнач-ности" заданной булевой функции на скалярной оси $$L $$.
(рис 4.31) Схема (М)ПМ "дочерней" нейро-ЭВМ с F_{a}(X^{s}_{n}) = constПоэтому, если формальный нейрон ориентирован на использование в "дочерней" нейро-ЭВМ, необходимо фиксировать подмножество значений входного вектора, по отношению к которому и определяется положение компонент вектора порогов. В этом случае правила выбора компонент вектора порогов для настройки (много)пороговой модели на реализацию, например, образующей булевой функции $$F_{ug} (x_{3},x_{2},x_{1}) = x_{3}x_{2}x_{1} + x_{3}x_{2}x_{1 }$$ имеют вид $$h_1 = - 0,5$$ ; $$h_2 = + 0,5$$ ; $$h_3 = w_3 +w_{2}+w_{1}-0,5$$ и $$h_4 = w_3 +w_{2}+w_{1} + 0,5$$, система решающих пороговых правил имеет вид $$h_1 < l_{s} \le h_2 \Rightarrow f_s:=1$$ и $$h_3 < l_{s} \le h_4 \Rightarrow f_s:=1$$. В результате вариации весового вектора (заштрихованные клетки табл. 4.8) приводят к тому, что система решающих правил
"отслеживает" положение одних и тех же (по индексу $$s$$ ) значений $$l_{0}$$ и $$l_{7}$$ на упорядоченном множестве значений свертки $$\hat{l}_s$$, то есть $$F_{129}(x_3, x_{2}, x_1) = const$$ при всех вариациях весового вектора.
Для достижения минимальной избыточности управления "материнской" нейро-ЭВМ необходимо минимизировать количество образующих булевых функций, а вектор порогов минимальной размерности для каждой образующей определить с помощью системы решающих правил, указывающих только ранги значений свертки, между которыми необходимо размещать значения компонент вектора порогов. Поэтому если формальный нейрон ориентирован на использование в "материнской" нейро-ЭВМ, то для каждой образующей булевой функции необходимо зафиксировать не сами значения компонент вектора порогов, а только места их расположения (по индексу $$s$$ ) на упорядоченном множестве значений свертки $$\{\hat{l}_s\}$$ (рис. 4.32).
(рис 4.32) Схема (М)ПМ "материнской" нейро-ЭВМ c ранговой системой решающих правилВ частности, для настройки (много)пороговой модели на реализацию той же образующей булевой функции $$F_{129} (x _{3}, x _{2}, x _{1})$$ и сопряженного с ней класса необходимо, чтобы значение одного порога было больше минимального значения $$\{\hat{l}_s\}$$, а другого - меньше максимального значения $$\hat{l}_s$$. В результате такой ранговой "фиксации" вектора порогов (заштрихованные клетки табл. 4.9) вариации знаков весового вектора приводят к настройке (много)пороговой модели на реализацию еще трех булевых функций: $$F_{68}(x_{3},x_{2},x_{l}) = \bar{x}_{3}\bar{x}_{2}x_{1} + x_{3}x_{2}\bar{x}_{l}$$, $$F_{36} (x_{3},x_{2},x_{l}) = \bar{x}_{3}x_{2}\bar{x}_{l} + x_{3}\bar{x}_{2}x_{l}$$ и $$F_{24} (x_{3},x_{2},x_{1}) =\bar{x}_{3}x_{2}x_1+ х_{3}\bar{x}_{2}\bar{x}_{1}$$, с двукратной избыточностью управления, так как при фиксированном векторе порогов только половина вариаций знака компонент весового вектора порождает дополнительные булевы функции.
На основе приведенных данных можно заключить:
Для получения официальных документов о завершении программы дополнительного профессионального образования (удостоверения о повышении квалификации, дипломов о профессиональной переподготовке и MBA) необходимо предоставить:
Внимание! Вы можете не заказывать доставку бумажной версии официального документы, а скачать его в электронном виде и распечатать самостоятельно. Информация о выданном документе в течение 1 месяца загружается в Федеральную информационную систему «Федеральный реестр сведений о документах об образовании и (или) о квалификации, документах об обучении» - ФИС ФРДО.
Доступ на новый сайт осуществляется с использованием адреса электронной почты, который был указан вами при регистрации на "старом". Мы постарались перенести все ваши данные с прежнего ресурса, однако не исключена вероятность потери части информации.
При возникновении проблемы со входом, воспользуйтесь функцией сброса пароля
Если вы обнаружите несоответствия, пожалуйста, сообщите нам.