Нейросетевые модели пошаговой оптимизации, маршрутизации и тактических игр

Маршрутизация по смежным узлам (технология Wi-Fi) на основе логической нейронной сети с обратными связями

WI-FI - это современная беспроводная технология передачи цифровых данных по радиоканалам.

Телекоммуникационная сеть на основе технологии Wi-Fi, охватывающая значительную территорию, представлена на рис.9.6.

Рис. 9.6. Структура телекоммуникационной сети

Т. к. предполагается применение беспроводной связи небольшого радиуса действия, то сеть характеризуется рассмотрением лишь "близких" связей со смежными узлами и исключением транзитивных связей.

Таким образом, предполагается, что каждый узел связан со множеством смежных узлов. Любая передача пакета данных из узла-отправителя узлу-адресату осуществляется с помощью последовательности передач между смежными узлами. Так что маршрут не формируется весь сразу, а реализуется динамически с учётом приоритетного обращения к смежным узлам и загрузки этих узлов.

Первоначально выбор смежного узла для передачи по адресу производится на основе приоритетного направления для данного адреса назначения. Однако окончательный выбор производится динамически в зависимости от текущей загрузки смежных узлов. Каждое "смещение" пакета в смежный узел немедленно ставит вопрос о его дальнейшем "смещении" - до достижения адреса.

На каждом i-м узле есть таблица предпочтительного смещения при передаче данных на все прочие узлы (кроме, конечно, смежных). Это предпочтение обусловлено величиной сокращения расстояния до узла – адресата. Такая таблица имеет вид:

Таблица 9.1.

Узел (адрес) передачи	Вес смежного узла в направлении передачи
			.....
.....	.....	.....	.....	.....
			.....

Здесь используется упрощённая индексация узлов, где R – количество узлов, в которые возможна передача пакетов из данного узла через один из смежных, K – количество смежных узлов.

Примечание 1: Если адрес передачи в действительности совпадает с одним из смежных узлов, то дальнейшая передача, уже по адресу, выполняется безальтернативно.

Примечание 2: Может быть рассмотрен случай, когда для повышения надёжности передача пакета осуществляется не единственному смежному узлу; в этом случае можно считать, что маршрут резервируется.

На рис.9.7. показано распределение приоритетов смещения из узла в узел . Смежные узлы для простоты пронумерованы.

При выборе весов учитывается территориальное взаимное расположение узлов. Так, очевидно, что приоритетной является та передача, при которой пакет приближается к узлу назначения, хотя в динамике загрузки сети может оказаться, что "кружной" путь ближе "прямого".

Рис. 9.7. Пример выбора весов приоритетного направления

После выбора предпочтительного смещения пакета в смежный узел, необходим анализ текущей загруженности таких узлов. Только в результате такого анализа может быть окончательно выбран или отвергнут узел смещения.

Предполагается, что каждый узел имеет буфер, в котором накапливаются пакеты для дальнейшей отправки. Перегрузка буферов должна блокировать приём новых пакетов. В этом случае возможна блокировка передач по направлениям или в сети в целом. Так как потерь информации не предполагается, то пользователь должен быть информирован о этой перегрузке для повторения запроса позже.

Управление передачей пакетов производится с помощью логической нейронной сети, которая первоначально использует для каждого адреса предпочтительные направления передачи пакетов смежным узлам, найденные по табл. 9.1. Веса этих смещений используются в качестве весов синапсических связей. С помощью обратных связей, осуществляемых смежными узлами, передаются состояния загрузки этих узлов, которые окончательно влияют на выбор смежного узла для передачи пакета. Нейронная сеть фрагментарно распределена между всеми узлами так, чтобы отражать лишь информацию, связанную только с конкретным узлом. Каждый фрагмент нейронной сети (как и табл. 9.1) реализуется вычислительными средствами узла.

Типовой фрагмент логической нейронной сети, размещённый на i-м узле, представлен на рис.9.7. Здесь – предпочтительные веса смежных узлов по адресу передачи, - k – отрицательный вес обратной связи (k – коэффициент загрузки буфера смежного узла).

Функция активации в данном случае имеет вид:

, если эта разность превышает порог h, 0 в противном случае. Здесь VA = 1 в случае запроса по адресу А; предполагается, что инициализация посылки веса обратной связи смежным узлом равносильна единичному сигналу, подаваемому по обратной связи.

Порог h выбирается экспериментально так, чтобы предпочтение могло быть выбрано между не полностью загруженными узлами.

увеличить изображение
Рис. 9.8. Фрагмент логической нейронной сети, размещённый на узле, во взаимодействии со смежными узлами

Таким образом, в результате обратной связи максимального возбуждения может достичь совсем не тот смежный узел, которому первоначально было оказано предпочтение.

Общим критерием эффективности управления является максимизация пропускной способности сети. Частными критериями являются: 1) Минимум среднего времени выполнения запроса на передачу пакета в сети; 2) минимум времени ожидания пользователем возможности выполнения своих запросов.

Нейросетевой "подсказчик" в тактической игре

Схема пошаговой оптимизации наилучшим образом ложится на схему игры, где последовательные действия одного или нескольких игроков приводят к успеху, обусловленному правилами.

Единичное действие, чаще всего называемое ходом, должно либо статистически, либо комбинационно приводить к увеличению "качества" или к уменьшению "штрафа" на пути к победе (или к поражению). И здесь большое значение имеет не только длительный анализ всех возможных продолжений, грозящий цейтнотом, но и огромный опыт и фактические знания, переродившиеся в интуицию и позволяющие действовать механически в условиях блиц-турнира. Следовательно, должны быть реализованы механизмы запоминания и извлечения опыта и знаний в пошаговых действиях. Основным средством такой реализации является нейросеть — как природная, так и искусственная.

Рассмотрим игру в шахматы. Аналогом пункта в транспортной сети здесь является позиция на шахматной доске, состоящей из 64 клеток. Каждая клетка может быть пустой или иметь значение символа занимаемой фигуры.

То есть, каждая клетка i может принимать значение из множества {, пешка белая, ладья белая, конь белый, слон белый, ферзь белый, король белый, пешка чёрная, ладья чёрная, конь чёрный, слон чёрный, ферзь чёрный, король чёрный}. При этом позиции являются симметричными относительно цвета фигур. Игроку, прибегающему к услугам "подсказчика", главное — указать: "фигуры мои — фигуры противника". Играть можно "самому с собой", как бы поворачивая доску после очередного хода. (Если "подсказчик" играет сам с собой, логично предположить, что такая игра всегда будет сводиться к ничьей?)

Тогда рецепторный слой однослойной логической нейронной сети должен состоять (рис.9.9) из 64 групп нейронов.

Каждая группа закреплена за одной клеткой и, в свою очередь, состоит из 13 нейронов-рецепторов. Каждый рецептор закреплён за одним из возможных значений клетки.

Ясно, что в подавляющем числе случаев значение клетки достаточно задавать с помощью единичного значения возбуждения единственного рецептора из тринадцати, соответствующих этой клетке. Так можно задавать позицию для определения следующего хода. Однако можно предусмотреть и неполную, предполагаемую с некоторой достоверностью информацию о значении клетки. Это справедливо, например, для случая игры "вслепую", тем более в сеансе одновременной игры, когда детали ситуации на отдельной доске могут быть забыты.

Целесообразно использовать приведённую в разделе 9.2 функцию активации с единичными синапсическими весами. Значения порогов несущественны; они могут быть положены равными нулю.

увеличить изображение
Рис. 9.9. Нейросетевой "подсказчик"

Комбинации возбуждения рецепторов должны приводить, в соответствии с непосредственными связями, к максимальному значению возбуждения того нейрона выходного слоя, с которым связан текст — рекомендация следующего хода. Текст может включать исторические ссылки, комментарии, мультимедийные эффекты и др.

Как говорилось, возможно попеременное обращение игроков к нейросети - "подсказчика". Тогда все нечётные обращения соответствуют белым, чётные — чёрным. Однако интереснее игра живого шахматиста с компьютером.

Конечно, анализ колоссального опыта гроссмейстеров и литературы по теории шахмат не способен по всем возможным ситуациям и для белых, и (симметрично) для чёрных определить абсолютно правильные ходы.

Да и объём информации колоссален! Останутся шахматные позиции без рекомендаций. Здесь необходимо исследовать, насколько указание нейрона, наиболее возбудившегося, может быть принято в качестве совета, — то есть, насколько это хотя бы статистически соответствует правильному решению или, по крайней мере, не приводит к снижению качества. Следует ли "учить" нейросеть решению по данной комбинации или достаточно использовать её способности ассоциативного мышления?

На этом пути может производиться совершенствование "подсказчика", что повышает интерес именно игры человека с машиной.

Ключевые термины

Пошаговая оптимизация – последовательные, потактовые, циклические действия по максимизации (минимизации) целевой функции.

Динамическая (пошаговая) маршрутизация – нахождение целесообразного пункта смещения в транспортной сети для достижения конечного пункта назначения.

Wi-Fi-технология – беспроводная технология передачи информационных (в т. ч. голосовых) пакетов по сети смежных узлов от узла передачи до узла назначения.

Подсказчик (в тактической игре) рекомендует очередной ход, максимизирующий целевую функцию на основе текущей ситуации.

Краткие итоги

1. В условиях динамически меняющейся ситуации решение по минимизации некоторой целевой функции приходится принимать по шагам. Это характерно для задач оперативного планирования, при организации движения многих объектов в транспортной сети (при разделении её ресурсов), при многонаправленной одновременной передаче информационных пакетов в сети Wi-Fi, в тактических игровых задачах и др.
2. При выборе стратегии поведения на каждом шаге целесообразно использовать опыт, зафиксированный в базе знаний и записанный виде логической нейронной сети.
3. В транспортных задачах целесообразно находить смещение в смежный узел по разности координат пункта назначения и пункта текущего нахождения.
4. Занятие магистрали объектом может быть учтено с помощью переменного веса этой магистрали при организации обратной связи. Так могут быть соблюдены интервалы движения по магистралям.
5. Возможна организация альтернативного смещения в зависимости от загрузки смежных узлов.
6. Моделирования движения в сети необходимо для составления оптимальных расписаний.
7. Wi-Fi-технология характеризуется беспроводной связью, но возможной перегрузкой узлов. Альтернативная передача информационных пакетов смежному узлу может учитывать как предпочтительное направление смещения, так и (с помощью обратных связей) текущую загрузку смежных узлов.
8. На основе логических нейронных сетей могут строиться подсказчики в тактических играх.

Вопросы:

1. В каких задачах возникает необходимость в пошаговом принятии решений?
2. Какие факторы порождают неопределённость при совместном движении многих объектов в транспортной сети?
3. Как строится логическая нейронная сеть для нахождения пункта смещения при следовании объекта к конечному пункту?
4. Как с помощью переменного веса обратной связи предусмотреть задержку в занятии одного пути разными объектами?
5. Как производится альтернативное смещение в смежный узел в зависимости от текущей загрузки этих узлов?
6. Как снизить влияние конфликтов при перегрузке узлов и повысить пропускную способность сети Wi-Fi с помощью адаптивного алгоритма передачи информационного пакета смежному узлу на основе применения логической нейронной сети с обратными связями?
7. В чём заключается идея подсказчика в тактической игре?

Дополнительные материалы к лекции, Вы можете скачать здесь.