НОУ ИНТУИТ | Эволюционные вычисления. Лекция 12: Муравьиные алгоритмы

Учитесь и получайте официальные документы БЕСПЛАТНО. Вы можете поддержать наш проект.

Твой путь к знаниям!

Опубликован: 10.10.2014 | Уровень: для всех | Доступ: платный | ВУЗ: Московский государственный университет путей сообщения

|

Вам нравится? Нравится 18 студентам

| Поделиться |

Поддержать программу

12.6 Q-муравьиная система

В [10] разработана модификация СМК (в современной классификации – Ant-Q), в которой правило локального изменения концентрации феромона реализовано на основе метода Q-обучения (Q-learning).

Пусть $\mu_{ij}(t)$ обозначает AQ-значение дуги (i,j) в момент . Тогда правило перехода для этой дуги определяется следующим образом

$j=\begin{cases}\arg\max_{u\in N_i^k(t)}\{\mu_{iu}^{\alpha}(t)\eta_{iu}^{\beta}(t)\}},&\mbox{если $r\le r_0$}\\J,&\mbox{если $r>r_0$}\end{cases}.$

( 12.25)

Здесь коэффициенты $\alpha,\beta$ определяют важность AQ-величин $\eta_{ij}$ и эвристической информации . AQ-величины отражают предпочтительность перехода (i,j) . В уравнении (12.25) – случайная переменная, значение которой выбирается в соответствии с распределением, которое определяется функцией AQ-величин $\mu_{ij}$ и $\eta_{ij}$ . Предложено три различных правила для выбора значения :

псевдослучайный выбор, где следующая вершина случайным образом выбирается из множества в соответствии с однородным распределением;
псевдослучайный пропорциональный выбор, где $j\in V$ выбирается в соответствии со следующим распределением

$p_{ij}^k(t)=\begin{cases}\frac{\mu_{ij}^{\alpha}(t)\eta_{ij}^{\beta}(t)}{\sum_{u\in N_j^k}\mu_{ij}^{\alpha}(t)\eta_{ij}^{\beta}(t)},&\mbox{если $j\in N_i^k(t)$}\\0,&\mbox{если $j\notin N_i^k(t)$}\end{cases}.$ ( 12.26)
случайный пропорциональный выбор соответственно (12.25) с .В [10] отмечено, что псевдослучайный пропорциональный выбор лучше показал себя при решении задачи коммивояжера.

AQ-величины обучаются с использованием следующих правил коррекции:

$\mu_{ij}(t+1)=(1-\rho)\mu_{ij}(t)+\rho\left(\Delta\mu_{ij}(t)+\substack{\gamma\max\{\mu_{iu}(t)\}\\u\in N_j^k(t)}\right),$ ( 12.27)

где $\rho$ -коэффициент переоценки (по аналогии с испарением феромона) и $\gamma$ - шаг обучения. Отметим, что при $\gamma=0$ уравнение (12.27) сводится к уравнению (12.19) . В Ant-Q уравнение (12.27) применяется для каждого муравья после каждого нового выбора , но с $\Delta\mu_{ij}(t)=0$ . Эффект заключается в том, что AQ-величины, связанные с дугой , уменьшаются путем умножения на $(\rho-1)$ каждый раз, когда дуга выбирается в потенциальное решение. В тоже время AQ-величина корректируется пропорционально AQ-величине лучшей дуги .