НОУ ИНТУИТ | Нейрокомпьютерные системы. Лекция 3: Задача линейного разделения двух классов

Учитесь и получайте официальные документы БЕСПЛАТНО. Вы можете поддержать наш проект.

Регистрация Вход

Твой путь к знаниям!

|

Вам нравится? Нравится 20 студентам

| Поделиться |

Поддержать программу

Обучение по всему задачнику

Построим обучающую выборку

$\begin{align*} (V^1, \ldots, V^n,V^{n+1}, \ldots, V^{n+m}) = (X^1, \ldots, X^n,- Y^1, \ldots, - Y^m). \end{align*}$

В обучающей выборке выделяются все $V_i, i{\in} (1,\ldots,n,{n{+}1}, \ldots, {n{+}m})$ , для которых не выполняется неравенство (V^i,w) > 0 , где — вектор весовых коэффициентов нейрона. Обозначим это множество через Err. Вектор модифицируется только после проверки всей обучающей выборки:

$\begin{align*} w = w + \alpha \sum_{V^{i}\in Err} V^{i}. \end{align*}$

Не требуется хранить все множество Err - достаточно накапливать сумму тех V^i , на которых персептрон ошибается:

$\begin{align*} \Delta w = w + \alpha\sum_{V^{i}\in Err}V^{i}. \end{align*}$

Как показывают испытания, обучение по всему задачнику, как правило, сходится быстрее, чем обучение по отдельным примерам.

Промежуточный вариант: обучение по страницам

Обучающее множество разбивается на подмножества (страницы) и задается последовательность прохождения страниц: столько-то циклов по первой странице, потом столько-то по второй и т. д. Коррекция вектора проводится после прохождения страницы. Задачник разбивается на страницы по различным эвристическим правилам, например, по правилу "от простого к сложному". Как показывает практика, чаще всего наилучшим является обучение по всему задачнику, иногда (при большом задачнике) - обучение по страницам, размеры которых определяются объемом доступной оперативной памяти.

Геометрическая интерпретация линейного разделения классов

Пусть в нейроне в качестве функции активации используется ступенчатая функция (см. формулу (1) Лекции 2). Линейное разделяющее правило делит входное пространство на две части гиперплоскостью, классифицируя входные векторы как относящиеся к 1-му классу (выходной сигнал - 1) или 2-му классу (выходной сигнал - 0). Критическое условие классификации (уравнение разделяющей гиперплоскости)

$(w,x) = \sum_{i=0}^{N} w_i x_i = 0$

В { }-мерном пространстве (пространстве входных сигналов) разделяющая гиперплоскость перпендикулярна вектору $w' = (w_1, \ldots, w_N).$ Вектор входных сигналов $x'=(x_1, \ldots, x_N)$ дает выход , если его проекция x_w' = (x',w')/||w'|| на вектор больше, чем расстояние -w_0/||w'|| от нуля до гиперплоскости. В N+1 -мерном (расширенном) пространстве гиперплоскость, описываемая уравнением (w,x)=0 , ортогональна вектору и проходит через начало координат пространства признаков (образов).

Пример

В двухмерном пространстве входных сигналов уравнение гиперплоскости имеет вид

При w_1 = w_2 = 1 и w_0 = -1.5 получаем уравнение ${x_1 + x_2 - 1,5 = 0}$ гиперплоскости, которая представлена на рис.1 пунктирной линией, пересекающей оси координат в точках (1.5, 0) и (0, 1.5) соответственно. Здесь: w=(1,1) — нормаль к разделяющей гиперплоскости; — вектор, относящийся к первому классу, поскольку проекция (w,P) вектора на нормаль больше -w_0/||w|| ; — вектор, относящийся ко второму классу, поскольку (w,Q) < -
w_0/||w||.