Селекция признаков

10.1. Задача селекции признаков

Рассмотрим этапы решения задачи распознавания образов:

Пусть

Тогда задача селекции задается следующим образом: $$X\rightarrow Y$$.

10.1.1. Постановка задачи селекции признаков.

Пусть задан вектор признаков $$X\in R^m$$. Среди них необходимо выбрать наиболее информативные, т.е. получить новый вектор признаков $$Y\in R^l$$, причем $$l<m$$.

Определение. Процедура выделения из множества признаков меньшего подмножества с наилучшим сохранением информативности для классификации называется селекцией признаков.

Суть выбора признаков – это выделение признаков, которые приводят к большим расстояниям между классами и к малым внутри классов.

Зачем нужна селекция признаков?

Основной мотивацией для сокращения числа признаков является уменьшение вычислительной сложности. Наряду с признаками, имеющими низкие классификационные способности весьма вероятна ситуация двух хороших признаков (с почти равными классифицирующими способностями), сильно коррелированных между собой.

Вторая причина для уменьшения числа признаков – повышение общности классификатора.

10.1.2. Общность классификатора.

Пусть

Ясно, что чем больше степеней свободы, тем легче настроить классификатор. Обозначим через $$\frac{N}{k}$$ характеристику общности. Тогда получаем, что, чем больше $$\frac{N}{k}$$, чем выше общность классификатора.

Чем больше признаков, тем больше $$k$$. Поэтому при ограниченном $$N$$ уменьшение числа признаков согласуется с уменьшением $$k$$, т.е. с усложнением настройки классификатора.

Различают скалярную и векторную селекцию признаков. При скалярной селекции рассматривается отдельно один признак из данного множества. Таким образом, получили одномерную задачу. При векторной селекции одновременно исследуются свойства группы признаков.

10.2. Предобработка векторов признаков

Пусть задано множество признаков.

Селекции признаков предшествует предобработка, позволяющая привести их в единый масштаб измерений и произвести некоторые дополнительные улучшения.

Основные операции предобработки описываются следующими тремя пунктами.

10.2.1. Удаление выбросов – точек, лежащих "очень далеко" от среднего значения. Обычно измеряется расстояние в средних отклонениях, например, $$2\sigma\sim 95\%$$, $$3\sigma\sim 99\%$$ для нормального распределения.

10.2.2. Нормализация. Признаки, имеющие большие значения, могут влиять на классификатор сильнее остальных, что искажает правильность классификатора. Поэтому необходимо уменьшить их влияние путем, который носит название нормализации. Пусть

Тогда$$\overline{x}^{(k)}=\frac{1}{N}\sum_{i=1}^N x_{i_k},\;k=1,2,\ldots,l$$ есть усреднение признака (фактически его математическое ожидание).

Обозначим через$$(\sigma^{(k)})^2=\frac{1}{N-1}\sum_{i=1}^N(x_{i_k}-\overline{x}^{(k)})^2$$ оценку разброса. Тогда нормализованные признаки задаются следующим образом$$\widetilde{x}_{i_k}=\frac{x_{i_k}-\overline{x}^{(k)}}{\sigma^{(k)}}.$$

10.2.3. Пропуск данных (потери). По многим прецедентам могут быть известны не все признаки. В таком случае, если данных много, то можно отобрать те у которых набор признаков одинаковый. Если же отбрасывать признаки нельзя, то их можно дополнить, например, с помощью эвристик.

10.3. Селекция на основе проверки статистических гипотез

Этот метод относится к скалярной селекции признаков.

Рассмотрим значение признаков как реализацию случайных величин. Методами математической статистики можно выяснить их распределение. Если распределение совпадает для разных классов, то признак не различает эти классы; если распределения различны, то признак их различает. Такова суть метода селекции на основе проверки статистических гипотез.

Таким образом, задача скалярной селекции на основе проверки статистических гипотез решается путем оценивания дискриминантной способности каждого отдельного признака.

10.3.1. Постановка задачи. Пусть $$x$$ признак. Пусть также известны его значения для разных классов $$\Omega_1$$ и $$\Omega_2$$. Тогда задача состоит в оценке, существенно ли различаются распределения признака для разных классов.

Примем следующие соглашения. Обозначим через $$H_0$$ и $$H_1$$ две гипотезы:

10.3.2. Общая теория проверки гипотез.

Пусть

Тогда гипотезы примут вид: $$H_0:\theta\neq\theta_0$$ и $$H_0:\theta\=\theta_0$$. Задача состоит в построении интервала $$D$$ такого, что в $$D$$ высокая вероятность выполнения гипотезы $$H_0$$.

Пусть $$\overline{D}=R\backslash D$$ – дополнение к $$D$$. Тогда, если $$q$$ попадает в $$D$$, то принимается $$H_0$$, иначе отвергается.

Назовем вероятностью ошибки решения следующую величину:$$P(q\in\overline{D}|H_0)=\rho,$$ причем $$\rho$$ выбирается заранее и называется уровнем значимости:$$\rho=\int\limits_{\overline{D}}P_q(q|H_0)dq.$$

Случай известной дисперсии.

Пусть

У нормализованных признаков дисперсия равна единице, следовательно, дисперсия известна.

Оценка $$\mu$$ задается следующим образом:$$\overline{\xi}=\frac{1}{N}\sum_{i=1}^N\xi_i,$$ причем $$E\overline{\xi}=\mu,\;\mu=\theta,\;\widetilde{\mu}=\theta_0$$. Тогда гипотезы примут вид: $$H_0:\mu=\widetilde{\mu}$$ и $$\mu\neq\widetilde{\mu}$$.

В данном случае статистика имеет вид:$$q=\frac{\overline{\xi}-\widetilde{\mu}}{\left(\frac{\delta}{\sqrt{N}}\right)},$$ где $$\frac{\delta}{\sqrt{N}}$$ – среднеквадратичное отклонение для $$\overline{\xi}$$.

По центральной предельной теореме имеем:$$P_{\overline{\xi}}(x)=\frac{\sqrt{N}}{\sqrt{2\pi}\delta}\exp\left(-\frac{N(x-\widetilde{\mu})^2}{\delta^2}\right).$$

Далее, $$q\sim N(0,1)$$. Следовательно, находим доверительный интервал $$D$$ по $$\rho$$: т.к. $$\Phi(x_{\rho})=\rho$$, то $$D=\left\lfloor-x_{\rho};x_{\rho}\rfloor\right$$. Для уровня значимости $$\rho$$ интервал принятия гипотезы $$D=\left\lfloor-x_{\rho};x_{\rho}\rfloor\right$$ выбирается как интервал, в котором q лежит с вероятностью $$1-\rho$$.

Случай неизвестной дисперсии. Если дисперсия неизвестна, то оценка$$\widetilde{\delta}^2=\frac{1}{N-1}\sum_{i=1}^N(\xi_i-\overline{\xi})^2$$ есть несмещенная оценка дисперсии и$$q=\frac{\overline{\xi}-\widetilde{\mu}}{\frac{\widetilde{\delta}}{\sqrt{N}}}$$ есть статистика (не гауссова величина).

Если $$\overline{\xi}$$ гауссова величина, то $$q$$ имеет $$t$$ -распределение Стьюдента с $$N-1$$ степенями свободы. Тогда доверительный интервал $$D=\left\lfloor-x_{\rho};x_{\rho}\rfloor\right$$ вычисляется по таблицам.

10.3.3. Приложение к селекции признаков

Наша основная забота теперь – проверить отличие $$\mu_1$$ и $$\mu_2$$ между средними значениями признака в двух классах.

Пусть

$$x_1,\ldots,x_N$$ – значение признака в первом классе со средним $$\mu_1$$. Соответственно,

$$y_1,\ldots,y_N$$ - значение признака во втором классе со средним $$\mu_2$$.

Предположим, что дисперсии одинаковы в обоих классах. Пусть $$\mu_1$$ и $$\mu_2$$ – средние для значений признаков в первом и втором классе соответственно. Тогда соответствующие гипотезы имеют вид: $$ H_0: \Delta \mu=\mu_1 - \mu_2=0, \\ H_1: \Delta \mu \neq 0. $$

Для решения о близости двух классов мы проверим эти гипотезы.

Пусть $$\xi_i=x_i-y_i$$.

Гипотеза о равенстве параметров распределения говорит о попадании в этот интервал величины $$\xi=x-y$$, где $$x$$ и $$y$$ – случайные величины, причем $$ E(\xi)=\mu_1 - \mu_2 \\ \delta_{\xi}^2=2 \delta^2 $$

Для случая неизвестной дисперсии статистика имеет вид:$$q=\frac{(\overline{x}-\overline{y})-(\mu_1-\mu_2)}{s_{\xi}\sqrt{\frac{2}{N}}}$$ и несмещенная оценка дисперсии записывается следующим образом:$$s_{\xi}^2=\frac{1}{2N-2} \left( \sum_{i=1}^N(x_i-\overline{x})^2+\sum_{i=1}^N(y_i-\overline{y})^2 \right)$$ $$s_{\xi}^2$$ имеет $$\chi^2$$ распределение с $$2N-2$$ степенями свободы.

Если $$x, y$$ – нормально распределенные с одинаковыми дисперсиями, тогда случайная величина $$q$$ имеет $$t$$ -распределение Стьюдента с $$2N-2$$ степенями свободы.

Если числа прецедентов в обоих классах не совпадают, то формулы модифицируются.

10.3.4. Мера различия плотностей признаков.

Если средние значения различаются, и дисперсии очень большие, то признак может не обладать хорошими разделительными свойствами. Средние значения могут не совпадать и хорошо разделяться, но при больших дисперсиях признак становиться неудовлетворительным. Поэтому нужна информация о перекрытиях между классами. Рассмотрим способ анализа информации о перекрытии плотностей распределения признаков.

Принимать решение, к какому классу отнести объект будем по значению $$t$$. Пусть $$\alpha(t)$$ и $$\beta(t)$$ – ошибки при пороге классификации $$t$$.

Идеальным случаем является случай, когда $$P_1(x)=P_2(x)$$, т.е. у признака нет селективных способностей: $$\alpha+\beta=1$$. Рассмотрим параметрическую кривую: $$(\alpha(t),1-\beta(t))$$. Тогда в качестве меры различия распределений можно использовать площадь разности между кривой реального случая и идеального случая, которая выражается следующим интегралом$$\int_0^1|(1-\beta)-\alpha|d\alpha.$$

10.4. Векторная селекция признаков. Мера отделимости классов

Ранее обсуждались дискриминантные свойства отдельных признаков. Теперь рассмотрим дискриминантные способности векторов признаков.

Пусть

Тогда задача выглядит следующим образом:$$C(X_r)\rightarrow\max_{X_r\leq X}.$$

Существует различные подходы к описанию меры отделимости. Мы рассмотрим два таких подхода:

10.4.1. Дивергенция. Будем рассматривать Байесовское правило:$$P(\Omega_1|x)><P(\Omega_0|x),$$ по которому выбирается $$\Omega_1$$. Ошибка классификации задается следующим интегралом:$$P_l=P(\Omega_0)-\int\limits_{R_1}[P(\Omega_1|x)-P(\Omega_0|x)]p(x)dx$$

Пусть

Информацию о разделяющих свойствах вектора признаков можно записать следующим образом:$$\ln \left( \frac{P(\Omega_1)}{P(\Omega_0)}\cdot\frac{P(x|\Omega_1)}{P(x|\Omega_0)} \right).$$

Если$$\frac{P(\Omega_1)}{P(\Omega_0)}=const,$$ то$$\int_{-\infty}^{+\infty} \left[ \ln\frac{p(x|\Omega_1)}{p(x|\Omega_0)} \right] p(x|\Omega_1)dx=D_{01}$$ где $$D_{01}$$ – характеристика отделимости. Аналогично:$$D_{10}=\int\limits_{-\infty}^{+\infty} \left[ \ln\frac{p(x|\Omega_0)}{p(x|\Omega_1)} \right] p(x|\Omega_0)dx.$$

Обозначим через $$d_{01}=D_{01}+D_{10}$$ дивергенцию разделения классов по вектору признаков $$x$$. Аналогично для случая многоклассовой задачи $$d_{ij}$$ – дивергенция классов $$\Omega_i$$ и $$\Omega_j$$. Тогда$$d=\sum_{i=0}^k\sum_{j=0}^k P(\Omega_i)P(\Omega_j)d_{ij}.$$

Дивергенция есть мера расстояния между плотностями. Она имеет следующие свойства:

$$d_{ij}\geq 0;\; d_{ij}=0$$ при $$i=j;\;d_{ij}=d_{ji}$$. Если компоненты вектора признаков независимы, можно показать, что $$d_{ij}(x_1,x_2,\ldots,x_l)=\Sigma d_{ij}(x_r)$$.

Дивергенция учитывает различия и в средних, и в дисперсии. Однако, она очень чувствительна к разности средних, что затрудняет использование.

10.4.2. Мера на основе матриц рассеивания

Главный недостаток многих критериев отделимости классов – сложность вычисления, если не проходит предположение о гауссовых плотностях. Мы рассмотрим простой критерий, не требующий нормальности распределения, построенный на информации, относящейся к тому, как вектора признаков разбросаны в пространстве.

Пусть

$$S_i$$ – матрица ковариации, $$S_i=E\left\lfloor(x-\mu_i)(x-\mu_i)^T\right\rfloor$$, где $$x$$ – вектор признаков и $$\mu_i$$ – среднее значение по $$x$$, принадлежащим данному классу, $$\mu_i=E(x|\Omega_i)$$.

$$S_W=\sum_{i=1}^M P_i S_i$$ – матрица внутриклассового рассеивания есть мера дисперсии признаков, где $$P_i$$ – априорная вероятность данного класса, $$P_i=P(\Omega_i)$$.

$$S_b=\sum_{i=1}^M P_i (\mu_i-\mu_0)(\mu_i-\mu_0)^T$$ – матрица внеклассового рассеивания, где $$\mu_0=\sum_{i=1} P_i \mu_i$$ – общее среднее – разброс относительно общего среднего всех классов (центр тяжести).

$$S_m$$ – смешанная матрица рассеивания (ковариация относительно общего среднего), $$S_m=E\left\lfloor(x-\mu_0)(x-\mu_0)^T\right\rfloor=S_w+S_b$$.

Определение. Следом (обозначается $$trace$$ ) называется сумма диагональных элементов матрицы.

Пример. Пусть задана матрица $$A={\|a_{ij}\|}_{l\times l}$$. Тогда $$trace(A)=\sum_{i=1}^l a_{ii}$$.

Пусть $$J_1=\frac{trace(S_m)}{trace(S_w)}}$$ – критерий, принимающий большие значения, когда образы хорошо кластеризуются вокруг своих средних в границах каждого класса и кластеры разных классов хорошо разделены. Иногда вместо $$S_m$$ используют $$S_b$$. Тогда получаем задачу $$J_1\rightarrow\max$$.

Вместо критерия $$J_1$$ можно использовать другие критерии:$$ J_2=\frac{|S_m|}{|S_W|}\left|S_m S_W^{-1}\right|,\\ J_3=\left\{S_m S_W^{-1}\right\} $$

Последний критерий очень удобен на практике для аналитических выкладок.

10.4.3. Стратегия наращивания вектора признаков. Стратегия наращивания вектора признаков заключается в использовании признаков, дающих наибольший прирост меры отделимости.

Рассмотрим алгоритм наращивания вектора признаков. Пусть из $$l$$ признаков нужно отобрать $$m$$.

Рассмотрим множество признаков $$\{x_1\},\{x_2\},\ldots,\{x_l\}$$,. Необходимо найти признак, имеющий наибольшую селективную способность. Это аналогично нахождению $$\max_{x_i}C(\{x_i\})$$. Пусть $$X_1=\{x_j\}$$, где $$\{x_j\}=\arg\max_{\{x_i\}}C(\{x_i\})$$.

Пусть $$X_r$$ – построенное множество признаков. Далее, $$X\backslash X_r=\max_{X\in X\backslash X_r}C(X_r\bigcup\{x_i\})$$.

Условие остановки: $$C(X_{r+1})-C(X_r)<\varepsilon$$, либо $$r=m$$.

10.4.4. Стратегия сокращения вектора признаков

Пусть $$X$$ – множество признаков.

Шаг алгоритма: набор признаков $$X_r$$, чтобы выполнялось $$\max_{X_i\leq X_r}C(X_r\backslash\{x_i\})$$ и $$X_{r-1}=X_r\backslash\{x_i\}$$.

Условие остановки: $$|C_{t+1}-C_t|<\varepsilon$$, либо $$r=m$$.

10.4.5. Выбор стратегии

Пусть $$l:\;1<l<m$$. Если $$l>\frac12$$, то используем стратегию сокращения вектора признаков. Если $$l<\frac12$$, то используем стратегию наращивания вектора признаков.

В качестве альтернативы можно использовать сравнение $$l-m$$ с $$l$$. Если $$l-m<$$, то используем стратегию сокращения вектора признаков. Если $$l-m>l$$, то используем стратегию наращивания вектора признаков.

Обе стратегии являются жадными.

Определение. Стратегия называется "жадной", если она не допускает шагов возврата.

10.4.6. Алгоритм плавающего поиска. Примером нежадной стратегии является метод плавающего поиска. Плавающий поиск базируется на стратегии вставки и исключения.

Пусть все признаки упорядочены по убыванию меры $$C(\x_i{\})$$. Пусть также $$X_k=\{x_1,\ldots,x_k\}$$ – первые $$k$$ признаков, имеющие наибольшее $$C(\x_i{\})$$. Тогда остальные признаки строятся следующим образом:$$ Y_{l-k}=X\backslash X_k, \\ X_{k+1}=\left\{X_k,x_{k+1}\right\}. $$

Предположим, что построены множества $$X_2,X_3,\ldots,X_{k-1}$$. Рассмотрим алгоритм плавающего поиска.

Шаг 1. Вставка.

Добавление признаков: $$x_{k+1}=\arg\max C(\{X_k,y\})$$ и $$X_{k+1}=\left\{X_k,x_{k+1}\right\}$$.

Шаг 2. Проверка

$$x_r=\arg\max C(X_{k+1}\backslash\{x_s\}),x_s\in X_{k+1}$$, где $$x_r$$ – признак дающий наименьший вклад (минимальные потери при выбросе).

Если $$r=k+1$$, то увеличиваем $$k$$ и переходим на шаг 1.

Если $$r\neq k+1$$ и $$C(X_{k+1}\backslash\{x_r\})<C(x_k)$$, то переходим на шаг 1.

Если $$k=2$$, то $$X_k=X_{k+1}\backslash\{x_r\}$$ и переходим на шаг 1.

Шаг 3. Исключение $$x_r$$.

$$X'_k=X_{k+1}\backslash\{x_r\}$$

Поиск наименее значительного элемента в новом множестве $$x_s=\arg\max C(X'_k\backslash\{y\}),y\in X'_k$$.

Если $$C(X'_K\backslash\{\x_s})<C(X_{k-1})$$, то $$X_k=X'_k$$ и переходим на шаг 1.

Если $$X'_{k-1}=X'_k-\{x_s\}$$, то уменьшаем $$k$$ на 1.

Если $$k=2$$, то $$X_k=X'_k$$, $$C(X_k)=C(X'_k)$$ и переходим на шаг 1.

Переходим на шаг 3.

10.5. Оптимальная селекция признаков

Существуют две формы использования критериев (мер отделимости классов): "пассивная" и "активная". Пассивная селекция – это работа с уже полученными признаками. Активная селекция аналогична процессу генерации признаков: она позволяет построить из исходного набора признаков новый набор меньшего размера, в котором состав признаков, вообще говоря, не является подмножеством исходного набора признаков. Все типы селекции, рассмотренные в предыдущих разделах – пассивные.

Пусть $$x\in R^l$$ и $$y\in R^m\subset R^l$$. Рассмотрим конструирование критериев с использованием активной селекции: $$y=Ax$$ или y=F(x).

Пусть

Тогда$$y=A^T x$$ или$$y_{l\times 1}=A^T x_{m\times 1},$$ следовательно, матрица $$A_{l\times m}^T$$ имеет размер $$l\times m$$.

Рассмотрим критерий $$J_3=\left\{S_m S_W^{-1}\right\}$$. Будем максимизировать критерий $$J_3$$ путем выбора матрицы $$A$$. Для вектора признаков $$x$$ имеем матрицы $$S_{xW}$$ и $$S_{xb}$$. Для вектора признаков $$y$$ имеем матрицы $$S_{yW}$$ и $$S_{yb}$$. $$S_{xW}=\sum_i P_i S_{yi}$$

Проведем несколько преобразований.$$\begin{gathered} S_{yi}=E\left\lfloor(y-\mu_i)(y-\mu_i)^T\right\rfloor= \\ =E\left\lfloor A^T(x-\mu_{xi})(x-\mu_{xi})^T A\right\rfloor= \\ =A^T E\left\lfloor(x-\mu_{xi})(x-\mu_{xi})^T\right\rfloor A= \\ =A^T S_{xi}A \\ S_{yW}=\sum_i P_i A^T S_{xi}A=A^T\left(\sum_i P_i S_{xi}\right)A=A^T S_{sW} A \end{gathered}$$

Аналогично: $$S_{yb}=A^T S_{xb}A$$. Тогда $$J_3(A)=trace\left((A^T S_{xW}A)^{-1}(A^T S_{xb}A)\right)$$ – критерий разделимости вектора признаков.

Теперь необходимо преобразовать $$A$$ из соображений $$J_3\rightarrow\max$$. Будем искать решение из условия максисума$$\frac{dJ_3(A)}{dA}=0$$

Утверждение о вычислении производной. Пусть $$S_1$$ и $$S_2$$ - некоторые квадратные матрицы размера $$m\times m$$. Тогда$$\begin{gathered} \frac{d}{dA}trace\left\{(A^TS_1A)^{-1}(A^TS_2A)\right\}= \\ =-2S_1A(A^TS_1A)^{-1}(A^TS_2A)(A^AS_1A)^{-1}+2S_2A(A^TS_1A)^{-1}. \end{gathered}$$

Для получения максимума по критерию, необходимо, чтобы$$-2S_{xW}A(A^TS_{xW}A)^{-1}(A^TS_{sb}A)(A^TS_{xW}A)^{-1}+2S_{xb}A(A^TS_{xW}A)^{-1}=0$$ или$$-S_{xW}AS_{yW}^{-1}S_{yb}S_{yW}^{-1}+S_{xb}AS_{yW}=0$$ или$$A(S_{yW}^{-1}S_{yb})=(S_{yW}^{-1}S_{yb})A$$ есть условие того, что$$\frac{dJ_3(A)}{dA}=0$$

Утверждение. Пусть $$S_{yW}$$ и $$S_{yb}$$ – симметрические, положительно определенные матрицы. Тогда существует преобразование, приводящее одну из них к единичной, а другую к диагональной.

Доказательство. Приведем эти преобразования $$ B^TS_{yW}B=I,\\ B^TS_{yb}B=D, $$ где $$B,I,D$$ – матрицы размера $$l\times l$$.

Утверждение. $$J_3$$ инвариантно относительно преобразований вектора $$y$$ в $$R^l$$.

Доказательство. Рассмотрим$$\widetilde{y}=B^T y=B^TA_x.$$ Тогда $$ J_3(\widetilde{y})=trace\left\{S_{\widetilde{y}W}^{-1}S_{\widetilde{y}b}\right\} =trace\left\{(B^TS_{yW}B)^{-1}(B^TS_{yb}B)\right\}=\\ =trace\left\{B^{-1}S_{yW}^{-1}(B^T)^{-1}B^{-1}S_{yb}B\right\} =trace\left\{B^{-1}(S_{yW}^{-1}S_{yb}B)\right\}=\\ =trace\left\{(S_{uW}^{-1}S_{yb})BB^{-1}\right\}=trace\left\{S_{yW}^{-1}S_{yb}\right\}=J_3(y). $$

Т.к. $$(S_{xW}^{-1}S_{xb})A=A(S_{yW}^{-1}S_{yb})$$ – условие того, что производная равна нулю, то $$ (S_{xW}^{-1}S_{xb})AB=A(S_{yW}^{-1}S_{yb}(B^T)^{-1}B^T)B= \\ =AB(B^{-1}S_{yW}^{-1}(B^T)^{-1})(B^T S_{yb}B)=AB(B^T S_{yW}B)^{-1}(B^T S_{yb}B)=ABD $$

Используя предыдущее утверждение, подбираем матрицу $$B$$ и получаем: $$(S_{xW}^{-1}S_{xb})AB=ABD.$$ Обозначим $$AB=C$$ – матрица размера $$m\times l$$.

Утверждение. Если матрица $$F$$ положительно определенная (положительно полуопределенная), то

Т.к. случайные величины ортогональны, то $$\Phi^T=\Phi^{-1}$$.

Теперь рассмотрим алгоритм оптимальной селекции признаков:

Поиск $$S_{xW}^{-1}S_{sb}$$.

Поиск собственных значений и выбор $$l$$ наилучших (наибольших).

Формирование матрицы $$C$$ из собственных векторов, соответствующих этим собственным значениям

Вычисление $$y=C^T x$$.

10.6. Оптимальная селекция признаков с помощь нейронной сети

Пусть задано $$m$$ признаков, $$x$$ – вектор признаков. Для применения теории нейронных сетей к задаче селекции признаков немного изменим обычное представление о нейронной сети. Теперь будем рассматривать нейронную сеть с линейными функциями активации. Таким образом, теперь вектор признаков, попавший на вход нейронной сети, просто суммируется и подается на выход, т.е. выход нейрона превращается в обычную сумму.

Рассмотрим так называемую автоассоциативную сеть. Сеть имеет $$l$$ входных и $$l$$ выходных узлов и единственный скрытый слой с $$m$$ узлами и линейными функциями активации. В процессе обучения выходы сети те же, что и входы. Такая сеть имеет единственный максимум и выходы скрытого слоя определяют проекцию $$l$$ -мерного пространства на $$m$$ -мерное подпространство.

Интерес представляет выходной слой из $$l$$ нейронов. Если восстанавливать исходный вектор с целью максимального правдоподобия, то получим задачу квадратичного программирования с одним экстремумом.