Опубликован: 01.03.2007 | Доступ: свободный | Студентов: 1478 / 154 | Оценка: 4.58 / 4.39 | Длительность: 20:15:00
Специальности: Программист
Лекция 6:

Погрешности в нейронных сетях

Мы выяснили как вычисляются допустимые погрешности сигналов сети. При этом мы не выделяли особо тот вклад, который вносят в погрешность сигнала сами элементы. Рассмотрим теперь, как вычисляются допустимые погрешности сигналов сети при обратном распространении точности с учетом собственных погрешностей элементов стандартного нейрона.

Начнем вычисление допустимых погрешностей сигналов сети с учетом собственных погрешностей элементов с точки ветвления. Пусть точка ветвления имеет собственную погрешность \varepsilon_{tv}. Предположим, что допустимые погрешности выходных сигналов точки ветвления равны \varepsilon_1 \pm \varepsilon_{tv},\varepsilon_2 \pm \varepsilon_{tv},...,\varepsilon_k \pm \varepsilon_{tv}. Для увеличения точности вычислений необходимо накладывать на допустимые погрешности наиболее жесткие требования. Поэтому в качестве допустимой погрешности входного сигнала точки ветвления при обратном распространении следует выбирать погрешность \min \{\varepsilon_i - \varepsilon_{tv}\}_{i = 1}^k.

Следующий элемент стандартного нейрона - нелинейный преобразователь. Если нелинейный преобразователь имеет собственную погрешность \varepsilon_\varphi  , которая добавляется к его выходному сигналу, и погрешность его выходного сигнала равняется \varepsilon_1 , то допустимая погрешность входного сигнала нелинейного преобразователя равняется \varepsilon \le (\varepsilon_1 - \varepsilon_\varphi  )/\max |\varphi '(x)|, где

x \in \left[ {\varphi^{- 1}(y - \varepsilon_1 + \varepsilon_\varphi  ), \varphi^{- 1}(y + \varepsilon_1 - \varepsilon_\varphi  )}\right]
или в линейном приближении \varepsilon \le (\varepsilon_1 - \varepsilon_\varphi  )/|\varphi '(A_0 )|.

Предположим теперь, что собственная погрешность нелинейного преобразователя \varepsilon_\varphi  добавляется к его входному сигналу \varphi (x \pm \varepsilon_\varphi  ), и при обратном распространении точности погрешность выходного сигнала нелинейного преобразователя равняется \varepsilon_1. Рассмотрим наихудший вариант, когда входной сигнал нелинейного преобразователя находится в интервале

\left[ {x - \varepsilon - \varepsilon_\varphi  ,x + \varepsilon + \varepsilon_\varphi }\right].
В этом случае допустимая погрешность входного сигнала нелинейного преобразователя вычисляется следующим образом:

\varepsilon \le \varepsilon_1 /|\varphi '(x)| - \varepsilon_\varphi  ,
где x \in \left[ {\varphi^{- 1}(y - \varepsilon_1 ) - \varepsilon_\varphi  ,\varphi^{- 1}(y + \varepsilon_1 ) + \varepsilon_\varphi }\right].

Рассмотрим допустимую погрешность в линейном приближении:

\varphi (A_0 \pm (\varepsilon + \varepsilon_\varphi  )) \approx \varphi (A_0 ) \pm \varphi '(A_0 ) \cdot (\varepsilon + \varepsilon_\varphi  ).

По условию

\varepsilon_1 \ge |\varphi (A_0 \pm (\varepsilon + \varepsilon_\varphi  )) - \varphi (A_0 )| \approx |\varphi '(A_0 ) \cdot (\varepsilon + \varepsilon_\varphi  )|.

Получаем:

(\varepsilon + \varepsilon_\varphi  ) \le \varepsilon_1 /|\varphi '(A_0 )|
или
\varepsilon \le \varepsilon_1 /|\varphi '(A_0 )| - \varepsilon_\varphi  .

И, наконец, перейдем к вычислению допустимых погрешностей входных сигналов сумматора. Рассмотрим вариант, при котором собственная погрешность сумматора \varepsilon_\Sigma  добавляется к его выходному сигналу, и допустимая погрешность выходного сигнала сумматора равняется \varepsilon. При обратном распространении точности получаем, что равномерно, пропорционально и приоритетно по выше полученным формулам распределяется погрешность \varepsilon - \varepsilon_\Sigma.

Если же собственная погрешность сумматора пропорционально распределяется по его входам, и допустимая погрешность выходного сигнала сумматора равняется \varepsilon , то допустимые погрешности для входов сумматора вычисляются следующим образом. Пусть A_0 = \mathop \Sigma \limits_{i = 1}^n \alpha_i \cdot x_i - выходной сигнал сумматора без погрешностей. Тогда \{A'_0 \} - выходные сигналы сумматора с учетом собственных погрешностей сумматора \varepsilon_\Sigma^i и погрешностей входных сигналов \varepsilon_i :

\begin{array}{l}
 \{A'_0 \}{\rm{ = }}\mathop \Sigma \limits_{i = 1}^n \alpha_i \cdot (x_i \pm \varepsilon_i \pm \varepsilon_\Sigma^i ) = \mathop \Sigma \limits_{i = 1}^n \alpha_i \cdot x_i + \mathop \Sigma \limits_{i = 1}^n \alpha_i \cdot ( \pm \varepsilon_i ) + \mathop \Sigma \limits_{i = 1}^n \alpha_i \cdot ( \pm \varepsilon_\Sigma^i ) = \\ 
 = A_0 + \mathop \Sigma \limits_{i = 1}^n \alpha_i \cdot \varepsilon_i \cdot z_i + \mathop \Sigma \limits_{i = 1}^n \alpha_i \cdot \varepsilon_\Sigma^i \cdot z_i , \\ 
 \end{array}

где z_i \in {\rm{\{ - 1}}{\rm{,1 \}}}. Для того, чтобы все множество \{A'_0 \} попало в интервал

[A_0 - \varepsilon ,A_0 + \varepsilon ]
необходимо, чтобы

\max |\mathop \Sigma \limits_{i = 1}^n \alpha_i \cdot \varepsilon_i \cdot z_i + \mathop \Sigma \limits_{i = 1}^n \alpha_i \cdot \varepsilon_\Sigma^i \cdot z_i = \mathop \Sigma \limits_{i = 1}^n |\alpha_i | \cdot \varepsilon_i + \mathop \Sigma \limits_{i = 1}^n |\alpha_i | \cdot \varepsilon_\Sigma^i \le \varepsilon ,
,

где максимум берется по всем z_i. Из этого неравенства, предполагая что \varepsilon_i равны между собой, получаем требуемую оценку для \varepsilon_i :

\varepsilon_i \le (\varepsilon - \varepsilon_\Sigma^i \cdot \mathop \Sigma \limits_{i = 1}^n |\alpha_i |)/\mathop \Sigma \limits_{i = 1}^n |\alpha_i |.
.

Мы получили формулы для вычисления допустимых погрешностей сигналов для любого участка сети с учетом того, что все элементы имеют собственные погрешности, которые вносят свой вклад в погрешность выходного сигнала этих элементов.

Владимир Скарин
Владимир Скарин
Австралия
Сергей Смирнов
Сергей Смирнов
Россия, Нижний Новгород, ННГАСУ, 2007