Опубликован: 01.03.2007 | Доступ: свободный | Студентов: 1476 / 151 | Оценка: 4.58 / 4.39 | Длительность: 20:15:00
Специальности: Программист
Лекция 6:

Погрешности в нейронных сетях

Для адаптивного сумматора можно вычислять как допустимые погрешности входных сигналов сумматора, так и допустимые погрешности весов синапсов. Для вычисления допустимых погрешностей весов синапсов также можно использовать равномерное, пропорциональное и приоритетное распределение погрешностей. При равномерном распределении допустимые погрешности для весов синапсов вычисляются по формуле:

\varepsilon_i \le \varepsilon /\mathop \Sigma \limits_{i = 1}^n |x_i | ,
где x_i - входные сигналы сумматора.

При пропорциональном распределении допустимые погрешности для весов синапсов вычисляются по формуле: \varepsilon_i \le \varepsilon /(n \cdot x_i ), где n - число входов сумматора, x_i - входные сигналы сумматора.

При приоритетном распределении сначала назначаются допустимые погрешности для тех весов синапсов, которые наиболее значимы по какому-либо признаку, а затем оставшуюся часть допустимой погрешности для выходного сигнала сумматора распределяют между оставшимися весами синапсов равномерно или пропорционально.

При обратном распространении точности имеет место специфическая двойственность - элементы сети заменяются на двойственные им. Однако, эта двойственность отличается от той, с которой мы встречаемся при изучении обратного распространения ошибки для вычисления градиентов функции оценки. Так, если в обычном обратном распространении двойственным элементом к точке ветвления является простой сумматор, то при обратном распространении точности вместо него, как было показано, появляется элемент, вычисляющий минимум приходящих на него сигналов. Нелинейный преобразователь при обратном распространении точности заменяется двойственным ему элементом, умножающим сигнал на число. Но если при обратном распространении ошибки множителем является значение градиента, то в нашем случае сигнал умножается на величину обратную производной от входного сигнала нелинейного преобразователя. Адаптивный сумматор также заменяется двойственным ему элементом. Этот элемент является своеобразной точкой ветвления. Но, в отличии от простой точки ветвления, он сначала преобразует приходящий к нему сигнал в соответствии с выбранным распределением погрешностей по входам адаптивного сумматора, а затем передает полученные сигналы дальше.

Теперь мы знаем, каким образом вычислять гарантированную интервальную оценку погрешности для любого элемента стандартного нейрона методом обратного распространения точности.

  1. Точка ветвления. Если допустимые погрешности выходных сигналов точки ветвления равны \varepsilon_1 ,\varepsilon_2 ,...,\varepsilon_k , то в качестве погрешности входного сигнала точки ветвления выбирается \min \{\varepsilon_i \}_{i = 1}^k ( рис. 6.2).

    Рис. 6.2.
  2. Нелинейный преобразователь. Пусть при прямом функционировании входной сигнал нелинейного преобразователя равен A, его выходной сигнал равен y и нелинейный преобразователь имеет функцию активации \varphi. Если допустимая погрешность выходного сигнала нелинейного преобразователя равняется \varepsilon , то погрешность его входного сигнала не должна превышать \varepsilon /\max |\varphi '(x)|, где x \in [\varphi^{- 1}(y - \varepsilon ),\varphi^{- 1}(y + \varepsilon )] или в линейном приближении \varepsilon /|\varphi '(A)| ( рис. 6.3).

    Рис. 6.3.
  3. Адаптивный сумматор. Если при обратном распространении допустимая погрешность выходного сигнала адаптивного сумматора равняется \varepsilon , то погрешность каждого входа сумматора не должна превышать \varepsilon_i , где \varepsilon_i \le \varepsilon /\Sigma_{i = 1}^n |\alpha_i | для равномерного распределения и \varepsilon_i = \varepsilon /(n \cdot \alpha_i ) для пропорционального распределения ( рис. 6.4).

    Рис. 6.4.
Владимир Скарин
Владимир Скарин
Австралия
Сергей Смирнов
Сергей Смирнов
Россия, Нижний Новгород, ННГАСУ, 2007