Контрастирование (редукция) нейронной сети

Показатели значимости для нейрона с дифференцируемым нелинейным элементом

Эти показатели ищутся почти так же как для сумматора. Пусть

тогда

В евклидовой норме (что соответствует методу наименьших квадратов) получаем:

т.е. произведение модуля параметра на среднеквадратичное отклонение с весами. Роль веса играет квадрат производной функции в точке .

Показатели значимости для нейрона с пороговым нелинейным элементом (персептрона)

Эти показатели требуют для своего вычисления еще одного эвристического хода, т.к. прямо воспользоваться предыдущими формулами невозможно. Пусть функция, вычисляемая нейроном, имеет вид

Для каждого вектора данных необходимо оценить значимость изменения аргумента функции при замене на . Значение меняется только тогда, когда меняет знак, поэтому естественно оценивать значимость изменения переменной в масштабе, определенном текущем значением переменной, т.е. значимость оценивается, как . Из этого эвристического рассуждения получаем:

Если положить и воспользоваться евклидовой мерой, то вновь получим произведение модуля параметров на среднеквадратичное отклонение с весом. В качестве весов выступают квадраты величин, обратных выходным сигналам сумматоров:

Полученные выражение для показателей значимости позволяют уп\-рощать основные элементы НС "снизу вверх", начиная с исключения самых малозначимых параметров.