Регрессионный анализ в Gnumeric

6.1 Небольшое теоретическое введение

Всегда полезно знать, что и почему вычисляется в той или иной задаче. Поэтому сначала рассмотрим некоторые теоретические основы регрессионного анализа.

Линейный парный регрессионный анализ заключается в определении параметров эмпирической линейной зависимости (1), описывающей связь между некоторым $$N$$ числом пар значений $$x_i$$ и $$y_i$$, обеспечивая при этом наименьшую среднеквадратическую погрешность (метод наименьших квадратов).

$$y(x)=a \cdot x+b$$

Графически это выглядит как проведение прямой в "облаке" точек с координатами $$x_i, y_i$$ так, чтобы величина всех отклонений между значениями y на этой прямой при имеющихся значениях $$xi$$ и координатами $$yi$$ имеющихся точек отвечала условию (6.2).

$$U= \sum^N_{i=1}(y_i-y(x_i))^2 \to min$$

где $$y(x_i)$$ – теоретическая зависимость (6.1). Для этого нужно приравнять к нулю частные производные (6.3 и 6.4).

$$\frac{\partial U}{\partial b}= \sum^N_{i=1}(y_i-(b+a \cdot x_i))$$ $$\frac{\partial U}{\partial a}= \sum^N_{i=1}(y_i-(b+a \cdot x_i)x_i)$$

Тогда для определения коэффициентов линейной регрессии $$a$$ и $$b$$ получаем систему уравнений (6.5).

$$\left \begin{cases} b \cdot N+a \cdot \sum^N_{i=1}x_i=\sum^N_{i=1}y_i \\ b \cdot \sum^N_{i=1}x_i+a \cdot \sum^N_{i=1}x^2_i=\sum^N_{i=1}x_i \cdot y_i\\ \end{cases} \right$$

Решение этой системы даётся соотношениями 6.6 и 6.7.

$$a= \frac{\sum^N_{i=1} \cdot - \sum^N_{i=1}y_i-N \cdot \sum^N_{i=1}x_i \cdot y_i}{(\sum^N_{i=1}x_i)^2-N \cdot \sum^N_{i=1}x^2_i}$$ $$b= \frac{1}{N} \cdot \left(\sum^N_{i=1}y_i-a \cdot \sum^N_{i=1}x_i \right)$$

Для определения отклонения связи между $$x_i$$ и $$y_i$$ от линейной используется коэффициент парной корреляции (6.8).

$$R= \frac{\sum^N_{i=1}x_i \cdot y_i-(\sum^N_{i=1}x_i \cdot \sum^N_{i=1}y_i)/N}{\sqrt{\frac{\sum^N_{i=1}x^2_i-(\sum^N_{i=1}x_i)^2}{N}} \cdot \sqrt{\frac{\sum^N_{i=1}y^2_i-(\sum^N_{i=1}y_i)^2}{N}}}$$

Если экспериментальная зависимость явно нелинейная, для её интерполяции (аппроксимации) применяются различные нелинейные зависимости (экспоненциальная, степенная с положительными или отрицательными показателями степени, полиномиальные различных порядков и пр.). При этом интерполяционная функция "линеаризуется", т. е. сводится к виду (6.1) путём замены переменных. Соответственно пересчитываются значения экспериментальных точек и коэффициент парной корреляции показывает успешность этого преобразования. Поскольку знак коэффициента парной корреляции при оценке качества линеаризации не является существенным, часто используется значение $$R^2$$.

6.2 Реализация вычислений на модели

Вычисление параметров линейной регрессии уже рассматривалось в главе "Инструменты Gnumeric для статистиков", поэтому здесь рассмотрим подробнее процесс добавления и настройки параметров линий регрессии на график с экспериментальными данными. В качестве исходных данных используем таблицу, которая уже применялась в главе про статистику при описании инструментов предсказания и регрессии (рис. 6.1).

(рис 6.1) Исходные данные

На рис. 6.2 показан график с исходными данными (круглые точки). Поскольку линейная регрессия для таких данных, очевидно, даёт плохие результаты, будем пытаться использовать нелинейные модели. Тогда этот процесс можно будет называть "non-linear fitting" – "нелинейная подгонка".

Для добавления кривых регрессии вызовем диалог настройки графика, выберем серию исходных данных ($$Y$$) и используем кнопку "Добавить" для выбора добавляемого объекта (рис. 6.3).

Во вложенном меню "Линия тренда to Y" имеется набор классов кривых (уравнений интерполяции, рис. 6.4).

Заметим, что в списке вариантов присутствуют "Экспоненциально сглаженная кривая" и "Скользящее среднее", которые рассматривались в главе про статистику.

В качестве первой попытки описания экспериментальных данных выберем вариант интерполяции полиномом ("Полиномиальная"l) 3-го порядка (рис. 6.5).

Поле "Порядок" позволяет выбрать максимальную степень аргумента (порядок) в полиноме, а на вкладке "Стиль" можно настроить внешний вид линии.

Для того чтобы узнать коэффициенты полинома ещё раз нажмём кнопку "Добавить" и увидим, что в списке объектов появился объект "Уравнение to Полиномиальная регрессия1", как показано на рис. 6.6

(рис 6.2) График исходных данных (рис 6.3) Выбор добавляемого объекта (рис 6.4) Определение класса интерполяционных функций (рис 6.5) Настройка полиномиальной регрессии и предварительный вид графика (рис 6.6) Изменение списка добавляемых объектов в зависимости от выбранного объекта графика

Добавляемое на график уравнение кривой имеет собственный диалог настроек (рис. 6.7).

Режим "Показывать коэффициент регрессии $$R^2$$" ("Display regression coefficient $$R^2$$") позволяет вывести под уравнением значение коэффициента парной корреляции, характеризующего "качество" интерполяции. Чем ближе это значение к 1, тем лучше подобрано уравнение регрессии.

На вкладке "Позиция" можно задать желаемое место уравнения на графике в относительных единицах (рис. 6.8).

На вкладках "Стиль" и "Шрифт" задаётся стиль обрамления области с уравнением и шрифт для отображения уравнения.

Для сравнения добавим интерполяцию степенной функцией ("Степенная"), установив стиль линии "точки" и толщину в 2 точки экрана (рис. 6.9). В этом случае модель имеет вид $$y(x)=A*x^b$$, а на графике отображается линеаризованный вариант уравнения (через натуральный логарифм).

(рис 6.7) Добавление уравнения кривой на график

Теперь можно пробовать другие варианты функций и следить за значением критерия $$R^2$$. Наилучшим описанием будет такое, при котором это значение, как уже упоминалось, будет максимально близко к 1.

Вариант подгонки экспоненциальной зависимостью вида $$y(x)= A*e^{bx}$$ уже был показан в главе про статистику.

Таким образом, использование Gnumeric для подгонки экспериментальных данных даёт неплохие результаты для не очень сложных зависимостей и позволяет избежать использования громоздких и дорогостоящих математических пакетов программ.

(рис 6.8) Настройка расположения уравнения (рис 6.9) Исходные данные и два варианта интерполяции