Приложение 3: Геометрическая интерпретация метода наименьших квадратов

Для геометрического вывода условий, которым должны удовлетворять оценки коэффициентов $$\beta$$, рассмотрим частный случай исходных данных. Предположим, что имеются только два наблюдения, которые могут быть представлены в виде векторов $$Y^{T} = (y_{1}, y_{2}) и X^{T} = (x_{1}, x_{2})$$. Кроме того, будем предполагать, что прямая регрессионной модели проходит через начало координат, т.е. что $$\beta _{0} = 0$$. Заметим, что это предположение не является сколько-нибудь существенным, поскольку для его выполнения достаточно центрирования исходных данных. В этом случае уравнению $$Y = X\beta + \varepsilon$$ будут соответствовать следующие геометрические построения (рис.).

Вектор $$X\beta$$ (или $$\beta X$$) получается путем умножения вектора $$X$$ на число $$\beta$$ и, следовательно, будет коллинеарен вектору $$X$$. Вектор $$\varepsilon$$ будет равняться разности векторов $$Y$$ и $$X\beta$$. Значение оценки вектора $$\beta$$ следует выбрать таким образом, чтобы модуль вектора $$\varepsilon$$ был минимальным. Как следует из геометрических построений, минимальное расстояние от точки с координатами $$(y_{1}, y_{2})$$ до прямой $$X\beta$$ будет достигаться на перпендикуляре, опущенном из этой точки на указанную прямую. Следовательно, необходимым и достаточным условием минимизации и 124 будет условие ортогональности $$Y – Xb$$ и $$X$$. Известно, что необходимым и достаточным условием ортогональности двух векторов является равенство нулю их скалярного произведения. Таким образом, получаем уравнение $$X T(Y - Xb) = 0$$, которое называется нормальным. Выполнив соответствующие преобразования, приходим в общем случае к системе нормальных уравнений

Если матрица системы $$X^{T}X$$ невырожденная, то существует обратная матрица $$(X^{T}X)^{-1}$$ и система нормальных уравнений будет иметь решение

Оценки вектора $$\beta$$, полученные при решении системы нормальных уравнений, называются оценками, полученными по методу наименьших квадратов, или МНК-оценками. Зная значения решения $$b$$, можно вычислить расчетные (прогнозные) значения переменной $$Y$$:

Геометрически вектор является ортогональной проекцией вектора $$Y$$ на линейное пространство, натянутое на векторы $$X_{i}$$, т.е. наилучшей аппроксимацией $$Y$$ линейной комбинацией векторов $$X_{i}$$.

Из геометрических соображений также следует, что векторы $$Y$$ и $$e = Y - Y$$ ортогональны, а следовательно, выполняется равенство $$Y ^{T}(Y - Y) = 0$$ или $$Y ^{T}Y = Y ^{T}Y$$.