Опубликован: 10.09.2016 | Уровень: для всех | Доступ: платный
Лекция 3:

Множественная регрессия

3.2. МНК-модель

Как было сказано, при использовании метода наименьших квадратов (МНК) минимизируется сумма квадратов остатков модели:


(3.5)

Для нахождения минимума вычисляются частные производные Q_{b_{i}} функции Q по переменным b_{i}, затем Q_{b_{i}} приравнивают нулю. Получаем систему нормальных МНК-уравнений для определения оценок коэффициентов b_{0}, b_{1}, b_{2}, \dots, b_{k}:


(3.6)

Примем за b вектор-столбец (b_{0}, b_{1}, \dots, b_{k})^{T}, а за y вектор-столбец (y_{1}, y_{2}, \dots, y_{n})^{T}. Тогда систему уравнений (3.6) можно представить в матричном виде

X^{T}Xb = X^{T}y. (3.7)

Используя скалярные произведения векторов-столбцов x_{i} матрицы X, матрицу X^{T}X можно также записать в виде


Предположим, что X^{T}X имеет обратную матрицу C = (X^{T}X)^{-1}. Она называется матрицей дисперсий-ковариаций или просто ковариационной матрицей. Умножив уравнение (3.7) слева на матрицу C, получим

C(X^{T}X)b = (X^{T}X)^{-1}(X^{T}X)b = (X^{T}X)^{-1}X^{T}y.

Поскольку (X^{T}X)^{-1}(X^{T}X) = I, формула для решения системы нормальных уравнений МНК принимает вид

b = (X^{T}X)^{-1}X^{T}y. (3.8)

(Геометрическую интерпретацию метода наименьших квадратов см. в Приложении 3.)

Инесса Воробьева
Инесса Воробьева

В дисциплине "Основы эконометрики" тест 6 дается по теме 7.

Вера Борисова
Вера Борисова
Россия
Студентик Студент
Студентик Студент
Россия