НОУ ИНТУИТ | Моделирование систем. Лекция 11: Оценивание параметров линейной модели по наблюдениям неполного ранга

Учитесь и получайте официальные документы БЕСПЛАТНО. Вы можете поддержать наш проект.

Твой путь к знаниям!

Опубликован: 30.11.2010 | Уровень: специалист | Доступ: платный | ВУЗ: Мордовский государственный университет имени Н.П. Огарева

|

Вам нравится? Нравится 32 студентам

| Поделиться |

Поддержать программу

Аннотация: Цель работы: изучить способы оценки параметров линейной регрессионной модели в случае вырожденной информационной матрицы нормального уравнения. Среда программирования — MATLAB.

Ключевые слова: линейная модель, матричная форма, вектор, матрица, параметр, Единичная матрица, операторы, метода наименьших квадратов, детерминант, модель наблюдений неполного ранга, частное решение, однородное уравнение, оценка векторов, остаточная сумма квадратов, residual, Относительной погрешностью

Теоретическая часть

Пусть линейная модель наблюдений имеет следующий вид в векторно-матричной форме:

$Y=X\beta+\varepsilon,\mbox{ }M\{\varepsilon\}=0;\mbox{ }D\{\varepsilon\}=\sigma^2 E_n,$

( 11.1)

где:

— -мерный вектор наблюдений;

— матрица известных коэффициентов порядка $n\times p$ (матрица регрессоров);

$\beta$ — -мерный вектор неизвестных параметров, подлежащих определению;

$\varepsilon$ — -мерный случайный вектор (помехи);

$\sigma^2$ — неизвестный параметр;

$E_{n}$ — единичная матрица;

M, D — операторы взятия математического ожидания и дисперсии [1].

В случае применения метода наименьших квадратов для оценки параметров модели (11.1) приходим к нормальному уравнению

$X^TX\tilde b=X^TY.$

( 11.2)

Если rank X = r < p , то информационная матрица $X^{T}X$ является вырожденной (т. е. ее детерминант равен нулю) и множество решений нормального уравнения (11.2) будет бесконечным [1]. В этом случае модель наблюдений (11.1) называют моделью наблюдений неполного ранга.

Оценка общего решения нормального уравнения с вырожденной информационной матрицей может быть получена с помощью обобщенной обратной матрицы, которую обозначают как $S ^{-}$ и называют -обратной матрицей. Обобщенная обратная матрица всегда существует и не обязательно единственная [1, 17].

Определение. Пусть $S — (m\times n)$ -матрица произвольного ранга. Обобщенной обратной (или -обратной) матрицей для называется матрица $S ^{-}$ порядка $n\times m$ , такая, что

$SS ^{-}S=S$

( 11.3)

Нормальное уравнение (11.2) запишем в виде

( 11.4)

где:

$S=X^{T}X$ — квадратная матрица порядка ;

$Q=X^{T}Y$ — -мерный вектор.

Если rank X = r < p , то матрица — вырожденная.

Общее решение неоднородного уравнения (11.4) есть сумма любого частного решения этого уравнения и общего решения однородного уравнения

( 11.5)

Известно, что если $S ^{-}$ — обобщенная матрица для матрицы , то частное решение уравнения (11.4) имеет вид

$\tilde b=S ^{-}Q.$

( 11.6)

Общее решение однородного уравнения (11.5) имеет вид

$\tilde{\tilde b}=(H-E_p)z,$

( 11.7)

где:

$H=S^{-}S$ — идемпотентная матрица ( $H=H^{2},\mbox{ }rank\mbox{ }H = trace\mbox{ }H = p$ );

$E_{p}$ — единичная матрица порядка ;

— произвольный вещественный вектор порядка , в том числе и равный тождественно нулю [1].

Общее решение уравнения (11.4) есть сумма частного решения (11.6) и решения однородного уравнения (11.7), т. е.

$\hat b=S^{-}X^TY+(H-E_p)z.$

( 11.8)

Алгоритм построения общего решения нормального уравнения и обобщенной обратной матрицы S

В матрице неполного ранга определяют линейно независимые столбцы. Пусть это будут первые -столбцов.
Матрицу представляют в виде блочной матрицы с подматрицами $Х_{0}$ и $Х_{1}$ , т. е. $X = [X_{0}, X_{1}]$ , где $X_{0}$ — матрица размера $n\times k$ .
Матрицу представляют в виде
$S=X^TX= \left[\begin{array}{ccc} X^T_0\\ X^T_1 \end{array}\right] [X_0,X_1]= \left[\begin{array}{ccc} X^T_0X_0 &X^T_0X_1\\ X^T_1X_0 &X^T_1X_1 \end{array}\right].$
Обобщенную обратную матрицу $S^{-}$ определяют в виде
$S^{-}= \left[\begin{array}{ccc} (X^T_0X_0)^{-1}&0\\ 0&0 \end{array}\right].$
Общее решение нормального уравнения — оценку вектора параметров определяют по формуле (11.8) или в следующем виде:
$\hat b= \left[\begin{array}{ccc} (X^T_0X_0)^{-1}X^T_0Y\\ 0 \end{array}\right] + \left[\begin{array}{ccc} 0&(X^T_0X_0)^{-1}X^T_0X_1\\ 0&-E_{p-k} \end{array}\right]z.$

где $E_{p-k}$ — единичная матрица порядка .
Вычисляют остаточную сумму квадратов RSS (Residual Sum of Squares):
$RSS=(Y-X\hat b)^T(Y-X\hat b).$