Опубликован: 14.07.2009 | Уровень: для всех | Доступ: платный
Лекция 13:

Основы эконометрических методов

< Лекция 12 || Лекция 13: 12345 || Лекция 14 >

Метод наименьших квадратов для линейной функции

Начнем с задачи точечного и доверительного оценивания линейной прогностической функции одной переменной.

Исходные данные - набор n пар чисел (t_k , x_k), k = 1,2, \dots,n, где t_k - независимая переменная (например, время), а x_k - зависимая (например, индекс инфляции, курс доллара США, объем месячного производства или размер дневной выручки торговой точки). Предполагается, что переменные связаны зависимостью

X_k = a (_tk - t_{ср})+ b + e_k , k = 1,2, \dots,n,

где a и b - параметры, неизвестные исследователю и подлежащие оцениванию, а e_k - погрешности, искажающие зависимость. Среднее арифметическое моментов времени

T_{ср} = (t_1 + t_2 +\dots+t_n ) / n

введено в модель для облегчения дальнейших выкладок.

Обычно оценивают параметры a и b линейной зависимости методом наименьших квадратов. Затем восстановленную зависимость используют для точечного и интервального прогнозирования.

Как известно, метод наименьших квадратов был разработан великим немецким математиком К. Гауссом в 1794 г. Согласно этому методу для расчета наилучшей функции, приближающей линейным образом зависимость x от t, следует рассмотреть функцию двух переменных

f(a,b)=\sum_{i=1}^n (x_i - a(t_1-t_{cp})-b)^2

Оценки метода наименьших квадратов - это такие значения a^* и b^*, при которых функция f(a,b) достигает минимума по всем значениям аргументов. Чтобы найти эти оценки, надо вычислить частные производные от функции f(a,b) по аргументам a и b, приравнять их 0, затем из полученных уравнений найти оценки: Имеем:

\frac{df(a,b)}{da}=\sum_{i=1}^n 2(x_i - a(t_i - t_{cp})(-(t_i - t_{cp}))\\
\frac{df(a,b)}{db}=\sum_{i=1}^n 2(x_i - a(t_i - t_{cp})-b)(-1)

Преобразуем правые части полученных соотношений. Вынесем за знак суммы общие множители 2 и (-1). Затем рассмотрим слагаемые. Раскроем скобки в первом выражении, получим, что каждое слагаемое разбивается на три. Во втором выражении также каждое слагаемое есть сумма трех. Значит, каждая из сумм разбивается на три суммы. Имеем:

\frac{df(a,b)}{da}=(-2)(\sum_{i=1}^n x_i(t_i - t_{cp})-a \sum_{i=1}^n (t_i - t_{cp}))\\
\frac{df(a,b)}{db}=(-2)(\sum_{i=1}^n x_j - a \sum_{i=1}^n(t_i - t_{cp})-bn)

Приравняем частные производные 0. Тогда в полученных уравнениях можно сократить множитель (-2). Поскольку

\sum_{i=1}^n (t_i - t_{cp})=0 ( 1)

уравнения приобретают вид

\sum_{i=1}^n x_i(t_i - t_{cp})-a \sum_{i=1}^n (t_i - t_{cp})^2=0\\
\sum_{i=1}^n x_i - bn=0

Следовательно, оценки метода наименьших квадратов имеют вид

a^*=\frac{\sum_{i=1}^n x_i(t_i - t_{cp})}{\sum_{i=1}^n (t_i - t_[cp})^2},  \ b^*=x_{cp}=\frac{x_1+x_2+\dots+x_n}{n} ( 2)

В силу соотношения (1) оценку а^* можно записать в более симметричном виде:

Эту оценку нетрудно преобразовать и к виду

a^*=\frac{\sum_{i=1}^n x_i(t_i - t_{cp})(t_i - t_{cp})}{\sum_{i=1}^n (t_i - t_[cp})^2} ( 3)
a^*=\frac{\sum_{i=1}^n x_it_i - \frac{1}{n}\sum_{i=1}^n x_i\sum_{i=1}^n t_i}{\sum_{i=1}^n t_i^2 - \frac{1}{n}\left(\sum_{i=1}^n t_i \right)^2} ( 4)

Следовательно, восстановленная функция, с помощью которой можно прогнозировать и интерполировать, имеет вид

x^*(t) = a^*(t - t_{ср})+ b^*.

Обратим внимание на то, что использование t_{ср} в последней формуле ничуть не ограничивает ее общность. Сравним с моделью вида

X_k = c t_k+ d + e_k , k = 1,2, \dots,n.

Ясно, что

c=a, d=d-at_{cp}

Аналогичным образом связаны оценки параметров:

c^*=a^*, d^*=b^*-a^*t_{cp}

Для получения оценок параметров и прогностической формулы нет необходимости обращаться к какой-либо вероятностной модели. Однако для того, чтобы изучать погрешности оценок параметров и восстановленной функции, т.е. строить доверительные интервалы для a^*, b^* и x^*(t) , подобная модель необходима.

Непараметрическая вероятностная модель. Пусть значения независимой переменной t детерминированы, а погрешности e_k , k = 1,2, \dots,n, - независимые одинаково распределенные случайные величины с нулевым математическим ожиданием и дисперсией \sigma^2 неизвестной исследователю.

В дальнейшем неоднократно будем использовать Центральную Предельную Теорему (ЦПТ) теории вероятностей для величин e_k , k = 1,2, \dots,n (с весами), поэтому для выполнения ее условий необходимо предположить, например, что погрешности e_k , k = 1,2, \dots,n, финитны или имеют конечный третий абсолютный момент. Однако заострять внимание на этих внутриматематических "условиях регулярности" нет необходимости.

Асимптотические распределения оценок параметров. Из формулы (2) следует, что

b^*=\frac{a}{n}\sum -{i=1}^n (t_i - t_{cp})+b+\frac{1}{n}\sum_{i=1}^n e_i=b+\frac{1}{n}\sum_{i=1}^n e_i ( 5)

Согласно ЦПТ оценка b^* имеет асимптотически нормальное распределение с математическим ожиданием b и дисперсией \sigma^2/n оценка которой приводится ниже.

Из формул (2) и (5) вытекает, что

x_i - x_{cp}=a(t_i - t_{cp})+b+e_i - b-\frac{1}{n}\sum_{i=1}^n e_i,\\
(x_i - x_{cp})(t_i - t_{cp})=a(t_i - t_{cp})^2 + e_i(t_i - t_{cp})-\frac{(t_i - t_{cp})}{n}\sum_{i=1}^n e_i

Последнее слагаемое во втором соотношении при суммировании по i обращается в 0, поэтому из формул (2-4) следует, что

a^*=a+\sum_{i=1}^n c_i e_i, c_i=\frac{(t_i - t_cp)}{\sum_{i=1}^n(t_i - t_{cp})^2} ( 6)

Формула (6) показывает, что оценка a^* является асимптотически нормальной с математическим ожиданием ^a и дисперсией

D(a^*)=\sum_{i=i}^n c_i^2 D(e_i)=\frac{\sigma^2}{\sum_{i=1}^n(t_i - t_{cp})^2}

Отметим, что многомерная нормальность имеет быть, когда каждое слагаемое в формуле (6) мало сравнительно со всей суммой, т.е.

\lim_{n \to \infty}max|t_i - t_{cp}|/\{\sum_{i=1}^n (t_i - t_{cp})^2\}^{1/2}=0

Из формул (5) и (6) и исходных предположений о погрешностях вытекает также несмещенность оценок параметров.

Несмещенность и асимптотическая нормальность оценок метода наименьших квадратов позволяют легко указывать для них асимптотические доверительные границы (аналогично границам в предыдущей главе) и проверять статистические гипотезы, например, о равенстве определенным значениям, прежде всего 0.

< Лекция 12 || Лекция 13: 12345 || Лекция 14 >
Михаил Агапитов
Михаил Агапитов

Не могу найти  требования по оформлению выпускной контрольной работы по курсу профессиональной переподготовки "Менеджмент предприятия"

Подобед Александр
Подобед Александр

Я нажал кнопку "начать курс" и почти его уже закончил, но для получения диплома на бумаге, нужно его же оплатить? Как оплатить? 

Константин Грубо
Константин Грубо
Россия
Алексей Суслов
Алексей Суслов
Россия