НОУ ИНТУИТ | Прикладная статистика. Лекция 9: Многомерный статистический анализ

Учитесь и получайте официальные документы БЕСПЛАТНО. Вы можете поддержать наш проект.

Регистрация Вход

Твой путь к знаниям!

Опубликован: 09.11.2009 | Доступ: свободный | Студентов: 4084 / 1036 | Оценка: 4.66 / 4.45 | Длительность: 54:13:00

Темы: Математика, Экономика

Специальности: Экономист

|

Вам нравится? Нравится 61 студенту

| Поделиться |

Поддержать курс

| Скачать электронную книгу

9.3. Основы линейного регрессионного анализа

Метод наименьших квадратов, рассмотренный в простейшем случае, допускает различные обобщения. Например, метод наименьших квадратов дает алгоритм расчетов, если исходные данные - по-прежнему набор пар чисел (t_k , x_k), k = 1,2,...,n , где t_k - независимая переменная (например, время), а x_k - зависимая (например, индекс инфляции), а восстанавливать надо не линейную зависимость, а квадратическую:

Следует рассмотреть функцию трех переменных

$f(a,b,c)=\sum_{k=1}^n(x_k-at_k^2-bt_k-c)^2.$

Оценки метода наименьших квадратов - это такие значения параметров a^*, b^* и c^* , при которых функция f(a,b,c) достигает минимума по всем значениям аргументов. Чтобы найти эти оценки, надо вычислить частные производные от функции по аргументам a, b и , приравнять их 0, затем из полученных уравнений найти оценки. Имеем:

$\frac{\partial f(a,b,c)}{\partial a}= \sum_{k=1}^n\frac{\partial}{\partial a}(x_k-at_k^2-bt_k-c)^2= \sum_{k=1}^n 2(x_k-at_k^2-bt_k-c)(-t_k^2).$

Приравнивая частную производную к 0, получаем линейное уравнение относительно трех неизвестных параметров a,b,c :

$a\sum_{k=1}^n t_k^4+b\sum_{k=1}^n t_k^3+c\sum_{k=1}^n t_k^2=\sum_{k=1}^n t_k^2 x_k.$

Приравнивая частную производную по параметру к 0, аналогичным образом получаем уравнение

$a\sum_{k=1}^n t_k^3+b\sum_{k=1}^n t_k^2+c\sum_{k=1}^n t_k=\sum_{k=1}^n t_k x_k.$

Наконец, приравнивая частную производную по параметру к 0, получаем уравнение

$a\sum_{k=1}^n t_k^2+b\sum_{k=1}^n t_k+cn=\sum_{k=1}^n x_k.$

Решая систему трех уравнений с тремя неизвестными, находим оценки метода наименьших квадратов.

Другие задачи, рассмотренные в предыдущем параграфе (доверительные границы для параметров и прогностической функции и др.), также могут быть решены. Соответствующие алгоритмы более громоздки. Для их записи полезен аппарат матричной алгебры (см., например, одну из лучших в этой области монографий [ [ 1.22 ] ]). Для реальных расчетов используют соответствующие компьютерные программы.

Раздел прикладной статистики, посвященный восстановлению зависимостей, называется регрессионным анализом. Термин "линейный регрессионный анализ" используют, когда рассматриваемая функция линейно зависит от оцениваемых параметров (от независимых переменных зависимость может быть произвольной). Теория оценивания неизвестных параметров хорошо развита именно в случае линейного регрессионного анализа. Если же линейности нет и нельзя перейти к линейной задаче, то, как правило, хороших свойств от оценок ожидать не приходится.

Продемонстрируем подходы в случае зависимостей различного вида. Если зависимость имеет вид многочлена (полинома)

то коэффициенты многочлена могут быть найдены путем минимизации функции

$f(a_0,a_1,a_2,a_3,...,a_m)=\sum_{k=1}^n(x_k-a_0-a_1t_k-a_2t_k^2-a_3t_k^3-...-a_mt_k^m)^2.$

Функция от не обязательно должна быть многочленом. Можно, например, добавить периодическую составляющую, соответствующую сезонным колебаниям. Хорошо известно, например, что инфляция (рост потребительских цен) имеет четко выраженный годовой цикл. А именно, в среднем цены быстрее всего растут зимой, в декабре - январе, а медленнее всего (иногда в среднем даже падают) летом, в июле - августе. Пусть для определенности

$x(t)=a_0+a_1t+a_2t^2+a_3t^3+...+a_mt^m+A\sin 2\pi t,$

тогда неизвестные параметры могут быть найдены путем минимизации функции

$f(a_0,a_1,a_2,a_3,...,a_m)=\sum_{k=1}^n(x_k-a_0-a_1t_k-a_2t_k^2-a_3t_k^3-...-a_mt_k^m -A\sin 2\pi t_k)^2.$

Пусть I(t) - индекс инфляции в момент . Принцип стабильности условий приводит к гипотезе о постоянстве темпов роста средних цен, т.е. индекса инфляции. Таким образом, естественная модель для индекса инфляции - это

$I(t)=Ae^{Bt}.$

Эта модель не является линейной, метод наименьших квадратов непосредственно применять нельзя. Однако если прологарифмировать обе части предыдущего равенства:

$\ln I(t)=\ln A+Bt,$

то получим линейную зависимость, рассмотренную выше.

Независимых переменных может быть не одна, а несколько. Пусть, например, по исходным данным (x_k,y_k,z_k),k=1,2,...,n требуется оценить неизвестные параметры и в зависимости $z=ax+by+\varepsilon$ , где $\varepsilon$ - погрешность. Это можно сделать, минимизируя функцию

$f(a,b)=\sum_{k=1}^n(z_k-ax_k-by_k)^2.$

Зависимость от и не обязательно должна быть линейной. Предположим, что из каких-то соображений известно, что зависимость должна иметь вид

$z=ax+by+cx^2y+dxy+ey^3+\varepsilon,$

тогда для оценки пяти параметров необходимо минимизировать функцию

$f(a,b,c,d,e)=\sum_{k=1}^n(z_k-ax_k-by_k-cx_k^2y_k-dx_ky_k-ey_k^3)^2.$

Более подробно рассмотрим пример из микроэкономики. В одной из оптимизационных моделей поведения фирмы используется так называемая производственная функция f(K,L) , задающая объем выпуска в зависимости от затрат капитала и труда . В качестве конкретного вида производственной функции часто используется так называемая функция Кобба-Дугласа

$f(K,L)=K^{\alpha}L^{\beta}.$

Однако откуда взять значения параметров $\alpha$ и $\beta$ ? Естественно предположить, что они - одни и те же для предприятий отрасли. Поэтому целесообразно собрать информацию (f_k,K_k,L_k), k=1,2,...,n , где f_k - объем выпуска на -ом предприятии, K_k - объем затрат капитала на -ом предприятии, L_k - объем затрат труда на -ом предприятии (в кратком изложении не пытаемся дать точных определений используемым понятиям из экономики предприятия). По собранной информации естественно попытаться оценить параметры $\alpha$ и $\beta$ . Но они входят в зависимость нелинейно, поэтому сразу применить метод наименьших квадратов нельзя. Помогает логарифмирование: $\ln f(K,L)=\alpha\ln K+\beta\ln L$ .

Следовательно, целесообразно сделать замену переменных

$x_k=\ln K_k,y_k=\ln L_k,z_k=\ln f_k, k=1,2,3,...,n,$

а затем находить оценки параметров $\alpha$ и $\beta$ , минимизируя функцию

$g(\alpha,\beta)=\sum_{k=1}^n(z_k-\alpha x_k -\beta y_k)^2.$

Найдем частные производные:

$\begin{gathered} \frac{\partial g(\alpha,\beta)}{\partial \alpha}=\sum_{k=1}^n 2(z_k-\alpha x_k -\beta y_k)(-x_k), \\ \frac{\partial g(\alpha,\beta)}{\partial \beta} =\sum_{k=1}^n 2(z_k-\alpha x_k -\beta y_k)(-y_k). \end{gathered}$

Приравняем частные производные к 0, сократим на 2, раскроем скобки, перенесем свободные члены вправо. Получим систему двух линейных уравнений с двумя неизвестными:

$\begin{gathered} \alpha\sum_{k=1}^n x_k^2+\beta\sum_{k=1}^n x_ky_k=\sum_{k=1}^n x_kz_k, \\ \alpha\sum_{k=1}^n x_ky_k+\beta\sum_{k=1}^n y_k^2 = \sum_{k=1}^n y_kz_k. \end{gathered}$

Таким образом, для вычисления оценок метода наименьших квадратов необходимо найти пять сумм

$\sum_{k=1}^n x_k^2, \sum_{k=1}^n x_ky_k, \sum_{k=1}^n y_k^2, \sum_{k=1}^n x_kz_k, \sum_{k=1}^n y_kz_k.$

Для упорядочения расчета этих сумм может быть использована таблица, аналогичная той, что применялась выше. Отметим, что рассмотренная в предыдущем параграфе постановка переходит в разбираемую сейчас при y_k = 1, k = 1, 2, ..., n .

Подходящая замена переменных во многих случаях позволяет перейти к линейной зависимости. Например, если

$y=\frac{1}{a+bx},$

то замена

приводит к линейной зависимости z = a + bx

. Если

, то замена $z=\sqrt{y}$ приводит к линейной зависимости z = a + bx

.

Основной показатель качества регрессионной модели. Одни и те же данные можно обрабатывать различными способами. На первый взгляд, показателем отклонений данных от модели может служить остаточная сумма квадратов . Чем этот показатель меньше, тем приближение лучше, значит, и модель лучше описывает реальные данные. Однако это рассуждение годится только для моделей с одинаковым числом параметров. Ведь если добавляется новый параметр, по которому можно минимизировать, то и минимум, как правило, оказывается меньше.

В качестве основного показателя качества регрессионной модели используют оценку остаточной дисперсии

$\widehat{\sigma}^2(m)=\frac{SS}{n-m},$

скорректированную на число

параметров, оцениваемых по наблюдаемым данным. В случае задачи восстановления линейной функции одной переменной, рассмотренной в предыдущем подразделе, оценка остаточной дисперсии имеет вид

$\widehat{\sigma}^2(m)=\frac{SS}{n-2},$

поскольку число оцениваемых параметров m=2

.

Почему эта формула отличается от приведенной в предыдущем параграфе? Там в знаменателе , а здесь - (n-2) . Дело в том, что там была рассмотрена непараметрическая теория при большом объеме данных (при $n\rightarrow\infty$ ). А при безграничном возрастании разница между и (n-2) сходит на нет.

Однако при подборе вида модели знаменатель дроби, оценивающей остаточную дисперсию, приходится корректировать на число параметров. Если этого не делать, то придется заключить, что всегда многочлен второй степени лучше соответствует данным, чем линейная функция, многочлен третьей степени лучше приближает исходные данные, чем многочлен второй степени, и т.д. В конце концов доходим до многочлена степени (n-1) с коэффициентами, который проходит через все заданные точки. Но его прогностические возможности, скорее всего, существенно меньше, чем у линейной функции. Излишнее усложнение статистических моделей вредно.

Типовое поведение скорректированной оценки остаточной дисперсии $\nu(m)=\widehat{\sigma}^2(m)$ в зависимости от параметра в случае расширяющейся системы моделей выглядит так. Сначала наблюдаем заметное убывание. Затем оценка остаточной дисперсии колеблется около некоторой константы (теоретического значения дисперсии погрешности).

Поясним ситуацию на примере модели восстановления зависимости, выраженной многочленом:

Пусть эта модель справедлива при m=m_0 . При m<m_0 в скорректированной оценке остаточной дисперсии учитываются не только погрешности измерений, но и соответствующие (старшие) члены многочлена (предполагаем, что коэффициенты при них отличны от 0). При $m\ge m_0$ имеем

$\lim_{n\rightarrow\infty}\nu(m)=\sigma^2.$

Следовательно, скорректированная оценка остаточной дисперсии будет колебаться около указанного предела. Поэтому в качестве оценки неизвестной статистику степени многочлена (полинома) можно использовать первый локальный минимум скорректированной оценки остаточной дисперсии, т.е.

$m^*=\min\{m:\nu(m-1)>\nu(m),\;\nu(m)\le\nu(m+1)\}.$

В работе [ [ 9.11 ] ] найдено предельное распределение этой оценки степени многочлена.

Теорема. При справедливости некоторых условий регулярности

$\lim_{n\rightarrow\infty}P(m^*<m_0)=0,\; \lim_{n\rightarrow\infty}P(m^*=m_0+u)=\lambda(1-\lambda)^u,\; u=0,1,2,...,$

где

$\lambda=\Phi(1)-|phi(-1)=\frac{1}{\sqrt{2\pi}} \int\limits_{-1}^1\exp\left\{-\frac{x^2}{2}\right\}dx\approx 0,68268.$

Таким образом, предельное распределение оценки m^* степени многочлена (полинома) является геометрическим. Это означает, в частности, что оценка не является состоятельной. При этом вероятность получить меньшее значение, чем истинное, исчезающе мала. Далее имеем:

$\begin{gathered} P(m^*=m_0)\rightarrow 0,68268,\; P(m^*=m_0+1)\rightarrow 0,68268(1-0,68268)=0,21663, \\ P(m^*=m_0+2)\rightarrow 0,68268(1-0,68268)^2=0,068744, \\ P(m^*=m_0+3)\rightarrow 0,68268(1-0,68268)^3=0,021814... \end{gathered}$

Разработаны и иные методы оценивания неизвестной степени многочлена, например, путем многократного применения процедуры проверки адекватности регрессионной зависимости с помощью статистики Фишера (см. [ [ 9.11 ] ]). Предельное поведение оценок - такое же, как в приведенной выше теореме, только значение параметра $\lambda$ иное.

Пример практического использования линейного регрессионного анализа. Руководитель маркетинговой службы новгородского завода ГАРО А.А. Пивень применил его для построения математической модели рынка легковых подъемников. Требовалось выявить факторы (показатели), оказывающие наибольшее влияние на объем продаж подъемников, найти зависимость объема продаж от этих факторов и использовать эту зависимость для прогнозирования объема продаж.

Зависимая переменная - объем продаж , независимые переменные:

грузоподъемность ( ),
цена ( )
наличие напольной рамы ( ),
наличие синхронизации ( ),
количество двигателей ( ),
суммарная мощность двигателей ( ),
высота подхвата в нижнем положении ( ),
максимальная высота подъема ( ),
скорость подъема ( ),
гарантийный срок ( ),
срок службы ( ),
время на рынке ( ),
внешний вид ( ),
срок поставки ( ),
уровень сервисного обслуживания ( ),
наличие системы смазки ( ),
масса ( ).

Для восстановления зависимости использовалась линейная регрессионная модель. По результатам пошагового анализа из рассмотрения последовательно исключались независимые переменные (параметры подъемника), имеющие (в линейной модели) коэффициенты, незначимо отличающиеся от 0, иными словами, мало отличающиеся от 0 в сравнении с их дисперсией. Для этого использовался пакет STATISTICA 6.0, конкретно модуль "Множественная регрессия" ( Multiple regression ).

В результате расчетов была получена зависимость объема продаж подъемника П3-Т от 12 факторов:

$\begin{gathered} v=-1769,77-65,09X1-0,03X2+68,79X3+147,54X4+\\ +156,28X5+2,53X7+1,06X8+25,75X12-\\ -132,26X13-12,41X14+107,78X15+397X16. \end{gathered}$

Влияние остальных пяти факторов оказалось незначимым.

Исходя из расчетов, прогнозное значение продаж подъемников на второй год продаж составит ориентировочно 1010 шт. С вероятностью 95% можно утверждать, что объем продаж будет лежать в границах [695, 1332] шт.

Рассмотрим общее понятие регрессии как условного математического ожидания. Пусть случайный вектор $(x(\omega),y(\omega))$ имеет плотность p(x,y) . Как известно из любого курса теории вероятностей, плотность условного распределения $y(\omega)$ при условии $x(\omega)=x_0$ имеет вид

$p(y|x)=p(y|x{\omega}=x_0)=\frac{p(x,y)}{\int\limits_{-\infty}^{\infty}p(x,y)dy}.$

Условное математическое ожидание, т.е. регрессионная зависимость от , имеет вид

$f(x)=\int_{-\infty}^{\infty}yp(x|y)dy= \frac{\int\limits_{-\infty}^{\infty}yp(x,y)dy}{\int\limits_{-\infty}^{\infty}p(x,y)dy}.$

Таким образом, для нахождения оценок регрессионной зависимости достаточно найти оценки совместной плотности распределения вероятности p_n(x, y) такие, что

$p_n(x,y)\rightarrow p(x,y)$

при $n\rightarrow\infty$ . Тогда непараметрическая оценка регрессионной зависимости

$f_n(x)= \frac{\int\limits_{-\infty}^{\infty}yp_n(x,y)dy}{\int\limits_{-\infty}^{\infty}p_n(x,y)dy}$

при $n\rightarrow\infty$ является состоятельной оценкой регрессии как условного математического ожидания:

$f_n(x)\rightarrow f(x).$

Общий подход к построению непараметрических оценок плотности распределения вероятностей рассмотрен в "Описание данных" .

Регрессионному анализу (т.е. методам восстановления зависимостей) посвящено большое количество литературы. Он хорошо представлен в программных продуктах по анализу данных, особенно та его часть, которая связана с методом наименьших квадратов. Обзор современных методов и моделей дан в учебнике [ [ 2.15 ] ].

Дальше >>

Авторизоваться

Прикладная статистика

Многомерный статистический анализ

9.3. Основы линейного регрессионного анализа

Вопросы и ответы