Стационарные временные ряды, модели авторегрессии - скользящего среднего

10.1. Основные определения

Теория линейных разностных уравнений может быть обобщена, если предполагать, что возмущающий процесс $$\{x_{t}\}$$ стохастический. Для оценки так называемых моделей авторегрессии интегрированного скользящего среднего (АРИСС-моделей) вида

$$y_{t} = a_{0} + a_{1}y_{t-1} +\dots + a_{p}y_{t-p} + \varepsilon _{t} + \beta _{1}\varepsilon _{1} +\dots + \beta _{q}\varepsilon _{t-q}$$

(10.1)

особенно важна методология Бокса - Дженкинса.

Стационарные АРИСС-модели называются моделями авторегрессии - скользящего среднего (АРСС-модели). Оказывается, условия устойчивости, рассмотренные в главе 1, являются необходимыми условиями стационарности модели.

Напомним некоторые основные определения.

Последовательность $$\{\varepsilon _{t}\}$$ является белым шумом, если каждая случайная величина последовательности имеет нулевое среднее и некоррелирована с другими элементами последовательности. То есть

$$М(\varepsilon _{t}) = М(\varepsilon _{t-1}) =\dots = 0,$$

(10.2)

$$М(\varepsilon _{t}^{2}) = М(\varepsilon _{t^{2} - 1}) -\dots - \sigma ^{2},$$

(10.3)

и для всех $$j$$

$$М(\varepsilon _{t}\varepsilon _{t-s}) = M(\varepsilon _{t-j }, \varepsilon _{t-j -c}) = 0 для всех \varepsilon _{t}.$$

(10.4)

Далее $$\varepsilon _{t}$$ будет всегда означать белый шум, а $$\sigma ^{2}$$ - дисперсию процесса. Теперь, используя белый шум, построим более сложные временные ряды:

(10.5)

Последовательность вида (10.5) называется скользящим средним порядка $$q$$ и обозначается СС(q).

Хотя $$\{\varepsilon _{t}\}$$ - белый шум, (10.5) белым шумом не является, если более одного коэффициента $$\beta$$ отличны от нуля.

Предположим, к примеру, что $$\beta _{0} = 1, \beta _{1} = 1$$ и все остальные $$\beta _{j} = 0$$. Тогда

$$М(x_{t}) = M(\varepsilon _{t} + \varepsilon _{t-1}) = 0 и D(x_{t}) = D(\varepsilon _{t} + \varepsilon _{t} - 1) = 2\sigma ^{2}.$$

Однако

$$M(x_{t}x_{t-1}) = M[(\varepsilon _{t} + \varepsilon _{t-1})(\varepsilon _{t-1} + \varepsilon _{t-2})] = M(\varepsilon _{t}\varepsilon _{t-1}) + (\varepsilon _{t-1})^{2} + \varepsilon _{t}\varepsilon _{t-2} + \varepsilon _{t-1}\varepsilon _{t-2}) = \sigma ^{2}.$$

Следовательно, не выполнено условие (10.4) и последовательность (10.5) белым шумом не является.

10.2. Тесты проверки стационарности временного ряда

При априорном предположении о нормальном законе распределения значений временного ряда применяются параметрические тесты проверки стационарности. Сначала проверяют гипотезу о постоянстве дисперсии по критерию Фишера. Временной ряд разбивают на два участка длины $$n_{1}$$ и $$n_{2}$$. Расчетное значение критерия определяют по формуле

где $$S_{1}^{2}$$ и $$S_{2}^{2}$$ - исправленные выборочные дисперсии на отрезках ряда длины $$n_{1}$$ и $$n_{2}$$ соответственно, вычисленные с использованием общего среднего для обоих отрезков.

Если $$F_{расч} < F_{табл}(a, n_{1} - 1, n_{2} - 1)$$, ($$\alpha$$ - уровень значимости), то гипотеза о постоянстве дисперсии принимается. Далее проверяется гипотеза о равенстве математического ожидания. Для этого вычисляют наблюдаемое значение критерия Стьюдента по формуле

Если $$T_{набл} < T_{табл}(a, n_{1} + n_{2} - 2)$$, где $$a$$ - уровень значимости, а $$k = n_{1} + n_{2} - 2$$ - число степеней свободы распределения Стьюдента, то гипотеза о постоянстве математического ожидания временного ряда принимается. В противном случае гипотеза стационарности временного ряда отвергается.

Рассмотренные выше тесты стационарности временного ряда предполагают нормальное распределение значений ряда. В общем случае это условие не выполняется. Более того, исследования показывают, что большинство рядов урожайностей, температур, осадков, финансовых показателей не распределены по нормальному закону. Это приводит к необходимости проверять стационарность временных рядов с помощью$$ непараметрических тестов$$, не предполагающих нормальность распределения членов временного ряда.

Для проверки постоянства математического ожидания используют тест Манна - Уитни, для проверки постоянства дисперсии - тест Сиджела - Тьюки, основанные на исследовании поведения рангов элементов двух отрезков временного ряда.

Рассмотрим подробнее третий вид тестов проверки стационарности временного ряда - сериальный критерий стационарности.

Серией называют последовательность значений, объединенных некоторым характерным признаком, например положительных или отрицательных. Серией считается также последовательность, состоящая из одного элемента. Рассмотрим вариационный ряд, объединяющий упорядоченные по возрастанию элементы обоих отрезков временного ряда. В критерии Вальда - Вольфовица положительная серия состоит из элементов первой выборки, а отрицательная серия - из элементов второй выборки. Пусть $$N_{1}$$ и $$N_{2}$$ - длины обоих отрезков временного ряда. Общее число элементов временного ряда $$N = N_{1} + N_{2}$$, а наблюдаемое число серий равно $$W$$. Определим среднее значение и дисперсию числа серий $$W$$ по формулам

Если число элементов временного ряда достаточно велико (более 50), то в случае стационарности временного ряда нормированная величина

распределена по нормальному закону и с вероятностью p должна лежать в промежутке $$a_{1} < x < a_{2}$$, а . В противном случае ряд не является стационарным.

10.3. Процессы авторегрессии - скользящего среднего

Скомбинируем процесс скользящего среднего с линейным разностным уравнением для получения АРСС-модели.

Рассмотрим разностное уравнение $$p$$-го порядка

(10.6)

Пусть теперь $$\{x_{t}\}$$ будет СС($$q$$)-процесс, представленный формулой (10.5). Тогда

(10.7)

т.е. получаем формулу (9.2), если нормализовать (10.7) так, чтобы коэффициент $$\beta_{0}$$ всегда был равен единице.

Если все характеристические корни выражения (10.6) находятся внутри единичного круга (см. условие устойчивости в главе 9), то $$\{y_{t}\}$$ называется АРСС-моделью для процесса $$y_{t}$$.

Авторегрессионная часть модели состоит из разностного уравнения с правой частью Остальная часть уравнения представлена скользящим средним - процессом вида (10.5). Если авторегрессионная часть содержит $$p$$ лагов, а скользящее среднее $$q$$ лагов (запаздываний), то это АРСС($$p, q$$)-модель.

Если $$q = 0$$, то получаем чистое уравнение авторегрессии (AP($$q$$)-модель). И если $$p = 0$$, имеем модель скользящего среднего порядка $$q$$ (СС($$q$$)-модель). В АРСС-моделях можно предполагать, что как порядок $$p$$, так и $$q$$ могут быть равны $$\infty$$. Если характеристические корни лежат внутри единичного круга не для самого ряда $$\{y_{t}\}$$, а для некоторой разности $$\Delta ^{s}y_{t}$$, то процесс $$y_{t}$$ называется интегрированным, а модель (10.6) - авторегрессионной интегрированной скользящего среднего моделью (АРИСС($$p, s, q$$)-моделью).

Рассматривая (10.7) как разностное уравнение, решим его относительно $$y_{t}$$, используя последовательность $$\{\varepsilon _{t}\}$$. Для АР(1)-модели

$$y_{t} = a_{0} + a_{1}y_{t-1} + \varepsilon _{t}$$

такое представление получено в главе 9

Для общих АРСС($$p, q$$)-моделей перепишем (10.7), используя оператор запаздывания (сдвига) на единицу $$L$$,

$$Ly_{t} = y_{t-1}; Ly_{t-1} = y_{t-2}$$ и т.д.

Получаем:

(10.8)

Отсюда получим формальное решение:

(10.9)

Можно доказать, что для существования выражения (10.9) необходимо, чтобы характеристические корни многочлена располагались вне единичного круга.

Это и будут условия устойчивости стохастического разностного уравнения (10.8). Будет также показано, что условия устойчивости необходимы для стационарности временного ряда $$y_{t}$$.

В экономике типичной является ситуация, когда для наблюдения доступна только одна реализация случайного процесса, а не множество реализаций. В таких случаях приходится иметь дело с единственным временным рядом, а не с множеством временных рядов, отражающих данный процесс за один и тот же промежуток времени.

Однако, если $$\{y_{t}\}$$ - стационарный ряд, то среднее, дисперсия и автокорреляция могут быть аппроксимированы достаточно длинным усреднением по времени единственной серии реализаций. Это означает, что среднее и дисперсия процесса имеют одно и то же значение в каждый момент времени. Более строго стохастический процесс, имеющий конечные среднюю и дисперсию, ковариационно стационарный (стационарный в слабом смысле), если для всех $$t$$ и $$t - s$$

M(y_{t}) = M(y_{t-s}) = \mu ,

(10.10)

M[(y_{t} - \mu )]2 = M[(y_{t-s} - \mu )]^{2} = \sigma _{y}^{2},

(10.11)

M[(y_{t} - \mu )(y_{t-s} - \mu )] = M[(y_{t-j} - \mu )(y_{t-j-s} - \mu )] =\gamma_{s}.

(10.12)

Такие процессы в литературе также называют стационарными второго порядка, а величины $$\gamma_{s}$$ - автоковариациями $$s$$-го порядка.

Определим автокорреляции $$s$$-го порядка между $$y_{s}$$ и $$y_{t-s}$$ по формуле

(10.13)

где $$\gamma_{s}$$ и $$\gamma_{0}$$ определены в (10.12). Очевидно, что $$\rho _{0} = 1$$.

10.4. Условия стационарности для АРСС(p, q)-процесса

Рассмотрим простейшую модель - АР(1)-процесс вида

$$y_{t} = a_{0} + a_{1}y_{t-1} + \varepsilon _{t},$$

где

$$\varepsilon _{t}$$

-

белый шум.

Пусть $$y_{0}$$ - начальное условие. В главе 9 было показано (см. (9.8)), что

(10.14)

Вычисляя математическое ожидание, получим:

(10.15)

Аналогично

(10.16)

При $$|a_{1}| < 1$$ и $$t \to \infty$$ получаем из (10.15) (см. главу 9):

Теперь для достаточно больших $$t$$ из выражения (2.16) следует, что

$$M(y_{t}) \approx a_{0}/(1 - a_{1}).$$

(10.17)

Итак, АР(1)-процесс с течением времени имеет независимую от $$t$$ среднюю, т.е. $$My_{t} = My_{t}_{-s} = \mu$$.

Вычисляя дисперсию $$y_{t}$$, имеем из (2.17):

$$D(y_{t}) = M(y_{t} -\mu )^{2} = M[(\varepsilon _{t} + a_{1}\varepsilon _{t-1} + (a_{1})^{2}\varepsilon _{t-2} +\dots +)^{2}] = \sigma ^{2}[1 + (a_{1})^{2} + (a_{1})^{4} +\dots ] = \sigma ^{2}/[1 - (a_{1})^{2}].$$

(10.18)

Выражение (10.18) конечно и также не зависит от времени.

Наконец, вычислим автоковариации:

$$M[(y_{t} - \mu )(y_{t-s} - \mu )] = M{(E_{t} + a_{1}E_{t-1} + (a_{1})^{2}E_{t-2} +\dots +) \cdot (E_{t-s} + a_{1} E_{t-s-1} +\\ +(a_{1})^{2}E_{t-s-2} +\dots +)] =\\ = \sigma ^{2}(a_{1})s[1 + (a_{1})^{2} + (a_{1})^{4} +\dots ] = \sigma ^{2}(a_{1})^{s}/[1 - (a_{1})^{2}].$$

(10.18)

Итак, автоковариации предельных значений $$y_{t}$$ также конечны и не зависят от времени.

Мы показали, что АР(1)-процесс с $$|а_{1}| < 1$$ слабо стационарны (далее - стационарны) в пределе. Это значит, что если при исследовании экономических временных рядов описываемые процессы имеют недолгую историю, велика опасность нестационарности. Осторожные исследователи часто исключают ранние наблюдения из анализа.

Выпишем решение (9.9) уравнения АР(1) из главы 9 без использования начального условия $$y_{0}$$. Получаем:

(10.20)

где

$$C$$

-

произвольная постоянная.

Вспомним, что произвольная постоянная C интерпретировалась как отклонение от долгосрочного равновесия. Ясно, что для стационарности необходимо, чтобы $$C(а_{1})^{T} = 0$$. Значит, либо $$C = 0$$, либо$$ а_{1}^{T} = 0$$.

Итак, получаем условия стационарности:

однородное решение должно быть равно нулю. Поэтому либо последовательность значений $$y_{t}$$должна находиться бесконечно далеко от начала процесса $$(а_{1}^{T} = 0)$$, либо процесс должен быть в состоянии равновесия;

характеристический корень$$ а_{1}$$ должен быть по абсолютной величине меньше 1.

Эти два условия легко переносятся на общие АРСС($$p, q$$)-процессы. Однородное решение в общем случае имеет вид

или в случае повторения корней

где

$$\alpha$$	-	повторяющийся корень кратности $$m$$;
$$С_{i}$$	-	$$p$$ произвольных значений;
$$\alpha _{i}$$	-	($$p - m$$) различных корней.

Рассмотрим теперь стационарные АРСС(2, 1)-модели

$$y_{t} = a_{1}y_{t-1} + a_{2}y_{t-2} + \varepsilon _{t} + \beta _{1}\varepsilon _{t-1}.$$

(10.21)

Можно показать, что если характеристические корни (10.21) лежат в единичном круге, то $$\{y_{t}\}$$ генерируют стационарную последовательность.

Обратимся к моделям скользящего среднего. Рассмотрим СС($$\infty$$ )-процесс (СС($$q$$)-процесс является частным случаем).

Пусть

где

$$\{\varepsilon _{t}\}$$

-

белый шум с дисперсией $$\sigma ^{2}$$.

Ранее мы выяснили, что$$ х_{t}$$ не является белым шумом. Теперь проверим условие стационарности:

$$M(x_{t}) = M(\varepsilon _{t} + \beta _{1}\varepsilon _{t-1} + \beta _{2\varepsilon t-2} + \dots ) = M(\varepsilon _{t}) + \beta _{1}M(\varepsilon _{t-1}) +\beta _{2}M(\varepsilon _{t-2}) + \dots = 0.$$

Повторяя процедуру с $$x_{t-s}$$, имеем:

$$M(x_{t-s}) = M(\varepsilon _{t-s} +\beta _{1}\varepsilon _{t-s-1} + \beta _{2}\varepsilon _{t-s-2} +\dots ) = 0.$$

Далее

$$D(x_{t}) = M[(\varepsilon _{t} + \beta _{1}\varepsilon _{t-1} + \beta _{2}\varepsilon _{t-2} +\dots )^{2}].$$

Возведем выражение в скобках в квадрат и вычислим математическое ожидание, учитывая свойства белого шума:

$$D(x_{t}) = M(\varepsilon _{t})^{2} + (\beta _{1})^{2}М(\varepsilon _{t-1})^{2} + (\beta _{2})^{2}М(\varepsilon _{t-2})^{2} = \sigma ^{2}[1 + (\beta _{1})^{2} + (\beta _{2})^{2} +\dots ].$$

Если ряд сходится, то дисперсия конечна и не зависит от $$t$$.

Вычислим автоковариации:

$$M(x_{t}, x_{t-s}) = M[(\varepsilon _{t} +\beta _{1}\varepsilon _{t}_{-1} + \beta _{2}\varepsilon _{t-2} +\dots )(\varepsilon _{t-s} + \beta _{1}\varepsilon _{t-s-1} + \beta _{2}\varepsilon _{t-s-2} +\dots )].$$

Учитывая, что $$M(\varepsilon _{t}, \varepsilon _{t}_{-s}) = 0$$ для $$s \ne 0$$, получим:

$$M(x_{t}, x_{t-s}) = S^{2}(\beta _{s} + \beta _{1}\beta _{s} + 1 + \beta _{2}\beta _{s} + 2 +\dots ).$$

Если ряд в скобках сходится, то ковариация конечна и зависит только от величины сдвига $$s$$, но не от времени $$t$$.

Суммируя сказанное получаем, что необходимые и достаточные условия стационарности заключаются в сходимости рядов:

$$< \infty ;$$

$$\beta _{s} + \beta _{1}\beta _{s} + 1 + \beta _{2}\beta _{s} + 2 +\dots < \infty , s \ne 0.$$

Если полагать, что $$b_{0} = 1$$ и $$2$$ справедливо и для $$s = 0$$, то можно обойтись одним условием 2.

Отсюда сразу следует, что любой СС($$q$$)-процесс с конечным $$q$$ всегда стационарен, так как ряд 2 в этом случае имеет конечное число слагаемых.

Рассмотрим теперь авторегрессионную модель

(10.22)

Если все характеристические корни однородной части уравнения (10.22) находятся в пределах единичного круга, то частное решение можно представить формулой

(10.23)

где

$$\alpha_{i}$$	-	неопределенные коэффициенты;
$$\alpha_{i}\varepsilon _{t-i}$$	-	ряд, образующий сходящуюся последовательность.

Можно показать, что последовательность (\u03b1_{i}) является решением системы уравнений

\alpha _{i} - a_{i}\alpha _{i-1} - a_{2}\alpha _{i-2} -\dots - a_{p}\alpha _{i-p} = 0. (10.24)

Отметим, (10.24) является СС(q)-процессом. Сходимость ряда (10.23) влечет сходимость ряда \alpha _{i}^{2. }Следовательно, можно использовать (10.23) для проверки трех условий стационарности. Отметим, что \alpha _{0} = 1.

Итак:

Из главы 9 известно, что условие является необходимым для того, чтобы характеристические корни лежали внутри единичного круга;

Аналогично

$$cov(y_{t}, y_{t-s}) = M[(\varepsilon _{t} + \alpha _{1}\varepsilon _{t-1} + \alpha \varepsilon _{t-2} +\dots )\\ (\varepsilon _{t-s} +\alpha _{1}\varepsilon _{t-s} +\alpha _{2}\varepsilon _{t-s} +\dots )] = s^{2}\\ (\alpha _{s} +\alpha _{s+1}\alpha _{1} +\alpha _{s+2}\alpha _{2} +\dots ).$$

Таким образом, средняя, дисперсия и ковариации конечны и не зависят от времени $$t$$ и сдвига $$t - s$$.

Ничего существенного не изменится, если соединить АР($$p$$)- и СС($$q$$)-модели в общую АРСС($$p, q$$)-модель:

(10.25)

(10.26)

Если корни обратного характеристического уравнения лежат вне единичного круга (а значит, корни однородного характеристического уравнения в (10.25) лежат внутри единичного круга) и $$\{x_{t}\}$$ - стационарная последовательность, то $$\{y_{t}\}$$ - тоже стационарная последовательность.

10.5. Автокорреляционные функции (АКФ)

Автоковариации и автокорреляции (см. (10.12) и (10.13)) весьма полезны при построении АРСС($$p, q$$)-моделей. Проиллюстрируем метод автокорреляционных функций на четырех важных примерах, встречающихся примерно в 80% приложений: моделях АР(1), АР(2), СС(1), АРСС(1, 1).

АКФ для АР(1)-модели $$y_{t} = a_{0} + a_{1}y_{t-1} + \varepsilon _{t}$$ формулы (10.13), (10.19) дают:

$$\gamma_{t} = \sigma ^{2}/[1 - (a_{1})^{2}],\\ \gamma_{s} = \sigma ^{2}(a_{1})^{s}/[1 - (a_{1})^{2}].$$

Из (10.13) получаем, что $$\rho _{0} = 1; \rho _{1} = а_{1}; \rho _{2} = (а_{1})^{2}, \dots , \rho _{s} = (а_{1})^{s}$$.

Построим график, на оси абсцисс отложив значение $$s$$, а на оси ординат - $$\rho _{s}$$. Напомним, что такой график называется коррелограммой. В нашем случае автокорреляционные функции $$\rho _{s }$$ сходятся к нулю со скоростью геометрической прогрессии ($$|а_{1}| < 1$$ по условию). Если$$ а_{1} > 0$$, то сходимость монотонно убывающая. При$$ а_{1} < 0$$ наблюдаются колебания, амплитуда которых затухает со скоростью геометрической прогрессии.

АКФ для АР(2)-модели. АР(2)-процесс более сложный:

$$y_{t} = a_{1}y_{t-1} + a_{2}y_{t-2} + \varepsilon _{t}.$$

(10.27)

Мы опустили свободный член, поскольку он не оказывает влияния на величину АКФ. Напомним, что по условиям стационарности корни характеристического многочлена $$(1 - a_{1}L - a_{2}L^{2})$$ лежат вне единичного круга. Выведем расчетные формулы для автокорреляций, используя уравнения Юла - Уокера.

Умножим уравнение (10.27) на $$y_{t-s}, s = 0; s = 1; s = 2$$ и т.д. После вычисления математического ожидания в левой и правой частях равенств получаем систему уравнений

$$My_{t}y_{t} = a_{1}My_{t-1}y_{t} + a_{2}My_{t-2}y_{t} + M\varepsilon _{t}y_{t} ,\\ My_{t}y_{t-1} = a_{1}My_{t-1}y_{t-1} + a_{2}My_{t-2}y_{t-1} + M\varepsilon _{t}y_{t-1},\\ My_{t}y_{t-2} = a_{1}My_{t-1}y_{t-2} + a_{2}My_{t-2}y_{t-2} + M\varepsilon _{t}y_{t-2},\\ \dots \dots \dots \dots \dots \dots \dots \dots \dots \dots \dots \dots \dots \dots \dots \dots \dots \dots \dots \dots \dots \dots .\\ My_{t}y_{t-s} = a_{1}My_{t-1}y_{t-s} + a_{2}My_{t-2}y_{t-s} + M\varepsilon _{t}y_{t-s}.$$

(10.28)

Согласно определению стационарности,

$$My_{t}y_{t-s} = My_{t-s}y_{t} = My_{t-k}y_{t-k-s} = \gamma_{s}.$$

Далее ясно, что

$$M\varepsilon _{t}y_{t} = \sigma ^{2},\\ M\varepsilon _{t}y_{t-s} = 0.$$

Поэтому (10.28) преобразуется к следующему виду:

$$\gamma_{0} = a_{1}\gamma_{1} + a_{2}\gamma_{2} + \sigma ^{2},$$

(10.29)

$$\gamma_{1} = a_{1}\gamma_{0} + a_{2}\gamma_{1},$$

(10.30)

$$\dots \dots \dots \dots \dots \dots \dots \dots \dots \dots$$

$$\gamma_{s} = a_{1}\gamma_{s}_{-1} a_{2}\gamma_{s-2}.$$

(10.31)

Поделив (10.30) и (10.31) на $$\gamma 0$$, получаем:

$$\rho _{1} = a_{1}\rho _{0} + a_{2}\rho _{1},$$

(10.32)

$$\dots \dots \dots \dots \dots \dots \dots \dots$$

$$\rho _{s} = a_{1}\rho _{s-1} + a_{2}\rho _{s-2}.$$

(10.33)

Поскольку $$\rho _{0} = 1$$, из (10.32) следует, что $$\rho _{1} = a_{1}/(1 - a_{2})$$. Зная $$\rho _{0}$$ и $$\rho _{1}$$, далее последовательно находим остальные АКФ. Например, для $$s = 2$$ и $$s = 3$$ имеем

$$r_{2} = (a_{1})^{2}/(1 - a_{2})+ a_{2},\\ r_{3} = a_{1}[(a_{1})^{2}/(1 - a_{2})+ a_{2}] + a_{2}a_{1}/(1 - a_{2}).$$

Как и в предыдущем случае, последовательность АКФ $$\{\rho _{s}\}$$ должна быть сходящейся. Согласно условиям стационарности $$y_{t}$$ корни характеристического уравнения для разностного уравнения (10.33) должны лежать внутри единичного круга.

АКФ для СС(1)-модели. Рассмотрим СС(1)-процесс вида $$y_{t} = \varepsilon _{t} +\beta \varepsilon _{t-1}$$. Умножая $$y_{t}$$ на $$y_{t-s}$$ и вычисляя математическое ожидание, получаем уравнения Юла - Уокера

$$\gamma_{1} = D(y_{t}) = My_{t}y_{t} = M[(\varepsilon _{t} + \beta \varepsilon _{t-1})(\varepsilon _{t} + \beta \varepsilon _{t-1})] = (1+\beta ^{2}) \sigma ^{2},\\ \gamma_{1} = My_{t}y_{t-1} = M[(\varepsilon _{t} + \beta \varepsilon _{t-1})(\varepsilon _{t-1} + \beta \varepsilon _{t-2})] = \beta \sigma ^{2}$$

и

$$\gamma_{s} = My_{t}y_{t-s} = M[(\varepsilon _{t} + \beta \varepsilon _{t-1})(\varepsilon _{t-s} + \beta \varepsilon _{t-s-2})] = 0 для s > 1.$$

АКФ для АРСС(1, 1)-модели. Пусть

$$y_{t} = a_{1}y_{t-1} + \varepsilon _{t} + \beta _{1}\varepsilon _{t-1}.$$

Используя прием Юла - Уокера, получаем

$$My_{t}y_{t} = a_{1}My_{t-1}yt + M\varepsilon _{t}y_{t} + \beta _{1}M\varepsilon _{t-1}y_{t} \Rightarrow \gamma_{0} = a_{1}\gamma_{1} + \sigma ^{2} + \beta _{1}(a_{1} + \beta _{1}) \sigma ^{2},$$

(10.34)

$$My_{t}y_{t-1} = a_{1}My_{t-1}y_{t-1} + M\varepsilon _{t}y_{t-1} + \beta _{1}M\varepsilon _{t-1} y_{t-1} \Rightarrow \gamma_{1} = a_{1}\gamma_{0} + \beta _{1}\sigma ^{2},$$

(10.35)

$$My_{t}y_{t-2} = a_{1}My_{t-1}y_{t-2} + M\varepsilon _{t}y_{t-2} + \beta _{1}M\varepsilon _{t-1}y_{t-2} \Rightarrow \gamma_{2} = a_{1}\gamma_{1},$$

(10.36)

$$\dots \dots \dots \dots \dots \dots \dots \dots \dots \dots \dots \dots \dots$$

$$My_{t}y_{t-s} = a_{1}My_{t-1}y_{t-s} + M\varepsilon _{t}y_{t-s} + \beta _{1}M\varepsilon _{t-1}y_{t-s} \Rightarrow \gammas = a_{1}\gammas - 1.$$

(10.37)

Из (10.34) и (10.35) имеем:

Следовательно,

(10.38)

и далее $$\rho _{s} = a_{1}\rho _{s-1}$$ для $$s >= 2$$.

Итак, в АРСС(1, 1)-модели величина $$\rho _{1}$$ зависит от$$ а_{1}$$ и $$\beta _{1}.$$ Далее $$\rho _{s}$$ АРСС(1, 1) выглядит так же, как для АР(1), т.е. имеет вид последовательности членов геометрической прогрессии со знаменателем$$ а_{1}$$. В зависимости от знака$$ а_{1}$$ эта последовательность либо постоянно убывает, либо осцилирует, затухая.

Частные автокорреляционные функции (ЧАКФ). В АР(1)-модели $$y_{t}$$ и $$y_{t-2}$$ коррелируют, хотя $$y_{t-2}$$ явно не входит в уравнение модели $$(\rho _{2} = \rho _{1}^{2})$$. Такая косвенная корреляция присуща АКФ любой авторегрессионной модели. Частные автокорреляции между $$y_{t}$$ и $$y_{t-s}$$, напротив, исключают эффекты других запаздываний. Поэтому для АР(1)-модели ЧАКФ между $$y_{t}$$ и $$y_{t-2}$$ равны нулю.

Большинство статистических пакетов программ имеют возможности для вычисления ЧАКФ. Некоторые из них основаны на методе, связанном с уравнениями Юла - Уокера,

$$Ф_{11} = \rho _{1},$$

(10.39)

$$Ф_{22} = (\rho _{2} - \rho _{1^{2}}) / (1 - \rho _{1}^{2}),$$

(10.40)

и далее

(10.41)

где

$$Ф_{sj} = Ф_{s-1,j }- Ф_{ss}Ф_{s-1},_{s-j}, j = 1, 2, 3, \dots , s - 1.$$

(10.42)

Используя правило Крамера, из уравнений Юла - Уокера можно для АP($$k$$)-процесса получить другую формулу для Фkk:

(10.43)

Для $$s > k$$, прямой корреляции между $$y_{t}$$ и $$y_{t-s}$$ для АР($$k$$)-процесса нет. Следовательно,$$ Фss = 0$$ при $$s > k$$.

Рассмотрим теперь СС(1)-модель $$y_{t} = \varepsilon _{t} + \beta \varepsilon _{t-1}$$. Если $$\beta \ne -1$$, то $$\varepsilon _{t} = y_{t}/(1 + \beta L)$$. Следовательно, разлагая правую часть равенства в ряд, имеем:

$$y_{t} - \beta y_{t-1} + \beta ^{2}y_{t-2} - \beta ^{3}y_{t-3} +\dots = \varepsilon _{t}.$$

Поэтому ЧАКФ для СС(1) не обращаются в ноль, начиная с некоторого номера $$s$$, а убывают со скоростью геометрической прогрессии. Если $$\beta < 0$$, то убывание монотонное, а при $$\beta > 0$$ коэффициенты осцилируют. В более общем случае ЧАКФ стационарных АРСС($$p, q$$)-процессов, начиная с лага $$p$$, убывают к нулю. Вид убывания зависит от коэффициентов многочлена:

$$(1 + \beta _{1}L + \beta _{2}L^{2} +\dots + \beta _{q}L^{q}).$$

10.6. Построение АРСС-моделей

Первым шагом в подборе АРСС-модели наблюдаемого временного ряда является оценка среднего - $$\mu$$, дисперсии - $$(\sigma _{y})^{2}$$ и автокорреляций $$\rho _{k}$$. В предположении стационарности и эргодичности (возможности получения оценок по одной реализации процесса) применимы следующие оценки:

(10.44)

(10.45)

и

(10.46)

Выборочные АКФ из (10.46) и ЧАКФ, полученные по формулам (10.39)-(10.43), сравнивают с различными теоретическими функциями, чтобы идентифицировать процесс, породивший данную выборочную реализацию.

Дж. Бокс и Г. Дженкинс (1976) получили формулу для расчета дисперсии выборочной АКФ $$r_{s}$$ в предположении, что $$y_{t}$$ - стационарны с нормально распределенными ошибками. Тогда

$$D(r_{s}) = T-1 для s = 1,$$

(10.47)

для $$s > 1$$

(10.48)

при настоящем значении $$r_{s} = 0$$. Более того, в большой выборке ($$Т$$ - велико) $$r_{s}$$ нормально распределено с нулевым средним. Для коэффициентов ЧАКФ АР(р)-модели доказано, что $$D(Ф_{p+ i, p+i}) \approx Т^{-1}$$.

На практике полученные выборочные значения АКФ и ЧАКФ тестируются на значимость с использованием (10.47) и (10.48). Например, для 95%-ого доверительного интервала (двух стандартных отклонений), если $$r_{1}$$ превышает $$2Т^{-1/2}$$, то следует отвергнуть нулевую гипотезу о том, что АКФ первого порядка статистически незначимо отличается от нуля. Это означает, что $$q > 0$$, где $$q$$ - показатель числа запаздываний в модели $$SS(q)$$. Затем, пусть $$s = 2, D(r_{2}) = (1 + 2r_{1}^{2}) / T$$.

Если, например, $$r_{1} = 0,5 и Т = 100$$, то $$D(r_{2}) = 0,015$$ и $$\sigma (r_{2}) \approx 0,123$$. Тогда если вычисленное по выборке значение $$r_{2}$$ превышает $$2 \times (0,123)$$ (два стандартных отклонения), то при принятых ограничениях с 95%-ной вероятностью можно утверждать, что гипотезу $$r_{2} = 0$$ надо отвергнуть. Следовательно, $$q > 1$$. Повторяя процесс проверки гипотез для различных $$s$$ можно пытаться идентифицировать порядок процесса.

Однако если просматривать большое число АКФ, то можно обнаружить, что некоторые АКФ превышают $$2\sigma (r_{s})$$, хотя настоящие $$\rho _{s} = 0$$. Это вызвано как 5%-ными ошибками первого рода, так и несоответствием реальных распределений теоретическим предпосылкам нормальности ошибок.

Следующая $$Q$$-статистика может быть использована для тестирования, когда группа АКФ значимо отличается от нуля. $$Q$$-статистика Бокса - Пирса имеет вид

(10.49)

Если данные порождены стационарным АРСС-процессом, то $$Q$$ асимптотически $$x^{2}$$-распределенная с $$s$$ степенями свободы. Интуитивно понятно, что большие значения АКФ ведут к большим значениям $$Q$$. Если выборочное $$Q$$ превышает соответствующее табличное значение $$Q$$, то отвергается гипотеза о незначимости группы АКФ. Отметим, что альтернативная гипотеза означает, что хотя бы одна АКФ не равна нулю.

Однако оказалось, что даже в средней величины выборках $$Q$$-статистика работает плохо. Для малых выборок используют модифицированную $$Q$$-статистику Льюиса - Бокса, вычисленную по формуле

(10.50)

Если выборочное значение $$Q$$-статистики превышает критическое значение $$x^{2}$$-распределения с $$s$$ степенями свободы, то по крайней мере одно значение $$r_{k}$$ статистически отлично от нуля при данном уровне значимости. Особо полезны эти статистики для проверки гипотезы об образовании остатками вычисленной АРСС($$p, q$$)-модели белого шума. Поэтому если рассчитывать $$s$$ АКФ для остатков оцененной АРСС($$p, q$$)-модели, то число степеней свободы уменьшается на число коэффициентов модели. Следовательно, используя остатки для АРСС($$p, q$$)-модели, необходимо проверять $$Q$$ с помощью $$x^{2}$$-распределения с $$s - p - q$$ степенями свободы. Если включена свободная постоянная, то используем таблицы $$x^{2}$$-распределения с $$s - p - q - 1$$ степенями свободы.

10.7. Селекция моделей АРСС

Наиболее простой и популярный в настоящее время метод селекции моделей предполагает построение множества моделей с различными $$p$$ и $$q$$, а затем выбор модели, минимизирующей выбранный критерий селекции, который характеризует качество модели.

Существующие "внутренние" критерии селекции выражают компромисс между сложностью модели и величиной суммы квадратов остатков. Так, наиболее популярными являются информационный критерий Акайке (AIC) и бестестовый критерий Шварца (SBC), вычисляемые по формулам

$$AIC = T ln(R^{2}) + 2n,\\ SBC = T ln(R^{2}) + n ln(T),$$

где

$$Т$$	-	число используемых наблюдений;
$$R^{2}$$	-	сумма квадратов остатков (ошибок) модели;
$$n$$	-	число оцениваемых параметров модели.

Так как $$ln(T) > 2$$, то оптимальная модель SBC будет менее сложной, чем оптимальная модель AIC. Стоимость "добавки" лишнего слагаемого больше для SBC-критерия, чем для AIC-критерия. Доказано, что с увеличением выборки SBC-модели асимптотически состоятельны, в то время как AIC-модели становятся слишком сложными.

Рассмотренные выше критерии отбора являются "внутренними", т.е. используют данные, уже ранее использованные для построения моделей. Если позволяет величина выборки, то гораздо надежнее использовать "внешние" критерии селекции, т.е. независимые наблюдения, не вошедшие в первоначальную выборку. Алгоритм построения АРСС($$p, q$$)-модели по внешнему критерию минимизации ошибок на "экзаменующей" выборке рассмотрен ниже.

10.8. Алгоритм выбора модели оптимальной сложности для временного ряда в АРСС(p, q)-моделях

Все множество наблюдений $$y_{t}, t = 1, 2, 3, \dots , T$$ разбивают на две выборки:

обучающую с объемом наблюдений $$T_{1} (y_{1}, y_{2}, \dots , y_{T1})$$;

экзаменационную $$(y_{T1}_{+1}, \dots , y_{T1} +_{t}_{2})$$ с объемом наблюдений$$ Т_{2}$$.

На обучающей выборке определяют числовые характеристики временного ряда, а именно: среднее, дисперсию, автоковариации и автокорреляционные функции (АКФ):

Организуются циклы по переменным $$p$$ - числу параметров авторегрессии и $$q$$ - числу параметров скользящего среднего:

$$p = 1, 2, \dots , p_{max}; q = 1, 2, \dots , q_{max}.$$

Для каждой пары ($$p, q$$) вычисляются оценки параметров авторегрессии$$ Ф = (Ф_{1}, Ф_{2}, \dots , Ф_{p}$$) путем решения системы р линейных уравнений

$$АФ = x,$$

где

$$А$$

-

матрица с элементами$$ А_{ij} = \gamma_{|q+i-j|}$$, а вектор$$ х = (х_{1}, х_{2}, \dots , х_{p})$$ с координатами$$ х_{i} = \gamma_{q+i}; i, j = 1, 2, \dots , p$$.

По известным автоковариациям $$\gamma_{k}$$ вычисляется модифицированная последовательность ковариаций $$\gamma_{j} ^{1}$$:

Вычисляются начальные значения $$\tau _{0}^{0} = \sqrt{\gamma_{0}^{1}}; \tau _{1}^{0} = \tau _{2}^{0 }= \dots = \tau _{q}^{0 }= 0$$, т.е. формируется начальный вектор \$$tau ^{0 }= (\tau _{0}^{0}, \tau _{1}^{0}, \tau _{2}^{0}, \dots , \tau _{q}^{0})$$.

Далее используется алгоритм Ньютона - Рафсона вида

$$\tau ^{i+1 }= \tau ^{i } - h, \tau ^{i }= (\tau _{0}^{i}, \tau _{1}^{i}, \tau _{2}^{i}, \dots , \tau _{q}^{i}) .$$

где

$$h$$

-

решение системы $$T^{i} h = f^{i}$$.

При этом

$$f ^{i }= (f_{0}^{i}, f_{1}^{i}, f_{2}^{i}, \dots , f_{q}^{i}),$$

и начальный вектор определен выше.

Если $$|f_{ji}| < \varepsilon , j = 0,1, \dots, q$$, для некоторого выбираемого заранее малого $$\varepsilon$$, то итерационный процесс завершается.

Оценки $$\beta _{i}$$ параметров скользящего среднего находятся по формулам

$$\beta _{j} = -\tau _{j }/ \tau _{0}, j = 0, 1, \dots , q,$$

где получен в результате применения алгоритма Ньютона - Рафсона (см. выше).

Вычисляем свободный член модели

Определяем оценку дисперсии белого шума:

Вычисляем остаточные ошибки модели на обучающей выборке. Пусть $$s = max{p, q}$$, тогда остаточные ошибки на обучающей выборке $$(y_{1}, y_{2}, \dots , yT_{1})$$ имеют вид

$$\alpha _{1}^{об} = \alpha _{2}^{об} = \alpha _{3}^{об} = \dots = \alpha _{s}^{об};$$

Найдем остаточные ошибки модели на проверочной последовательности. Полагаем:

$$\alpha _{0}^{пр} = \alpha _{1}^{об}; = \alpha _{-1}^{пр} = \dots = \alpha T1-1^{об}; \dots , \alpha _{-s}^{пр} = \alpha T1-s^{об}$$

и далее

Вычисляем на экзаменационной (проверочной) последовательности среднюю сумму квадратов ошибок:

Оформляем конец циклов на $$p$$ и $$q$$.

Выбираем пару $$p^{опт}$$ и $$q^{опт}$$, для которой $$\sigma ^{2}_{pq}$$ принимает минимальное значение:

$$(p^{опт}, q^{опт}) = arg min \sigma ^{2}_{pq}.$$

Далее производится оценка коэффициентов авторегрессии и скользящего среднего для модели выбранной оптимальной сложности с $$p = p^{опт}, q = q^{опт}$$, повторяя описанный выше алгоритм для всей выборки$$ Т$$ и получая окончательные значения коэффициентов$$ а_{0}, Ф_{1}, \dots , Ф_{p}, \beta _{0}, \dots , \beta _{q}$$.

Экономичность модели. Помимо "внешнего" критерия при построении модели можно использовать принцип экономичности. Включение дополнительных переменных в модель увеличивает адекватность модели (на обучающей выборке), так как средняя ошибка модели убывает. Часто можно заменить одну модель другой - более экономичной. Например, СС($$\infty$$ )-модель

$$y_{t} = \varepsilon _{t} + 0,5\varepsilon _{t} - 1 + 0,25\varepsilon _{t} - 2 + 0,125\varepsilon _{t} - 3 + 0,0625\varepsilon _{t} - 4 +\dots$$

эквивалентна модели $$y_{t} = 0,5y_{t} - 1 + \varepsilon _{t}$$, что легко проверить.

Для того чтобы сделать модель более экономичной, считают, что коэффициенты авторегрессии и скользящего среднего должны иметь $$t$$-статистики больше или равны 2 (чтобы каждый коэффициент значимо отличался от нуля при 5%-ном уровне значимости). Кроме того, необходимо следить за тем, чтобы коэффициенты не были сильно коррелированны друг с другом. Сильная корреляция коэффициентов делает модель неустойчивой. В этом случае следует исключать те коэффициенты, которые в наименьшей степени ухудшают результаты прогноза.

Кроме того, важно, чтобы остатки оцениваемой модели были сериально некоррелированные. Наличие сериальной корреляции остатков сигнализирует о систематических изменениях в последовательности $$\{y_{t}\}$$, которые не могут быть учтены АРСС-моделью.

Чтобы проверить корреляцию остатков, строят АКФ и ЧАКФ для остатков оцениваемой модели. Затем можно использовать $$Q$$-статистики Бокса - Пирса и Льюиса - Бокса (см. (10.49)-(10.50)). Они позволяют определить, будут ли автокорреляции остатков или частные автокорреляции статистически значимы. Обычно можно предполагать наличие сериальной корреляции остатков при превышении критического уровня $$Q$$-статистикой при 10%-ном уровне значимости. В этом случае велика вероятность построения другой модели, лучше отражающей специфику процесса.

Стационарность и обратимость модели. Из теории вероятностей известно, что выборочные АКФ и ЧАКФ аппроксимируют АКФ и ЧАКФ реального временного ряда в том случае, если предполагать стационарность ряда $$y_{t}$$. Далее, $$t-$$ и $$Q$$-статистики также предполагают стационарность ряда $$y_{t}$$.

Если искомый ряд $$y_{t}$$ не стационарный, то первым шагом в подходе Бокса - Дженкинса является взятие первой, второй и следующих разностей временного ряда

$$\Delta ^{2}y_{t} = y_{t} - y_{t} - 1, \Delta ^{2}y_{t} = \Delta (\Delta y_{t})$$

и так далее до тех пор, пока в результате не получится стационарный временной ряд. Этот подход обладает серьезным недостатком, так как не позволяет включать в модель долговременные составляющие. Современные подходы к построению модели временных рядов в условиях нестационарности рассмотрены в последующих главах книги.

Подход Бокса - Дженкинса требует также обратимости модели. Она означает возможность представления модели в виде конечного или бесконечного, но сходящегося авторегрессионного процесса. Это необходимо для АКФ и ЧАКФ. Рассмотрим, к примеру, СС(1)-модель

$$y_{t} = \varepsilon _{t} - \beta _{1}\varepsilon _{t} - 1.$$

Если $$|\beta _{1}| < 1$$, то

$$\varepsilon _{t} = y_{t}/(1 - \beta _{1}L).$$

Разлагая в ряд правую часть равенства, получаем:

$$y_{t} + \beta _{1}y_{t-1} + \beta _{1}^{2}y_{t} + \beta _{1}^{3}y_{t} + \dots = \varepsilon _{t}.$$

Полученная модель представляет собой сходящуюся авторегрессионную модель бесконечного порядка, для которой могут быть посчитаны АКФ и ЧАКФ. Однако если $$|\beta_{1}| >= 1$$, то последовательность $$\{y_{t}\}$$ не может быть представлена сходящейся авторегрессией. В общем случае для АРСС($$p, q$$)-модели корни многочлена $$1 + \beta _{1}L + \beta _{2}L^{2} +\dots + + \beta qL^{q }$$ должны лежать вне единичного круга. Тогда модель обратима.

Заметим, что могут существовать и необратимые модели с "долгосрочной памятью", которые нельзя построить по методу Бокса - Дженкинса. Например, модель стационарного процесса

$$y_{t} = \varepsilon _{t} - \varepsilon _{t} - 1$$

с постоянным средним $$Myt = Myt - s = 0$$, дисперсией и автоковариациями $$\gamma1 = - \beta 1\sigma 2 = -\sigma 2$$ и \$$gamma\sigma = 0$$. Записывая модель в эквивалентном виде

$$y_{t} = -y_{t} - 1 + y_{t} - 2 - y_{t} - 3 + y_{t} - 4 +\dots$$

убеждаемся, что ЧАКФ не затухают с увеличением лага $$s \to \infty$$.

10.9. Учет сезонности в модели

Многие экономические процессы, особенно в сельском хозяйстве и туристическом секторе в том или ином смысле обладают сезонной цикличностью. Предновогодние распродажи также обязательно должны быть приняты во внимание в период прогнозирования временного ряда розничных продаж. Итак, сезонная вариация некоторых экономических рядов может превышать их общую вариацию. Прогнозы, которые не учитывают сезонную цикличность, могут быть неудовлетворительными.

Техника учета сезонной цикличности для АРСС-моделей в принципе не отличается от обычного подхода. Если существует сезонная цикличность с периодом s-шагов, то ненулевые сезонные АКФ и ЧАКФ появятся при запаздываниях $$s, 2s, 3s$$скорее, чем при $$s = 1, 2, 3, \dots$$

На практике построение модели затруднительно, так как сезонные отрезки временного ряда будут взаимодействовать с несезонными отрезками временного ряда. Поэтому АКФ и ЧАКФ для комбинированных временных рядов будут отражать это взаимодействие.

Многие исследователи предпочитают мультипликативное представление сезонной модели, так как богатый спектр взаимодействий может быть отражен в компактной модели с малым числом коэффициентов.

Выпишем модель

$$y_{t} = a_{1}y_{t-1} + \varepsilon _{t} + \beta _{1} \varepsilon _{t} - 1 + \beta _{4} \varepsilon _{t-4} + \beta _{1} \beta _{4} \varepsilon _{t-5}$$

(10.51)

Оценивая три коэффициента$$ а_{1}, \beta _{1}, \beta _{4}$$, отразим эффект авторегрессии и эффекты моделей скользящего среднего с лагами 1, 4 и 5. Коэффициенты скользящего среднего оказываются взаимосвязанными. Оценивая более сложную модель вида

$$y_{t} = a_{1}y_{t-1} + \varepsilon _{t} + \beta _{1} \varepsilon _{t-1} + \beta _{4} \varepsilon _{t-4} + \beta _{5} \varepsilon _{t-5},$$

можно получить меньшую сумму квадратов остатков модели, так как $$\beta _{5}$$ в этом случае не связано соотношением $$\beta _{5} = \beta _{1} \beta _{4}$$. Однако (10.51) является более экономичной моделью и на экзаменационной выборке может показать не худшие результаты прогноза.

В заключение отметим, что не существует теоретических исследований, доказывающих преимущества одной формулы представления сезонных компонент в модели перед возможными другими формулами.

Построение моделей авторегрессии интегрированного скользящего среднего (АРИСС) автоматизировано в популярных статистических пакетах. Например, в пакете STATISTICA в модуле "Временные ряды", заставка которого выглядит следующим образом (рис. 10.1).

(рис 10.1)

Контрольные вопросы

Дайте определения стационарного в слабом смысле стохастического процесса.

Как определяются автокорреляции временного ряда?

Как записать АРСС($$p, s$$)-модель для стационарного временного ряда?

Выпишите условия стационарности для процессов АР(1), АР(2), АРСС(1, 1).

Как получить расчетные формулы для частных автокорреляций ряда (ЧАКФ) по методу Юла - Уокера?

В чем отличие поведения АКФ и ЧАКФ для авторегрессии и для процессов скользящего среднего?

Как тестировать адекватность моделей и находить порядок $$s$$ скользящего среднего с помощью статистик Бокса - Пирса и Льюиса - Бокса?

Какие есть еще приемы селекции моделей АРСС($$p, s$$)?

В чем состоит принцип выбора экономичной модели?

Как учитывают явления сезонности в моделях АРСС($$p, s$$)?

Покажите, что АКФ для СС(2)-процесса $$yt = \varepsilon t + \beta 1\varepsilon t - 1 +\beta 2\varepsilon t - 2$$ имеет два ненулевых значения $$\rho 1$$ и $$\rho 1$$, а остальные $$\rho s = 0$$, для $$s > 2$$.

Постройте коррелограмму для АРСС(2, 1)-модели. Для общих АРСС($$p, q$$)-моделей, начиная с запаздывания $$q$$, значения $$\rho _{i}$$ будут удовлетворять уравнению

$$\rho _{i} = a1\rho _{i} - 1 + a2\rho i - 2 + \dots + ap\rho _{i} - p, i > q.$$

При этом первые$$ р - 1$$ значения $$\rho _{i}$$ трактуются как начальные условия, получаемые из уравнений Юла - Уокера.