Регрессионная модель МНК позволяет получить несмещенную оценку с минимальной дисперсией только тогда, когда остатки независимы друг от друга. Нарушение условия независимости остатков () называется автокорреляцией. Если имеет место автокорреляция остатков, то коэффициенты регрессии не смещены, но стандартные ошибки недооценены, а проверка статистической значимости коэффициентов ненадежна. Автокорреляция остатков означает наличие корреляции между остатками текущих и предыдущих наблюдений. Автокорреляция остатков обычно встречается в регрессионном анализе при использовании данных временных рядов. В силу этого в дальнейших выкладках вместо символа i порядкового номера наблюдения будем использовать символ t, отражающий момент наблюдения. Объем выборки при этом будем обозначать T.

Причины автокорреляции:

Ошибки спецификации – неучет в модели важной объясняющей переменной или неправильный выбор формы зависимости;

Эффект паутины – многие экономические показатели реагируют на изменение экономических условий с запаздыванием (временным лагом).

Методы обнаружения автокорреляции

В силу неизвестности значений параметров уравнения регрессии неизвестными будут также и истинные значения отклонений ,t= 1, 2, ..., Т. Поэтому выводы об их независимости осуществляются на основе оценок ε t ,t= 1, 2, ..., Т, полученных из эмпирического уравнения регрессии. Рассмотрим возможные методы определения автокорреляции.

Метод рядов.

Последовательно определяются знаки отклонений ,t= 1, 2, ..., Т.

Например, (- - - - -)(+++++++)(- - -)(++++)(-),

т.е. 5 «-», 7 «+», 3 «-», 4 «+», 1 «-».

Ряд определяется как непрерывная последовательность одинаковых знаков. Количество знаков в ряду называетсядлиной ряда .

Визуальное распределение знаков свидетельствует о неслучайном характере связей между отклонениями. Если рядов слишком мало по сравнению с количеством наблюдений п , то вполне вероятна положительная автокорреляция. (В большинстве случаев положительная автокорреляция вызывается направленным постоянным воздействием некоторых неучтенных в модели факторов). Если же рядов слишком много, то вероятна отрицательная автокорреляция. Для более детального анализа предлагается следующая процедура. Пусть

п - объем выборки;

п 1 - общее количество знаков «+» прип наблюдениях;

п 2 - общее количество знаков «-» прип наблюдениях; .

k- количество рядов.

Если при достаточно большом количестве наблюдений (n 1 >10,п 2 >10) количество рядовkлежит в пределах

то гипотеза об отсутствии автокорреляции не отклоняется.

Для небольшого числа наблюдений (n 1 <20,n 2 <20) Свед и Эйзенхарт разработали таблицы критических значенийk 1 ,k 2 отn 1 ,n 2 .

Если , то говорят об отсутствии автокорреляции;

если , говорят о положительной автокорреляции остатков;

если , говорят об отрицательной автокорреляции остатков.

В нашем примере: n=20,n 1 =11,n 2 =9,k=5. По таблицамk 1 =6,k 2 =16. Пронимается предположение о наличии положительной автокорреляции на уровне значимости 0,05.

Для проверки автокорреляции первого порядка (для регрессии временных рядов) необходимо рассчитать критерий Дарбина-Уотсона . Он определяется так:

.

Эмпирическое правило гласит, что если критерий Дарбина- Уотсона равен двум, то не существует положительной автокорреляции, если он равен нулю, то имеет место совершенная положительная автокорреляция, а если он равен четырем, то имеет место совершенная отрицательная автокорреляция. Критерий Дарбина-Уотсона имеет выборочное распределение, которое обладает двумя критическими значениями: d L – нижняя границаиd U – верхняя граница.

9.1 Сущность и причины автокорреляции в остатках

Автокорреляция в остатках обычно встречается при регрессионном анализе временных рядов, и почти не встречается при анализе пространственных выборок. Чаще встречается положительная автокорреляция. Она в большинстве случаев вызывается направленным постоянным воздействием некоторых неучтенных в модели факторов. При положительной автокорреляции остатки изменяются монотонно с течением времени наблюдения, а при отрицательной – следует частое изменение знака остатка.

Среди базовых причин автокорреляции можно выделить следующие:

а) ошибки спецификации – неучет в модели какой-то важной объясняющей переменной или неверный выбор вида функции, что ведет к систематическим отклонениям точек наблюдения от линии регрессии,

б) инœерция – запаздывание реакции экономической системы на изменение факторов,

в) сглаживание данных.

Последствия автокорреляции в остатках такие же, как и в случае гетероскедастичности (потеря эффективности, смещение дисперсий оценок параметров, занижение стандартных ошибок и завышение t –статистик параметров), а это может повлечь признание незначимых факторов значимыми. Вследствие перечисленных обстоятельств, прогнозные качества модели ухудшаются.

При анализе временных рядов вместо индекса i часто будем использовать время t , а вместо числа наблюдений n будем писать – продолжительность интервала наблюдения временного ряда.

Мы будем рассматривать автокорреляцию первого порядка, так как в большинстве практических случаев автокорреляционная функция быстро убывает.

Коэффициент автокорреляции 1-го порядка в остатках:

В случае если данный коэффициент корреляции существенно отличен от 0, то можно говорить о наличии автокорреляции.

9.2. Обнаружение автокорреляции в остатках

1. Графический метод – при использовании этого метода строится график: ε t есть функция от ε t – 1 . В случае если в графике прослеживается отчетливая положительная или отрицательная тенденция, то, скорее всœего, имеет место соответствующая автокорреляция в остатках.

2. Метод рядов

В моменты времени определяются знаки отклонений, к примеру:

– для 20-ти наблюдений.

Рядом называют непрерывную последовательность одинаковых знаков (ряд ограничен скобками, в примере приведено 5 рядов). Количество знаков называют длиной ряда. В случае если рядов мало по сравнению с числом наблюдений, то вполне вероятна положительная автокорреляция, в случае если рядов много, – то отрицательная.

Для более детального анализа используется следующая процедура:

Пусть - число знаков ʼʼ+ʼʼ,

Число знаков ʼʼ–ʼʼ,

Количество рядов.

При достаточном количестве наблюдений и при отсутствии автокорреляции в остатках случайная величина имеет асимптотически нормальное распределœение со следующими параметрами:

Тогда, в случае если k лежит внутри интервала

то гипотеза об отсутствии автокорреляции не отклоняется; если лежит левее данного интервала, то есть положительная автокорреляция, а если правее – то отрицательная автокорреляция. Здесь γ – уровень значимости гипотезы об отсутствии автокорреляции. Стоит сказать, что для небольших и существует таблица Сведа–Эйзенхарта͵ в которой по значениям и находятся и .

В случае если k 1 < k < k 2 , то автокорреляция отсутствует, в случае если k < k 1 – есть положительная автокорреляция, в случае если k > k 2 – есть отрицательная автокорреляция.

3. Тест Дарбина-Уотсона (DW ). Это – самый популярный тест: ─ критерий Дарбина – Уотсона.

Установим связь между этим критерием и коэффициентом корреляции:

учитывая, что и , получим:

Процедура обнаружения автокорреляции по критерию DW такова:

1. Вычисляется критерий DW , для чего должна быть выполнена регрессия y на x и определœены остатки. Далее выдвигается гипотезаоб отсутствии автокорреляции в остатках.

2. По таблице критических значений теста Дарбина–Уотсона для назначенного уровня значимости γ , числа наблюдений n и числа факторов p определяются верхняя du и нижняя dl критические точки

3. Строятся области: I–от 0 до dl ; II–от dl до du; III–от du до 4–du ; IV– от 4–ul до 4–dl и V–от 4–dl до 4.

Это поясняется табл. 9.1.

таблица 9.1

При использовании критерия следует учитывать следующие ограничения:

а) он применим лишь для модели с ненулевым свободным членом,

в) временной ряд должен иметь одинаковую периодичность, то есть не должно быть пропусков наблюдений,

где - коэффициент авторегрессии, - количество наблюдений, – дисперсия коэффициента c 1 в уравнении авторегрессии y t = a + bx t + c 1 y t - 1 +…+ ε t , c 1 – коэффициент при в упомянутом уравнении.

Как использовать h – статистику?

Стоит сказать, что для назначенного уровня значимости γ выдвигают гипотезу об отсутствии автокорреляции в остатках, ᴛ.ᴇ. полагают, что в модели AR(1) остатков и статистика h имеет стандартное нормальное распределœение: .

По таблице функции Лапласа определяют критическую точку такую, что . В случае если , то отклоняется. В противном случае не отклоняется и автокорреляция не признается.

9.3. Методы устранения автокорреляции

1.Обобщенный МНК (ОМНК)

Рассмотрим исходную модель в моменты времени t и t –1:

– есть случайная величина, так как и – случайные величины,

Так как и .

Остаток не коррелирует ни с одним регрессором, следовательно, можно применить классический МНК. Оценка параметра b вычисляется непосредственно, а оценка параметра a вычисляется так: .

ОМНК может применяться для данных, начиная с момента , ᴛ.ᴇ. первое наблюдение теряется; его можно восстановить для и , используя поправку Прайса–Уинстена.

Автокорреляция – это корреляционная зависимость между текущими значениями некоторой переменной и значениями этой же переменной, сдвинутыми на несколько периодов времени назад. Автокорреляция случайной составляющей e модели – это корреляционная зависимость текущих и предыдущих значений случайной составляющей модели. Величина l называется запаздыванием , сдвигом во времени или лагом .

Автокорреляция случайных возмущений модели нарушает одну из предпосылок регрессионного анализа: условие

не выполняется.

Автокорреляция может быть вызвана несколькими причинами, имеющими различную природу. Во-первых, иногда она связана с исходными данными и вызвана наличием ошибок измерения в значениях результирующей переменной. Во-вторых, в ряде случаев причину автокорреляции следует искать в формулировке модели. Модель может не включать фактор, оказывающий существенное воздействие на результат, влияние которого отражается на возмущениях, вследствие чего последние могут оказаться автокоррелированными. Очень часто этим фактором является фактор времени t : автокорреляция обычно встречается при анализе временных рядов.

Постоянная направленность воздействия не включенных в модель переменных является наиболее частой причиной так называемой положительной автокорреляции .

Иллюстрацией положительной автокорреляции может служить следующий пример.

Пример 5.2. Пусть исследуется спрос Y на прохладительные напитки в зависимости от дохода X по ежемесячным и сезонным наблюдениям. Зависимость, отражающая увеличение спроса с ростом дохода, может быть представлена линейной функцией регрессии y = ax + b , изображенной вместе с результатами наблюдений на рис. 5.2.

Рис. 5.2. Положительная автокорреляция

На величину спроса Y оказывают влияние не только доход X (учтенный фактор), но и другие факторы, которые не учтены в модели. Одним из таких факторов является время года.

Положительная автокорреляция означает постоянное в одном направлении действие неучтенных факторов на результирующую переменную. Так спрос на прохладительные напитки всегда выше линии регрессии летом (т.е. для летних наблюдений e > 0) и ниже зимой (т.е. для зимних наблюдений e < 0) (рис. 5.2). g

Аналогичная картина может иметь место в макроэкономическом анализе с учетом циклов деловой активности.

Отрицательная автокорреляция означает разнонаправленное действие неучтенных в модели факторов на результат: за положительными значениями случайной составляющей e в одних наблюдениях следуют, как правило, отрицательные в следующих, и наоборот. Графически это выражается в том, что результаты наблюдений y i «слишком часто» «перескакивают» через график уравнения регрессии. Возможная схема рассеяния наблюдений в этом случае представлена на рис. 5.3.

Рис. 5.3. Отрицательная автокорреляция

Последствия автокорреляции в определенной степени сходны с последствиями гетероскедастичности. Среди них при применении МНК обычно выделяют следующие.

1. МНК-оценки параметров, оставаясь несмещенными и линейными, перестают быть эффективными. Следовательно, они перестают обладать свойствами наилучших линейных несмещенных оценок.

2. Стандартные ошибки коэффициентов регрессии будут рассчитываться со смещением. Часто они являются заниженными, что влечет за собой увеличение t -статистик. Это может привести к признанию статистически значимыми объясняющих переменных, которые в действительности таковыми не являются. Смещенность возникает вследствие того, что выборочная остаточная дисперсия (m – число объясняющих переменных модели), которая используется при вычислении указанных величин (см. формулы (2.18) и (2.19)), является смещенной. Во многих случаях она занижает истинное значение дисперсии возмущений s 2 .

Вследствие вышесказанного все выводы, получаемые на основе соответствующих t - и F - статистик, а также интервальные оценки будут ненадежными. Следовательно, статистические выводы, получаемые при проверке качества оценок (параметров модели и самой модели в целом), могут быть ошибочными и приводить к неверным заключениям по построенной модели.

Автокорреляция остатков может возникать по нескольким причинам:

Во-первых, иногда автокорреляция связана с исходными данными и наличием ошибок измерения в значениях Y.

Во-вторых, иногда причину автокорреляции остатков следует искать в формулировке модели. В модель может быть не включен фактор, оказывающий существенное воздействие на результат, но влияние у которого отражается в остатках, вследствие чего последние могут оказаться автокоррелированными. Зачастую этим фактором является фактор времени t.

Иногда, в качестве существенных факторов могут выступать лаговые значения переменных , включенных в модель. Либо в модели не учтено несколько второстепенных факторов, совместное влияние которых на результат существенно ввиду совпадения тенденций их изменения или циклических колебаний.

Автокорреляция бывает явной и неявной.

Явная наблюдается в случае, когда известна точная зависимость между уровнями шоковой переменной, полученными в различные моменты времени.

Неявная – когда такая зависимость является стохастической:

Зависимость такого вида достаточно часто встречается при анализе временных рядов и носит название модели авторегрессии первого порядка AP (1).

К последствиям наличия в модели автокорреляции относятся:

а) увеличение дисперсий оценок параметров модели;

б) смещение оценок, полученных по МНК;

в) снижение значимости оценок параметров.

Если ρ >0, то автокорреляция будет положительной, а если ρ < 0 – отрицательной.

Наиболее популярным критерием диагностики эконометрической модели на наличие автокорреляции является тест Дарбина-Уотсона.

Кроме точечной проверки наличия автокорреляции шоковой переменной на практике проверяют статистические гипотезы следующих видов:

Критерии проверки гипотез 1) и 2) основаны на специальных таблицах Дарбина-Уотсона, в которых по уровню надежности содержаться доверительные границы статистики .

Однако, существуют особые ограничения при использовании теста Дарбина-Уотсона.

1) Модель должна содержать свободный член ;

2) Модель не должна содержать лаговых переменных.

В других учебниках существует деление автокорреляции на чистую и ложную .

Чистая вызывается зависимостью случайного члена от прошлых значений. Она, в свою очередь, делится на автокорреляцию первого порядка, второго порядка и высших порядков.

Ложная автокорреляция вызывается неправильной спецификацией модели.

Причинами чистой автокорреляции могут быть:

1. Инерция. Трансформация и изменение многих экономических показателей обладает инерционностью.

2. Эффект паутины. Многие экономические показатели реагируют на изменение экономических условий с временным лагом (запаздыванием).

3. Сглаживание данных. Усреднение данных по некоторому продолжительному интервалу времени.

Последствия автокорреляции:

1. Истинная автокорреляция не приводит к смещению оценок регрессии, но оценки перестают быть эффективными.

2. Автокорреляция (особенно положительная) часто приводит к уменьшению стандартных ошибок коэффициентов, что влечет за собой увеличение t -статистик.

3. Оценка дисперсии остатков S e 2 является смещенной оценкой истинного значения σ e 2 , во многих случаях занижая его.

4. В силу вышесказанного выводы по оценке качества коэффициентов и модели в целом, возможно, будут неверными. Это приводит к ухудшению прогнозных качеств модели.

Автокорреляция остатков

Важной предпосылкой построения качественной регрессионной модели по МНК является независимость значений случайных отклонений от значений отклонений во всех других наблюдениях. Отсутствие зависимости гарантирует отсутствие коррелированности между любыми отклонениями, т.е. и, в частности, между соседними отклонениями .

Автокорреляция (последовательная корреляция ) остатков определяется как корреляция между соседними значениями случайных отклонений во времени (временные ряды) или в пространстве (перекрестные данные). Она обычно встречается во временных рядах и очень редко – в пространственных данных. В экономических задачах значительно чаще встречается положительная автокорреляция , чем отрицательная автокорреляция .

Чаще всего положительная автокорреляция вызывается направленным постоянным воздействием некоторых не учтенных в регрессии факторов. Например, при исследовании спроса у на прохладительные напитки в зависимости от дохода х на трендовую зависимость накладываются изменения спроса в летние и зимние периоды. Аналогичная картина может иметь место в макроэкономическом анализе с учетом циклов деловой активности.

Применение МНК к данным, имеющим автокорреляцию в остатках, приводит к таким последствиям:

1. Оценки параметров, оставаясь линейными и несмещенными, перестают быть эффективными. Они перестают быть наилучшими линейными несмещенными оценками.

2. Дисперсии оценок являются смещенными. Часто дисперсии, вычисляемые по стандартным формулам, являются заниженными, что влечет за собой увеличение t – статистик. Это может привести к признанию статистически значимыми факторов, которые в действительности таковыми не являются.

3. Оценка дисперсии регрессии является смещенной оценкой истинного значения σ 2 , во многих случаях занижая его.

4. Выводы по t – и F – статистикам, возможно, будут неверными, что ухудшает прогнозные качества модели.

Для обнаружения автокорреляции используют либо графический метод, либо статистические тесты. Рассмотрим два наиболее популярных теста.

Метод рядов . По этому методу последовательно определяются знаки отклонений от регрессионной зависимости. Например, имеем при 20 наблюдениях

(-----)(+++++++)(---)(++++)(-)

Ряд определяется как непрерывная последовательность одинаковых знаков. Количество знаков в ряду называется длиной ряда . Если рядов слишком мало по сравнению с количеством наблюдений n , то вполне вероятна положительная автокорреляция. Если же рядов слишком много, то вероятна отрицательная автокорреляция.

Пусть n – объём выборки, n 1 – общее количество положительных отклонений; n 2 – общее количество отрицательных отклонений; k – количество рядов. В приведенном примере n =20, n 1 =11, n 2 =5.

При достаточно большом количестве наблюдений (n 1 >10, n 2 >10) и отсутствии автокорреляции СВ k имеет асимптотически нормальное распределение, в котором

Тогда, если

то гипотеза об отсутствии автокорреляции не отклоняется. Если , то констатируется положительная автокорреляция; в случае признается наличие отрицательной автокорреляции.

Для небольшого числа наблюдений (n 1 <20, n 2 <20) были разработаны таблицы критических значений количества рядов при n наблюдениях. В одной таблице в зависимости от n 1 и n 2 определяется нижняя граница k 1 количества рядов, в другой – верхняя граница k 2 . Если k 1 , то говорят об отсутствии автокорреляции. Если , то говорят о положительной автокорреляции. Если ,то говорят об отрицательной автокорреляции. Например, для приведенных выше данных k 1 =6, k 2 =16 при уровне значимости 0,05. Поскольку k=5, определяем положительную автокорреляцию.

Критерий Дарбина-Уотсона . Это наиболее известный критерий обнаружения автокорреляции первого порядка. Статистика DW Дарбина-Уотсона приводится во всех специальных компьютерных программах как одна из важнейших характеристик качества регрессионной модели.

Сначала по построенному эмпирическому уравнению регрессии определяются значения отклонений . Рассчитывается статистика

- положительная автокорреляция;

- зона неопределенности;

- автокорреляция отсутствует;

Зона неопределенности;

- отрицательная автокорреляция.

Можно показать, что статистика DW тесно связана с коэффициентом автокорреляции первого порядка:

Связь выражается формулой:

Отсюда вытекает смысл статистического анализа автокорреляции. Поскольку значения r изменяются от –1 до +1, DW изменяется от 0 до 4. Когда автокорреляция отсутствует, коэффициент автокорреляции равен нулю, и статистика DW равна 2. DW =0 соответствует положительной автокорреляции, когда выражение в скобках равно нулю (r =1). При отрицательной автокорреляции (r =-1) DW =4, и выражение в скобках равна двум.

Ограничения критерия Дарбина – Уотсона:

1. Критерий DW применяется лишь для тех моделей, которые содержат свободный член.

2. Предполагается, что случайные отклонения определяются по итерационной схеме

(1)

3. Статистические данные должны иметь одинаковую периодичность (не должно быть пропусков в наблюдениях).

4. Критерий Дарбина – Уотсона не применим к авторегрессионным моделям вида:

,

где - оценка коэффициента автокорреляции первого порядка (66), D(c) – выборочная дисперсия коэффициента при лаговой переменной y t -1 , n – число наблюдений.

При большом n и справедливости нуль – гипотезы H 0: ρ=0 h~N(0,1) . Поэтому при заданном уровне значимости определяется критическая точка из условия

,

и h- статистика сравнивается с u α /2 . Если |h |>u α /2 , то нуль – гипотеза об отсутствии автокорреляции должна быть отклонена. В противном случае она не отклоняется.

Обычно значение рассчитывается по формуле , а D(c) равна квадрату стандартной ошибки m c оценки коэффициента с . Cледует отметить, что вычисление h – статистики невозможно при nD(c)> 1.

Автокорреляция чаще всего вызывается неправильной спецификацией модели. Поэтому следует попытаться скорректировать саму модель, в частности, ввести какой – нибудь неучтенный фактор или изменить форму модели (например, с линейной на полулогарифмическую или гиперболическую). Если все эти способы не помогают и автокорреляция вызвана какими – то внутренними свойствами ряда {e t }, можно воспользоваться преобразованием, которое называется авторегрессионной схемой первого порядка AR(1 ).

Рассмотрим AR(1) на примере парной регрессии.