Внешне не связанные регрессионные уравнения
Yk = Xk0к + є, к = 1,...,K.
Предполагается, что коэффициенты 0к в разных уравнениях не связаны между собой какими-либо ограничениями, т.е.
уравнения независимы с точки зрения коэффициентов, но существует связь с точки зрения ошибок наблюдений с одним и тем же номером i. Т.е. соответствующая корреляционная матрица не является диагональной, причем все элементы этой матрицы неизвестны. Ошибки, относящиеся к наблюдениям с разными номерами, считаются независимыми.В экономике такое может быть если наблюдения относятся к одному и тому же периоду времени. В этом случае "одновременные" ошибки могут быть сильно коррелированы (как прибыль предприятий из-за экономического цикла). Еще один пример — регрессии, относящиеся к мужьям и женам.
Если обозначить
Xk J
\\bKJ
\\YKJ
0
є
X =
Y =
0
є
1
Y1
01
Ґо\\
0
X1 0 0 X2
L 0 ^
тогда модель можно переписать в более компактном виде: Y= X 0+ є.
Пусть остатки k-й регрессии равны ek(0k) = Yk - Xk 0k . Составим матрицу E (0), столбцами которой являются ek:
Ek i = Yk i - Xk i 0k i.
Строки матрицы E будем обозначать Ei.
Предположение модели об ошибках состоит в том, что "одновременные" ошибки коррелированы, а "разновременные" — нет. Таким образом, Е(є є) = coki и Е(є є) = 0 (i ф s) или, в матричной записи,
Е (E0) Ei(00)T) = О и Е (E0) Es(00)T) = 0 (i Ф s). Составим из ошибок вектор-столбец по другому:
Ев0)Л
eN(P0)J
f Є11 л
V
єК1 єШ
где ошибки, относящиеся к одному и тому же наблюдению , стоят рядом. Ковариационная матрица этого вектора ошибок является блочно- диагональной и равна
~ П 0 ••• 0
0 П
О -і-
V = E (Є є) =
L 0 П J
Обратная к ней тоже блочно-диагональная и равна
• 0
-1
О-1 0
0 П
° 1 V =
-1
0 О"
Если использовать символ Кронекера, то можно записать ковариационную матрицу не переставляя наблюдения:
= Е(єЄ = Q®Ik
о
(в этих обозначениях V = IK ® П), где IK — единичная матрица КхК.
Аналогично_1 = Q-1®IK.
Чтобы оценить модель, мы должны указать распределение ошибок. Предполагаем, как обычно, что ошибки имеют нормальное распределение. в и П — неизвестные параметры модели.
Так же как и из ошибок, составим один вектор-столбец и из остатков:
Ч(Р)л
ґЕ[(Р)л
e(p)
, e(P) =
V
V eKP)j
Логарифмическая функция правдоподобия равна
1 1 -1 l = - 2 ln |V| - 2 eTV -1e + const =
1 ° 1 ° T ° -1 °
= - 2 ln |V| - 2 e V- e+ const ^ max p
p
N 1 N
-1 T
l
- 2 ln |П| - 2 z EO E, \'+ const
г=1
= -2 ln |П| - 1 Tr (E П 1E T) + const.
В максимуме правдоподобия производная по П-1 равна нулю: dl N _ 1
1 = Т П - о E E = 0.
а П-1 2 2
Откуда получаем П(в) = N E(fl)JE(fl).
При дифференцировании мы использовали правила
^fW и =СЛ.
ЗА\'1 дВ
Подставим OP) в l(.), чтобы получить концентрированную функцию правдоподобия:
l с = -N ln |0(P)| - 1 Tr (E Q(P)-1E T) = -N ln |P(P)| - 1 Tr (E TE P(P)-1) =
N N NK
= -2 ln |0P)| - Tr (IK) = -2 ln |0P)| - —.
Задача l max^ эквивалентна задаче |P(P)| ^ min^ или |E(P)TE(P)|^ min^.
Выражение |E(P)\'E(P)| получило название обобщенной дисперсии .
Найдем условия первого порядка максимума концентрированной функции правдоподобия.
д д ¦ ln|P(P)| = Tr (P(P)-1 Tr" P(P)).
Здесь мы используем, что
dt Tr(dA dt),
где s(A) — скалярная функция от матрицы А, а также что
ел {А } ¦
д д Л х 2 т dE 2 T
°(0) = 0 (n EE) = N E0. = - N El(0,...,0,xkj,0,...,0)
дД/^ dfik^^ J d0kj N
= - N (0,...,0, ETXkj,0,...,0). Поэтому,
д2 Tr (О(0)-1 0 О(0)) = - N O(0)-1ETXkj,
где О(0)-1 — k-я строка матрицы О(0)-1. Отсюда
д2 ln|O(0)| = - N O(0)-1ETXk = - 2 (ETE)-1ETXk.
Получим условия первого порядка:
(E(0)TE(0))-1E(0)TXk = 0.
Эта система уравнений нелинейна относительно 0. Один из возможных способов решения состоит в использовании последовательности вспомогательных регрессий.
Он основан на том, что эти уравнения для оценок МП 0 (хотя показать это технически сложно) эквивалентны уравнениям/V *T * 1 *T
0k = (Xk Xk ) Xk
TYk ,
где Xk* = (Xk, E(0)-k), E(0)_k — матрица остатков всех уравнений, кроме k-го.
То есть в каждую регрессию надо добавить остатки из других регрессий.
Оценки вычисляются итеративно, начиная, например, с оценок ОМНК. Стандартные ошибки полученных в результате итераций уравнений надо скорректировать: вычислять не на основе суммы квадратов остатков из вспомогательной регрессии, а на основе суммы квадратов исходных остатков, т. е.
/v ~г /v /v "т" /v
el0Tel0 = (Yk -Xk 0) (Yk-Xk0).
В частном случае, когда регрессоры во всех уравнениях одни и те же, оценки МП для коэффициентов 0 совпадут с оценками ОМНК. Различие будет только в оценке ковариационной матрицы ошибок О . Если в условии первого порядка
(E(0)TE(0))-1E(0)TXk = 0
взять Xk = X Vk, то должно выполняться (E(P)TE(P)) 1E(P)TX= 0, откуда следует, что E(P)TX = 0, то есть ek(P)TX = 0 — в каждом уравнении остатки ортогональны матрице регрессоров X. А это и есть условие минимума суммы квадратов в соответствующем уравнении.
Как и в любой модели обобщенного метода наименьших квадратов информационная матрица параметров в вычисляется по формуле I"P = X TV-1X,
т. е.
xjp = X T(Q-1®IK) X.
Другой подход к вычислению оценок МП состоит в использовании итеративного обобщенного МНК.
П = N E(P t)TEp t).
^ _ EV О Ц T1
N\'
P t+1 = (X T((Qt)-1®IK)X )-1 X T((Qt)-1®IK) Y.
При использовании этого метода приходится иметь дело с матрицами большой размерности.