Регрессия с ошибками во всех переменных

Пусть имеется матрица ненаблюдаемых исходных переменных X = (X1,..., XM), X = {Х-/ }, i = 1, .

Y=X + є

Предполагается, что ошибки некоррелированы для разных номеров наблюдений, но ошибки, относящиеся к наблюдениям с одним и тем же номером i коррелированы, причем матрица ковариаций О точно известна. Для того, чтобы можно было воспользоваться методом максимального правдоподобия, делаем предположение, что ошибки распределены нормально. Логарифмическая функция правдоподобия равна

N 1 v -1 т

1 = - у ln |Q| - 2 VEiQ Ei + const ^ maxX,0

где Ei = Yj - Xj — i-я строка матрицы остатков.

Максимизируем функцию правдоподобия при ограничении X0 = 0. Задачу максимизации можно записать с помощью лагранжиана:

L = - 1 Tr((F- X) О-1( Y- X)T) - /X0= = - 1 Tr( Y О-1 Yт) + Tr(X О-1 YT) - у Tr(X Q-1X T) - AJX0.

IL = Q-1YT - Q-1X T- 0AJ = 0. dX

Используем

aTr(AEX aTr (ABAJ) j dJv(xJBy) T

ЗА B ЗА ~2BA ЗА yX

Отсюда получим выражение для X:

X = Y - A0JQ.

Если домножить это уравнение на ви вспомнить, что X0= 0, то Y0= Л0ТО 0, ^ Л = 000.

Подставим эти соотношения в функцию правдоподобия и получим кон-центрированную функцию правдоподобия ("концентрированный лагранжиан"):

1 c = - у Tr(^0TQ О-1 QpjJ) = - у Tr(/^ 0TO 0) = - 1 Л 0TO 0 =

= 1 0TY TY0 = - 2 0TO 0

Таким образом, нахождение максимума правдоподобия равносильно минимизации следующей функции:

pY Y в

p = pT0 P ^ minP

Условие первого порядка для минимума:

( = 2 1 YTYP 2 PTyTyP о p= 0

dp = 2 pTo pY Yp-2 (pTo pf оp= 0

^ (y Ty -pop0) p=0

или (0-1Y TY poop) P= (O-1 YTY - p) P = 0.

Таким образом, (должно быть собственным числом матрицы 0-1Y TY, а

P — ее собственным вектором. Проверим, что эти два условия не противоречат друг другу.

П PTYTYP

Покажем, что pk = p To p.

Домножим слева на P kT0:

P kJY TYPk - (k в и O Pk = 0. Отсюда получаем требуемое равенство.

Поскольку требуется минимизировать p, то нужно выбрать минимальное

собственное число pmin. Оценкой вектора коэффициентов Р будет соответствующий собственный вектор min. Отсюда получаем оценки для матрицы исходных переменных X:

X = Y- лрT0 = Y- YP рT0 = Y(I - р рT0).

р To р р To р

В частном случае, когда ошибка имеется только в первой переменной

2 T

О = a 0

L о о

Нужно минимизировать величину

TY TY 1 1

p= aY?=(Y1+a Y(" ^1))T(Y1+a^ л*

где Y(1) — матрица Y без первого столбца, Д1) — вектор в без первого элемента. Если обозначить Y = Y1, X = Y(1), 0 = Д1) то получим ОМНК: (Y- Xp)J(Y- Xp) ^ min