Регрессия с ошибками во всех переменных
Пусть имеется матрица ненаблюдаемых исходных переменных X = (X1,..., XM), X = {Х-/ }, i = 1, .
., N, j = 1, ...,M. Эти переменные связаны между собой линейной зависимостью: Xp = 0. Требуется оценить коэффициенты p. Наблюдаются только переменные Y, которые представляют собой переменные X измеренные с ошибками:Y=X + є
Предполагается, что ошибки некоррелированы для разных номеров наблюдений, но ошибки, относящиеся к наблюдениям с одним и тем же номером i коррелированы, причем матрица ковариаций О точно известна. Для того, чтобы можно было воспользоваться методом максимального правдоподобия, делаем предположение, что ошибки распределены нормально. Логарифмическая функция правдоподобия равна
N 1 v -1 т
1 = - у ln |Q| - 2 VEiQ Ei + const ^ maxX,0
где Ei = Yj - Xj — i-я строка матрицы остатков.
Максимизируем функцию правдоподобия при ограничении X0 = 0. Задачу максимизации можно записать с помощью лагранжиана:
L = - 1 Tr((F- X) О-1( Y- X)T) - /X0= = - 1 Tr( Y О-1 Yт) + Tr(X О-1 YT) - у Tr(X Q-1X T) - AJX0.
IL = Q-1YT - Q-1X T- 0AJ = 0. dX
Используем
aTr(AEX aTr (ABAJ) j dJv(xJBy) T
ЗА B ЗА ~2BA ЗА yX
Отсюда получим выражение для X:
X = Y - A0JQ.
Если домножить это уравнение на ви вспомнить, что X0= 0, то Y0= Л0ТО 0, ^ Л = 000.
Подставим эти соотношения в функцию правдоподобия и получим кон-центрированную функцию правдоподобия ("концентрированный лагранжиан"):
1 c = - у Tr(^0TQ О-1 QpjJ) = - у Tr(/^ 0TO 0) = - 1 Л 0TO 0 =
= 1 0TY TY0 = - 2 0TO 0
Таким образом, нахождение максимума правдоподобия равносильно минимизации следующей функции:
pY Y в
p = pT0 P ^ minP
Условие первого порядка для минимума:
( = 2 1 YTYP 2 PTyTyP о p= 0
dp = 2 pTo pY Yp-2 (pTo pf оp= 0
^ (y Ty -pop0) p=0
или (0-1Y TY poop) P= (O-1 YTY - p) P = 0.
Таким образом, (должно быть собственным числом матрицы 0-1Y TY, а
P — ее собственным вектором. Проверим, что эти два условия не противоречат друг другу.
Пусть pk — некоторый собственный вектор, pk — соответствующее собственное число этой матрицы: (0-1 Y TY - pk)P k = 0.П PTYTYP
Покажем, что pk = p To p.
Домножим слева на P kT0:
P kJY TYPk - (k в и O Pk = 0. Отсюда получаем требуемое равенство.
Поскольку требуется минимизировать p, то нужно выбрать минимальное
собственное число pmin. Оценкой вектора коэффициентов Р будет соответствующий собственный вектор min. Отсюда получаем оценки для матрицы исходных переменных X:
X = Y- лрT0 = Y- YP рT0 = Y(I - р рT0).
р To р р To р
В частном случае, когда ошибка имеется только в первой переменной
2 T
О = a 0
L о о
Нужно минимизировать величину
TY TY 1 1
p= aY?=(Y1+a Y(" ^1))T(Y1+a^ л*
где Y(1) — матрица Y без первого столбца, Д1) — вектор в без первого элемента. Если обозначить Y = Y1, X = Y(1), 0 = Д1) то получим ОМНК: (Y- Xp)J(Y- Xp) ^ min