Вычисление информационной матрицы

Самым простым часто (а именно тогда, когда функцию правдоподобия можно простым образом разбить на вклады наблюдений) оказывается третий способ, который использует только что рассмотренное свойство

°

E(G°TG°) = I EG/G-o).

Выше была получено выражение для информационной матрицы в случае линейной регрессии с нормально распределенными ошибками прямо по определению. Вычислим теперь ее двумя другими способами.

Гессиан уже был вычислен выше. Математическое ожидание от него со знаком минус равно.

V

I о = - E(Ho) — E

2 X TX — 4 а а

-1 TX N

- 4 Є X ~ 4 а 2а

/\r\nX J є \\ X TX

2 0\r\nЄТЄ = а 0T N

1 4

2а _\r\n— 6 а_ J \r\n

Вклад в логарифмическую функцию правдоподобия /-го наблюдения ра-

вен

1

1

l = — 2 ln(2n аО — 2а (Y — X/ pf

Продифференцировав его, получим вклад в градиент i-го наблюдения в точке истинных параметров:

G° = О^, 20Й—2а).

Вклад в информационную матрицу i-го наблюдения в точке истинных

1

2XiTXi 0 1

параметров равен

а

0T

4

2а

X TX

0

N 2а

Ii° = E(Gi0TGi°) = Таким образом,

а

0T

2° = ХХ/о =

Все три способа, как и следовало ожидать, привели к одному и тому же результату.

Заметим попутно, что Ii° — положительно определенная матрица, Х° при

любом количестве наблюдений — положительно определенная матрица (в предположении, что матрица регрессоров имеет полный ранг). Из этого можно сделать вывод, что информация в некотором смысле увеличивается с ростом количества наблюдений. Это одно из объяснений названия "информаци-

онная матрица". В частности, определитель информационной матрицы увеличивается с ростом количества наблюдений:

|IV+1| > I4

1Х0 1 > |Х0 |.