Распределение градиента и оценок максимального правдоподобия

Оценки максимального правдоподобия имеют нормальное асимптотиче-ское распределение. Для доказательства этого мы воспользуемся предположением, что градиент функции правдоподобия в точке истинных значений параметров O0 имеет асимптотическое нормальное распределение.

Градиент g (F,O0) будет иметь нормальное распределение (асимптотически), если к нему применима центральная предельная теорема.

gj(F,O0) — ZGj(F,O0).

Как сказано выше, каждое из слагаемых здесь имеет нулевое математическое ожидание. Если выполнены некоторые условия регулярности (см. литературу, посвященную центральной предельной теореме), то ZGj(F,O0) стремится к нормальному распределению с ростом количества наблюдений. Ковариационная матрица градиента в точке O0 есть информационная матрица, поскольку его математическое ожидание равно нулю: V(g0) — E (g0 g0T) — I. Последнее равенство выполнено по определению.

Окончательно получаем

1a ^

^N g0 ~ N(0 20 ).

Используя это свойство градиента мы докажем асимптотическую нормальность оценок ММП. Для этого используем разложение в ряд Тейлора в точке O0 до членов первого порядка:

0 — g(O) — g(O0) + HO)(O - O0),

где Н — гессиан (матрица вторых производных от логарифмической функции правдоподобия), O j — выпуклая комбинация $ и O0j. Поскольку $ — состоятельная оценка параметра O0j, то O j тоже должна быть состоятельной

65

оценкой в0j. Поскольку - 1/NНо = Х0ж , то имеем асимптотическое равенство: - 1/N Н(ё) = 1ож.

Таким образом, (ё - ёо) = (Хо")-1 ~ N(°, (ХЖ)-1 ХТСХТ)-1).

Окончательно получим

VN (Ё - ЁО) n(°, (XQ00)-1).

Это соотношение позволяет оценить ковариационную матрицу оценок ё. С этой точки зрения оценка обратной информационной матрицы является

оценкой ковариационной матрицы МП-оценок Уё (с точностью до множителя 1/у), и эти термины можно использовать как синонимы. Понятно, что для этого должны быть выполнены соответствующие условия, гарантирующие, что операции интегрирования и дифференцирования коммутируют и что справедлива центральная предельная теорема, что мы всегда в дальнейшем будем предполагать.