Выборочная оценка распределения градиента и оценок максимального правдоподобия

Plirn^ Х = Х0 .

Л 1

Поскольку ё — состоятельная оценка истинных параметров ё0, то 1/N

Х(ё) — состоятельная оценка Х0°°. Это дает первый способ оценивания. Он состоит в том, чтобы сначала для данной модели найти функцию Х(ё), а затем подставить в нее оценки максимального правдоподобия ё (конечно, по-

дойдут и любые другие состоятельные оценки). Методы нахождения I(O) описаны ниже.

Другой способ основывается на равенстве для информационной матрицы I0°° — - limN ^ E (Н0) и на том, что ожидаемый гессиан E (Н0) асимптоти-

Л Л d2l Л

чески равен эмпирическому гессиану Н — Н(У,0 ) — dOdOT (F,0 ). Этот способ

обычно проще предыдущего, поскольку не требует вычисления математических ожиданий. Получить матрицу вторых производных данной функции правдоподобия можно и с помощью компьютерной программы.

Особой простотой, и потому притягательностью (требуется найти только первые производные), отличается третий способ оценивания информационной матрицы, использующий матрицу вкладов в градиент G. Этот способ предложен в статье Berndt, Hall, Hall, and Hausman (1974) и поэтому называ-ется BHHH. Другое название — метод внешнего произведения градиента (outer product of the gradient, сокращенно OPG). Этот способ основан на том,

что E(G0TG0) — I0. Предлагается использовать матрицу G(F, в )TG(F, в ) в качестве I.

Таким образом, имеем три варианта матрицы I:

I.

Как показывают эксперименты методом Монте-Карло, тесты, использующие G(F, в )\'G(F, в ) самые неточные в конечных выборках, а тесты, основанные на I( в ) обычно не уступают тестам, основанным на Н(У, в ).

Три рассмотренных способа нахождения I подходят для любых распределений. Есть также более специфические методы, которые можно использовать только в случае моделей определенного вида. Например, метод Гаусса- Ньютона используется в нелинейных регрессиях, метод удвоенной регрессии — в квазирегрессионных моделях с неизвестными параметрами в правой части.

Особого рассмотрения требует нахождение оценки ковариационной матрицы оценок в случае квази-МП методов (их называют также псевдо-МП методами). Если предполагается, что ошибки в модели имеют нормальное распределение и гомоскедастичны, а на самом деле это не так, то часто только что рассмотренные методы дают несостоятельные оценки. Оказывается, что во многих случаях следующие оценки состоятельны (конечно, при вычисле-

67

нии этих величин используется не настоящая, а псевдо функция правдоподобия):

W(F, $ )-1 I( $ ) W(F, $ )-1.

л 1 л Т л л 1

W(F, в )-1 G(F, в )TG(F, в ) W(F, в )-1.

Поясним интуитивно, откуда берутся эти формулы. При выводе асимптотического распределения оценок максимального правдоподобия, мы пользовались тем, что "усредненный" гессиан - І/N W0 равен асимптотически

I0°°. В общем случае нужно воспользоваться пределом 1/уE(W) — "асимптотическим" ожидаемым гессианом в точке истинных оценок (WQ). Формула приобретет следующий вид:

VN ($ - O 0) — (WQ)-1 g0 ~ N(0, (WQ)-1 I0Q(HQ)-1).