Численные методы нахождения оценок максимального правдоподобия

Ot+1 _ O1 + (I l)-1g( O1).

Стационарная точка этого процесса Ot+1 _ O1 будет удовлетворять уравнениям правдоподобия g-0 и (с соответствующими оговорками) будет оценкой максимального правдоподобия.

Если в качестве I 1 взять информационную матрицу в точке оценок I ( O1), то мы получаем метод, называемый по-английски method of scoring: O t+1 _ O1 - I( Ot)-1g( O1).

Если в качестве I 1 взять минус гессиан - W( O t), то мы получаем классический метод Ньютона:

Ot+1 _ O1 - W( Ot)-1g( O t).

Метод Ньютона, как правило, быстрее сходится в ближайшей окрестности оценок МП, зато метод, использующий информационную матрицу обычно менее чувствителен к выбору начальных приближений.

68

Шаг метода BHHH (OPG) можно получить с помощью вспомогательной (искусственной) регрессии, зависимой переменной в которой будет вектор, составленный из единиц (обозначим его 1), а матрицей регрессоров — матрица в(ёL).

ё^1 = ^ + Аёt, где Аёt = (?(ёУ?ё))-1?(ёУ 1.

Хотя этот последний алгоритм является самым простым, но, как правило, сходится очень медленно. Если учесть, что обычно при использовании этого

метода (С(ё 1)тО(ёt))-1 берут в качестве оценки ковариационной матрицы

оценок, то использовать его нежелательно.

Возможны различные модификации этой основной идеи.

Шаг алгоритма можно вычислять, домножая исходный шаг на параметр

X:

ё t+1 = ёt + х(Х t)~1g(0t).

Разумно выбирать параметр X, максимизируя по нему функцию правдоподобия в точке ё t+1:

X = argmin 1(ёt + X(I Yg^)).

В частном случае матрица Х 0 является блочно-диагональной. Тогда шаг алгоритма можно разбить на несколько "подшагов", один для каждого блока. Изменяются при этом только параметры, соответствующие данному блоку.

Если из условий первого порядка выразить одни оцениваемые параметры через другие и подставить их в функцию правдоподобия, то получится кон-центрированная функция правдоподобия. Действуя таким образом, задачу поиска оценок МП можно упростить, сведя к задаче максимизации концентрированной функции правдоподобия по меньшему числу параметров. Зада-ча может упроститься до одномерного поиска.

Существует много других алгоритмов. Есть алгоритмы специально сконструированные для конкретной модели; с примерами их мы встретимся в дальнейшем. Есть универсальные методы, которые можно применять к широкому классу моделей, такие как метод удвоенной регрессии и итеративный обобщенный МНК. Можно, конечно, использовать универсальные оптимизационные алгоритмы, которые подходят не только для максимизации функции правдоподобия.