Нелинейная регрессия. Метод Гаусса-Ньютона
Yi = fi(O) + ЄІ,
Имея на t-м шаге приближение ё1, следующее приближение ёШ получаем с помощью регрессии Y - / (ё1 ) по F(ёt), где F(.
) — матрица производных / по ё:F-- = f дв;
По сути дела мы здесь линеаризируруем функцию / в окрестности точки ё1. Пусть Аё1 — оценки ОМНК из этой вспомогательной регрессии:
Аё1 = (F(ё1 )^(ё1 ))-1F(ёt)T( Y - / (ё1)).
Тогда следующее приближение метода Гаусса-Ньютона будет:
ё1+1 = ёt + Аё1.
Повторяем эти итерации пока метод не сойдется.
Последняя из регрессий Гаусса-Ньютона даст состоятельную оценку матрицы ковариаций оценок ё (сС2 (FTF)-1), при условии, что верны обычные предположения: что єг независимо нормально распределены с нулевым мат. ожиданием и одинаковой дисперсией. Ясно, что можно, используя t- и F-статистики из этой вспомогательной регрессии, проверять различные гипотезы по принципу теста Вальда. Таким образом, регрессия Гаусса-Ньютона является искусственной регрессией.