Модели с дискретной зависимой переменной
Бинарная зависимая переменная Yj называется так, потому, что принимает два значения, обычно 0 и 1. Обозначим через Рг вероятность появления единицы, или, что в данном случае то же самое, математическое ожидание Y: Pi = Prob (Yj = 1) = E(Y).
Вероятность Pi в линейной модели с бинарной зависимой переменной зависит от Xiв, где Xi — строка матрицы регрессоров, в — вектор коэффициентов регрессии:
Pi = F (Xj в)
Здесь F (.) — (кумулятивная) функция распределения некоторого непрерывного распределения.
В логите используется (стандартное) логистическое распределение c функцией распределения
1
- z
1 + е
F (z) =
и плотностью распределения
еz
f (z) = (ЇТо2.
В пробите используется стандартное нормальное распределение c функцией распределения
z 1
F (z) = j 2-е 2dt.
t2
2пе
- ж
Логарифмическая функция правдоподобия равна
l = I ln Pffi + I ln (1 - Ptf)) =
ielo Їє11
N
= I [ Y, ln P,{fl) + (1- Yj) ln (1 - P(fi))l
i=1
где I0 и I1 - множества наблюдений, для которых Yi = 0 и Yi = 1 соответст-венно.
gT = 6L = I [ Yi J-Yi._ dP^ = I Yi- p g= эр\' Z [p, - 1 - PiJ дв = Zi Pi(1 - Pi)f(Xiв)Х\'
P,(1 - Pi)
Логит
Градиент функции правдоподобия равен:
Для логита верно, что f (z) = F(z) (1 - F(z)), поэтому f(Xiв) = P(1 - Pi).
Это позволяет упростить формулу градиента:gT =1. (I - pX
где = 1 + I - X в.
Гессиан в случае логита равен: dj21 дР
Н = дрв = - Z д0 X=- Z f(Xlв)X>X = = - ipo - p) X^Xr
Видно, что гессиан всюду отрицательно определенный (кроме вырожденных случаев). Таким образом, логарифмическая функция правдоподобия всюду вогнута.
Гессиан не зависит от случайного вектора Y, поэтому ожидаемый гессиан равен просто гессиану, то есть информационная матрица равна минус гессиану:
I = - Н = ЪР(1 - Pi) XjX..
Для поиска максимума можно использовать метод Ньютона (он же в данном случае и method of scoring):
в t+1 = в - (Н(в У-Ув) = в t - Авt.
Поскольку максимизируемая функция вогнута, то метод Ньютона всегда
сходится.
Шаг алгоритма удобно находить как оценки коэффициентов во* *
вспомогательной регрессии Y по X , где Y*p), X*
X ХЛг л л
loiaeo
В случае пробита выражение для гессиана несколько более громоздкое:
д21 д Yi 1— I
Н = двдвТ=в Z [ P - ] f(Xl p)Xi =
= - Zi [ +(Г1—] f(X p)XiXi
+ Z [ Yi Ы ] f(X в sfXAy =
+ Zi [ pt - 1 - Pi] f(Xiв) двт X =
=- Z [ (^-k2f(Xi - Pirp) fp ] f(Xi в)^-
df(z)
Для нормального распределения верно, что = - zf (z). Это позволяет
несколько упростить выражение для гессиана, так как
d f(X в) v в ^
авт = - Хг fif (Xi в) Xі.
Обозначим
Yi - Pi
V = f (X Яр^г-р-).
Тогда
H = - Iv(Vi +X в) XTX..
В тех же обозначениях градиент равен gT =I Vi X.
Как и в случае логита, можно показать, что гессиан является отрицательно определенным.
Чтобы найти информационную матрицу для пробита, воспользуемся тем, что E (Yi) = Pi, E (Yi - Pi)2 = Pi(1 - Pt ).
f2(X в)
X = - E (H) = - ZiE (Vi2) XTX. = - Z pi(TTpi) XTX..
Для поиска максимума, как и в случае логита, можно использовать гра-диентный алгоритм:
в,+1=в\' - (it)"1gt=в\' - в
В методе Ньютона с I1 = - Н(в*) используется вспомогательная регрессия с переменными
vV, * і
r< = • X = ^ +Xiв X
Если использовать информационную матрицу в точке оценок I 1=I в) (method of scoring), то надо взять
= Yi - Pi * = f (Xi в)
1 Vp.<1 - PI)\' Г VP.<1 - PI) \'".
Вспомогательные регрессии для пробита и логита являются искусственными регрессиями, то есть, с помощью них можно проверять все те гипотезы, которые можно проверять в случае обычной регрессии, в частности, использовать t-статистики.
Метод максимального правдоподобия для моделей с дискретной зависимой переменной по сути является нелинейным методом наименьших квадратов (НМНК). Математическое ожидание Yi равно Pi. Разность Yi и Pi должна иметь нулевое математическое ожидание, то есть подходит в качестве ошибки в нелинейной регрессии Yi по Pi. Однако эта ошибка будет гетероскеда- стична. Действительно,
V(Y) = E (I - Pi)2 = Pi(1 - Pt )2 + (1 - Pi )P2 = P i(1 - Pi).
Таким образом, следует воспользоваться взвешенным НМНК, где веса рассматриваются как фиксированные:
N (ii—Pi)2 •
Z Pi (1—Pi) ^ min.
Поскольку веса неизвестны, то приходится использовать итерационные процедуры, которые совпадают с описанными выше. Оба метода дают одни и те же оценки, поскольку достигают экстремума одновременно.