Стандартные ошибки коэффициентов регрессии

Стандартная ошибка коэффициента множественной регрессии имеет такой же смысл, как и в парном регрессионном анализе, в том плане, что она является оценкой стандартного отклонения распределения коэффициента регрессии вокруг его истинного значения (см.

Таблица 5.5

Например, если имеются только две независимые переменные, то теоретическая дисперсия коэффициента регрессии Ьх выражается уравнением (5.37). Можно показать, что в этом случае несмещенная оценка величины о2 может быть получена путем умножения величины Var (е), представляющей собой выборочную дисперсию остатков, на п/(п - 3). Следовательно,

С0(М= S" х 1-              =              1(”/”-3)У*(е)              1

С°-(Й1) Lvar (*,) 1-r2 J              wVar(x,)              *1_г2

I              I

Var(g)              1

n - 3Var(x,) * 1 - r2 ‘              (5-46)

Соответствующее выражение для стандартной ошибки Ьг можно получить путем перестановки индексов.

Когда имеется более двух независимых переменных, намного удобнее выразить стандартные ошибки, так же как и сами коэффициенты регрессии, с помощью матричной алгебры.

В начале этого раздела были сформулированы четыре условия, выполнение которых позволяет получать достаточно надежные оценки коэффициентов регрессии, при этом третье и четвертое условия исследовались непосредственно на основе экспериментов по методу Монте-Карло. Каждое условие отражено в выражениях для дисперсий коэффициентов регрессии, представленных в уравнении (5.37), и каждое в свою очередь отражено в соотношении (5.46).

В частности, тесная линейная связь между двумя объясняющими переменными приведет к получению значения r2 x^, близкого к единице, а следовательно, стандартные ошибки (при прочих равных условиях) будут относительно большими, что отражает вероятную неточность коэффициентов регрессии, что мы уже наблюдали ранее. Например, можно заметить, что стандартные ошибки в уравнении (5.44), где наблюдалась тесная линейная связь между S, X\' и А, намного больше, чем стандартные ошибки в уравнении (5.43), где эта связь была слабой.

Кроме того, целесообразно сравнить стандартные ошибки в уравнениях (5.44) и (5.45). В первом из них величина и получалась путем умножения случайных чисел на 2000. Во втором — эти числа умножались на 200. В результате оценки регрессии в уравнении (5.45) были намного точнее, о чем свидетельствуют их гораздо меньшие ошибки. Коэффициенты регрессии оказались в 10 раз точнее (если рассмотреть различие между оценкой и истинным значением), а стандартные ошибки составили лишь ‘/ю прежнего размера.