Случайные составляющие коэффициентов регрессии

Коэффициент регрессии, вычисленный методом наименьших квадратов, — это особая форма случайной величины, свойства которой зависят от свойств остаточного члена в уравнении.

(3.1)

В ходе рассмотрения мы постоянно будем иметь дело с моделью парной регрессии, в которой у связан с х следующей зависимостью:

у = а + Рх + и,

(3.2)

и на основе п выборочных наблюдений будем оценивать уравнение регрессии.

у - а + Ьх.

Мы также будем предполагать, что х — это неслучайная экзогенная переменная. Иными словами, ее значения во всех наблюдениях можно считать заранее заданными и никак не связанными с исследуемой зависимостью. Во-первых, заметим, что величина у состоит из двух составляющих. Она включает неслучайную составляющую (а + рх), которая не имеет ничего общего с законами вероятности (аир могут быть неизвестными, но тем не менее это постоянные величины), и случайную составляющую и.

Отсюда следует, что, когда мы вычисляем Ъ по обычной формуле:

ь Cov(x,y)

Var(x) ’              lt;3-3gt;

Ь также содержит случайную составляющую. Cov (х, у) зависит от значений у, а у зависит от значений и.

Если случайная составляющая принимает разные значения в п наблюдениях, то мы получаем различные значения у и, следовательно, разные величины Cov (х, у) и Ь.

Теоретически мы можем разложить Ъ на случайную и неслучайную составляющие. Воспользовавшись соотношением (3.1), а также правилом 1 расчета ковариации из раздела 1.2, получим:

Cov(x, у) = Cov(x, [а + Рх + и]) = Cov(x, а) + Cov(x, рх) + Cov(x, и).              (3.4)

По ковариационному правилу 3, ковариация Cov (х, а) равна нулю.

Cov(x,y) = pVar(x) + Cov(x,j/),              (3.5)

и, таким образом,

Cov(x,y) Соу(х,и) Var(x) н Var(x)

Итак, мы показали, что коэффициент регрессии Ь, полученный по любой выборке, представляется в виде суммы двух слагаемых: 1) постоянной величины, равной истинному значению коэффициента Р; 2) случайной составляющей, зависящей от Cov (х, и), которой обусловлены отклонения коэффициента b от константы р. Аналогичным образом можно показать, что а имеет постоянную составляющую, равную истинному значению а, плюс случайную составляющую, которая зависит от случайного фактора и.

Следует заметить, что на практике мы не можем разложить коэффициенты регрессии на составляющие, так как не знаем истинных значений аир или фактических значений и в выборке. Они интересуют нас потому, что при определенных предположениях позволяют получить некоторую информацию о теоретических свойствах а и Ь.