Регрессия по методу наименьших квадратов с одной независимой переменной

(2.22)

Рассмотрим случай, когда имеется п наблюдений двух переменных х и у. Предположив, что у зависит от х, мы хотим подобрать уравнение

j) = а + Ьх.

Расчетное значение зависимой переменной у,, и остаток е, для наблюдения / заданы уравнениями (2.18) и (2.21). Мы хотим выбрать а и Ь, чтобы минимизировать величину S:

(2.23)

S = Хе2 = е\\ + ... + Є2.

Можно обнаружить, что величина S минимальна, когда

(2.24)

Cov(x.y)

Var(x)

(2.25)

и

а = у-Ьх.

Варианты выражения для b

Так как

(2.26)

Cov(x, у) = - X (х - х)(у - у) = - X ху - ху; п              п

и

(2.27)

Var(x)= ^Х(*-х)2 =^Х*2 -х2,

мы можем получить следующие выражения для Ь:

(2.28)

ь_ Соу(х,у) _              у)              _              Х(*-х)(у-у).

Var(x)              1 у (х - х)2              Х(х-Ї)2

п

п

В дальнейшем в тексте будет использоваться первоначальное определение b = Cov (х, y)/Var (х) и это выражение, вероятно, лепте всего запомнить. На практике для вычисления коэффициентов регрессии используется компьютер, поэтому нет смысла запоминать альтернативные выражения. Зная определения выборочной дисперсии и ковариации, вы всегда сможете вывести эти выражения.

Вывод выражений для а и amp;[VI]

Вывод выражений для а и Ь будет осуществляться в соответствии с той же процедурой, которая использовалась в двух примерах в разделе 2.3, и предлагается сравнивать общий вариант с примерами на каждом этапе. Начнем с того, что выразим квадрат /-го остатка через а и b и наблюдения значений х и у:

е- = (У і - уі )[VII] = (у j -а- Ьх/ )2 = у2 +a2 + b2x2 - 2оу, + 2 abx; - 26х,у,.              (2.30)

Суммируя по всем п наблюдениям, запишем S в виде:

S = Ху2 + па2 + 62Х*2 -2аХу, + 2абХх,- -2бХх(у,-.              (2.31)

Заметим, что данное выражение для Sявляется квадратичной формой по а и Ь, и ее коэффициенты определяются выборочными значениями х и у. Мы можем влиять на величину S, только задавая значения а и Ь.

Условия первого порядка для минимума, то есть dS/da = 0 и Э5/Э6 = 0, принимают вид:

Э S

• = 2ап- 2Х У, + 2бХ X,. = 0;              (2.32)

да

dS

• = 2бХ х2 + 2оХ хf - 2Х Х/У/ = 0.              (2.33)

дЬ

Эти уравнения известны как нормальные уравнения для коэффициентов регрессии и представляют собой обобщенные варианты уравнений (2.7), (2.8), (2.14) и (2.15) в двух примерах. Уравнение (2.32) позволяет выразить а через

у, х и пока неизвестное Ь. Подставив пу вместо Гу,- и пх вместо Lx(, получим:

2ап-2пу + 2Ьпх = 0.              (2.34)

Следовательно,

а = у- Ьх.              (2.35)

Подставив выражение для а в уравнение (2.33) и помня, что ?х( равно пх, имеем:

2bX xf + 2пху - 2bnx2 - 2^ *;.У/ = 0. После деления на 2п и перегруппировки получим:

Ь

ХіУі - ху.

(2-37)

(2.38)

С учетом формул (2.26) и (2.27) это выражение можно переписать в следующем виде:

bWat(x) = Cov(x, у),

и, таким образом, мы получим уравнение (2.24). Найдя из этого выражения Ь, выразим затем а из уравнения (2.25). Тот, кто знаком с условиями второго порядка, без труда сможет убедиться, что они удовлетворены.

Во втором числовом примере, приводимом в разделе 2.3, Cov (х, у) = 1,0;

(2.39)

(2.40)

Var (х) = 0,67; у = 4,67; Зс = 2,00. Следовательно,

Ь = 1,00/ 0,67 = 1,5;

а = у - bx = 4,67 -1,5(2,00) = 1,67,

что подтверждает исходные вычисления.