Регрессия по методу наименьших квадратов: два примера[V]

Пример 1

Приведем действительно простой пример всего с двумя наблюдениями для того, чтобы продемонстрировать механизм процесса: как показано на рис. 2.4, наблюдаемое значение у = 3, когда х = 1, и у = 5 при х =2.

Оценим коэффициенты а и Ь уравнения

jgt; = а + Ьх.              (2.3)

8

Рг

У 7 6 5 4

3

2

1

О

Рис. 2.4. Пример с двумя наблюдениями

Таблица 2.1

х              у              9              е

1. 3              в+ b              3 - в- b
2. 5              в+2Ь              Ъ-в-2Ь

Очевидно, что при наличии всего двух наблюдений мы можем получить точное соответствие, проведя линию регрессии через две точки, однако сделаем вид, что мы этого не понимаем. Вместо этого придем к тому же выводу, используя метод регрессии.

Если х = 1, тоР = (а + А) в соответствии с уравнением регрессии. Еслих = 2, то]gt; = а + 2Ь. Следовательно, мы можем составить табл. 2.1.

Значение Р, (величина^ в точке /?, на рис. 2.3) равно (а + Ь), а значение $gt;2 = = а + 2Ь. Следовательно, остаток е, для первого наблюдения, который определяется как (у, — Р,), равен (3 — а — Ь), а остаток е2, который определяется как (у2 — $2), равен (5-а — 2 Ь). Следовательно,

S = e2+el = (3-o-6)2 + (5-o-26)2 =

= (9 + o2 +b2 -6a-6b + 2ab) + (25 + a2 +462 -10o-206 + 4o6) = = 2o2 + 5b2 +6ab-16a- 26 b + 34.

(2.5)

Теперь мы хотим выбрать такие значения а и Ь, чтобы значение S было минимальным. Для этого мы используем дифференциальное исчисление и находим значения а и Ь, удовлетворяющие следующим соотношениям:

да              д              b

(2.6)

1^ = 40 + 66-16;              —              =              106              +              6о-26.

да              д              6

(2.7)

Таким образом, мы имеем:

2о + 36-8 = 0

Зо+ 56-13 = 0.              (2.8)

Решив эти два уравнения, получим а = 1 и Ь = 2.

у = 1 + 2х.              (2.9)

8

А

Р*

У’ У 7 6 5 4

3

г

1

о

Рис. 2.5. Пример с тремя наблюдениями

(2.10)

Для того чтобы проверить, что мы пришли к правильному выводу, вычислим остатки:

е, = 3- о- 6 = 3-1-2 = 0;

Таким образом, оба остатка равны нулю, что означает, что линия регрессии проходит точно через обе точки, что мы, разумеется, знали с самого начала. Если у вас всего два наблюдения, то проводите прямую через эти две точки. В данном случае в проведении регрессионного анализа нет необходимости.

Пример 2

Используем пример, рассмотренный в предыдущем разделе, и добавим третье наблюдение: у = 6 при х = 3. Три наблюдения, показанные на рис. 2.5, не лежат на одной прямой, поэтому точное соответствие получить невозможно. В этом случае для вычисления положения прямой мы должны использовать регрессию по методу наименьших квадратов.

Начнем с задания стандартного уравнения

9 = а + Ьх.              (2.12)

Для значений х, равных 1, 2 и 3, расчетные значения у равны соответственно (а + Ь), (а + 2Ь) и (а + 3Ь); они приведены в табл. 2.2.

Следовательно,

S = е] +е\\+е\\ = (Ъ-а-Ь)2 +(5-а-2Ь)2 + (6-а-ЪЬ)2 =

= (9 + а2 + Ь2 -              6а - 6Ь + lab) + (25 + а2 + 4Ь2 - 10а - 20b + 4ab) +

+(36 + а2 + 9Ь2              -12а- 366 + 6аЬ) = За2 +1462 +12аЬ- 28а - 62Ь + 70.              (2.13)

Условия Э5/Эо = 0 и Э5/Э6 = 0 дают:

6о+126-28 = 0              (2.14)

и

286+ 12о-62 = 0.              (2.15)

Решая эти уравнения, получим а= 1,67 и 6 = 1,50. Следовательно, уравнение регрессии имеет следующий вид:

9= 1,67+ 1,50х.              (2.16)