Теорема Гаусса—Маркова

В обзоре мы рассматривали оценки неизвестного математического ожидания ц случайной величины х по данным выборочных наблюдений. Хотя мы интуитивно использовали в качестве оценки для р выборочное среднее х, было показано, что оно является лишь одной из бесконечного числа возможных несмещенных оценок этого параметра.

Аналогичные рассуждения применимы и к коэффициентам регрессии. Мы увидим, что оценки по обычному методу наименьших квадратов являются не только несмещенными оценками коэффициентов регрессии, но и наиболее эффективными в том случае, если выполнены условия Гаусса—Маркова. С другой стороны, если условия Гаусса—Маркова не выполнены, то, вообще говоря, можно найти оценки, которые будут более эффективными по сравнению с оценками, полученными обычным методом наименьших квадратов.

В данной работе не приводится общее рассмотрение этих вопросов. Мы дадим лишь иллюстрацию. Предположим, что мы имеем зависимость, заданную уравнением (3.1), и сосредоточим внимание на оценках для р. Человек, не знакомый с регрессионным анализом, увидев диаграмму разброса для выборки наблюдений, может попытаться получить оценку тангенса угла наклона путем простого объединения первого и последнего наблюдений и деления прироста высоты на горизонтальный отрезок между ними, как показано на рис.

3. Оценка Ъ в этом случае будет определяться следующим образом:

(3.30)

1} = Ун zfL

Каковы свойства этой оценки? Сначала мы исследуем, является ли она несмещенной. Используя уравнение (3.1) применительно к первому и последнему наблюдениям, получим:

Следовательно,

(3.31)

(3.32)

(3.33)

Уі =а + р*1 +щ; у„ = а + рх„+и„.

ь +и„- Р*1 - Щ р , и„-Щ

Х„ -XI              Х„ - *1 ¦

Таким образом, мы разложили «наивную» оценку на две составляющие: истинное значение и остаточный член. Это разложение выполнено подобно тому, как это сделано в разделе 3.1 для оценки МНК. Однако остаточный член является другим. Предполагая Е (и) = 0, мы имеем, что математические ожидания, как и,, так и ип, равны нулю, но тогда математическое ожидание остаточного члена в уравнении (33.3) также равно нулю. Таким образом, несмотря на то что эта оценка столь «наивна», она является несмещенной.

Это, разумеется, не единственная оценка, которая наряду с оценкой, полученной методом МНК, обладает свойством несмещенности. Вы можете получить еще одну оценку такого типа путем объединения двух произвольно выбранных наблюдений, а если вы хотите рассмотреть менее «наивные» процедуры, то здесь открываются поистине безграничные возможности.

Рис. 3.3. «Наивная» оценка b

Интуитивно легко понять, что мы не предпочтем «наивную» оценку типа

30. оценке МНК. В отличие от оценки МНК, в которой учитывается каждое наблюдение, в «наивной» оценке берется только первое и последнее наблюдения и не используется большая часть имеющейся в выборке информации. «Наивная» оценка зависит от значений остаточного члена и в данных двух наблюдениях, тогда как оценка по методу наименьших квадратов объединяет все значения остаточного члена и более эффективно использует возможность того, что эти значения в некоторой степени взаимно «погашаются».

При сравнении с менее «наивными» оценками превосходство оценки МНК в эффективности может быть не столь очевидным. Тем не менее в том случае, если условия Гаусса—Маркова для остаточного члена выполнены, коэффициенты регрессии, построенной обычным методом наименьших квадратов, будут наилучшими линейными несмещенными оценками (best linear unbiased estimators, или BLUE): несмещенными, как уже было показано; линейными, так как они являются линейными функциями значений у, наилучшими, так как они являются наиболее эффективными в классе всех несмещенных линейных оценок.

Упражнения

5. Исследователь обоснованно считает, что зависимость между двумя переменными х и у задается уравнением (3.1). Используя выборку из л наблюдений, он оценивает р, вычисляя среднее значение у, деленное на среднее значение х. Проанализируйте свойства этой оценки. Что изменится, если предположить, что а = О?
6. Исследователь обоснованно считает, что зависимость между двумя переменными х и у задается уравнением (3.1). Используя выборку из п наблюдений временного ряда, он оценивает р как Cov (у, t)/Cov (х, t), где t — переменная времени, которая по определению равна единице в первом наблюдении, двум — во втором и т. д. Проанализируйте свойства этой оценки. (Можно показать, что ее теоретическая дисперсия равна теоретической дисперсии соответствующей оценки МНК, деленной на г2 „ где гх, — коэффициент корреляции между X и /.)