Противоречия между несмещенностью и минимальной дисперсией

В данном обзоре мы уже выяснили, что для оценки желательна несмещен-

Функция плотности вероятности

Рис.

Рис. 0.10. Функция потерь

ность и наименьшая возможная дисперсия. Эти критерии совершенно различны, и иногда они могут противоречить друг другу. Может случиться так, что имеются две оценки теоретической характеристики, одна из которых является несмещенной (А на рис. 0.9), другая же смещена, но имеет меньшую дисперсию (В).

Оценка А хороша своей несмещенностью, но преимуществом оценки В является то, что ее значения практически всегда близки к истинному значению. Какую из них вы бы выбрали?

Данный выбор зависит от обстоятельств. Если возможные ошибки вас не очень тревожат при условии, что за длительный период они «погасят» друг друга, то, по-видимому, вы выберете А. С другой стороны, если для вас приемлемы малые ошибки, но неприемлемы большие, то вам следует выбрать В.

Формально говоря, выбор определяется функцией потерь, стоимостью сделанной ошибки как функцией ее размера. Обычно выбирают оценку, дающую наименьшее ожидание потерь, и делается это путем взвешивания функции потерь по функции плотности вероятности. (Если вы не любите риск, то можете также пожелать учесть дисперсию потерь.)

Типичным примером функции потерь, показанной квадратичной параболой нарис. 0.10, может служить квадрат ошибки. Ее математическое ожидание, известное как среднеквадратичная ошибка (MSE), может быть разложено на составляющие:

MSE = Дисперсия оценки + Квадрат смещения.              (0.31)

Чтобы показать это, предположим, что оценка Z используется для оценивания неизвестного значения параметра генеральной совокупности 0.

MSE(Z) = ?{(Z - Є)2} = ?{([Z - цг] + [цг - Є])2} =

= ?{(Z - цг)2} + 2?{(Z - цг)(цг - 0)} + ?{(цг - Є)2 =

= pop. var(Z) + 2(цг - 0)?{(Z - цг)} + Квадрат смещения =

= pop. var(Z) + Квадрат смещения,              (0.32)

поскольку E{(Z - цг)} = ?(Z) - цг = 0.

На рис. 0.9 оценка А не имеет составляющей смещения, но имеет гораздо большую составляющую дисперсии, чем В, и поэтому она хуже по данному критерию.

Hiawatha Designs an Experiment[III] M. G. Kendall

1. Hiawatha, mighty fighter,

He could shoot ten arrows upwards

Shoot them with such strength and swiftness

That the last had left the bowstring

Ere the first to earth descended

This was commonly regarded

As a feat of skill and cunning.

2. One or two sarcastic spirits Pointed out to him, however That it might be much more useful If he sometimes hit the target.

Why not shoot a little straighter And employ a smaller sample?

3. Hiawatha, who at college Majored in applied statistics Consequently felt entitled To instruct his fellow men on Any subject whatsoever,

Waxed exceedingly indignant Talked about the law of error Talked about truncated normals Talked of loss of information Talked about his lack of bias Pointed out that in the long run Independent observations

Even though they missed the target Had an average point of impact Very near the spot he aimed at (With the possible exception Of a set of measure zero).

4. This, they said, was rather doubtful.

Anyway, it did not matter

What resulted in the long run;

Either he must hit the target Much more often than at present Or himself would have to pay for All the arrows that he wasted.

5. Hiawatha, in a temper,

Quoted parts of R. A. Fisher Quoted Yates and quoted Finney Quoted yards of Oscar Kempthome Quoted reams of Cox and Cochran Practically in extenso

Trying to impress upon them That what actually mattered Was to estimate the error.

6. One or two of them admitted Such a thing might have it uses Still, they said, he might do better If he shot a little straighter.
7. Hiawatha, to convince them,

Organized a shooting contest Laid out in the proper manner Of designs experimental Recommended in the textbooks (mainly used for tasting tea, but Sometimes used in other cases) Randomized his shooting order In factorial arrangements

Used in the theory of Galois Fields of ideal polynomials Got a nicely balanced layout And successfully confounded Second-order interactions.

8. All the other tribal marksmen Ignorant, benighted creatures Of experimental set-ups Spent their time of preparation Putting in a lot of practice Merely shooting at a target.
9. Thus it happened in the contest

That their scores were most impressive With one solitary exception This (I hate to have to say it)

Was the score of Hiawatha

Who, as usual, shot his arrows

Shot them with great strength and swiftness

Managing to be unbiased

Not, however, with his salvo,

Managing to hit the target.

10. There, they said to Hiawatha This is what we all expected.
11. Hiawatha, nothing daunted Called for pen and called for paper Did analyses of variance

Finally produced the figures

Showing beyond peradventure

Everybody else was biased

And the variance components

Did not differ from each other

Or from Hiawatha’s

(this last point, one should acknowledge

Might have been much more convincing

If he hadn’t been compelled to

Estimate his own component

From experimental plots in

Which the values all were missing

Still, they didn’t understand it

So they couldn’t raise objections

This is what so often happens

With analyses of variance).

12. All the same, his fellow tribesmen Ignorant, benighted heathens Took away his bow and arrows,

Said that though my Hiawatha Was a brilliant statistician

He was useless as a bowman.

As for variance components Several of the more outspoken Made primeval observations Hurtful of the finer feelings Even of a statistician.

13. In a corner of the forest Dwells alone my Hiawatha Permanently cogitating On the normal law of error Wondering in idle moments Whethering an increased precision Might perhaps be rather better Even at the risk of bias

If thereby one, now and then, could Register upon the target.

Упражнения

0.11. Приведите примеры приложений, в которых вы могли бы: 1) предпочесть оценку типа А (рис. 0.9); 2) предпочесть оценку типа В (рис. 0.9).

0.12. Изобразите функцию потерь для прибытия в аэропорт позже (или раньше) времени окончания регистрации.

0.13. Имеются две оценки неизвестного параметра генеральной совокупности. Обязательно ли является более эффективной та из них, которая имеет меньшую дисперсию?