Нелинейная регрессия

Предположим, вы считаете, что переменная у связана с переменной х следующим соотношением:

у = а + рх7 + и,              (4.28)

и хотите получить оценки              а, р и у, имея значения у их.              Уравнение              (4.28) не

может быть преобразовано              в уравнение линейного вида, поэтому              в              этом              случае

невозможно применение обычной процедуры оценивания регрессии.

Тем не менее для получения оценок параметров мы по-прежнему можем применить принцип минимизации суммы квадратов отклонений. Далее рассмотрим кратко этот метод не потому, что вам придется применять его самостоятельно (исследователи, как правило, консультируются со специалистом по эконометрике), а потому, что это позволит вам лучше понять идеи, которые лежат в основе регрессионного анализа.

1. Принимаются некоторые правдоподобные исходные значения параметров.
2. Вычисляются предсказанные значения у по фактическим значениям х с использованием этих значений параметров.
3. Вычисляются остатки для всех наблюдений в выборке и, следовательно, S — сумма квадратов остатков.
4. Вносятся небольшие изменения в одну или более оценку параметров.
5. Вычисляются новые предсказанные значения у, остатки и S.
6. Если S меньше, чем прежде, то новые оценки параметров лучше прежних и их следует использовать в качестве новой отправной точки.
7. Шаги 4, 5 и 6 повторяются вновь до тех пор, пока не окажется невозможным внести такие изменения в оценки параметров, которые привели бы к уменьшению S.
8. Делается вывод о том, что величина Sминимизирована и конечные оценки параметров являются оценками по методу наименьших квадратов.

Пример

Вернемся к примеру с бананами, рассмотренному в разделе 4.1, где у их связаны следующей зависимостью:

(4.29)

р

у = а + — + и.

Для большей простоты предположим, что мы знаем, что а= 12; следовательно, нам нужно определить только один неизвестный параметр. Предположим, мы поняли, что зависимость имеет вид (4.29), однако не можем догадаться, что следует применить преобразования, рассмотренные в разделе 4.1. Вместо этого мы применяем нелинейную регрессию.

На рис. 4.3 показаны значения S, которые будут получены при любом возможном выборе b при значениях у и х, приведенных в табл. 4.1. Предположим, что мы начнем, приняв b равным —6,0. Уравнение при этом примет вид:

(4.30)

Вычислим предсказанные значения у и остатки и на основании последних вычислим значение S= 24,02. Затем подставим b = —7. Теперь величина Нравна 13,40, т. е. она уменьшилась. Значит, мы движемся в правильном направлении. Подставим b = —8; тогда S= 5,87. Продолжим дальше. При Ь = — 9 значение Нравно 1,44; при Ь = —10 значение S составит 0,12; при Ь = —11 оно будет 1,89.

Очевидно, что, выбрав b = — 11, мы перестарались, так как значение S вновь начало расти. Будем двигаться назад, но более мелкими шагами, например по 0,1, беря значения —10,9; —10,8 и т. д. Продолжим движение назад до тех пор, пока опять не будет «перебора», затем вновь начнем двигаться вперед еще более мелкими шагами (например, равными 0,01). Каждый раз, когда будет наблюдаться «перебор», будем изменять направление на противоположное, сокра-

щая размер шага. Будем продолжать делать это до тех пор, пока не достигнем требуемой точности вычисления оценки р. Последовательность шагов для данного примера показана в табл. 4.3.

Процесс, показанный в табл. 4.3, был прекращен после 32 итераций, к этому времени стало очевидно, что оценка находится между —9,92 и —9,94. Ясно, что в результате дальнейшего продолжения итерационного процесса могла бы быть получена более высокая точность.

Заметим, что, хотя полученная оценка очень близка к истинному значению

Рис.

10, она не совпадает с оценкой, полученной для уравнения (4.10). В принципе оба набора результатов должны быть одинаковыми, так как и тот и другой минимизируют сумму квадратов отклонений. Расхождение вызвано тем, что мы были не совсем честны в нелинейном случае. Мы предположили, что а равно истинному значению 12, а не оценили его. Если бы мы действительно не смогли найти преобразование, которое позволяет использовать линейный регрессионный анализ, то нам бы пришлось использовать нелинейный метод и искать наилучшие значения а и Ъ одновременно, и тогда мы получили бы оценку а, равную 12,08, и оценку Ь, равную —10,08, как и в уравнении (4.10).

Основной недостаток нелинейной регрессии состоит в том, что она оценивается значительно медленнее, чем линейная регрессия, особенно в том случае, когда приходится оценивать несколько параметров.