Нахождение параметров эмпирической зависимости методом наименьших квадратов

В общем виде задача ставится так: по данной выборке построить уравнение регрессии и оценить допускаемую при этом ошибку.

Уравнение приближенной регрессии существенно зависит от выбираемого принципа приближенности. Подбирать это уравнение мы должны по значениям . Поэтому здесь может возникнуть ошибка, связанная с тем, что самое точное уравнение для нескольких точек (а их у нас ) не гарантирует точности в промежуточных точках. Очевидно, бессмысленно пытаться строить такие уравнения, которые на всех парах чисел давали бы точные равенства.

Соответствие математической модели процесса экспериментальным данным называют адекватностью. Уравнение адекватно описывает результаты опытов, если квадратичное отклонение значений параметров оптимизации, рассчитанных по уравнению регрессии, от экспериментальных данных обусловлено только ошибкой воспроизводимости.

Для определения параметров математической модели по результатам эксперимента будем применять один из методов регрессионного анализа – метод наименьших квадратов (МНК). К форме уравнения регрессии (зависимость типа ) предъявляется требование линейности уравнения по параметрам или допущение возможности линеаризации. Например, процедура проведения регрессионного анализа одинакова для уравнений и , так как замена превращает второе уравнение в первое. Специальные линеаризующие преобразования позволяют привести нелинейное по параметрам уравнение к линейному виду. Например, прологарифмировав уравнение получим . После введения обозначений получим уравнение . Определив коэффициенты и , находят искомые параметры .

Принцип наименьших квадратов вытекает из общего положения математической статистики, согласно которому в качестве меры рассеяния всегда берется дисперсия (среднее из суммы квадратов отклонений). Этот принцип позволяет сравнивать, какое из двух произвольных уравнений дает лучшее приближение регрессии. Пусть, например, заданы два уравнения: и . Согласно первому уравнению, значению должно соответствовать значение . На самом же деле задано значение , т. е. получается отклонение . Общей мерой рассеяния всех вокруг функции будет величина

,

где — число связей, накладываемых на выборку данных функцией . Аналогично получается мера рассеяния вокруг функции :

.

Из функций и мы должны теперь выбрать ту, у которой меньше соответствующая мера рассеяния или .

Принцип наименьших квадратов пригоден для сравнения любого числа функций. При этом удобнее всего сравнивать функции, накладывающие на выборку одинаковое число связей , так как при этом можно сравнивать просто суммы квадратов отклонений (отсюда и название принципа). В общем виде этот принцип формулируется следующим образом.

Пусть задан некоторый класс функций , накладывающих на выборку одинаковое число связей. Тогда наилучшее уравнение приближенной регрессии дает та функция из рассматриваемого класса, для которой сумма квадратов отклонений между экспериментальными и рассчитанными по уравнению регрессии значениями выходного параметра имеет наименьшее значение.