Метод наименьших квадратов

Простейший случай

Общая постановка задачи

Допустим, в рамках некого эксперимента было проведено измерений. Каждое измерение представляет собой пару где — вход, — выход (такую пару будет называть «точкой»).

Результаты эксперимента могут быть записаны в таблице. В первом столбце будут находиться все значения входов: а во втором все значения выходов:

Мы хотим описать экспериментальные данные линейной функцией («подогнать» их к прямой). Почти никогда не встречается ситуаций, при которых все точки будут лежать на одной прямой. Поэтому наша цель — найти такую линейную функцию (прямую), которая в некотором смысле наилучшим образом описывала бы полученные результаты. Значения этой функции будем называть оценками и обозначим Сама функция будет иметь вид:

Каждому измерению входа будет соответствовать реальное значение и оценка Разницу между реальным значением и оценкой будем называть отклонением и обозначим

Таким образом, нам нужна такая линейная функция, для которой общее отклонение реальных экспериментальных значений от оценок было бы наименьшим. При этом общее отклонение не обязательно должно быть измерено как сумма отклонений для всех измерений.

Выбор способа «подгонки»

Существует большое количество способов измерить общее отклонение реальных экспериментальных значений от их оценок. Приведём самые очевидные из них:

1. сумма значений отклонений
2. сумма абсолютных значений отклонений
3. сумма квадратов отклонений

Каждый из этих способов имеет как свои плюсы, так и свои минусы. В каком-то смысле, все они «плохие», поэтому наша задача выбрать наименее «плохой» из них: тот, чьи плюсы перевесят минусы. Для выбора рассмотрим их по отдельности.