Это старая версия (1.527) МетодНаименьшихКвадратов.

Содержание

Метод наименьших квадратов

Допустим, у нас имеются два набора (выборки) данных: bold x = (x sub 1 , x sub 3 , ldots , x sub i , ldots , x sub n )

— независимая (объясняющая, экзогенная) переменная

и bold y = (y sub 1 , y sub 3 , ldots , y sub i , ldots , y sub n )

— зависимая (объясняемая, эндогенная) переменная, а n — размер (объём) выборки или, проще говоря, число наблюдений.

Каждая из пар (x sub i , y sub i ) описывает результаты одного наблюдения. Все пары описывают результаты эксперимента (например, лабораторного физического опыта, съёмки данных с промышленных контроллеров) или статистического наблюдения (экономическая статистика или данные социологических опросов). Каждая из пар (x sub i , y sub i ) может быть изображена на координатной плоскости как точка (кажое x sub i отлжим по оси абсцисс OX, а соответствующее ему y sub i — по оси ординат OY), поэтому для краткости будем называть эту парой «точкой», а множество всех точек будем называть «диаграмма рассеяния».

Мы предполагаем, что эти две переменные связаны[1] линейно, т. е. зависимость между переменными описывается линейной функцией. Как известно, любая линейная функция может быть однозначно задана парой коэффициентов:

  • b sub 0 — свободным членом
  • b sub 1 — коэффициентом при переменной, который численно является тангенсом угла наклона прямой к положительному направлению оси абсцисс.

Наша задача — подобрать такие коэффициенты линейной фунцкии b sub 0 и b sub 1, чтобы линейная функция наилучшим образом описывала (аппроксимировала) наши наборы данных bold x и bold y.

Чрезвычайно редко (практически никогда) возникает ситуация, при которой все точки лежат на одной прямой. Поэтому наша искомая наилучшая линейная функция будет выглядеть следующим образом: y hat sub i = b sub 0 + b sub 1 x sub i

, где y hat sub i — оцененное значение линейной функции, отличающееся как правило, от реального значения y sub i.

Разницу между оцененным значение y hat sub i и реальным значением y sub i обозначим: e sub i= ( y hat sub i - y sub i )

, от англ. «error» — здесь в значении «отклонение».

Мы должны подобрать, таким образом такие b sub 0 и b sub 1, чтобы некая агрегированная мера (через «ять») этих отклонений была бы наименьшей.

Существует большое количество способов задания такой меры. Приведем самые очевидные:

  • сумма отлонений: sum from i=1 to n e sub i
  • сумма модулей отклонений: sum from i=1 to n {| e sub i |}
  • сумма квадратов отклонений: sum from i=1 to n e sub i sup 2.

Каждый из этих вариантов имеет как свои плюсы, так и свои минусы. В каком-то смысле, все они «плохие», поэтому наша задача выбрать наименее «плохой» из них: тот, чьи плюсы перевесят минусы.


[1] Речь идет не о причинно-следственной (вернее, не обязательно о ней), а о статистической связи.

КатегорияПрикладнаяМатематика