Это старая версия (1.42) МетодНаименьшихКвадратов.

Содержание

Метод наименьших квадратов

МНК, OLS.

ToDo:

  • переписать определение: ошибка, невязка
  • привести примеры использования
  • код на ЯзыкR
  • код на других языках: народ, напишите МНК на AWK, иначе это я сделаю-) --АтрашкевичАндрей
  • взвешенный МНК, обобщенный МНК, двухшаговый МНК: возможно, как отдельные статьи, которые потом можно будет объединить в категорию

Определение

Метод наименьших квадратов
метод аппроксимации линейной зависимости на данных с помощью минимизации функции суммы квадратов невязкок.

Общее описание метода и вывод формул

  • здесь надо будет вставить табличку, иллюстрирующую наборы данных ( {x sub i} , {y sub i} )

Простейший случай

Оцениваем { y sub i } = { beta sub 0 } + { beta sub 1 } { x sub i } + { epsilon sub i } через { y accent { \\\"^\\\" } sub i } = { b sub 0 } + {b sub 1} { x sub i } , знак nothing accent size +6 { \\\"^\\\" } — знак оценки, поэтому beta accent { \\\"^\\\" } sub 0 = { b sub 0 } и beta accent { \\\"^\\\" } sub 1 = { b sub 1 }

Функция суммы квадратов невязок: SSE = sum from { i = 1 } to { n } {e sub i sup 2} = sum from { i = 1 } to { n } { ( { y sub i } - y accent { \\\"^\\\" } sub i ) sup 2 } = sum from { i = 1 } to { n } { ( { y sub i } - ({ b sub 0 } + {b sub 1} { x sub i } ) ) sup 2 } = sum from { i = 1 } to { n } { ( { y sub i } - { b sub 0 } - {b sub 1} { x sub i } ) sup 2 }

Задача безусловной оптимизации — минимизация функции квадратов невязок:

  • К: указать, по каким переменным будет вестись минимизация, объяснить, почему
sum from { i = 1 } to { n } { ( { y sub i } - { b sub 0 } - {b sub 1} { x sub i } ) sup 2 } -> { min }

Условие первого порядка: left { lpile { ~ \[1\] ~~ { partial SSE } over { partial { b sub 0 } } = 0, above ~ \[2\] ~~ { partial SSE } over { partial { b sub 0 } } = 0. } right nothing

Рассмотрим [1]: ~ { partial SSE } over { partial { b sub 0 } } = 0 { partial SSE } over { partial { b sub 0 } } = {partial sum from { i = 1 } to { n } { ( { y sub i } - { b sub 0 } - {b sub 1} { x sub i } ) sup 2 } } over { partial { b sub 0 } } = {-2} sum from { i = 1 } to { n } { ( { y sub i } - { b sub 0 } - { b sub 1 } { x sub i } ) } = 0

Откуда: lpile { sum from { i = 1 } to { n } { ( { y sub i } - { b sub 0 } - { b sub 1 } { x sub i } ) } = 0 above sum from { i = 1 } to { n } { y sub i } - sum from { i = 1 } to { n } { b sub 0 } - sum from { i = 1 } to { n } { { b sub 1 } { x sub i } } = 0 above sum from {i = 1 } to { n } {y sub i} - n { b sub 0 } - { b sub 1 } sum from { i = 1 } to { n } { x sub i } = 0 ~ | ~ times {1} over {n} above { sum from {i = 1 } to { n } {y sub i} } over { n } - { n { b sub 0 } } over { n } - { b sub 1 } { sum from { i = 1 } to { n } { x sub i } } over { n } = 0 }

Заменив sum from { i = 1 } to { n } { x sub i } = {x bar} и sum from { i = 1 } to { n } { y sub i } = {y bar} (это не вектора, а стандартные обозначения средних в статистике) получим: y bar - { b sub 0 } - { b sub 1 } x bar = 0

Важно отметить, что наилучшая линейная аппроксимация проходит через средние объясняющей ( x ) и объясняемой ( y ) переменных: y bar = { b sub 0 } + { b sub 1 } x bar

Для рассмотрения выражения [2] нам потребуется сделать некоторые преобразования из результатов преобразования выражения [1]: y bar = { b sub 0 } + { b sub 1 } x bar -> { b sub 0 } = y bar - { b sub 1 } x bar

Рассмотрим выражение [2]: ~ { partial SSE } over { partial { b sub 1 } } = 0 .

  • дописать [2]
  • дописать условие второго порядка

Расширение на n-мерный случай

  • тут надо написать максимально подробно, иначе пользы от этого раздела не будет никакого, а будет только бездумное применение метода без понимания.
  • шарики и полотно.

КатегорияПрикладнаяМатематика