Это старая версия (1.42) МетодНаименьшихКвадратов.

Содержание

Метод наименьших квадратов

МНК, OLS.

ToDo:

  • переписать определение: ошибка, невязка
  • привести примеры использования
  • код на ЯзыкR
  • код на других языках: народ, напишите МНК на AWK, иначе это я сделаю-) --АтрашкевичАндрей
  • взвешенный МНК, обобщенный МНК, двухшаговый МНК: возможно, как отдельные статьи, которые потом можно будет объединить в категорию

Определение

Метод наименьших квадратов
метод аппроксимации линейной зависимости на данных с помощью минимизации функции суммы квадратов невязкок.

Общее описание метода и вывод формул

  • здесь надо будет вставить табличку, иллюстрирующую наборы данных  ( {x sub i} , {y sub i} )

Простейший случай

Оцениваем  { y sub i } = { beta sub 0 } + { beta sub 1 } { x sub i } + { epsilon sub i } через  { y accent { \\\"^\\\" } sub i } = { b sub 0 } + {b sub 1} { x sub i } , знак  nothing accent size +6 { \\\"^\\\" } — знак оценки, поэтому  beta accent { \\\"^\\\" } sub 0 = { b sub 0 } и  beta accent { \\\"^\\\" } sub 1 = { b sub 1 }

Функция суммы квадратов невязок: SSE 
= 
sum from { i = 1 } to { n } {e sub i sup 2} 
= 
sum from { i = 1 } to { n } { ( { y sub i } - y accent { \\\"^\\\" } sub i ) sup 2 } 
= 
sum from { i = 1 } to { n } { ( { y sub i } - ({ b sub 0 } + {b sub 1} { x sub i } ) ) sup 2 }
= 
sum from { i = 1 }  to { n } { ( { y sub i } - { b sub 0 } - {b sub 1} { x sub i } ) sup 2 }

Задача безусловной оптимизации — минимизация функции квадратов невязок:

  • К: указать, по каким переменным будет вестись минимизация, объяснить, почему
sum from { i = 1 }  to { n } { ( { y sub i } - { b sub 0 } - {b sub 1} { x sub i } ) sup 2 } -> { min }

Условие первого порядка: left {
lpile {
~ \[1\] ~~ { partial SSE } over { partial { b sub 0 } } = 0, above
~ \[2\] ~~ { partial SSE } over { partial { b sub 0 } } = 0.
}
right nothing

Рассмотрим [1]:  ~ { partial SSE } over { partial { b sub 0 } } = 0 { partial SSE } over { partial { b sub 0 } } 
= 
{partial sum from { i = 1 } to { n } { ( { y sub i } - { b sub 0 } - {b sub 1} { x sub i } ) sup 2 } }
over 
{ partial { b sub 0 } } 
=
{-2} sum from { i = 1 } to { n } { ( { y sub i } - { b sub 0 } - { b sub 1 } { x sub i } ) } 
= 
0

Откуда: lpile {
sum from { i = 1 } to { n } { ( { y sub i } - { b sub 0 } - { b sub 1 } { x sub i } ) } = 0
above
sum from { i = 1 } to { n } { y sub i } - sum from { i = 1 } to { n } { b sub 0 } - sum from { i = 1 } to { n } { { b sub 1 } { x sub i } } = 0
above
sum from {i = 1 } to { n } {y sub i} - n { b sub 0 } - { b sub 1 } sum from { i = 1 } to { n } { x sub i } = 0 ~ | ~ times {1} over {n}
above
{ sum from {i = 1 } to { n } {y sub i} } over { n }
-
{ n { b sub 0 } } over { n }
-
{ b sub 1 } { sum from { i = 1 } to { n } { x sub i } } over { n } = 0
}

Заменив  sum from { i = 1 } to { n } { x sub i } = {x bar} и  sum from { i = 1 } to { n } { y sub i } = {y bar} (это не вектора, а стандартные обозначения средних в статистике) получим: y bar - { b sub 0 } - { b sub 1 } x bar = 0

Важно отметить, что наилучшая линейная аппроксимация проходит через средние объясняющей ( x ) и объясняемой ( y ) переменных: y bar = { b sub 0 } + { b sub 1 } x bar

Для рассмотрения выражения [2] нам потребуется сделать некоторые преобразования из результатов преобразования выражения [1]: y bar = { b sub 0 } + { b sub 1 } x bar -> { b sub 0 } = y bar - { b sub 1 } x bar

Рассмотрим выражение [2]:  ~ { partial SSE } over { partial { b sub 1 } } = 0 .

  • дописать [2]
  • дописать условие второго порядка

Расширение на n-мерный случай

  • тут надо написать максимально подробно, иначе пользы от этого раздела не будет никакого, а будет только бездумное применение метода без понимания.
  • шарики и полотно.


КатегорияПрикладнаяМатематика