Это старая версия (1.468) МетодНаименьшихКвадратов.

Содержание

Метод наименьших квадратов


  • ПО КРИТЕРИЮ НИКИТЕНКОВА ЭТО ПЛОХАЯ СТАТЬЯ ПО МАТЕМАТИКЕ!

  • Статью под снос и переделку. То, что я здесь напитиримил, перенесу в longcheatsheet для тех, кому нужно очень глубоко копать именно в математических обоснованиях метода, причем преимущественно в области применения МНК для статистического оценивания. --АтрашкевичАндрей

Общие комментарии к статье:
  1. Статья пишется максимально подробно с той целью, чтобы человек, ни разу до этого не сталкивавшийся с МНК мог понять и его сущность, и то, как получаются оценки коэффициентов линейного полинома, аппроксимирующего данные. Входные требования: дифференциальное исчисление функций многих переменных, основы линейной алгебры (где-то в районе первых трех лекций стандартного университетского курса).
  2. Эту статью нужно читать с листочком и карандашом, повторяя действия (дифференцируя, проводя подстановки, рисуя, особенно рисуя). Это не Талмуд, тут заучивание не катит. Пишущий слушает (и читает) дважды.
  3. В статье нет фраз: «очевидно, что» и прочих благоглупостей. Любой пропуск в рассуждениях смерти подобен. А учебники, в которых много таких фраз должны отправляться в помойное ведро. Там им и место.

WoLongCheatSheet

Оцениваем y sub i = beta sub 0 + beta sub 1 x sub i + epsilon sub i с помощью y hat sub i = b sub 0 + b sub 1 x sub i , где size +3 nothing hat — знак оценки, поэтому: b sub 0 = beta hat sub 0 и b sub 1 = beta hat sub 1.

Отклонение в значении обозначим e = (y sub i - y hat sub i)

Будем минимизировать сумму квадратов отклонений: SSE
=
size +3 sum from i=1 to n e sub i sup 2 
= 
size +3 sum from i=1 to n (y sub i - y hat sub i ) sup 2 
= 
size +3 sum from i=1 to n (y sub i - (b sub 0 + b sub 1 x sub i )) sup 2 
=
size +3 sum from i=1 to n (y sub i - b sub 0 - b sub 1 x sub i ) sup 2 -> min from {b sub 0 , ~ b sub 1}

Условие первого порядка: \[1\] ~~ 
left {
lpile {
\[1.1\] ~ {partial SSE} over {partial b sub 0} = 0
above
\[1.2\] ~ {partial SSE} over {partial b sub 1} = 0
}
right nothing

Рассмотрим \[1.1\] ~ {partial SSE} over {partial b sub 0} = 0 : {partial SSE} over {partial b sub 0}
=
{partial size +3 sum from i=1 to n (y sub i - b sub 0 - b sub 1 x sub i ) sup 2}
over
{partial b sub 0}
=
{-2} size +3 sum from i=1 to n (y sub i - b sub 0 - b sub 1 x sub i )
=
0

Откуда: lpile {
size +3 sum from i=1 to n (y sub i - b sub 0 - b sub 1 x sub i )
= 
0
above
size +3 sum from i=1 to n y sub i
-
size +3 sum from i=1 to n b sub 0 
-
size +3 sum from i=1 to n b sub 1 x sub i
=
0
above
n b sub 0
+
b sub 1 size +3 sum from i=1 to n x sub i
=
size +3 sum from i=1 to n y sub i
above
b sub 0
+
b sub 1 {size +3 sum from i=1 to n x sub i} over n
=
{size +3 sum from i=1 to n y sub i} over n
}

Рассмотрим \[1.2\] ~ {partial SSE} over {partial b sub 1} = 0 : {partial SSE} over {partial b sub 1}
=
{partial size +3 sum from i=1 to n (y sub i - b sub 0 - b sub 1 x sub i ) sup 2}
over
{partial b sub 1}
=
{-2} size +3 sum from i=1 to n (y sub i - b sub 0 - b sub 1 x sub i ) x sub i
=
0

Откуда: lpile {
size +3 sum from i=1 to n (y sub i - b sub 0 - b sub 1 x sub i ) x sub i
=
0
above
size +3 sum from i=1 to n (x sub i y sub i - b sub 0 x sub i - b sub 1 x sub i sup 2 )
=
0
above
size +3 sum from i=1 to n b sub 0 x sub i
+
size +3 sum from i=1 to n b sub 1 x sub i sup 2
=
size +3 sum from i=1 to n x sub i y sub i
above
b sub 0 size +3 sum from i=1 to n x sub i
+
b sub 1 size +3 sum from i=1 to n x sub i sup 2
=
size +3 sum from i=1 to n x sub i y sub i
above
b sub 0 {size +3 sum from i=1 to n x sub i} over n
+
b sub 1 {size +3 sum from i=1 to n x sub i sup 2} over n
=
{size +3 sum from i=1 to n x sub i y sub i} over n
}

Система \[1\] в результате преобразований превращается в систему \[2\]: \[2\] ~~ 
left {
lpile {
\[2.1\] ~
b sub 0
+
b sub 1 {size +3 sum from i=1 to n x sub i} over n
=
{size +3 sum from i=1 to n y sub i} over n
above
\[2.2\] ~
b sub 0 {size +3 sum from i=1 to n x sub i} over n
+
b sub 1 {size +3 sum from i=1 to n x sub i sup 2} over n
=
{size +3 sum from i=1 to n x sub i y sub i} over n
}
right nothing

Обозначим: x bar = {size +3 sum from i=1 to n x sub i} over n, y bar = {size +3 sum from i=1 to n y sub i} over n, {x sup 2} bar = {size +3 sum from i=1 to n x sub i sup 2} over n, xy bar = {size +3 sum from i=1 to n x sub i y sub i} over n и перепишем систему \[2\]: \[3\] ~~
left {
lpile {
\[3.1\] ~
b sub 0 + b sub 1 x bar 
=
y bar
above
\[3.2\] ~
b sub 0 x bar + b sub 1 {x sup 2} bar
=
xy bar
}
right nothing

Выразим из \[3.1\] значение b sub 0: b sub 0 
= 
y bar - b sub 1 x bar

и подставим его в \[3.2\]: lpile {
( y bar - b sub 1 x bar ) x bar + b sub 1 {x sup 2} bar
=
xy bar
above
x bar y bar - b sub 1 x bar sup 2 + b sub 1 {x sup 2} bar
=
xy bar
above
b sub 1 ({x sup 2} bar - x bar sup 2 )
=
xy bar - x bar y bar 
above
b sub 1
=
{xy bar - x bar y bar}
over
{({x sup 2} bar - x bar sup 2 )}
}

Проведём обратную подстановку (потом вколотить сюда mark или что там): lpile {
b sub 1 
=
{
{size +3 sum from i=1 to n x sub i y sub i} over n
-
{size +3 sum from i=1 to n x sub i} over n {size +3 sum from i=1 to n y sub i} over n
}
over
{
{size +3 sum from i=1 to n x sub i sup 2} over n
-
left (
{size +3 sum from i=1 to n x sub i} over n
right ) sup 2
}
=
{
{size +3 sum from i=1 to n x sub i y sub i} over n
-
{size +3 sum from i=1 to n x sub i size +3 sum from i=1 to n y sub i} over n sup 2
}
over
{
{size +3 sum from i=1 to n x sub i sup 2} over n
-
left (
{size +3 sum from i=1 to n x sub i}
right ) sup 2 
over 
n sup 2
}
=
{n sup 2 left ( {
{size +3 sum from i=1 to n x sub i y sub i} over n
-
{size +3 sum from i=1 to n x sub i size +3 sum from i=1 to n y sub i} over n sup 2
} right ) }
over
{n sup 2 left ( {
{size +3 sum from i=1 to n x sub i sup 2} over n
-
left (
{size +3 sum from i=1 to n x sub i}
right ) sup 2 
over 
n sup 2
} right ) }
=
above
=
{
n size +3 sum from i=1 to n x sub i y sub i
-
size +3 sum from i=1 to n x sub i size +3 sum from i=1 to n y sub i
}
over
{
n size +3 sum from i=1 to n x sub i sup 2
-
left (
{size +3 sum from i=1 to n x sub i}
right ) sup 2
}
}

В итоге получаем формулы для коэффициентов: lpile {
b sub 0
=
{size +3 sum from i=1 to n y sub i} over n
-
b sub 1 {size +3 sum from i=1 to n x sub i} over n
=
y bar - b sub 1 x bar
above
b sub 1
=
{
n size +3 sum from i=1 to n x sub i y sub i
-
size +3 sum from i=1 to n x sub i size +3 sum from i=1 to n y sub i
}
over
{
n size +3 sum from i=1 to n x sub i sup 2
-
left (
{size +3 sum from i=1 to n x sub i}
right ) sup 2
}
=
{xy hat - x hat y hat}
over 
{x hat sup 2 - {x sup 2} hat}
}


КатегорияПрикладнаяМатематика