Это старая версия (1.272) МетодНаименьшихКвадратов.

Содержание

Метод наименьших квадратов


Общие комментарии к статье:
  1. Статья пишется максимально подробно с той целью, чтобы человек, ни разу до этого не сталкивающийся с МНК мог понять и его сущность, и то, как получаются оценки коэффициентов линейного многочлена, аппроксимирующего данные. Входные требования: дифференциальное исчисление функций многих переменных, основы линейной алгебры (где-то в районе первых трех лекций стандартного университетского курса).
  2. Эту статью нужно читать с листочком и карандашом, повторяя действия (дифференцируя, проводя подстановки, рисуя). Это не Талмуд, тут заучивание не катит. Пишущий слушает (и читает) дважды.
  3. В статье нет фраз: «очевидно, что» и прочих благоглупостей. Любой пропуск в рассуждениях смерти подобен. А учебники, в которых много таких фраз должны отправляться в помойное ведро. Там им и место.

Типографские вопросы:
  1. перед знаком суммы size +3 или size +4?
  2. диактрический знак size +3 nothing hat должен быть только над буквой, или над буквой с индексом? То есть так b sub 0 = beta hat sub 0, или так b sub 0 = {beta sub 0} accent size +3 \\\"^\\\"? И если второе, то как это сделать не таким уродливым?
  3. отбивается ли запятая пробелом при pile наборе (условие первого порядка в этой статье)?
  4. надо ли увеличивать размер внешних скобок, если есть внутренние?
  5. Это size +3 nothing bar не работает (в отличии от size +3 nothing hat)

  • Я честна-честна переделаю статью так, чтобы формулы были красивыми и правильными. Пока набираю по наитию. Иначе, с моим-то уровнем типографской грамотности, работа просто встанет. --АтрашкевичАндрей

Оцениваем y sub i = beta sub 0 + beta sub 1 x sub i + epsilon sub i с помощью y hat sub i = b sub 0 + b sub 1 x sub i , здесь size +3 nothing hat — знак оценки, поэтому b sub 0 = beta hat sub 0 и b sub 1 = beta hat sub 1 .

Функция суммы квадратов невязок (SSE: Sum of Square Errors): SSE =
size +3 sum from i=1 to n e sub i sup 2 = 
size +3 sum from i=1 to n (y sub i - y hat sub i ) sup 2 = 
size +3 sum from i=1 to n (y sub i - (b sub 0 + b sub 1 x sub i )) sup 2 = 
size +3 sum from i=1 to n (y sub i - b sub 0 - b sub 1 x sub i ) sup 2

Задача безусловной оптимизации — минимизация суммы квадратов невязок: size +3 sum from i=1 to n (y sub i - b sub 0 - b sub 1 x sub i ) sup 2 -> min from {b sub 0 , ~ b sub 1}

Условие первого порядка: \[1\] ~~ left {
lpile {
\[1.1\]: ~ {partial SSE} over {partial b sub 0} = 0 ~ , above
\[1.2\]: ~ {partial SSE} over {partial b sub 1} = 0
}
right nothing

Рассмотрим \[1.1\]: ~ {partial SSE} over {partial b sub 0} = 0 {partial SSE} over {partial b sub 0} =
{partial size +3 sum from i=1 to n (y sub i - b sub 0 - b sub 1 x sub i ) sup 2} over {partial b sub 0} = 
{-2} size +3 sum from i=1 to n ( y sub i - b sub 0 - b sub 1 x sub i ) = 0

Откуда: lpile {
size +3 sum from i=1 to n (y sub i - b sub 0 - b sub 1 x sub i ) = 
size +3 sum from i=1 to n 
y sub i - size +3 sum from i=1 to n b sub 0 - size +3 sum from i=1 to n b sub 1 x sub i =
size +3 sum from i=1 to n 
y sub i - n b sub 0 - b sub 1 size +3 sum from i=1 to n x sub i = 0 ~, 
above
n b sub 0 + b sub 1 size +3 sum from i=1 to n x sub i = size +3 sum from i=1 to n y sub i ~ \[2.1\]
}

Рассмотрим \[1.2\]: ~ {partial SSE} over {partial b sub 1} = 0 {partial SSE} over {partial b sub 1} =
{partial size +3 sum from i=1 to n (y sub i - b sub 0 - b sub 1 x sub i ) sup 2} over {partial b sub 1} = 
{-2} size +3 sum from i=1 to n (y sub i - b sub 0 - b sub 1 x sub i ) x sub i = 0

Откуда: lpile {
size +3 sum from i=1 to n (y sub i - b sub 0 - b sub 1 x sub i ) x sub i = 
size +3 sum from i=1 to n (x sub i y sub i - b sub 0 x sub i - b sub 1 x sub i sup 2 ) =
size +3 sum from i=1 to n x sub i y sub i - b sub 0 size +3 sum from i=1 to n x sub i - b sub 1 size +3 sum from i=1 to n x sub i sup 2 = 0 ~,
above 
b sub 0 size +3 sum from i=1 to n x sub i + b sub 1 size +3 sum from i=1 to n x sub i sup 2 = size +3 sum from i=1 to n x sub i y sub i ~ \[2.2\]
}

В результате преобразований система \[1\] может быть записана в виде системы \[2\]: \[2\] ~~ left {
lpile {
\[2.1\]: n b sub 0 + b sub 1 size +3 sum from i=1 to n x sub i = size +3 sum from i=1 to n y sub i ~,
above
\[2.2\]: b sub 0 size +3 sum from i=1 to n x sub i + b sub 1 size +3 sum from i=1 to n x sub i sup 2 = size +3 sum from i=1 to n y sub i x sub i
}
right nothing

Выразим из уравнения \[2.1\] значение свободного члена: b sub 0 = 
size -1 1 over size -1 n
left ( 
size +3 sum from i=1 to n y sub i - b sub 1 size +3 sum from i=1 to n x sub i 
right )

и подставим его в \[2.2\]: lpile {
size -1 1 over size -1 n
left ( 
size +3 sum from i=1 to n y sub i - b sub 1 size +3 sum from i=1 to n x sub i 
right )
size +3 sum from i=1 to n x sub i + b sub 1 size +3 sum from i=1 to n x sub i sup 2 = size +3 sum from i=1 to n y sub i x sub i ~, 
above
left ( 
size +3 sum from i=1 to n y sub i - b sub 1 size +3 sum from i=1 to n x sub i 
right )
size +3 sum from i=1 to n x sub i + n b sub 1 size +3 sum from i=1 to n x sub i sup 2 =  n size +3 sum from i=1 to n y sub i x sub i ~,
above
size +3 sum from i=1 to n y sub i size +3 sum from i=1 to n x sub i - b sub 1 left ( size +3 sum from i=1 to n x sub i right ) sup 2 - n b sub 1 size +3 sum from i=1 to n x sub i sup 2 = 
n size +3 sum from i=1 to n y sub i x sub i
}


КатегорияПрикладнаяМатематика