Это старая версия (1.400) МетодНаименьшихКвадратов.

Содержание

Метод наименьших квадратов

  • ПО КРИТЕРИЮ НИКИТЕНКОВА ЭТО ПЛОХАЯ СТАТЬЯ ПО МАТЕМАТИКЕ!
  • Статью под снос и переделку. То, что я здесь напитиримил, перенесу в longcheatsheet для тех, кому нужно очень глубоко копать именно в математических обоснованиях метода, причем преимущественно в области применения МНК для статистического оценивания. --АтрашкевичАндрей
Общие комментарии к статье:
  1. Статья пишется максимально подробно с той целью, чтобы человек, ни разу до этого не сталкивавшийся с МНК мог понять и его сущность, и то, как получаются оценки коэффициентов линейного полинома, аппроксимирующего данные. Входные требования: дифференциальное исчисление функций многих переменных, основы линейной алгебры (где-то в районе первых трех лекций стандартного университетского курса).
  2. Эту статью нужно читать с листочком и карандашом, повторяя действия (дифференцируя, проводя подстановки, рисуя, особенно рисуя). Это не Талмуд, тут заучивание не катит. Пишущий слушает (и читает) дважды.
  3. В статье нет фраз: «очевидно, что» и прочих благоглупостей. Любой пропуск в рассуждениях смерти подобен. А учебники, в которых много таких фраз должны отправляться в помойное ведро. Там им и место.
Типографские вопросы:
  1. перед знаком суммы size +3 или size +4?
  2. диактрический знак size +3 nothing hat должен быть только над буквой, или над буквой с индексом? То есть так b sub 0 = beta hat sub 0, или так b sub 0 = {beta sub 0} accent size +3 \\\"^\\\"? И если второе, то как это сделать не таким уродливым?
  3. отбивается ли запятая пробелом при pile наборе (условие первого порядка в этой статье)?
  4. надо ли увеличивать размер внешних скобок, если есть внутренние?
  5. Это size +3 nothing bar не работает (в отличии от size +3 nothing hat)
  • Я честнА-честнА переделаю статью так, чтобы формулы были красивыми и правильными. Пока набираю по наитию. Иначе, с моим-то уровнем типографской грамотности, работа просто встанет. --АтрашкевичАндрей

Далее идет не статья, а черновик longcheatsheet'а.

Оцениваем y sub i = beta sub 0 + beta sub 1 x sub i + epsilon sub i с помощью y hat sub i = b sub 0 + b sub 1 x sub i , здесь size +3 nothing hat — знак оценки, поэтому b sub 0 = beta hat sub 0 и b sub 1 = beta hat sub 1 .

Задача безусловной оптимизации — минимизация суммы квадратов отклонений (SSE: Sum of Square Errors): SSE = size +3 sum from i=1 to n e sub i sup 2 = size +3 sum from i=1 to n (y sub i - y hat sub i ) sup 2 = size +3 sum from i=1 to n (y sub i - (b sub 0 + b sub 1 x sub i )) sup 2 = size +3 sum from i=1 to n (y sub i - b sub 0 - b sub 1 x sub i ) sup 2 -> min from {b sub 0 , ~ b sub 1}

Условие первого порядка: \[1\] ~~ left { lpile { \[1.1\]: ~ {partial SSE} over {partial b sub 0} ~ = ~ 0 above \[1.2\]: ~ {partial SSE} over {partial b sub 1} ~ = ~ 0 } right nothing

Рассмотрим \[1.1\]: ~ {partial SSE} over {partial b sub 0} = 0 {partial SSE} over {partial b sub 0} = {partial size +3 sum from i=1 to n (y sub i - b sub 0 - b sub 1 x sub i ) sup 2} over {partial b sub 0} = {-2} size +3 sum from i=1 to n ( y sub i - b sub 0 - b sub 1 x sub i ) = 0

Откуда: lpile { size +3 sum from i=1 to n (y sub i - b sub 0 - b sub 1 x sub i ) = size +3 sum from i=1 to n y sub i - size +3 sum from i=1 to n b sub 0 - size +3 sum from i=1 to n b sub 1 x sub i = size +3 sum from i=1 to n y sub i - n b sub 0 - b sub 1 size +3 sum from i=1 to n x sub i = 0 ~, above n b sub 0 + b sub 1 size +3 sum from i=1 to n x sub i = size +3 sum from i=1 to n y sub i ~ \[2.1\] }

Рассмотрим \[1.2\]: ~ {partial SSE} over {partial b sub 1} = 0 {partial SSE} over {partial b sub 1} = {partial size +3 sum from i=1 to n (y sub i - b sub 0 - b sub 1 x sub i ) sup 2} over {partial b sub 1} = {-2} size +3 sum from i=1 to n (y sub i - b sub 0 - b sub 1 x sub i ) x sub i = 0

Откуда: lpile { size +3 sum from i=1 to n (y sub i - b sub 0 - b sub 1 x sub i ) x sub i = size +3 sum from i=1 to n (x sub i y sub i - b sub 0 x sub i - b sub 1 x sub i sup 2 ) = size +3 sum from i=1 to n x sub i y sub i - b sub 0 size +3 sum from i=1 to n x sub i - b sub 1 size +3 sum from i=1 to n x sub i sup 2 = 0 ~, above b sub 0 size +3 sum from i=1 to n x sub i + b sub 1 size +3 sum from i=1 to n x sub i sup 2 = size +3 sum from i=1 to n x sub i y sub i ~ \[2.2\] }

В результате преобразований система \[1\] может быть записана в виде системы \[2\]: \[2\] ~~ left { lpile { \[2.1\]: ~ n b sub 0 + b sub 1 size +3 sum from i=1 to n x sub i = size +3 sum from i=1 to n y sub i ~, above \[2.2\]: ~ b sub 0 size +3 sum from i=1 to n x sub i + b sub 1 size +3 sum from i=1 to n x sub i sup 2 = size +3 sum from i=1 to n x sub i y sub i } right nothing

Умножив оба уравнения в система \[2\] на ~ size -2 1 over size -2 n ~ получим: \[3\] ~~ left { lpile { \[3.1\]: ~ b sub 0 + b sub 1 {size +3 sum from i=1 to n x sub i} over n = {size +3 sum from i=1 to n y sub i} over n ~, above \[3.2\]: ~ b sub 0 {size +3 sum from i=1 to n x sub i} over n + b sub 1 {size +3 sum from i=1 to n x sub i sup 2} over n = {size +3 sum from i=1 to n x sub i y sub i} over n } right nothing

Заменим: x bar = {size +3 sum from i=1 to n x sub i} over n , ~ y bar = {size +3 sum from i=1 to n y sub i} over n , ~ {x sup 2} bar = {size +3 sum from i=1 to n x sub i sup 2} over n , ~ xy bar = {size +3 sum from i=1 to n x sub i y sub i} over n

и перепишем систему \[3\] в новых обозначениях: left { lpile { b sub 0 + b sub 1 x bar = y bar above b sub 0 x bar + b sub 1 {x sup size -2 2} bar = xy bar } right nothing

Из первого уравнения этой системы можем выразить b sub 0 = y bar - b sub 1 x bar и подставить во второе: lpile { ( y bar - b sub 1 x bar ) x bar + b sub 1 {x sup size -2 2} bar = xy bar ~, above y bar x bar - b sub 1 {x bar} sup size -2 2 + b sub 1 {x sup size -2 2} bar = xy bar ~, above b sub 1 ({x sup size -2 2} bar - {x bar} sup size -2 2 ) = xy bar - y bar x bar ~, above b sub 1 = {xy bar - y bar x bar} over {{x sup size -2 2} bar - {x bar} sup size -2 2} }

Проверем обратную замену, умножив затем числитель и знаменатель на n sup 2: b sub 1 = {{size +3 sum from i=1 to n x sub i y sub i} over n - {size +3 sum from i=1 to n y sub i} over n {size +3 sum from i=1 to n x sub i} over n} over {{size +3 sum from i=1 to n x sub i sup 2} over n - left ( {size +3 sum from i=1 to n x sub i} over n right ) sup 2} = {n size +3 sum from i=1 to n x sub i y sub i - size +3 sum from i=1 to n y sub i size +3 sum from i=1 to n x sub i} over { n size +3 sum from i=1 to n x sub i sup 2 - left ( size +3 sum from i=1 to n x sub i right ) sup 2}

Финально можно получить формулы для коэффициентов: lpile { b sub 0 = {size +3 sum from i=1 to n y sub i} over n - b sub 1 {size +3 sum from i=1 to n x sub i} over n ~, above b sub 1 = {n size +3 sum from i=1 to n x sub i y sub i - size +3 sum from i=1 to n y sub i size +3 sum from i=1 to n x sub i} over { n size +3 sum from i=1 to n x sub i sup 2 - left ( size +3 sum from i=1 to n x sub i right ) sup 2} }

  • Далее обычно пишут: ну, совершенно очевидно, что в числителе стоит ковариация X и Y, а в знаменателей стоит дисперсия X. Студенты все умно кивают головой на лекции после этой фразы. Еще бы, действительно. Это ж просто очевидно. Как дважды два.
  • Кому это очевидно? Тому, кто выучивает десять разных записей формул? Если человек занимается подобным выучиванием, то он не математик и не статистик, а питиримящий сорокинец. С наличием Гугла такое заучивание контрпродуктивно (до Гугла же были справочники по ТВМС).
  • Потому что нет культуры диалога на лекции. Потому что страшно спросить у лектора, показавшись дураком (гораздо лучше ничего не спрашивать и дураком оставаться). Потому что привит цитатно-догматический метод образования. Ответственно заявляю: это ни разу не очевидно. Это вообще надо отдельно выводить причём совершенно особенным образом, проведя замену при дифференцировании по b sub 1.
  • И, кстати, после этой фразы я понял, что мне придется перенабирать всю статью, чтобы сделать этот переход возможным.

КатегорияПрикладнаяМатематика