Это старая версия (1.484) МетодНаименьшихКвадратов.

Содержание

Метод наименьших квадратов

  • ПО КРИТЕРИЮ НИКИТЕНКОВА ЭТО ПЛОХАЯ СТАТЬЯ ПО МАТЕМАТИКЕ!
  • Статью под снос и переделку. То, что я здесь напитиримил, перенесу в longcheatsheet для тех, кому нужно очень глубоко копать именно в математических обоснованиях метода, причем преимущественно в области применения МНК для статистического оценивания. --АтрашкевичАндрей
Общие комментарии к статье:
  1. Статья пишется максимально подробно с той целью, чтобы человек, ни разу до этого не сталкивавшийся с МНК мог понять и его сущность, и то, как получаются оценки коэффициентов линейного полинома, аппроксимирующего данные. Входные требования: дифференциальное исчисление функций многих переменных, основы линейной алгебры (где-то в районе первых трех лекций стандартного университетского курса).
  2. Эту статью нужно читать с листочком и карандашом, повторяя действия (дифференцируя, проводя подстановки, рисуя, особенно рисуя). Это не Талмуд, тут заучивание не катит. Пишущий слушает (и читает) дважды.
  3. В статье нет фраз: «очевидно, что ...» и прочих благоглупостей. Любой пропуск в рассуждениях смерти подобен. А учебники, в которых много таких фраз должны отправляться в помойное ведро. Там им и место.

WoLongCheatSheet

Задача
У нас есть два набора данных

Допусти у нас есть две выборки: X = ( x sub 1 , x sub 2 , ..., x sub i , ..., x sub n ) и Y = ( y sub 1 , y sub 2 , ..., y sub i , ..., y sub n )

Оцениваем y sub i = beta sub 0 + beta sub 1 x sub i + epsilon sub i с помощью y hat sub i = b sub 0 + b sub 1 x sub i , где size +3 nothing hat — знак оценки, поэтому: b sub 0 = beta hat sub 0 и b sub 1 = beta hat sub 1.

Отклонение в значении обозначим e = (y sub i - y hat sub i)

Будем минимизировать сумму квадратов отклонений: SSE = size +3 sum from i=1 to n e sub i sup 2 = size +3 sum from i=1 to n (y sub i - y hat sub i ) sup 2 = size +3 sum from i=1 to n (y sub i - (b sub 0 + b sub 1 x sub i )) sup 2 = size +3 sum from i=1 to n (y sub i - b sub 0 - b sub 1 x sub i ) sup 2 -> min from {b sub 0 , ~ b sub 1}

Условие первого порядка: \[1\] ~~ left { lpile { \[1.1\] ~ {partial SSE} over {partial b sub 0} = {partial size +3 sum from i=1 to n (y sub i - b sub 0 - b sub 1 x sub i ) sup 2} over {partial b sub 0} = {-2} size +3 sum from i=1 to n (y sub i - b sub 0 - b sub 1 x sub i ) = 0 above \[1.2\] ~ {partial SSE} over {partial b sub 1} = {partial size +3 sum from i=1 to n (y sub i - b sub 0 - b sub 1 x sub i ) sup 2} over {partial b sub 1} = {-2} size +3 sum from i=1 to n (y sub i - b sub 0 - b sub 1 x sub i ) x sub i = 0 } right nothing

Рассмотрим \[1.1\]: lpile { {-2} size +3 sum from i=1 to n (y sub i - b sub 0 - b sub 1 x sub i ) = 0 above size +3 sum from i=1 to n (y sub i - b sub 0 - b sub 1 x sub i ) = 0 above size +3 sum from i=1 to n y sub i - size +3 sum from i=1 to n b sub 0 - size +3 sum from i=1 to n b sub 1 x sub i = 0 above n b sub 0 + b sub 1 size +3 sum from i=1 to n x sub i = size +3 sum from i=1 to n y sub i above b sub 0 + b sub 1 {size +3 sum from i=1 to n x sub i} over n = {size +3 sum from i=1 to n y sub i} over n }

Рассмотрим \[1.2\]: lpile { {-2} size +3 sum from i=1 to n (y sub i - b sub 0 - b sub 1 x sub i ) x sub i = 0 above size +3 sum from i=1 to n (y sub i - b sub 0 - b sub 1 x sub i ) x sub i = 0 above size +3 sum from i=1 to n (x sub i y sub i - b sub 0 x sub i - b sub 1 x sub i sup 2 ) = 0 above size +3 sum from i=1 to n b sub 0 x sub i + size +3 sum from i=1 to n b sub 1 x sub i sup 2 = size +3 sum from i=1 to n x sub i y sub i above b sub 0 size +3 sum from i=1 to n x sub i + b sub 1 size +3 sum from i=1 to n x sub i sup 2 = size +3 sum from i=1 to n x sub i y sub i above b sub 0 {size +3 sum from i=1 to n x sub i} over n + b sub 1 {size +3 sum from i=1 to n x sub i sup 2} over n = {size +3 sum from i=1 to n x sub i y sub i} over n }

Система \[1\] в результате преобразований превращается в систему \[2\]: \[2\] ~~ left { lpile { \[2.1\] ~ b sub 0 + b sub 1 {size +3 sum from i=1 to n x sub i} over n = {size +3 sum from i=1 to n y sub i} over n above \[2.2\] ~ b sub 0 {size +3 sum from i=1 to n x sub i} over n + b sub 1 {size +3 sum from i=1 to n x sub i sup 2} over n = {size +3 sum from i=1 to n x sub i y sub i} over n } right nothing

Обозначим: x bar = {size +3 sum from i=1 to n x sub i} over n, y bar = {size +3 sum from i=1 to n y sub i} over n, {x sup 2} bar = {size +3 sum from i=1 to n x sub i sup 2} over n, xy bar = {size +3 sum from i=1 to n x sub i y sub i} over n и перепишем систему \[2\]: \[3\] ~~ left { lpile { \[3.1\] ~ b sub 0 + b sub 1 x bar = y bar above \[3.2\] ~ b sub 0 x bar + b sub 1 {x sup 2} bar = xy bar } right nothing

Выразим из \[3.1\] значение b sub 0: b sub 0 = y bar - b sub 1 x bar

и подставим его в \[3.2\]: lpile { ( y bar - b sub 1 x bar ) x bar + b sub 1 {x sup 2} bar = xy bar above x bar y bar - b sub 1 x bar sup 2 + b sub 1 {x sup 2} bar = xy bar above b sub 1 ({x sup 2} bar - x bar sup 2 ) = xy bar - x bar y bar above b sub 1 = {xy bar - x bar y bar} over {{x sup 2} bar - x bar sup 2} }

Проведём обратную подстановку (потом вколотить сюда mark или что там): lpile { b sub 1 = { {size +3 sum from i=1 to n x sub i y sub i} over n - {size +3 sum from i=1 to n x sub i} over n {size +3 sum from i=1 to n y sub i} over n } over { {size +3 sum from i=1 to n x sub i sup 2} over n - left ( {size +3 sum from i=1 to n x sub i} over n right ) sup 2 } = { {size +3 sum from i=1 to n x sub i y sub i} over n - {size +3 sum from i=1 to n x sub i size +3 sum from i=1 to n y sub i} over n sup 2 } over { {size +3 sum from i=1 to n x sub i sup 2} over n - left ( {size +3 sum from i=1 to n x sub i} right ) sup 2 over n sup 2 } = {n sup 2 left ( { {size +3 sum from i=1 to n x sub i y sub i} over n - {size +3 sum from i=1 to n x sub i size +3 sum from i=1 to n y sub i} over n sup 2 } right ) } over {n sup 2 left ( { {size +3 sum from i=1 to n x sub i sup 2} over n - left ( {size +3 sum from i=1 to n x sub i} right ) sup 2 over n sup 2 } right ) } = above = { n size +3 sum from i=1 to n x sub i y sub i - size +3 sum from i=1 to n x sub i size +3 sum from i=1 to n y sub i } over { n size +3 sum from i=1 to n x sub i sup 2 - left ( {size +3 sum from i=1 to n x sub i} right ) sup 2 } }

В итоге получаем формулы для коэффициентов: lpile { b sub 0 = {size +3 sum from i=1 to n y sub i} over n - b sub 1 {size +3 sum from i=1 to n x sub i} over n = y bar - b sub 1 x bar above b sub 1 = { n size +3 sum from i=1 to n x sub i y sub i - size +3 sum from i=1 to n x sub i size +3 sum from i=1 to n y sub i } over { n size +3 sum from i=1 to n x sub i sup 2 - left ( {size +3 sum from i=1 to n x sub i} right ) sup 2 } = {xy bar - x bar y bar} over {{x sup 2} bar - x bar sup 2} }

Обычно, далее в учебниках пишут что-то вроде: «Очевидно, что в числителе коэффициента b sub 1 стоит ковариация случайных величин X и Y, а в знаменателе — дисперсия (вариация) X». Если дело происходит на лекции, то студенты уверенно кивают: им всё понятно, они не задают вопросов, они не говорят, что им ничего не ясно, и что вообще всё это выглядит как урок древнетибетского. Примерно 5-7% из прослушавших курс ТВМС может действительно сразу увидеть ковариацию и вариацию в числителе и знаменателе или увидеть после указания (кстати, сама эта форма записи ковариации тоже обычно сопровождается фразой, «очевидно, что ...»). Остальные просто продолжают поддерживать монологичную цитатно-догматическую традицию высшего образования, не понимая практически ничего.

Поэтому вывод формул в терминах вариаций-ковариаций будет сделан отдельно. И крайне подробно.

КатегорияПрикладнаяМатематика