• Я доведу статью до вменяемого состояния, честно! -- ЛипинБорис
• Будет здорово услышать чью-нибудь критику по поводу статьи. :)

Метод градиентного спуска (Gradient descent method)

Метод градиентного спуска используется для подбора оптимальных коэффициентов произвольной функции при наборе известных пар (Входной параметр, результат).

Например, в результате эксперимента мы получили следующие значения:

 i	X	Y

 1	1	6
 2	4	12
 3	5	14
 4	10	24

Мы можем предположить что зависимость от имеет линейный характер и хотим узнать коэффициенты для функции ,

которая для каждого -того эксперимента в соответствие получит значение максимально близкое к (В данном случае и дальше в этой статье символ (i) будет обозначать не степень, а номер пары в выборке).

Метод используется для решения тех же задач что и МетодНаименьшихКвадратов.

• К: с той существенной разницей, что МНК без дополнительных действий (линеаризация или взятие весов, например) пригоден только для аппроксимации данных линейными полиномами, а МГС используется для аппроксимации данных и полиномами со старшей степенью --АтрашкевичАндрей

Для измерения того, на сколько значения, полученные с помощью нашей функции, далеки от значений, полученных в результате измерения, используют квадрат расстояния:

Функцию, считающую среднюю ошибку на всех измерениях будем называть функцией потерь. Её значения зависят от параметров , поэтому будем обозначать её как . Она считается по формуле

NOTE: в формуле нужно только для того, чтобы упростить вычисления производной , никакого другого смысла в дроби нет.

Т.к. функция потерь - квадратичная, её минимум будет расположен там, где производная равна нулю, сама производная выглядит следующим образом.