- Я доведу её до вменяемого состояния, честно! -- ЛипинБорис
- Будет здорово услышать чью-нибудь критику по поводу статьи. :)
Содержание
Метод градиентного спуска (Gradient descent method)
Метод градиентного спуска используется для подбора оптимальных коэффициентов произвольной функции при наборе известных пар (Входной параметр, результат). Например, в результате эксперимента мы получили следующие значения:
i X Y
1 1 6 2 4 12 3 5 14 4 10 24
Мы можем предположить что зависимость от имеет линейный характер и хотим узнать коэффициенты для функции ,
которая для каждого -того эксперимента в соответствие получит значение максимально близкое к (В данном случае и дальше в этой статье символ будет обозначать не степень, а номер пары ).
Метод используется для решения тех же задач что и МетодНаименьшихКвадратов.
- К: с той существенной разницей, что МНК без дополнительных действий (линеаризация или взятие весов, например) пригоден только для аппроксимации данных линейными полиномами, а МГС используется для аппроксимации данных и полиномами со старшей степенью --АтрашкевичАндрей
Для измерения того, на сколько значения, полученные с помощью нашей функции, далеки от значений, полученных в результате измерения, используют квадрат расстояния:
Функцию, считающую среднюю ошибку на всех измерениях будем называть функцией потерь. Её значения зависят от параметров , поэтому будем обозначать её как . Она считается по формуле
NOTE: в формуле нужно только для того, чтобы упростить вычисления производной , никакого другого смысла в дроби нет.
Т.к. функция потерь - квадратичная, её минимум будет расположен там, где производная равна нулю, сама производная выглядит следующим образом.