• Я доведу статью до вменяемого состояния и поправлю всё что напитиримил, честно! -- ЛипинБорис
• Будет здорово услышать чью-нибудь критику по поводу статьи. :)
• Ограниченность метода. Где (и почему?) нельзя использовать.
• Примеры и причины плохой сходимости методы (структура функции потерь, плохой в смысле сходимости выбор шага).
• Вообще сама идея сходимости метода. Туда же неравенство Канторовича (за корректность не ручаюсь).
• Можно ещё указать, что метод используется (будучу немного модифицированным) в обратном распространении ошибки.
• Удалил свой комментарий из тела, т. к. написал, не подумав. --АтрашкевичАндрей

Метод градиентного спуска (Gradient descent method)

МетодГрадиентногоСпуска используется для подбора оптимальных коэффициентов произвольной функции при наборе известных пар (Входной параметр, результат).

Например, в результате эксперимента мы получили следующие значения:

 i	X	Y

 1	1	6
 2	4	12
 3	5	14
 4	10	24

Мы можем предположить что зависимость от имеет линейный характер и хотим узнать коэффициенты для функции ,

которая для каждого -того эксперимента в соответствие получит значение максимально близкое к (В данном случае и дальше в этой статье символ (i) будет обозначать не степень, а номер пары в выборке).

Метод используется для решения тех же задач что и МетодНаименьшихКвадратов.

Для измерения того, на сколько значения, полученные с помощью нашей функции, далеки от значений, полученных в результате измерения, используют квадрат расстояния:

Функцию, измеряющую среднюю ошибку на всех измерениях будем называть функцией потерь. Её значения зависят от параметров , поэтому будем обозначать её как . Она считается по формуле

NOTE: в формуле нужно только для того, чтобы упростить вычисления производной , никакого другого смысла в дроби нет.

Т.к. функция потерь - квадратичная, её минимум будет расположен там, где производная равна нулю, сама производная выглядит следующим образом.