Метод максимального правдоподобия

Допустим, выборка состоит из независимых случайных величин.

Мы предполагаем, что имеет нормальное распределение. Нормальных распределений бесконечно много, каждое из них задаётся двумя параметрами: математическим ожиданием и дисперсией .

Наша задача — найти такое распределение из множества возможны нормальных распределений, которое бы наилучшим образом описывало нашу выборку. Иными словами, нам нужно найти такие и , чтобы они задавали самое близкое к имеющейся выборке нормальное распределение.

Для этого используем функцию правдоподобия: где — функция плотности распределения вероятности (в нашем примере — функция плотности вероятности нормального распределения). Наша задача, таким образом превращается в нахождение таких параметров нормального распределения, при которых эта функция принимает максимальное значение.

Для удобства часто (почти всегда) целесообразоно провести монотонное преобразование функции правдоподобия, прологарифмировав её, чтобы перейти от умножения к сложению. Полученную функцию будем называть логарифмической функцией правдоподобия:

В нашем примере с нормальным распределением функция будет иметь вид:

В результате преобразований получим:

Необходимое условие максимума функции