Метод максимального правдоподобия

Допустим, выборка состоит из независимых случайных величин.

Мы предполагаем, что имеет нормальное распределение. Нормальных распределений бесконечно много. Каждое из них задаётся двумя параметрами: математическим ожиданием и дисперсией .

Наша задача — найти такое распределение из множества возможны нормальных распределений, которое бы наилучшим образом описывало нашу выборку. Иными словами, нам нужно найти такие и , чтобы они задавали самое близкое к имеющейся выборке нормальное распределение.

Для этого используем функцию правдоподобия: где — функция плотности распределения вероятности (в нашем примере — функция плотности вероятности нормального распределения).

Для удобства часто (почти всегда) целесообразоно провести монотонное преобразование функции правдоподобия, прологарифмировав её, чтобы перейти от умножения к сложению. Полученную функцию будем называть логарифмической функцией правдоподобия.

В нашем примере с нормальным распределением