Метод максимального правдоподобия

Допустим, выборка состоит из независимых случайных величин.

Мы предполагаем, что имеет нормальное распределение. Нормальных распределений бесконечно много. Каждое из них задаётся двумя параметрами: математическим ожиданием и дисперсией .

Наша задача — найти такое распределение из семейства нормальных, которое бы наилучшим образом описывало нашу выборку. Иными словами, нам нужно найти такие и , чтобы они задавали самое близкое к имеющейся выборке нормальное распределение.

Для этого используем функцию правдоподобия Фишера: где — функция плотности распределения вероятности (в нашем примере — функция плотности вероятности нормального распределения).

Для удобства часто (почти всегда) целесообразоно провести монотонное преобразование функции правдоподобия, прологарифмировав её, чтобы перейти от умножения к сложению. Это корректно с математической т. з., т. к. мы предполагаем независимость величин в выборке.

Функцию будем называть логарифмической функцией правдоподобия.

В нашем примере $$p(x) = size -2 1 over size -2 {sigma sqrt {2 pi}} e sup { size -1 - ~ size +1 {(x - mu ) sup 2} over size +1 {2 sigma sup 2}}$$