Метод максимального правдоподобия

Допустим, выборка состоит из независимых случайных величин.

Мы предполагаем, что имеет нормальное распределение. Нормальных распределений бесконечно много. Каждое из них задаётся двумя параметрами: математическим ожиданием и дисперсией .

Наша задача — найти такое распределение из семейства нормальных, которое бы наилучшим образом описывало нашу выборку. Иными словами, нам нужно найти такие и , чтобы они задавали самое близкое к имеющейся выборке нормальное распределение.

Для этого используем функцию правдоподобия Фишера: где — функция плотности распределения вероятности (в нашем примере — функция плотности вероятности нормального распределения).

Для удобства часто (почти всегда) целесообразоно провести монотонное преобразование функции правдоподобия, прологарифмировав её, чтобы перейти от умножения к сложению. Это корректно с математической т. з., т. к. мы предполагаем независимость величин в выборке.

Функцию будем называть логарифмической функцией правдоподобия.

В нашем примере p(x) = 1 over {sigma sqrt{2 pi}} e