Метод максимального правдоподобия

Допустим, выборка bold x = (x sub 1 , x sub 2 , ldots , x sub n ) состоит из n независимых случайных величин.

Мы предполагаем, что bold x имеет нормальное распределение. Нормальных распределений бесконечно много, каждое из них задаётся двумя параметрами: математическим ожиданием mu и дисперсией sigma sup size -2 2.

Наша задача — найти такое распределение из множества возможны нормальных распределений, которое бы наилучшим образом описывало нашу выборку. Иными словами, нам нужно найти такие mu hat и {sigma sup size -2 2} hat, чтобы они задавали самое близкое к имеющейся выборке нормальное распределение.

Для этого используем функцию правдоподобия: size +4 Pi from i=1 to n p(x sub i ), где p(x) — функция плотности распределения вероятности (в нашем примере — функция плотности вероятности нормального распределения). Наша задача, таким образом превращается в нахождение таких параметров нормального распределения, при которых эта функция принимает максимальное значение.

Для удобства часто (почти всегда) целесообразоно провести монотонное преобразование функции правдоподобия, прологарифмировав её, чтобы перейти от умножения к сложению. Полученную функцию L будем называть логарифмической функцией правдоподобия: L = 
ln size +4 Pi from i=1 to n p(x sub i ) = 
size +4 sum from i=1 to n ln p(x sub i ).

В нашем примере с нормальным распределением p(x) = size -2 1 over size -2 {sigma sqrt {2 pi}} e sup { size -1 - ~ size +1 {(x - mu ) sup 2}over size +1 {2 sigma sup 2}}, функция L будет иметь вид: L = 
size +4 sum from i=1 to n ln left (
size -2 1 over size -2 {sigma sqrt {2 pi}} e sup { size -1 - ~ size +1 {(x sub i - mu ) sup 2}over size +1 {2 sigma sup 2}}
right ) = 
size +4 sum from i=1 to n left (
ln left (
1 over {sigma sqrt {2 pi}}
right )
-
{(x sub i - mu )} sup 2 over {2 sigma sup 2}
right ) = 
size +4 sum from i=1 to n left (
ln left (
2 pi sigma sup 2
right ) sup {-{1 over 2}}
-
{(x sub i - mu )} sup 2 over {2 sigma sup 2}
right ) .

В результате преобразований получим: L = 
{- {n over 2}} ln (2 pi sigma sup 2 ) - 
{1 over {2 sigma sup 2}} size +4 sum from i=1 to n (x sub i - mu ) sup 2 .

Необходимое условие максимума функции L: left {
lpile {
{partial L} over {partial mu} = 0, above
{partial L} over {partial sigma sup 2} = 0
}
right nothing


КатегорияПрикладнаяМатематика