Методы получения точечных оценок

1.

Методы получения точечных оценок
Метод максимального правдоподобия
x1 ,..., xn для
Пусть рассматривается выборка
непрерывной
с.в.,
имеющей
функцию
плотности
распределения p( x , ) с неизвестным параметром .
Ставится задача получить точечную оценку этого
неизвестного параметра.
Функция правдоподобия для рассматриваемой задачи
определяется как совместная плотность распределения
случайного вектора случайной выборки X 1 ,..., X n . С учетом
независимости компонент случайной выборки функция
правдоподобия
будет
равна
произведению
n
L( x1 , x2 ,..., xn , ) = p( x1 , ) p( x2 , )... p( xn , ) p( xi , ) (1)
i =1
(напомним, что все компоненты случайной выборки
распределены одинаково).
Метод максимального правдоподобия для получения
точечной оценки параметра состоит в отыскании такого
значения этого параметра, которое доставляет максимум
функции правдоподобия (1). Тогда максимизируется
вероятность
попадания вектора случайной выборки
X 1 ,..., X n в любую заданную окрестность полученной
конкретной выборки x1 ,..., xn . Точнее говоря, для любых
«отклонений» xi > 0 получим максимум вероятности
попадания
конкретной
выборки
в
«брус»
[ x1 , x1 + x1 ] [ x2 , x2 + x2 ] ... [ xn , xn + xn ] , которая, как
известно, равна L( x1 , x2 ,..., xn , ) x1 x2 ... xn .

2.

x + x
x2
x1
x + x
Таким образом, отыскивая максимум функции
правдоподобия, мы отыскиваем то значение неизвестного
параметра , при котором вероятность того, что случайная
выборка примет именно то значение, которое зафиксировано
в опыте, достигает максимума.
Таким образом, чтобы получить точечную оценку
неизвестного параметра распределения методом
максимального правдоподобия, достаточно решить задачу на
экстремум для функции правдоподобия (1) как функции
параметра . Для нескольких неизвестных параметров нужно
решить задачу на (безусловный) экстремум функции
правдоподобия как функции всех неизвестных параметров.
Мы рассмотрели вид функции правдоподобия для
непрерывной с.в. В случае дискретной с.в. вместо значений
функции плотности распределения в точках конкретной
выборки в формуле (1) следует брать вероятности того, что
данная с.в. принимает данное значение xi .
Заметим также, что часто для удобства решения задачи
вместо функции (1) рассматривают ее натуральный
логарифм, так как при этом (в силу монотонности и
непрерывности
логарифмической
функции)
точки
экстремума не меняются, а все вычисления значительно
упрощаются.
Выведем методом максимального правдоподобия
точечные оценки параметров некоторых непрерывных и
дискретных законов распределения.

3.

Нормальный закон
Пусть конкретная выборка объема n получена для
нормально распределенной с.в. с неизвестными параметрами
m (математического ожидания) и 2 (дисперсии), т.е.
p( x , m, ) =
1
e
2
−
( x − m) 2
2 2
.
Составим функцию правдоподобия:
n
1
e
2
i =1
L( x1 ,..., xn , m, ) =
Логарифмируя (2),
n
ln L( x1 ,..., xn , m, ) = ln
i =1
−
( xi − m ) 2
2 2
(2)
получим:
1
2
( x − m) 2
− i
2
e 2
=
2
n
n
1
( xi − m) 2
2 ( xi − m)
= [ − ln 2 −
] = − ln 2 + n ln +
2
2
2
2
2
2
i =1
i =1
n
Решаем задачу на экстремум для найденного
логарифма функции правдоподобия (как функции двух
неизвестных параметров m и ):
ln L
1 n
1 n
=
2( xi − m) = 2 [( xi ) − nm]
2
m
2 i =1
i =1
и
ln L
n n ( xi − m) 2 2
= − +
i =1
2
3
Приравнивая нулю полученные производные, получим

4.

1 n
m = xi ,
n i =1
1 n
= ( xi − m) 2 .
n i =1
2
Исследуя второй дифференциал функции ln L( m, )
можно убедиться в том, что найденные значения параметров
действительно
доставляют
максимум
функции
правдоподобия.
Таким образом, математическое ожидание оценивается
как выборочное среднее, а дисперсия - как выборочная
дисперсия в виде формулы (4) файла МС1. Напомним, что
такая оценка дисперсии не является несмещенной (хотя и
является асимптотически несмещенной).
Распределение Пуассона
Составим функцию правдоподобия для дискретной с.в.
X, распределенной по закону Пуассона с неизвестным
параметром :
n
n
L( x1 ,..., xn , ) = P{ X = xi } =
i =1
i =1
xi e −
xi !
(3)
Логарифмируя(3),получим:
n
xi e −
i =1
xi !
ln L( x1 ,..., xn , ) = ln
n
= ( xi ln − − ln xi !) =
i =1
n
= − n + ( xi ln − ln xi !)
i =1
Вычисляем производную полученного выражения по и
приравниваем ее нулю:
−n+
1
n
xi = 0 ,
i =1
откуда

5.

1 n
= xi ,
n i =1
т.е.
параметр
распределения
Пуассона
методом
максимального правдоподобия оценивается как выборочное
среднее.
Экспоненциальное распределение
Функция плотности:
p( x) = e − x , x 0
Функция правдоподобия:
n
L( x1 ,..., xn , ) = e − xi .
i =1
Логарифмируем:
n
n
i =1
i =1
ln L( x1 ,..., xn , ) = (ln − xi ) = n ln − xi .
Дифференцируем по
и приравниваем производную нулю:
1 n
ln L( x1 ,..., xn , ) = n − xi = 0
i =1
Отсюда получаем оценку
=
n
n
x
i =1
.
i
Но это значит, что обратная к величина, равная м.о., оценивается как
выборочное среднее. Такая оценка, как известно, несмещенная и состоятельная.
Замечание. То, что получена точка максимума, легко усматривается из
отрицательности второй производной.
Биномиальное распределение
Для оценки параметра p (вероятности успеха) по ряду распределения
P{ X = k} = Cnk p k (1 − p ) n−k
составляем функцию правдоподобия:
n
L( x 1 ,..., xn , p) = Cnk p k (1 − p) n−k
k =1
Логарифм:

6.

n
ln L( x 1 ,..., xn , p) = lnCnk + k ln p + (n − k )ln(1 − p) .
k =1
Дифференцируем по параметру и приравниваем производную нулю:
n
n
1
1
k
n
ln L( x 1 ,..., xn , p) = (k − (n − k )
) = (
−
)=
p
p
1
−
p
p
(1
−
p
)
1
−
p
k =1
k =1
n
1
n2
=
k − 1 − p = 0,
p(1 − p) k =1
откуда получаем оценку
1 n
p = 2 k .
n k =1
Это значит, что оценка м.о. составит
1 n
np = k ,
n k =1
то есть окажется равной выборочному среднему (что и ожидалось).
Вернемся к оценке вероятности успеха и найдем ее м.о. и дисперсию.
Оценку p как случайную величину можно записать так:
1 n
p = 2 Xk ,
n k =1
где с.в. X k независимы и распределены по биномиальному закону с одними и
теми же параметрами n (число испытаний) и p (вероятность успеха).
Так как для каждого k м.о. M [ X k ] = np , то по теореме сложения
математических ожиданий получим
M [ p] =
1 2
n p = p,
n2
что доказывает несмещенность оценки p .
Вычислим дисперсию оценки p , используя теорему о дисперсии линейной
комбинации независимых с.в.:
n
n
k =1
k =1
D[ ak X k ] = ak2 D[ X k ] .
Будем иметь:
D[ p] = D[
1 n
1 n
1 n
1 2
p(1 − p)
X
]
=
D
[
X
]
=
np
(1
−
p
)
=
n
p
(1
−
p
)
=
.
k
k
n 2 k =1
n 4 k =1
n 4 k =1
n4
n2
По 2-му неравенству Чебышёва получим:

7.

P{| p − p | }
p(1 − p)
,
n 2 2
Откуда
P{| p − p | } 1 −
p(1 − p)
,
n 2 2
что означает сходимость по вероятности оценки p к вероятности успеха.
Метод моментов
Этот метод получения точечных оценок основан на
приравнивании теоретических моментов с.в. к их
выборочным оценкам. Это дает систему уравнений
относительно неизвестных параметров, решая которую
получают искомые оценки.
Мы ограничимся тем, что разберем применение метода
моментов на простом примере.
Пусть с.в. X распределена равномерно на интервале
(a, b), границы которого неизвестны и их требуется оценить.
В качестве теоретических моментов возьмем м.о. и
дисперсию, которые соответственно равны:
b
1 b2 − a 2 a + b
M[ X ] = = xp( x )dx =
=
b−a 2
2
a
и
b
(b − a ) 2
D[ X ] = = ( x − ) p( x )dx =
12
a
2
2
(Напомним, что плотность распределения для с.в.,
равномерно распределенной на интервале (a, b), равна
1 , x (a , b)
p( x ) = b − a
.)
0, x (a , b)
Приравнивая теоретические м.о. и дисперсию
выборочному среднему и несмещенной выборочной
дисперсии в виде (6, файл МС1), получим следующую
систему уравнений:

8.

a +b ~ 1 n
= X = xi
2
n i =1
2
n
(b − a ) = S~ 2 = 1 ( x − X~ ) 2
i
12
n − 1 i =1
Решая эту систему относительно неизвестных a и b,
получим:
a = X~ − S~ 3,
b = X~ + S~ 3
Это и есть искомые оценки границ интервала, на котором
равномерно распределена с.в. X.
Заметим, что оценка неизвестного параметра
распределения Пуассона методом моментов реализуется
совсем просто. Действительно, так как в этом случае M[X]=
, то приравнивая теоретическое м.о. выборочному
среднему, мы получим уже известную нам оценку как
выборочного среднего.
Несмотря на то, что метод моментов в вычислительном
отношении проще метода максимального правдоподобия, он
дает оценки худшего качества. Для получения «хороших» (в
смысле несмещенности, состоятельности и эффективности)
оценок следует пользоваться методом максимального
правдоподобия.