数理统计方法3-1

第3章 参数估计

§3.1 点估计

数理统计的主要任务之一，是要用样本估计总体的分布。在很多情况下，总体的分布属于什么形式往往是已知的，我们只是需要对总体分布中一些未知参数作出估计。这种估计称为参数估计。

参数估计又可以分为两种，一种是点估计，另一种是区间估计。

所谓点估计，就是当总体 ? 分布的形式已知、但其中的参数 1, 2,?, m未知时，从样本(X1,X2,?,Xn)出发，求出m个统计量，作为未知参数 1, 2,?, m的估计。

在数理统计中，通常用记号 ? 表示参数 的估计。

这里说的估计，有两方面的意义：一方面，估计可以看作是样本(X1,X2,?,Xn)的函数，它是一个统计量，是随机变量，这样的估计也称为“估计量”；另一方面，如果已经得到样本观测值(x1,x2,?,xn)，把它们代入估计作为样本的函数的表达式，可以得到一个具体的数值，它是统计量的观测值，是一个数，这样的估计也称为“估计值”。 通常说到的“估计”，可以表示“估计量”，也可以表示“估计值”，具体指哪一个，从使用时的上下文，不难加以区分。

下面介绍几种求点估计的方法。

3.1.1 矩法估计

矩法估计的基本思想很简单。

在很多总体分布中，要估计的未知参数，往往正好就是总体分布的矩（原点矩）E(?)，kk?1,2,?。同时，另一方面，从样本我们可以算出样本矩Xk，k?1,2,?。可以证明，当样本容量n充分大时，样本矩 X 是总体矩 E(?)的良好近似。所以，我们很自然地会想到，用样本矩来作为总体矩的估计。

当然，也有一些要估计的未知参数，并不正好就是总体分布的矩，那又怎么办呢？我们知道，总体矩是从总体分布计算出来的，其中必然包含总体分布中的未知参数，所以，我们可以让总体矩的估计等于样本矩，列出若干个等式，组成一个含有未知参数的方程组。一般来说，只要一个方程组中等式的个数等于未知数的个数，就可以从这个方程组中把未知数求解出来。这就是矩法估计的基本思想。

求矩法估计的步骤为：

k（1）计算总体分布的矩E(?)?fk( 1, 2,?, m)，k?1,2,?,m，计算到m阶矩kk

４０

为止（m是总体分布中未知参数的个数）。

（2）列方程

?

???????f1( 1, 2,?, m)?E???, ?,?, ?)?E(?2)?X2?f2( 12m ???

?

?mm?????fm( 1, 2,?, m)?E(?)?X

?, ?,?, ?，它们就是未知参数 , ,?, 的矩法估计。 从方程中解出 12m12m

例1 设总体 ?～N(?,?2)，?,??0 是未知参数，(X1,X2,?,Xn) 是 ? 的样本，求?,?的矩法估计。

解 先求总体分布的矩，得到 E??? ，E(?2)?D??(E?)2??2??2 。

????E??X??

再列方程 ??

22??????E(?2)?X2??

(1)(2)

2

2

1n2

??X?()??Xi?2?S2 ， ??，代入（2）可得 ?从（1）得 ?

ni?1

2

???S2??S，由于 ??0 ，舍去不符合题意的负根，最后得到 ? 和?开方后得 ?

??S 。 ??，?的矩法估计 ?

如果我们把?（而不是把?）作为一个未知参数，仍然可以用上面的方程求解，求得

2

?2。这个性质可以推广到一般的情? 的矩法估计 ??S。我们看到，有??S2??

2

?

22

?

2

?)。 形，一个参数的函数的矩法估计，就是这个参数的矩法估计的函数，即有f( )?f(

例2 设总体?服从 [0, ] 上的均匀分布，概率密度为

?

?(x)??

??0

0?x?

其他

?0 是未知参数，(X1,X2,?,Xn) 是 ? 的样本，求 的矩法估计。

解 先求总体分布的矩 E??

?

?

?

??

x?(x)dx??xdx? 2 。

?2?E?? 。解此方程，得到 的矩法估计 ??2 。 再列方程

４１

例3 设总体?的概率分布为 P{??k}?2k ，k?1,2,?,m，其中 m?0 m(m?1)

是未知正整数，(X1,X2,?,Xn)是 ? 的样本，求m的矩法估计。

解 先求总体分布的矩，得到

m2k2E???kP{X?k}??k?k2 ?m(m?1)m(m?1)k?1k?1k?1mm

?22m(m?1)(2m?1)2m?1? 。 (12?22???m2)??3m(m?1)m(m?1)6

???12m3?1???E?? ，解得 m列方程 ，就是m的矩法估计。 32

矩法估计的优点是计算简单，但是，它也有一些缺点。

（1）矩法估计有时会得到不合理的解。

例如，在上面的例2中，设有样本观测值(X1,X2,?,X5)?(1,2,3,5,9)，按上面的

??2?2?计算可得矩法估计 1?2?3?5?9?8，也就是说，我们估计总体服从的是5

[0,8]上的均匀分布。可是，实际上我们已知有一个样本观测值X5?9，所以，总体分布

??8 是不合理的。 的上界不应该小于9，显然，估计

??又例如，在上面的例3中，m必须是一个正整数，我们得到的矩法估计 m

不一定是正整数，显然，这样的估计也是不合理的。

（2）求矩法估计时，不同的做法会得到不同的解。

通常我们规定，求矩法估计时，要尽量使用低阶矩。但是，也没有什么充分理由禁止使用高阶矩。值得注意的是，使用低阶矩与使用高阶矩可能会得出不同的解。

例如，在上面的例2中，如果不是求总体的1阶矩，而是求总体的2阶矩 3?1 却2

E(?)??x?(x)dx??x2dx? 2 。 ??02??2

???2?E(X2)?X2 ，可得 解方程 ???2 是两个3X2，显然，它与

完全不同的解。

（3）总体分布的矩不一定存在，所以矩法估计不一定有解。

例如，设总体的概率密度为

４２

2 ???(x)???(x2? 2)?0?

其中， ?0 是未知参数。

求总体的1阶矩 x?0x?0

E???x?(x)dx????????02 x dx???(x2? 2)???

0d(x2? 2) 22???ln(x? ) 。 0?x2? 2

这个积分发散，所以1阶矩不存在，矩法估计当然也就无解了。

正因为矩法估计有这样一些缺点，所以，有人提出了另一种估计方法。

3.1.2 极大似然估计

为了说明极大似然估计的基本思想，我们来看一个实际的例子。

某射手向一个目标连续射击，他每次射击时的命中率为p（0?p?1）是一个未知常数。设有一个随机变量 ?，当射手射击命中目标时，它取值为1 ，当射手射击没有击中目标时，它取值为0 。显然，? 服从0-1分布，概率分布为 P{??k}?pk(1?p)1?k ， k?0,1，即有 P{??0}?1?p，P{??1}?p。

现在让这个射手向目标试射5次，结果前2次没有命中目标，后3次都命中目标，要求对他的命中率p作出估计。

这可以看作是一个点估计问题。随机变量 ? 可以看作是一个服从0-1分布的总体，命中率p是总体分布中的未知参数。已知有样本观测值(X1,X2,?,X5)?(0,0,1,1,1)，要求未知参数p的估计。

参数 p 的取值，在 (0,1) 区间的每一点上都是有可能的，但从抽样的结果来看，参数 p 取各种值的可能性的大小（即概率）是不一样的。下面列出一个表：

从表中可以看出，次品率p取各种值时，得到样本(0,0,1,1,1)的概率大小不一样，其

23中 p?0.6 时概率最大。事实上，可以证明，函数 (1?p)p 当且仅当p?0.6 时取到

最大值。很自然地，我们会想到，既然p取值为0.6的概率（即可能性）最大，那么p的 ４３

估计值就应该取为0.6 。这就是极大似然估计的基本思想。

如果总体?是离散型随机变量，概率分布为 P{??k}，样本取值为（x1,x2,...,xn）的概率就是样本联合概率分布 P{X1?x1,X2?x2,?,Xn?xn}??P{??x}。 i

i?1n

如果总体?是连续型随机变量，概率密度为 ?(x)，样本在（x1,x2,?,xn）这一点的邻域取值的概率大小与样本联合概率密度 ?*(x1,x2,?,xn)???(xi) 成正比。

i?1n

我们把样本联合概率分布或样本联合概率密度称为似然函数，记为 L 。求极大似然估计，就是要求出，未知参数取什么值，能够使似然函数 L 取到最大值。

设总体?的分布中，有m个未知参数 1, 2,?, m，它们的取值范围是?。求极大似然估计的步骤为：

（1）写出似然函数L的表达式。

如果总体?是离散型随机变量，概率分布为 P{??k}，那么 L?

n?P{??x}； ii?1

in如果总体?是连续型随机变量，概率密度为 ?(x)，那么 L???(x)。

i?1

（2）在 1, 2,?, m的取值范围?内，求出使得似然函数L达到最大的参数估计值?, ?? 12,?, m，它们就是未知参数的极大似然估计。

通常的做法是，先取对数 lnL（因为当 lnL 达到最大时，L 也达到最大）。 然后令 lnL 关于 1, 2,?, m的偏导数等于0，得到方程组

??lnL?0?? 1? ????lnL?0?? ?m

可以证明，如果已知一个可导函数能在某个区域内部取到最大值，而在这区域内部只有一个使函数的一阶偏导数都等于0的点，那么，这个点就是函数的最大值点。由此可见，

?, ?,?, ?，而我们又知道似然函数 L 的最大如果上面这个方程组在 ? 内有唯一解 12m

值（等价于 lnL 的最大值）能在 ? 内部取到，那么，我们可以肯定，方程组的解，一

?, ?,?, ? 就是未知参数 定就是那个能使似然函数取到最大值的解。所以，按照定义， 12m

４４