数理统计方法5-2

5.2.3 一元线性回归中一些统计量的分布

下面，我们来推导一些有关一元线性回归统计量分布的定理。

?)??)??， D(?定理5.1 E(?111

?2

Lxx

。

证 因为 yi～N(?0??1xi,?2) , i?1,2,?,n， y1,y2,?,yn 相互独立，所以

E(yi)??0??1xi，D(yi)??2,i?1,2,?,n 。

1n1n1n

E()?E(?yi)??E(yi)??(?0??1xi)??0??1 ，

ni?1ni?1ni?1

1n1D()?D(?yi)?2

ni?1n1

D(y)??i

n2i?1

n

??

i?1i

n

2

?

?2

n

。

?)?E( E(?1

LxyLxx

)?E[

?(x

i?1

n

i

?)(yi?)Lxx

]?

n

?(x

i?1

n

?)[E(yi)?E()]

Lxx

?

?(x

i?1

n

i

?)[(?0??1xi)?(?0??1)]

Lxx

?

?(x

i?1

i

?)?1(xi?)Lxx

?

?1Lxx

Lxx

??1 ，

? 是 ? 的无偏估计。 即 ?11

LxyLxx

?)?D(D(?1

n

)?D[

?(x

i?1n

n

i

?)(yi?)Lxx

]?D[

n

?(x

i?1

n

i

?)yi??(xi?)

i?1

n

Lxx

]

?D[

?(xi?)yi

i?1

Lxx

]?

?(xi?)D(yi)

2

i?1

L2xx

?

22(x?)??ii?1

L2xx

?

?2Lxx

L2xx

?

?2

Lxx

。

?)?0 。 定理5.2 Cov(,?1

证 由于 y1,y2,?,yn 相互独立，所以 Cov(yi,yj)??

n

n

n

?D(yi)i?j

，因此

0i?j?

i

?)?Cov(Cov(,?1

?y?(x

ii?1

i

?)yi

)?

n

,

i?1

?(x

i?1

?)D(yi)nLxx

Lxx

１０３

n??22

x?n???(xi?)??i???i?1??i?1?0 。

nLxxnLxx

n

?12?2

??定理5.3 E(?0)??0， D(?0)???n?L??? 。

xx??

?)?E(???)?E()?E(??)?(???)???? ， 证 E(?0110101? 是 ? 的无偏估计。 即 ?00

?)?D(???)?Cov(???,???) D(?1101

?)?Cov(??,??)2?D()?0?D(??)2 ?Cov(,)?2Cov(,?1111

?12?2

??? 。 ??????nLnLxxxx??

?2?2

2

?2

?～N(??定理5.4 ?1～N(?1,)，?00

Lxx

LxyLxx

?12?2,??n?L???) 。

xx??

??证 因为 ?1

?

?(x

i?1

n

i

?)yi

Lxx

????? 都是 y,y,?,y 的线性 和?12n01

?也都服从正态分布。 ? 和?函数，而y1,y2,?,yn 相互独立，都服从正态分布，所以 ?10

?)??)??， D(?由定理5.1可知，E(?111

?2

Lxx

?～N(?,，因此?11

?2

Lxx

)。

?12?2

??由定理5.3可知，E(?0)??0， D(?0)???n?L???，因此

xx??

2

??21?～N(?,????)。 ?0?0??nLxx?

定理5.5

SSe

?

2

?， 相互独立。 ～?(n?2) ，而且 SSe，?1

2

证 因为 yi??0??1xi??i ， i?1,2,?,n ，所以

１０４

?i?yi??0??1xi，i?1,2,?,n。

1n1n

???i??(yi??0??1xi)???0??1 。

ni?1ni?1

?(?

i?1

n

i

?)??[(yi??0??1xi)?(??0??1)]??[(yi?)??1(xi?)]2

2

2

i?1n

i?1

nn

??(yi?)?2?1?(yi?)(xi?)??

2

i?1

i?1

n

2

1

?(x

i?1

n

i

?)2

2?2L???2L?2????Lyy?2?1Lxy??12Lxx?Lyy??1xx1xx11Lxx??1Lxx

2?2L)?(??2?2????(Lyy??1xx111??1)Lxx

???)2L 。 ?SSe?(?11xx

因为?i～N(0,?2)，i?1,2,?,n，?1,?2,?,?n 相互独立，所以

?i

～N(0,1)，?

i?1,2,?,n ，

??1?2

,,?,n 相互独立。 ???

2

??i?

???i?12???i?1???

n

??

SSe

n

2

i

?(?

i?1

n

i

?)2?n2

?2

?n2

?

???)2L?n2SSe?(?11xx

?2

?

?

2

?

???)2L(?11xx

?

i

2

?

2

?Q1?Q2?Q3 。

其中 Q1?关系式

SSe

?

2

?

?(y

i?1

n

????x)2??01i

?

2

是n项的平方和，但这n项又满足2个线性

?(yi???0???1xi)??yi?n??0???1?xi?0 ，

i?1

i?1

i?1

nnn

?xi(yi???0???1xi)??xiyi???0?xi???1?xi2?0 。

i?1

i?1

i?1

i?1

nnnn

１０５

nn

?

n?0??1?xi??yi

?

i?1i?1?,??是正规方程 ?（ 因为?的解。 ） ?nnn01

??0?xi??1?xi2??xiyi?i?1i?1i?1?

所以 Q1 的自由度 f1?n?2。

Q2?

???)2L(?11xx

?2

n2

?????1??1

???

2

?

Lxx?是1项的平方和，所以 Q2的自由度f2?1。

??

2

Q3?

?2

?n?

??????是1项的平方和，所以 Q3的自由度f3?1。

??

因为 f1?f2?f3?(n?2)?1?1?n，所以由定理2.7（Cochran 定理）可知：

?????SSe21?Q1?2～?(n?2) ，Q2?1

????

??n?2??～?2(1) ， Lxx～?(1),Q3??????

???

22

?，????? 相互独立，即 SS，??，而且Q1，Q2，Q3相互独立，所以 SSe，?01e11

相互独立。

?)??。 定理5.6 E(SSe)?(n?2)?2 ， E(?

证 在2.4节的定理2.2中，我们证明了：如果随机变量 ? 服从自由度为 n 的

2

分布，即 ?～?(n)，那么，它的数学期望就等于n，即有 E??n 。

22

?2

由定理5.5可知，

SSe

?2

2

～?(n?2)，所以 E(

SSe

?2

)?n?2 ，因此

E(SSe)?E(

SSe

?2

?2)?E(

SSe

?2

)?2?(n?2)?2 ；

SSeE(SSe)(n?2)?2

?)?E(E(?)????2，

n?2n?2n?2

2

??即?

2

SSe2

是 ? 的无偏估计。 n?2

１０６

????????0011

定理5.7 ～t(n?2)。 Lxx～t(n?2) ，

2??1???

n

Lxx

?～N(?,证 由定理5.4可知，?11

SSe

?2

Lxx

)，即有

????11

2

Lxx

～N(0,1) 。

又由定理5.5可知，

?2

????1?～?(n?2) ，而且 ?1 与 SSe 相互独立，即 1

2

Lxx

2

与

SSe

?

2

相互独立。

所以，由t分布的定义便可推出

????11

????11

Lxx???

2Lxx

SSe

～t(n?2) 。

?

2

n?2)

2?????2?100??由定理5.4可知，?0～N(?0,?，即有 ～N(0,1) 。 ??)?nL?2

1xx??

??

nLxx

又由定理5.5可知，

SSe

?2

? 与 ?， 与 SS 相互独立，即 ?～?(n?2) ，而且 ?e10

2

SSe 相互独立，

????00

?

1?nLxx

2

与

SSe

?2

相互独立。

所以，由t分布的定义便可推出

????00

????00??

1?nLxx

2

?

12??

nLxxSSe

～t(n?2) 。

?2

n?2)

5.2.4 一元线性回归中的区间估计

?，相当于 ?，?前面求出的 ?10

计。

?1，?0 的点估计，我们还可以求 ?1，?0 的区间估

问题 在一元线性回归模型中，求 ?1，?0 的置信水平为1??的置信区间。

１０７