数理统计方法5-1

第5章 回归分析

§5.1 回归分析的基本概念

在实际问题中，我们会遇到各种变量，在变量与变量之间，往往存在着各种关系。 有些变量之间的关系是确定性的函数关系，例如，圆的半径R与圆面积S之间的关系S??R2，自由落体落下的时间t与落体落下的距离h之间的关系h?12gt，等等。在这2

些关系中，只要自变量的值确定了，因变量的值也就随之确定了。

但是，有些变量之间的关系就不是这样，例如，农作物的施肥量x与农作物的产量y之间的关系，商品的价格x与商品的销售量y之间的关系，家庭的收入x与家庭的支出y之间的关系，父亲的身高x与儿子的身高y之间的关系，等等。在这些关系中，自变量x的值确定了，因变量y的值并不完全随之确定，还是可能有上下起伏的变化。同时，在这些关系中，自变量x与因变量y又不是完全无关的，通过大量的统计数据，可以发现，它们之间确实存在着某种关系。我们把这样的关系，称为统计相关关系。

回归分析（Regression Analysis），就是研究变量之间的统计相关关系的一种统计方法。它从自变量和因变量的一组观测数据出发，寻找一个函数式，将变量之间的统计相关关系近似地表达出来。这个能够近似表达自变量与因变量之间关系的函数式，称为回归方程或回归函数。

回归方程，可以是线性的，也可以是非线性的，当回归方程为线性时，称为线性回归（Linear Regression），当回归方程为非线性时，称为非线性回归（Nonlinear Regression）。在回归方程中，可以只有一个自变量，也可以有多个自变量，只有一个自变量的回归称为一元回归（Simple Regression），有多个自变量的回归称为多元回归（Multiple Regression）。

§5.2 一元线性回归

5.2.1 一元线性回归的数学模型

设自变量 x 与因变量 y 之间，有下列关系：

y??0??1x?? ，

其中，?0,?1 是常数，? 是表示误差的随机变量，一般总是设?～N(0,?2) 。

(xi,yi) ，i?1,2,?,n 。 对 x,y 进行 n 次观测，得到一组观测值：

即有

yi??0??1xi??i ，?i～N(0,?2) ，i?1,2,?,n 。

其中 ?1,?2,?,?n 相互独立，是各次观测时产生的随机误差，它们可以看作是总体 ９７

?～N(0,?2) 的样本。

我们把x1,x2,?,xn看作是常数，这样，y1,y2,?,yn 就是?1,?2,?,?n 的函数，它

i?1,2,?,n ，y1,y2,?,yn 们都是随机变量。而且，可以推知 yi～N(?0??1xi,?2)，

相互独立。这就是一元线性回归的数学模型。

在上述关系式中，常数 ?0,?1 是未知的。我们要作的一元线性回归，就是要求出

?,?? ，使得回归方程 y????x 能够尽可能精确地将自变量 x????0,?1 的估计值 ?0101

与因变量 y 之间的统计相关关系表达出来。

我们可以用数学语言，把它化成下面这样一个问题： 问题 已知 (xi,yi) ，i?1,2,?,n，求常数 ?0,

n?,?? ，使得当 ?1 的估计 ?01? ，???? 时，Q??(y????x)2 达到最小。 ?0??i01i110

i?1

分析推导

Q 是 ?0,?1 的函数，所以，这实际上是一个二元函数求最小值的问题，我们可以通过求偏导数、解方程组的方法，来确定 Q 的最小值点。

???????

???????

???????n?Q??2?(yi??0??1xi)?0??0i?1 ， n?Q??2?xi(yi??0??1xi)?0??1i?1nnn?yi?1nii?1i??0?1??1?xi?0i?xy??0?xi??1?xi2?0i?1i?1nni?1ni?1n ， n?0??1?xi??yi(1) 。 ?0?xi??1?xi2??xiyi

i?1i?1i?1ni?1ni?1n(2)

这个方程称为正规方程。

从（1）式可得

?1n1n?0??yi??xi???1ni?1ni?1

代入（2）式可得 (3)

９８

(??1)n??1?x??xiyi ，

2ii?1

i?1

nn

?1(?x?n)??xiyi?n ，

2i

2

i?1

i?1n

nn

?1?

?xy

ii?1ni?1

n

i

?n?

?(x

i?1

n

i

?)(yi?)

。

22x?n?i2

(x?)?ii?1

把这里求出的 ?1 的值，再代入上面的（3）式 ，就可以求出 ?0 的值。不难看出，这个解也就是使 Q 达到最小的解。

如果令 Lxx?

?x

i?1n

n

2

i

?n??(xi?)2 ,

2

i?1n

2

n

Lyy??y?n??(yi?)2 ,

2ii?1

i?1

Lxy??xiyi?n??(xi?)(yi?) ,

i?1

i?1

nn

还可以把这个解写成更简单的形式：

?????

Lxx

??????01

???1

Lxy

?,?? ，使得 Q? 这样得到的估计?01

?(y

i?1

n

i

??0??1xi)2 达到最小，Q 是一个平方

和，而平方又称为“二乘”，所以，这个估计称为最小二乘估计（Least Squares Estimator,

简称LSE）。 我们还可以进一步求出 Q 的最小值。Q 的最小值称为残差平方和（也称剩余平方和 Residual Sum of Squares ，简称RSS），记为 SSe 。

SSe?Qmin

????x)2 ?[y?(???)???x]2 ??(yi???i01i11i

i?1

i?1

nn

?

?[(y

i?1

n

i

?(x?)]2 ?L?2??L???2L 。 ?)??1iyy1xy1xx

９９

?? 由于?1LxyLxx?L???2L ，因此 ，?1xy1xx

?L 或 SS?L???2L 。 SSe?Lyy??1xyeyy1xx

SSe是Q的最小值，所以SSe越小，说明回归方程表达变量之间统计相关关系的精确程度越高，也就是回归分析的效果越好。

?? 除了SSe以外，还可以用统计量?SSe?称为估计的标来衡量回归分析的效果，?n?2

?越小，说明SSe越小，回归分析的效果也就越好。SSe的准差（或残差标准差）。显然，?

?的大小基本上与n无关。 大小还与观测次数n有关，而?

另外，还可以定义一个统计量 r，称为样本相关系数，它的定义是

r??(xi?1

n

i?1ni?)(yi?)n?LxyLxxLyy 。 ?(xi?)2?(yi?)2i?1

因为

r?

n2L2xyLxxLyy??L?1xyLyy?1??LLyy??1xyLyyn?1?SSe ， Lyy

其中 SSe??(y

i?1i????x)?0 ，L?(y?)2?0 ，所以有 ???i01iyy2i?1

r2?1?SSSSe?1 ，即 r??e?1 。 LyyLyy

r越接近 1 ，说明SSe越小，回归分析的效果也就越好。用样本相关系数r来衡量回

?是一个有量纲的量（与因变量 y 同一量纲）归分析的效果还有一个好处，即?，而r是一

个无量纲的量，它的大小与量纲单位的大小无关。

5.2.2 一元线性回归的具体计算步骤

从上面推导出的计算公式可以看到，在一元线性回归中，关键是要求出 ，，Lxx，Lyy，Lxy 这样5个统计量的值。在具有统计功能的函数型计算器上，可以很容易地将它们计算出来。

1n

把 x 的观测数据 x1,x2,?,xn 看作是一组样本观测值，??xi 就是样本均ni?1 １００

1n

值，Lxx??(xi?) 就是样本方差 S??(xi?)2 再乘以观测次数 n （或修正ni?1i?122xn

1n

样本方差Sx*?。所以，在计算器上计算时，只要像计算(xi?)2再乘以n?1）?n?1i?12

样本统计量那样，求出样本均值就是 ，求出样本方差再乘以 n（或求出修正样本方差再乘以n?1）就是 Lxx。

1n

同样，把 y 的观测数据 y1,y2,?,yn 看作是一组样本观测值，??yi 就是ni?1

1n2样本均值，Lyy??(yi?) 就是样本方差 S??(yi?) 再乘以观测次数n（或ni?1i?122yn

1n

修正样本方差Sy*?(yi?)2再乘以n?1） 。 ?n?1i?12

计算 Lxy ，可以用公式 Lxy??xyi

i?1ni?n ，在计算器上的具体操作步骤如下：

按

x

yx

2y

2?

ny

n

，这时显示出

来的就是 Lxy 的值。

求出了，，Lxx，Lyy，Lxy，再代入前面推导出的其它计算公式，就可以把一元线性回归中要计算的各种量逐一计算出来。

在有些比较高级的计算器中，还有直接进行一元线性回归分析计算的功能，计算起来就更方便了。但因为各种型号的计算器用法各不相同，我们这里就不详细介绍了。

2设 yi??0??1xi??i ，?i～N(0,?) ，i?1,2,?,5 ，?1,?2,?,?5相互独立。

求:（1）?0,?,?? ； ?1的最小二乘估计?01

?，样本相关系数r。 （2）残差平方和SSe，估计的标准差?

解 n?5 ，?2 ，Lxx?2.5 ，?11.85 ，Lyy?10.173 ，

１０１