数理统计方法5-4

§5.4 非线性回归

5.4.1 可以化为线性的非线性回归 ?? 广义线性回归

前面介绍了一元和多元的线性回归，除了线性回归之外，我们在实际中还经常会遇到一些非线性回归问题。

有不少非线性回归问题，可以通过适当的变量代换，化成线性回归问题，然后，用前面介绍过的线性回归的方法，就能求出它们的解。

下面看一些例子。

例1 某零件上有一条曲线，可以近似看作是一条抛物线，为了在数控机床上加工这一零件，在曲线上测得 n 个点的坐标 (xi,yi)，i?1,2,?,n，要求从这 n 个点的坐标出发，求出曲线的函数表达式。

显然，这是一个回归分析问题，由于曲线可以近似看作是一条抛物线，因此，回归方程

????x???x2 ，它不是线性的，但可???（即曲线的函数表达式）是一个二次多项式 y012

以通过变量代换，化成线性形式。

令 x1?x，x2?x2 ，原来的回归方程化成了下列形式：

????x???x 。 ???y01122

这是一个多元线性回归方程，可以用前面介绍过的多元线性回归的方法求出它的解。具体作回归时，所需要的观测数据 xi1 ，xi2 用 xi ，xi2 的数值代入，求得的多元线性回

?,??,??，也就是原来的二次多项式回归方程中的常系数。 归方程中的常系数?012

例2 在经济学中，有一个著名的科布-道格拉斯(Cobb-Douglas)生产函数，这个函数指出，生产产出 Y 与劳动投入 L 、资本投入 K 之间，近似有下列关系：

Y??L?1K?2 ，

其中，?,?1,?2 都是常系数。现测得一组劳动投入、资本投入和生产产出的数据(Li,Ki,Yi)，i?1,2,?,n，要求从这批数据出发，估计常系数 ?,?1,?2 的值。

????L1K 这是一个回归分析问题，回归方程为 Y????2 ，显然，它不是线性回归方程，

但是，如果我们对方程两边同时取对数，得到

?lnL???lnK ， ??ln????lnY12

再令 y*?lnY，?0?ln?，x1?lnL，x2?lnK，它就化成了一个多元线性回归方程

????x???x 。 y*??01122

１２５ ?

用多元线性回归的方法可以求出它的解。具体作回归时，所需要的观测数据 xi1 ，xi2，y*i 用 lnLi ，lnKi，lnYi 的数值代入，计算得到的多元线性回归方程中常系数的估计

?,??，就是原来回归方程中 ?,? 的估计，原来回归方程中 ? 的估计，可以通过 ?1212??e? 求得。 ?

?

例3 在混合异辛烯催化反应中，反应速度 y 与氢的分压 x1 ，异辛烯的分压 x2 ，异辛烷的分压 x3 之间，近似有下列关系：

y?

kx1x2

(1?ax1?bx2?cx3)

3

，

其中，k,a,b,c 是常系数。现对 x1,x2,x3,y 作观测，得到观测值 (xi1,xi2,xi3,yi)，

i?1,2,?,n，要求常系数 k,a,b,c 的估计值。

?xxk12

??对非线性回归方程 y 两边开3次方，再取倒数，得到 3?x1?bx2?c?x3)(1?a

1?y再令 y*?

?x?x3cb2

， ???

kx1x2kx1x2kx1x2kx1x21

?x1a

，z1?

1

y

，?1?

1

1

k

x1x2

，?2?

a

k

，z2?

x1

x1x2

，?3?

b

k

，

z3?

x2

x1x2

，?4?

c

k

，z4?

?

x3

x1x2

，原方程就化成了下列形式：

?z???z???z???z ， y*??11223344

? 的多元线性回归方程。对于这种回归方程，可以用类似于求带常这是一个不带常数项 ?0

数项的多元线性回归方程的解法，求得它的最小二乘解。作回归计算时，所需要的观测数据

zi1，zi2，zi3，zi4，y*i，用

1

xi1xi2

，

xi1

xi1xi2

，

xi2xi1xi2

，

xi3xi1xi2

，

1yi

的数值

?,??,??,?? 后，从下列各式就可以求出代入，按多元线性回归方法求得常系数的估计 ?1234

原方程中各系数的估计值：

??1 ，a??k3?

1

??2?? ，b?1

１２６

??3

?? ，c?1??4

。 ?1

上面举了几个把非线性回归化为线性回归的例子。

一个非线性回归方程，如果能够象上面例子中所介绍的那样，通过适当的变量代换，化为线性回归，则称这个回归方程为广义线性回归方程。

下面来看一下，广义线性回归问题的一般形式和解法。

问题 设自变量 x1,x2,?,xm 与因变量 y 之间，有下列关系：

y?f(?0??1?1(x1,?,xm)????p?p(x1,?,xm))?? ，

其中，y?f(y*) 是已知的一元函数，有唯一的反函数 y*?f?1(y) ，?1(x1,?,xm)，?2(x1,?,xm)，?，?p(x1,?,xm)，是自变量 x1,x2,?,xm 的不含未知参数的函数，?0,?1,?,?m 是常系数，?～N(0,?2) 是表示误差的随机变量，??0 。

对 x1,x2,?,xm，y 进行 n 次观测，得到观测值：

(xi1,xi2,?,xim,yi) ，i?1,2,?,n 。

求 ?0,?,??,?,??，使得下式达到最小： ?1,?,?m 的估计 ?01m

n

Q??[yi?f(?0??1?1(xi1,?,xim)????p?p(xi1,?,xim))]2 。

i?1

分析推导

?????(x,?,x)??????(x,?,x)) 的两边同时取??f(?对回归方程 y0111mpp1m

反函数 f?1，得到

?????(x,?,x)??????(x,?,x)。 ?)??f?1(y0111mpp1m

令 y*?f?1(y)，z1??1(x1,?,xm)，? ，zp??p(x1,?,xm)，上述方程就化成

?了线性回归方程 ????z???z?????z 。 y*??01122pp

用线性回归的方法可以求出它的解，得到常系数 ?0,?1,?,?m 的估计 ?,??,?,?? 。 ?01m

5.4.2 广义线性回归中的加权处理

有些广义线性回归问题，化为线性时不需要取反函数 y*?f?1(y)，有些则要取反函 １２７

数 y*?f?1(y)。对于要取反函数的广义线性回归问题，其实还有一点必须说明，就是：取了反函数后，得到的新问题并不完全等价于原问题。

下面用简化的形式来说明这一点。

原问题 设自变量 x 与因变量 y 之间，有下列关系：

y?f(?0??1x)?? 。

?,??，使得下式达到最小： 求 ?0,?1 的估计 ?01

Q??[yi?f(?0??1xi)]2 。

i?1n

化为线性后的新问题 在自变量 x 与因变量 y 之间的关系式两边取反函数 f?1(y)，得到

f?1(y)??0??1x??* 。

?*,??*，使得下式达到最小： 求 ?0,?1 的估计 ?01

Q*??[f?1(yi)?(?0??1xi)]2 。

i?1n

这两个问题不完全等价。因为变换 f?1(y) 把曲线变成直线，把原来各观测点到曲线的距离变成了各点到直线的距离。显然，原来各点到曲线的距离并不等于变换后各点到直线的距离，使各点到曲线的距离平方和 Q 最小的解，也不等于使各点到直线的距离平方和

?*???，??*??? 。 Q* 最小的解，所以?1100

为了解决这一问题，有人提出一种“加权处理”方法。

我们知道，当a?b时，有

f?(a)?

即有 f(a)?f(b) ， a?b

f(a)?f(b)?f?(a)(a?b) 。

现在因为f?1(yi)??0??1xi，所以

yi?f(?0??1xi)?f(f?1(yi))?f(?0??1xi)

?f?(f?1(yi))[f?1(yi)?(?0??1xi)] 。

所以

１２８

Q??[yi?f(?0??1xi)]??{f?(f?1(yi))[f?1(yi)?(?0??1xi)]}2 2

i?1i?1nn

??Wi[f?1(yi)?(?0??1xi)]2 ，

i?1n

其中 Wi?[f?(f?1。 (yi))]2 称为权（Weight）

因此，原问题可以近似等价于下列加权回归问题：

?W,??W，使得下式达到最小： 求 ?0,?1 的估计 ?01

Q??Wi[f?1(yi)?(?0??1xi)]2 。 W

i?1n

?W???，??W???。这也就是说，加 由于QW?Q，所以求得的加权最小二乘估计?1100

权后得到的解，非常接近于原问题的解，比起不加权得到的解来，要好得多了。

不过，加权毕竟是一种近似处理方法，加权后得到的解，也还不能说完全等价于原问题的解，这一点，也是要说明的。

下面看一个数值计算的例子。

例4 在彩色显影中，形成染料的光学密度 y 与析出银的光学密度 x 之间，近似有下列关系：

?

y??e

其中，?,? 是常系数。现测得数据如下：

x ,

求 y 关于 x 的回归方程。

????e解 对回归方程 y??x 两边同时取对数，得到

?x 。 ??ln????lny

令 y*?lny ，?0?ln?，?1??，z?1x ，就把它化成了一个一元线性回归方程

????z 。 y*??01?

用lnyi 的值，作为因变量 y* 观测值 y*i ，用 1xi的值，作为自变量 z 的

??0.54765 ,????0.14593 ，观测值 zi ，代入一元线性回归的计算公式，可以求得 ?10

１２９