教育资源为主的文档平台

当前位置: 查字典文档网> 所有文档分类> 工程科技> 信息与通信> 改进的BP神经网络算法及其应用

改进的BP神经网络算法及其应用

上传者:白芳妮
|
上传时间:2015-05-04
|
次下载

改进的BP神经网络算法及其应用

27卷第12期

文章编号:1006-9348(2010)12—0172—04

计算机仿真

2010年12月

改进的BP神经网络算法及其应用

冯立颖

(燕山大学图书馆,河北秦皂岛o(,6004)

摘要:研究提高神经网络算法的快速性和稳定性问题,针对BP算法收敛速度慢且易陷入局部极小值的缺点.分析了一般改进算法在神经网络结构优化过程中存在的问题,并根据遗传算法的特点。提出r一种改进的基于压缩映射遗传的BP神经网络优化方法。算法通过引入泛函分析中的压缩映射原理,不但解决了BP算法收敛速度慢且易陷入局部极小值的缺陷,加快了BP网络的收敛速度。而且还弥补了BP神经网络在学习过程中与网络连接权值初值选择密切相关的不足。与传统的BP算法相比,训练步数减少了17.4387%,训练时间节省了8.2774%。实验结果表明改进的方法取得了良好的效果,可应用于实践中。

关键词:神经网络;反向传播算法;压缩映射;优化;适应度

中图分类号:TPl83

文献标识码:A

OptimizedBPNeuralNetworksAlgorithmandItsApplication

FENGLi..ying

(IJbrary

ABSTRACT:Aiming

at

ofYanshan

University,QinhuaagdaoHebei066004,China)

rate

theinsufficiencyofslowconvergenceandeasilyimmergingin

local

minimumfrequently

intheBPalgorithm,theproblemsthatexistintheoptimizationprocessofneuralnetworkswere

to

analyzed.Accordingcontractivemapping

thecharacteristics

ofgeneticalgorithms,amethodofBPneuralnetworksoptimizationbased

on

genetic

not

algorithmisproposed.Theoptimizedmethodbyusingcontractivemappingprincipleinfunctionalanalysis,

rateandeasilyimmergesinlocalminimumfrequentlyintheBP

onlyresolvestheinsufficiencyofslowconvergence

algorithminitial

andraisesthetrainingspeed,butalsoeffectivelycompensatesthedefectthattheBPneuralnetworkandthe

connectionweightscloselythetrainingtime

network

relatedinthelearningprocess.

It

Can

flare

thetraining

epochs

about

17.4387%and

about8.2774%intheexperimentationsthanthetraditionalBPalgorithm.Experi-

mentalresultsdemonstratethatthemethodiseffective.

KEYWORDS:Neuralnetwork;Back

propagationalgorithm;Contractivemapping;Optimization;Fitness

法,但并没有很好地解决BP算法易陷入局部极小的问题。

引言

神经网络作为智能控制领域的一个新的分支,在各个领

文献[2]和文献[3]提出通过设计求解最佳学习因子,更新所有权值和阈值,加快网络的收敛速度,减少训练误差,但同样没有很好地解决BP易陷入局部极小点的问题,而凡改进

的程度有限。文献[4]中提出一种增加结构型反馈网络称为

域的运用都取得了很大的进展。而BP算法由于其简单可塑,是目前最为广泛应用的神经网络算法之一,但由于传统的BP算法存在收敛速度慢、易陷入局部极小点等缺点,很多

人对其进行了改进。

极限学习机,有较高的泛化能力,学习速度比传统的梯度型

算法快,另外,还扩展到双隐层神经网络,但是对于大多数的训练数据来说可能需要很多的隐层节点,这种方法使得计算速度减慢,凶此需要更加紧密的网络结构。

所以,对BP算法的改进是一个蕈要的研究课题。本文针对BP神经网络在学习过程中与网络连接权值初值选择密

文献[1]提出学习率自适应调整法和加速网络收敛速度的改进算法,通过分析原网络收敛速度慢等问题,对传统BP算法加以改进,是一种时变过程参数的神经元网络学习算

基会项目:国家自然科学基金资助项目(50675189);河北省自然科学

基金(F2006000267)

切相关、收敛速度慢以及易陷入极小值等缺陷,提出了,一种新的基于压缩映射遗传的BP神经网络优化方法,通过对群

收稿日期:2009—09—02修回日期:2009—10—18

--——172.-——

体中的最优个体先进行BP训练,使目标误差快速下降,然后

万方数据

再将经BP训练后的最优个体与群体中的其他个体进行交叉、变异操作,使算法能在最优个体与其他个体所成长的寻优空间中进行寻优。2多层前馈网络

在基于BP算法的多层前馈网络的应用中,图l所示的

单隐层神经网络的应用最为普遍pJ。BP网络隐层神经元具有非线性传输函数,而输出层为线性传输嫡数。只要隐层节点数目够多,单隐层前馈网络可以逼近任何闭区间内的一个

连续函数。

图1

BP网络模型

神经网络的训练是无约束优化问题,其目标就是要减小

输出端的均方误差(Mean

Square

Error,MSE)。BP网络通

过正向传播得到输出结果,如果输_}f{层得不到希卑的输出,则转入反向传播,修改各层神经元连接的权值和阈值,此过

程不断迭代,直到信号误差达到允许的范围。权值修止为:

‰=(‰一‰)2

(1)耳=∑(‰一取)2

(2)

,儿村

NT,

乜2表荟荟(‰一%)22专荟‰

(3)

E=寺∑∑(‰一%)2

(4)‘’”P。1

B2I

W(k+1)=埘(矗)+△埘(k+1)

(5)A埘(_i}+1)=a;丝+,7△埘(J|})

(6)

其中,札代表训练样本数组,P表示第P组样本,‰表示对于第P组样本的第k个输出节点的期望输出值,‰表示对于第

P组样本的第k个输出节点的实际输出值,E表示第P组的

均方误差,既为所有样本的第k个输出节点的均方误差,E

表示所有样本的总误差。d为学习率,田为动量因子。

BP算法简单、可甥,但算法的学习过程总与网络连接权

的初值选择密切相关,而且若初值选择不当,网络甚至会出现不收敛的现象。由于BP网络权值初值选择七的随机性,往往使得网络难以收敛。

3压缩映射遗传算法

BP算法是基于梯度的方法,该方法的收敛速度慢,且长受局部极小点的困扰,常常采用遗传算法来摆脱这种困境。

万方数据

但基本的遗传算法不能保证全局最优收敛。而压缩映射遗

传算法(Contractive

MappingGenetic

Algorithm,CMGA)通过

引入泛函分析中的压缩映射原理,来解决这个问题。

设(x,d)是一距离空间,A:x—肖,如果对任何x,yEX有

d(Ax,Ay)≤aa(互,Y)

(7)

其中,a∈(O,1)是一常数,则A为x上的一个压缩映射。而映射f有唯一不动点,即有且仅有一个x使

^茹)=茹

(8)

构造度量空间x使其成员为P,使任何压缩映射f都有

唯一的不动点。该不动点是通过f应用于一个任选的初始

群体P(O)的迭代获得,可以在不动点上获得算法的收敛性,而与初始选择的群体无关怕1。

4压缩映射遗传对BP网络的优化

使用压缩映射遗传算法对BP网络进行优化,来解决前

面所提到的问题。

压缩映射遗传对BP神经网络的优化方法:在CMGA每

一代进行遗传操作之前,对群体中的最优个体先进行BP训练,使目标误差快速下降,然后再将经BP训练后的最优个体

与群体中的其他个体进行交叉、变异操作,使算法能在最优个体与其他个体所成长的寻优空间中进行寻优,再从交叉变

异子代中选出当代最优个体进行下一次的BP训练。

在压缩映射遗传算法中,对于不动点P’

P‘=limf(P(O))

(9)

即CMGA算法收敛于群体,显然,P’代表着产生全局最优化的群体。

三层的BP神经网络是实现一个非线性映射F:R。一R。

的映射,设(xj,t。)为训练样本,隐含元个数为M,其激励函

数为^则CMGA—BP网络的映射为:

Y=∑cif(Wi

X一01)

(10)

式(10)中,tcI=(W;,埘:,…,l埘,)是输入层和隐含层的连接权值;c=(C.,C2,…,C,)为隐含层和输出层权值;0=(0。,巩,…,%)为隐含层阈值。网络的训练目标为:

ⅡIi旭(∞)=∑(“一∑c∥埘;%一Oi))2

(11)

式(11)中,tO=(W,c,0)。

对于CMGA中的每个个体是由神经网络的权值和阈值组成,即P:=tO=(埘,C,0),则网络的¨Il练问题成为求nnnE

(Pj)。

参数选择及计算步骤描述如下:

1)给出求解问题的输入输出训练样本,设定网络拓扑结

构及隐含层和输出层的激励函数。Sigmoid是最常使用的一

种,其函数形式如下:

,(聊%)2再丽南(12)

2)设置运行参数:训练目标误差minE(∞)、群体规模、最

一173—

大进化代数等。3)CMGA中的每个个体由神经网络的权值和阈值组成,

即P。=tO=(埘,c,口)。采用实数编码方式o¨,避免由二进制

编码带来的权值取值范围和精度问题。n、Nh、m分别为输入

层、隐层和输出节点数。码串长度为:

L=(几+m+1)×Nh

4-m+l

(13)

4)设定评价函数。将染色体上表爪的各权值分配到给定的网络结构中,以训练集样本作为输入输出。运行后返回E(p。)作为个体的评价函数,即

Eval(pj)=E(pf)

(14)

群体的评价函数为:

E口al(p)=百1∑Eval(p;)

(15)

传统的GA—BP算法常使用误差函数的倒数作为适应

度函数为:

以n)=1/E(玷)

(16)

然而,克服局部极小点不仅要减小训练误筹,同时也要增大梯度,因此只考虑训练误差一个方面足不合适的,将适应度函数修改为:

州=嵫辫

(17)M=OE/Oto

(18)

5)随机产生初始群体,计算群体中的个体的输出误差。

编码采用实数编码,群体潜在解的个数M=50,初始染色体集中,网络的各个权值以概率分布e…来随机确定,使

CMGA町以搜索所有叮行解范围。

6)判断相邻两代的最优个体是否相同:是,则进行下一步;否,则利用BP算法进行训练。

传统的BP算法中,用BP算法做局部搜索,易陷入局部极小点。而在CMGA—BP算法中,在CMGA每一代进行遗

传操作之前,先对群体中的最优个体进行次数较多的BP训练,使最优个体得到足够的训练后,目标误差能很快地下降,作为CMGA—BP网络指导误差下降的主导搜索方向,从而

提高训练速度。

7)判断最优个体的输出误差是否小于目标误差:是,则

结束训练;否,则进行下一步。

8)计算个体适应度值。

9)选择。从交义子代和经BP训练后的最优个体中选出当代最优个体进行下一次的BP训练。

lO)交叉、变异算子。

用最优个体与群体中的其他个体逐一进行启发式交叉,

每两代产生若干个新个体。

传统的均匀变异和正态变异与进化代数解的质量没有直接关系,使遗传算法缺乏局部搜索能力,使用自适应变异算子,在局部搜索的范围不仅考虑进化代数,而且考虑解的质量,从而比较明湿地提高搜索能力。

11)进化代数加1,判断是否到达最大进化代数,是,退

一174一

万方数据

出训练;否,返回步骤6)进行下一轮进化。

通过压缩映射遗传算法对BP算法的优化,使算法得到

进一步的完善,改进的BP神经网络可获得快的收敛速度,达

到较好的训练效果。

5实验结果

为验证改进算法的实际效果,调用燕山大学机电研究所

的伺服阀静动态特性综合VICAT系统(最大压力16MPa、最大流量54L/min)所测得的数据文件flowmeasure,该文件保

存着2000组具有不同时间戳的压力、压差、粘度、相关性、流动噪声、温度、流量数据等,通过这些试验数据仿真,町以验

证所提出的改进算法的优劣。计算机配置:Pentium(R)4;

CPU:2.4GHz;内存:512MB。

CMGA优化BP网络结构设计:采用i层BP网络训练,

12个输入神经元(12组辅助变量,流体流动状态、温度、压力、压差、粘度信号等),隐层神经元个数¨41为10,6个输出

神经元(1个流量估计值,5个校验值),为保证网络训练的正

确性,根据实际情况挑选16组数据作为测试样本,有条件的改变学习率和动量因子,目标精度eft"一goal=0.001,最大训

练步数为2000步,交义率和变异率分别为0.7和0.1,初始种群个数为50,最大遗传代数200。传统的BP网络和压缩

映射遗传算法优化的BP网络的训练结果如图2、图3。

图2传统的BP网络

圈3

CMGA优化的BP网络

传统的BP网络结构的训练步数为961,训练时间为15.0530s。

采用CMGA优化的BP网络进行训练,训练步数为699,

训练时间为14.1290s。与传统的BP网络相比,训练步数减少了262,训练时间减少了0.924B,有明显的提高。

为了进一步验证结果,在数据文件中随机抽取5组数据,每组数据为16个样本,对CMGA—BP网络进行测试,计算其平均训练步数和训练时间。具体比较结果见表1、表2

和表3。

表1传统的BP网络

表3传统BP网络与CMGA优化的BP网络的比较

表中:T:训练时间,单位s;s:训练步数;P:是否达到训练

精度;C:是否收敛;A:均值及百分率;N:iJlI练次数编号;Y:

是;N:否

由表1知,传统BP算法训练时间比较长,训练步数较

多,在970步左右,成功率比较高。

由表2知,优化的BP网络的确在计算时间及训练步数

方面有很大的改进。

表3证明CMGA优化的BP网络训练达到精度程度和收

万方数据

敛程度没有变化,仍然是100%,训练时间比传统的BP网络节省时间8.2774%,训练步数减少17.4387%。

6结论

CMGA优化的BP网络可以保证神经网络训练收敛到全

局的最优,解决了BP算法易陷入局部极小点和BP神经网络

在学习过程中与网络连接权值初值选择密切相关的问题,算

法的性能在实验仿真中得到证实,且与传统的BP相比,提高了训练速度减少训练步数和训练时间。实验结果表明CM-

GA优化的BP网络比传统BP网络训练步数减少17.4387%,时间节省』,8.2774%,该方法取得了良好的效

果,对以后BP神经网络的研究与应用具有一定现实指导意义。

参考文献:

[1]刘载文,等.过程神经元网络学习算法及软测量方法的研究

[J].系统仿真学报,2007,19(70):1456—1459.

[2]

王益群,等.神经网络软测量模型中全共轭梯度算法研究[J].

机械工程学报,2005,41(6):97—101.

[3]WANGYiqun,etal.Appraisingand

improving

on

the

trainingal?

gorithmofneuralnetworkin

thesoftmeasurementsystemofdynam-

icflow[c].ICFP’2005(第六届流体传动及控制国际会议),

HangZhou,China,2005.102—108.

[4]HuangGuang—Bin,ChenLei,Chee—KheongNew.Universal

ApproximationUsingIncrementalConstructive.FeedforwardNet-

works

WithRandomHiddenNodes[J].IEEETransacti—O,sOn

NeuralNetworks,July

2006,17(4):879—892.

[5]J

YFu,SG

Liang,QSLi.Predictionofwind—inducedpressures

on

largegymnasiumroof

usingartificialneuralnetworks[J].

Computers&Structures,2007,85(3-4):179—192.

[6]钟珞,饶文碧,邹承明.人工神经网络及其融合应用技术[M].

北京:科学出版社。2007.

[7]

郭敬,蕈彦良,赵克定.基于混合优化策略的自回归一滑动平

均模型建模[J].机械工程学报,2007.43(4):229—233.

[8]候祥林,等.多层人工神经网络合理结构的确定方法[J].东

北大学学报(自然科学版),2003,24(1):35—38.

[9]王益群,等.基r基j二神经网络的热轧带钢卷取温度预报[J].中国机械工程,2005,16(儿):990—992.

[作者简介】

冯立颖(1982一),男(汉族),河北省秦皇岛市人,

硕士研究生,主要研究方向为虚拟现实,动态流量软测鼍技术,网络技术。

内容需要下载文档才能查看

?-?——175.———

内容需要下载文档才能查看 内容需要下载文档才能查看

改进的BP神经网络算法及其应用

作者:

作者单位:

刊名:

英文刊名:

年,卷(期):冯立颖, FENG Li-ying燕山大学图书馆,河北,秦皇岛,066004计算机仿真COMPUTER SIMULATION2010,27(12)

参考文献(18条)

1.王益群 基于基于神经网络的热轧带钢卷取温度预报[期刊论文]-中国机械工程 2005(11)

2.刘载文.王正祥.王小艺.杨斌.程志强 过程神经元网络学习算法及软测量方法的研究 2007(7)

3.候祥林 多层人工神经网络合理结构的确定方法[期刊论文]-东北大学学报(自然科学版) 2003(01)

4.王益群.唐勇.姜万录.王宏艳 神经网络软测量模型中全共轭梯度算法 2005(6)

5.郭敬;董彦良;赵克定 基于混合优化策略的自回归-滑动平均模型建模[期刊论文]-机械工程学报 2007(04)

6.WANG Yiqun Appraising and improving on the training algorithm of neural network in the softmeasurement system of dynamic flow 2005

7.钟珞;饶文碧;邹承明 人工神经网络及其融合应用技术 2007

8.Huang Guang-Bin.Chen Lei.Chee-Kheong Siew Universal Approximation Using IncrementalConstructive.Feedforward Networks With Random Hidden Nodes 2006(4)

9.J Y Fu;S G Liang;Q S Li Prediction of wind-induced pressures on a large gymnasium roof usingartificial neural networks 2007(3-4)

10.J Y Fu.S G Liang.Q S Li Prediction of wind-induced pressures on a large gymnasium roof usingartificial neural networks 2007(3-4)

11.Huang Guang-Bin;Chen Lei;Chee-Kheong Siew Universal Approximation Using IncrementalConstructive.Feedforward Networks With Random Hidden Nodes 2006(04)

12.钟珞.饶文碧.邹承明 人工神经网络及其融合应用技术 2007

13.WANG Yiqun Appraising and improving on the training algorithm of neural network in the softmeasurement system of dynamic flow 2005

14.郭敬.董彦良.赵克定.于金盈 基于混合优化策略的自回归-滑动平均模型建模 2007(4)

15.王益群 神经网络软测量模型中全共轭梯度算法研究[期刊论文]-机械工程学报 2005(06)

16.侯祥林.胡英.李永强.徐心和 多层人工神经网络合理结构的确定方法 2003(1)

17.刘载文 过程神经元网络学习算法及软测量方法的研究[期刊论文]-系统仿真学报 2007(70)

18.王益群.王海芳.孙旭光.高英杰.张伟.朱丹丹 基于神经网络的热轧带钢卷取温度预测 2005(11)

本文链接:http://wendang.chazidian.com/Periodical_jsjfz201012043.aspx

版权声明:此文档由查字典文档网用户提供,如用于商业用途请与作者联系,查字典文档网保持最终解释权!

下载文档

热门试卷

2016年四川省内江市中考化学试卷
广西钦州市高新区2017届高三11月月考政治试卷
浙江省湖州市2016-2017学年高一上学期期中考试政治试卷
浙江省湖州市2016-2017学年高二上学期期中考试政治试卷
辽宁省铁岭市协作体2017届高三上学期第三次联考政治试卷
广西钦州市钦州港区2016-2017学年高二11月月考政治试卷
广西钦州市钦州港区2017届高三11月月考政治试卷
广西钦州市钦州港区2016-2017学年高一11月月考政治试卷
广西钦州市高新区2016-2017学年高二11月月考政治试卷
广西钦州市高新区2016-2017学年高一11月月考政治试卷
山东省滨州市三校2017届第一学期阶段测试初三英语试题
四川省成都七中2017届高三一诊模拟考试文科综合试卷
2017届普通高等学校招生全国统一考试模拟试题(附答案)
重庆市永川中学高2017级上期12月月考语文试题
江西宜春三中2017届高三第一学期第二次月考文科综合试题
内蒙古赤峰二中2017届高三上学期第三次月考英语试题
2017年六年级(上)数学期末考试卷
2017人教版小学英语三年级上期末笔试题
江苏省常州西藏民族中学2016-2017学年九年级思想品德第一学期第二次阶段测试试卷
重庆市九龙坡区七校2016-2017学年上期八年级素质测查(二)语文学科试题卷
江苏省无锡市钱桥中学2016年12月八年级语文阶段性测试卷
江苏省无锡市钱桥中学2016-2017学年七年级英语12月阶段检测试卷
山东省邹城市第八中学2016-2017学年八年级12月物理第4章试题(无答案)
【人教版】河北省2015-2016学年度九年级上期末语文试题卷(附答案)
四川省简阳市阳安中学2016年12月高二月考英语试卷
四川省成都龙泉中学高三上学期2016年12月月考试题文科综合能力测试
安徽省滁州中学2016—2017学年度第一学期12月月考​高三英语试卷
山东省武城县第二中学2016.12高一年级上学期第二次月考历史试题(必修一第四、五单元)
福建省四地六校联考2016-2017学年上学期第三次月考高三化学试卷
甘肃省武威第二十三中学2016—2017学年度八年级第一学期12月月考生物试卷

网友关注视频

北师大版小学数学四年级下册第15课小数乘小数一
精品·同步课程 历史 八年级 上册 第15集 近代科学技术与思想文化
冀教版英语五年级下册第二课课程解读
沪教版牛津小学英语(深圳用)五年级下册 Unit 1
8.对剪花样_第一课时(二等奖)(冀美版二年级上册)_T515402
苏科版数学 八年级下册 第八章第二节 可能性的大小
七年级英语下册 上海牛津版 Unit9
外研版英语七年级下册module3 unit2第一课时
飞翔英语—冀教版(三起)英语三年级下册Lesson 2 Cats and Dogs
沪教版牛津小学英语(深圳用) 四年级下册 Unit 8
北师大版数学 四年级下册 第三单元 第二节 小数点搬家
8.练习八_第一课时(特等奖)(苏教版三年级上册)_T142692
沪教版牛津小学英语(深圳用) 五年级下册 Unit 10
沪教版牛津小学英语(深圳用) 六年级下册 Unit 7
二年级下册数学第三课 搭一搭⚖⚖
沪教版八年级下册数学练习册一次函数复习题B组(P11)
第8课 对称剪纸_第一课时(二等奖)(沪书画版二年级上册)_T3784187
沪教版八年级下册数学练习册21.4(1)无理方程P18
外研版英语三起6年级下册(14版)Module3 Unit1
第五单元 民族艺术的瑰宝_15. 多姿多彩的民族服饰_第二课时(市一等奖)(岭南版六年级上册)_T129830
外研版英语三起6年级下册(14版)Module3 Unit2
【部编】人教版语文七年级下册《泊秦淮》优质课教学视频+PPT课件+教案,广东省
【部编】人教版语文七年级下册《泊秦淮》优质课教学视频+PPT课件+教案,湖北省
北师大版八年级物理下册 第六章 常见的光学仪器(二)探究凸透镜成像的规律
外研版英语三起5年级下册(14版)Module3 Unit2
冀教版小学数学二年级下册第二单元《余数和除数的关系》
三年级英语单词记忆下册(沪教版)第一二单元复习
沪教版牛津小学英语(深圳用) 五年级下册 Unit 12
化学九年级下册全册同步 人教版 第22集 酸和碱的中和反应(一)
苏科版八年级数学下册7.2《统计图的选用》