基于时变阈值过程神经网络的太阳黑子数预测

第#&卷第%期%$$5年%月

（$%）"$$$04%($C%$$5C#&C"%%70$5

物理学报

DEFD6GHIJEDIJKJED

"""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""

LB2)#&，KB)%，M.NOP+O/，%$$5

!%$$5E>:<)6>/3)IB,)

基于时变阈值过程神经网络的太阳黑子数预测!

丁刚!钟诗胜

（哈尔滨工业大学机电工程学院，哈尔滨

"#$$$"）

（%$$&年&月"’日收到；%$$&年&月%(日收到修改稿）

太阳黑子活动直接影响着外层空间环境的变化，为保证航天飞行任务的安全必须对其进行有效预测)为此，提出了一种基于时变阈值过程神经网络的时间序列预测模型)为简化模型的计算复杂度，开发了一种基于正交基函数展开的学习算法)文中分析了模型的泛函逼近能力，并以*+,-./012+33时间序列预测为例验证了所提模型及其学习算法的有效性)最后，将该预测模型用于太阳活动第%4周太阳黑子数平滑月均值预测，取得了满意的结果，应用结果同时表明：所提预测方法与其他传统预测方法相比预测精度有所提高，具有一定的理论和实用价值)

关键词：太阳黑子数，时变阈值过程神经网络，时间序列预测，泛函逼近

!"##：(#5#6

［4］

，应用人络被证明是连续函数的一致逼近器以来

"A引言

工神经网络进行时间序列预测已经引起了广泛关

［7—&］

注)人工神经网络作为一种新的时间序列预测

空间环境对人类的航天事业具有重要意义，在航天器的设计、试验和飞行活动中占有重要地位)太阳活动对空间环境具有重要影响，其中，太阳黑子的活动直接影响着外层空间环境的变化)当太阳黑子聚集到一定程度时就会产生太阳耀斑，其释放出的大量能量会使高层大气的密度急剧上升，从而使航天器减速、改变运行轨道，甚至会导致航天器提前坠落；同时，剧烈的太阳黑子活动也会使通讯中断，使

［"］

地面跟踪系统丢失目标必须十分重视对太)因此，

方法，以其良好的非线性性质、并行分布式的存储结构以及高容错性等特点，在很多领域都取得了成

［5—(］

传统人工神功)但由于受输入的同步瞬时限制，

经网络难以表达时间序列中实际存在的时间累积效应)同时，传统人工神经网络实际上还难以解决较大样本的学习和泛化问题)因此，传统人工神经网络在解决复杂非线性时间序列预测问题时还存在一定的不适应性)

为克服传统人工神经网络的局限性，本文在文献［"$］的基础上提出了一种时变阈值过程神经网络模型)由时变阈值过程神经元和传统人工神经元按一定的拓扑结构组成的网络称为时变阈值过程神经网络)时变阈值过程神经元在结构上与传统人工神经元类似，其不同之处在于时变阈值过程神经元的输入、连接权及阈值均可以是时变函数，其聚合运算既包括对多输入的空间加权聚合，又包括对时间的累积聚合)为简化时变阈值过程神经网络学习过程中对时间累积聚合运算的复杂度，本文在文献［""］的基础上开发了一种基于正交基函数展开的学习算法，在网络的输入函数空间选择一组合适的正交基

阳黑子活动的预测工作，以便能够提前采取防范措施，确保航天器在空间环境中能够安全正常地工作，避免意外和灾难性事故的发生)目前，利用长期记录所积累的历史数据构造时间序列通过回归分析或人工神经网络方法对太阳黑子数进行预测是空间环境

［%］

预报的一个重要内容)

基于回归分析的时间序列预测方法在理论上比较成熟，但是其预测精度并不高且容错性差)由于时间序列历史数据信息的不完整性以及影响因素的多样性，使得非线性时间序列预测系统须具备一定的智能信息处理能力)自"(’(年多层前馈人工神经网

（批准号：资助的课题)&$454"$%，&$#5%"57）!国家自然科学基金

!809+:2：;:<==+<=>:?@"&4A,B9

,期丁刚等：基于时变阈值过程神经网络的太阳黑子数预测/,,4

函数将网络的输入函数、连接权函数及阈值函数同时展开，利用基函数的正交性达到简化计算的目的!同时，本文从泛函分析的角度出发，将时间序列预测问题从传统的函数逼近问题转换为泛函逼近问题进行处理，文中分析了时变阈值过程神经网络对任意连续泛函的逼近能力，为基于时变阈值过程神经网络的时间序列预测方法提供了理论上的支持，并以"#$%&’()*#++时间序列预测为例验证了所提模型及其学习算法的有效性!最后，将该预测模型用于太阳表达为

（#）（#）2"（#））（）），（/） )1（&（*!+"%

图/时变阈值过程神经元

活动第,-周太阳黑子数平滑月均值预测，取得了满意的结果，实际应用结果同时表明：由于能够更好地考虑时间序列中实际存在的时间累积效应，与其他传统预测方法相比本文所提出的基于时变阈值过程神经网络的太阳黑子数预测方法具有计算量小、预测精度高等特点，对于进一步提高空间环境预报的精度和可靠性具有一定的理论意义和较大的实用价值!

,.时变阈值过程神经网络

!"#"时变阈值过程神经元

人工神经元是对生物神经元的简单抽象和模仿，生物学是其基础也是其约束!生物学研究表明：在生物神经元中，突触的输出变化与输入脉冲的相对定时有关，即依赖于持续一定时间的输入过

程［/,］

!在现实世界中，

包括人脑在内的许多复杂系统的输入亦往往是一个依赖于时间的函数或过程，而其输出既依赖于输入函数的空间聚合，又依赖于输入过程的时间累积!据此，文献［/0］首次提出了过程神经元的概念!过程神经元的输入及连接权均可以为时变函数，但并未考虑其阈值的时变性!事实上，生物神经元在持续接受多次刺激后会对刺激外界环境有所适应，这时需要改变刺激强度才能得到同样的响应，即生物神经网络中各神经元的阈值并

不是固定不变的，也是随时间变化的［/-］!为此，

本文提出了一种阈值亦为时变函数的过程神经元，简称为时变阈值过程神经元，其拓扑结构如图/所示!

图/中，!（"

#）（"1/，,，…，$）为输入函数，（"#）

为相应的连接权函数，"（#）为阈值函数，%（ ）为聚合运算基函数，（& ）为激励函数，一般可取为’函数，［0，(］

为时间过程采样区间!

时变阈值过程神经元输入与输出之间的关系可

其中，+（#）1（!（/#），!（,#），…，!（$#）），,（#）1!（/#），!（,#），…，!（$#）

）“!!”表示某种空间聚合运算算子，例如，可取为-（#）1*（#）!+（#）1$

#!（"#）"!（"#）；“"”表示某种时间聚合运算算子，1/

例如，可取为-（#）"%

（ ）1$(

-（#）3#!若

“0!”及"”均按上述方式进行选取，则时变阈值过程神经元输入与输出之间的关系可具体表达为

($

)1&

$(

#!（"

#）!（"

#）3#2""3#1/

$(

（#）

00

)!（,）!"!"时变阈值过程神经网络拓扑结构

本文提出的时变阈值过程神经网络是一种-层前向网络模型，其拓扑结构如图,所示!输入层有$

个节点，用于完成$个时变函数向网络的输入；隐层由.个时变阈值过程神经元组成，完成对$个输入函数在空间上的加权聚合和在时间上的累积聚合；输出层仅有/个传统神经元，用于完成系统输出

!

图,时变阈值过程神经网络

时变阈值过程神经网络的系统输入为

+（#）1（!（/#），!（,#），…，!（$#）

）!其隐层输入为

(

$

$/#01

$#!（"0

#）!（"

#）

3#，

（-）

0"1/

其中，$/#（001/，,，…，.）代表隐层第0个时变阈值过程神经元的输入，!（"0#）

为隐层第0个时变阈值过（“!

%((+物理学报)+卷

程神经元与输入层第!个节点的连接权函数，

为系统输入过程区间，［!，［!，"］#!"］"

隐层输出为

$%#&#’()#&$

（%）&

3

的一组标准正交基函数｛7（｝6.7.8&0.多项2#）2#（如%

式函数等）可进一步表示为"与此相应，0（!#）

3

(

&#)，!（#）

"

"!（%）&

（’）

0（!#）#

8!

#2#%

（2）

（2）

，7（82#）!!5"

其中，$%#&代表隐层第&个时变阈值过程神经元的输为隐层第&个时变阈值过程神经元的阈出，!（#）

（）为隐层时变阈值过程神经元的激励函值函数，’ 数，一般取为*型函数"

（%）3

同理，和!也可由｛7（｝"（!&#）&（#）2#）2#%分别展开为

3

"（!&#）#

及

3

（2）

，"2#）#!&7（2#%

设输出层的激励函数+（ ）为线性函数且（+,）#,，

则时变阈值过程神经网络的系统输出为.

-##$%#（(）

&/&$!，

（)）

&#%

其中，-代表时变阈值过程神经网络的系统输出，/&为隐层第&个时变阈值过程神经元与输出层传统神经元的连接权值，!（(）

为输出层传统神经元的阈值"

综合（*）—（)）式，时变阈值过程神经网络的输入与输出关系可表达为.

"

(

"

-#

#/&’"(#"（

（%）

!&#）0（!#）&#$&（#）

&#%

!!#%"

!&#)

$!（(）

!

"（+）

!"#"学习算法

由（+）式知，时变阈值过程神经网络的时间累积聚合包含对函数的运算，难以在计算机上直接实现"同时，考虑到网络相应连接权函数及阈值函数的形式和所含参数位置的任意性，如果事先不给定其函数形式或设定其属于某个函数类，则在学习过程中很难通过对样本的学习来对网络连接权函数及阈值函数进行调整并最终确定"为此，考虑在网络的输入函数空间中选择一组合适的正交基函数，将网络的输入函数、相应的连接权函数及隐层阈值函数同时展开，利用基函数的正交性达到简化计算并提高学习效率的目的"

设0（（%）

2

!#），"（!#）

及!&

（#）均为1［!，"（］2,!）空间上的函数"由-./.0120311第一逼近定理在1［2

!，"］空间上的推广可知，对$#,!，

必存在多项式3（#），使%3（#）$0（!#）%4#"从而0（!#）

可表示为5

0（（2）

2!#）#

#4!

2（2#）

，4（）

!2!5，#%

其中｛2（%#），…，2（2#），…｝为一组多项式函数系，设该函数系是相互独立的，则可以通过施密特正交化步骤使之正交化，于是可以得到6（［!，"］

）空间上!（%（）

#）#

#!（%）&27（2#），"（2）&

!&，2!（%）

&2!5"#%

根据正交函数的性质，有

"

"

7（%，

2#9!

2#）7（9#）

&##{

!，2&9

"

令

""

7（#）

&##

4!

2

2，42!5，

则（+）式可以简化为.

(

3

3

-#

#/（2）&’4$&%

"

（2）!!&

$

!2&2!（(

）

"

#%(#!#%#82##（%）

2#%

)（9）

给定*个学习样本（0%（:#），…，0(:（#），;:），其中:#%，…，*"设;:为对应于（0%（:#），0(（:#），…，0（(:#））的网络期望输出，-:为相应的网络实际输出，则时变阈值过程神经网络的误差函数可定义为

%*

<##（-(

:$;:）:#%

*.(3

#%#/（2）:"

（2）&

’!:!&

#%

(#&#%

(#!#%#8

2#%3

$#4!（%

）

2&2

2#%)

（(）

;(

$!$:

)

，（:）

其中8

（2）

!:

!5为函数0（!:

#）正交展开式中相对于基函数7（2#）

的展开式系数"为简便计，令

(

3

3

,（2）（2）

&:#

#!:!&

$

!#%#82"

#4（%）

2&2"#%

2!#%

根据最速梯度下降算法，网络待训练参数调整

规则可定义为

"（2!&（）=;%）#"（2!&（）=）;!"（2）

!&， /（&=;%）#/（&=）

;!/&， !（%）（%）!!（%（<）&2（=;%）#!&2（=）;）

&2， !（(（

）=;%）#!（(（）=）;!!（(），

其中=为学习迭代次数"由（:）式知，!"（2）

!&，!/&，!!（%），!!（(）&2可分别表示为

%期丁刚等：基于时变阈值过程神经网络的太阳黑子数预测

%

#%%2

（!）（!）$ !（’&"(&）（+#&）)#*$,!"#!""!""!"&， "!"#&!# % )!"$!"（’&"(&）（，*+#&）#"##! !#&!# % （#）!"$!"（’&"(&）（+#&）（"-!），)#*$$#!%"%! !$#!&!# %

$ （%）（’&"(&）（"#），$!"&!"&! !"$&!#

（#&）

其中"，#，%，

&为相应的学习速率’至此，时变阈值过程神经网络基于正交基函数展开的学习算法可完整描述如下：

()*+#确定网络结构参数；

()*+%选取合适的正交基函数将网络的输入函数、连接权函数及阈值函数同时展开；

()*+,设定网络学习误差精度’；

学习迭代次数.!&，最大学习迭代次数/；学习速率"，（#，%，&；()*+-初始化网络待训练参数!!）

，)（#）"#

#，$#!

和（%）；

()*+.根据

（/）式计算误差函数$，如果$0’或.1/则转()*+2；

()*+3根据

（4）式和（#&）式的规则调整网络待训练参数!（!）"#，

)（#）（%）

#，$#!和$，.5#".，转()*+.；()*+2输出学习结果，

结束’,6基于时变阈值过程神经网络的时间

序列预测

传统人工神经网络对任意连续函数的逼近能力是基于传统人工神经网络的时间序列预测方法的理论基础’应用传统人工神经网络对时间序列进行预测在本质上就是根据时间序列｛01｝的历史观测数据01，01"#，…对015（221&）进行估计，也就是认为0152与其前面的数据01，01"#，…之间存在某种函数映射关系，可用下式描述：

0152!（301，01"#，

…），（##）

此时，时间序列预测问题就转化为对函数3（ ）的逼近问题’当2!#时称为一步预测，当21#时称为多步预测’本文主要讨论当2!#时的情况’显然，应用传统人工神经网络对015#进行预测时，虽然考虑了01，01"#，…对015#的影响，但01"#，01"%，…对01的影响却难以同时进行直接表达，

即难以表达时间序列中实际存在的时间累积效应，这必然会影响

预测的精度’为解决这一问题，可考虑利用泛函分析工具来对时间序列系统进行建模’实践研究表明：利用泛函进行建模往往可以使对问题的理解更深刻和更精确’将01，01"#，…进行拟合产生一个时变函数0（1

4），可以认为时间序列在15#时刻的取值015#与函数01（4）之间存在某种泛函映射关系，可用下式描述：

015#!5

（01（4）），（#%）

此时，时间序列预测问题就转化为对泛函5（ ）的逼近问题’

文献［#&］证明了多层前馈过程神经网络对任意连续泛函的逼近能力，应用类似的方法可以证明：仅含#个隐层的时变阈值过程神经网络能以任意精度逼近任意连续泛函’因此，

基于时变阈值过程神经网络的时间序列预测在本质上可以看作是一个对泛函5

（ ）进行逼近的问题’下面以文献中广泛研究的无序789:*;<=>8((时间序列［#-］

预测为例说明时变阈值过程神经网络在时间序列预测中的具体应用，并验证其有效性’

789:*;<=>8((时间序列可由如下公式产生：

?0!,0

（4"#）50

4"("60（4），（#,）其中4为变量，0为4的函数，(为时间延迟’设,!&6%，6!&6#，(!#2，0的初始值取为0（&）!&6..’

针对（#,）式采用四阶@ABC*<DA))8方法，以&6#为步长，得到一个含有#&3个数据的时间序列｛0#&.

"｝"!&’将其中连续的3个离散数据进行拟合，构成一个时变函数作为网络的输入函数，以第2个数据作为相应的网络期望输出，则共可以得到#&&组样

本’利用前.&组作为训练样本集，

后.&组作为测试样本集’利用E*C*B?F*正交多项式函数系对网络的

输入函数、相应的连接权函数及阈值函数进行展开，基函数的个数选为3个’根据“试探法”，构建一个拓

$

",,E物理学报-&卷

扑结构为!!"#!"的时变阈值过程神经网络$网络学学习速率为#’#"，最大迭代习误差精度设定为"#%&，

次数为"###次$网络经"()次学习迭代后收敛$将测试样本集输入训练完成后的网络，测试结果如图累计绝对误差为#’+",#，平均相对误差为*所示，"’-,.

$

利用F3G3?B=3正交基函数将网络的输入函"!"#!"，

数、相应的连接权函数及隐层阈值函数同时展开，基函数的个数选为&个$网络学习误差精度设定为

学习速率为#’#"，最大迭代次数为"###次$利"’-，

用前*E&组样本对网络进行训练，网络经+"次学习迭代后收敛$利用训练完成后的网络对后"#&组样图*/01234!56077时间序列预测

由图*可以看出，本文所提出的基于时变阈值过程神经网络的时间序列预测方法是有效的$

(’太阳活动第,*周太阳黑子数平滑月均值预测

本文所用数据来自89:;（7<60=>?@6A3?137B0C00?0647>713?C3=）

提供的自")&(年"月至,##-年"#月的太阳黑子数平滑月均值资料，即，希望利用太阳活动第,#周至第,,周的太阳黑子数数据来预测太阳活动第,*周的太阳黑子数$本文利用")&(年"月至"))&年",月的太阳黑子数平滑月均值数据对"))+年"月至,##-年"#月的太阳黑子数平滑月均值进行预测，并对,##-年""月至,##+年",月的太阳黑子数平滑月均值进行外推预测$

利用得到的-#,个太阳黑子数平滑月均值数据

构造一个时间序列，记为｛"-#,#｝#D"，

将其中连续的"#个数据进行拟合，构成一个时变函数，作为时变阈值过程神经网络的理想输入，将相邻的第""个数据作为相应的网络理想输出，则共可得到(),组样本，利用前*E&组样本

（其时间跨度为太阳活动第,#周至第,,周）对网络进行训练$本节所用的时变阈值过程神经网络的拓扑结构根据试验和经验可定为

本（其时间跨度为太阳活动第,*周中"))+年"月至,##-年"#月）进行预测，预测的平均相对误差为,’*#.，

同时，对,##-年""月至,##+年",月的太阳黑子数平滑月均值进行外推预测$预测结果如图(所示

$

图(太阳黑子数平滑月均值预测

由图(可以看出，在太阳活动第,*周中的"))+年"月至,##-年"#月间，本文提出的基于时变阈

值过程神经网络的太阳黑子数平滑月均值预测是有效的，其预测精度与文献［,，"-］所提方法相比有所提高，且使用的数据量较小，即只用太阳活动第,#周至第,,周的太阳黑子数数据即可对太阳活动第,*周的太阳黑子数作出有效预测，

而文献［"-］则是利用太阳活动第"周至第,,周的太阳黑子数数据来对太阳活动第,*周的太阳黑子数进行预测，其所涉及的数据量较大；同时，本文对,##-年""月至,##+年",月的太阳黑子数平滑月均值的外推预测在趋势上与文献［,，"-］的分析是基本一致的，至于何种方法的预测结果更加精确将在太阳活动第,*周结束时得到验证$综上所述，本文所提出的基于时变阈值过程神经网络的太阳黑子数平滑月均值预测对于未来的空间环境预报具有一定的理论和实用价值，例如，利用本文提出的方法也可以对"#’+1H射电流量、太阳耀斑及太阳磁场等太阳活动进行预测，