人工神经网络算法(基础精讲修订版)Word

　　更准确

　　人工经网络二神〇一五十年月

　　二

　　更准确

　　目 录、一工人经神网络的基概念本、二工神人经络网的习方法

　　学三、前式神向网经络算与法、神经四网络应用的例(举amtlba)2

　　更准确

　　一、人工神经网的 基络本概念

　　3

　　更准确

　　一、人工经神网的 络基本念概工人经网神络(rAtfiiica leNuarl eNwtok,即ANr)可以N 概的定义为括 ：大量具有由应适的性理处素(神元经)组元成的广并行互联 网泛，络的它组能够织拟模生神物系统经对实世界真物体所作出的 交互应，反模拟人是智能工一的重条要径。途人神工网络与人脑相经似 性主表现要：在① 神网经络取获的知识从外界是境环习学得的； ②各来经神的元接连，权即触突权值用于，存获取的储知识。神经是神元经网的基络本处理单，它是元经神网络设的基计。础神经 是元生物的以神系统经神经细的为基础的胞物生型。模在们人 生物对神经系统行进研究以探讨人工，智能机的时，制把经元数 学神化从而产生了神经元，学模数。型此，要因了解工人神经型模 必就先了须生物神解经模元。型4

　　更准确

　　1.1工神人经络网发展简 史最的研究可早以追溯到20世纪04代年1943年，。理心家学McC llucoh数和家学itPst作提出合了式形经元神的数学型。这模 模一一般被简型称M-P神经络网模型，至今仍应用在可以，,说工人 经网络的研神时究代就，此开始了。由 1499年心理学，家Heb提b神出系经统学的规习则，为经神网络 学的习算法定奠了基础现。,在个这则规称为被eHb规b则，多人工 神经网许的学习还遵络这一规则循 1。95年，7.FosenRlattb出提“知器”(Perc感etronp模型，第) 一次神经把络网的研究纯理从论探讨付的诸工程实践掀起，了人神 经工网研络究的第一次潮高。

　　5

　　更准确

　　11.工神人经络发网展简史20 世60纪代年后，数以计算字的机发展到全盛时达，期们人以误为 字计数算机可解决以人智能工、家专系统模式、别识题，问放而 松对了感“知”器的究研于。是从2,世纪60年代0末期起，工神 人网络的研经进究入了低潮 1。92年，8国加州工学美物理学家Ho院fpiel提出了离d的神散网经 模型，络标志着经神络网研究的又进了一个新入高。潮184年9,H pofild又提e出续连神网经模型络开拓，了计机应算用神经网的 新络途径 。1896,年umelRart和Mehcelllad提n出多层网络误差的传(b反akcp opraagtin)o学习法，算称简P算法B。BP算法目前是最重要为应 用、广最人的神工经网算络法之。6

　　更准确

　　一12生.神物经元结构生 物经神结元(1构细胞体:) 胞细、细核胞和细质胞。膜 (2树):突体胞而短分枝多突起的相当于神经元。的输端入 (3)轴突：胞体。上最枝的长起突也，

　　称神纤维。经端部有多神 经很稍传末神经出动。冲7

　　更准确

　　12生物.神元结经(构)4突：触经神间元的接接口，每连个经神约元1有~10万个突万 触。神经通过元其轴的神突经稍末经突触，另与神一经元的突树 接，联实信现的传递息由。于突的信触传递息性是特变的可，成形了神经 间元接联的柔性，称结构为可的性塑。

　　触结构示突图

　　意

　　更准确

　　1.3物生经元神的息处理机信理电脉 输冲入 树 突 胞细 体息信处理 成形 突轴传输 突 触 输出

　　图21.2 生神经元功能物模型经神的元奋与抑兴当制传入神经元动冲，经和使细整膜电位胞高，升超动过电位 作的阈值时，为奋兴态，产生神状冲经，动由轴突神经末经稍出传 。当传神经元的入冲动经整和，,使细膜电胞降位，低于阈值时低，为抑 状制态，产不神生冲经动。9

　　1.

　　更准确

　　生物4神经元的特点

　　生神物经的元点特:向性单传递阈值特 性延时 性传递

　　生物经元的神特点

　　更准确

　　1.人工5神经模元 型神经元型模神经元从特的性功和能可知以道，神元相当于一个多输入经 单出输的息信处理单元，且，它对信息的处而是非线性理，人工神 经元的的模型图如示：所神经元n的个入 对输应连接权的 阈值值 活激数 函nte= w xi i输出

　　11

　　更准确

　　.15人神经工模型元上面的神经模元型可用以一个数表学达进式抽行与概括象从 ，而到神得元的经学模数型

　　: n o f jw xj j 1 神经元的网输入记为络net即 net,

　　= xw j 1 jn

　　1j

　　更准确

　　1.52工神人经模元

　　型有时为方了便见，起把常 也看-是恒等成于的输入10 X权 的值，这时面的数学模型可以写上：

　　成 n o f wj x j j 0 其 中， 0=-W ; 0x1=

　　31

　　更准确

　　.5人1工经元神型模

　　神经的元型具模有下特以点：神经元是①一多输入、单输个单元。出②它 具非线有的性输、入输出特。

　　③性它有具可性，反应在塑突触的产生和现新有的神经触突调整的上 其塑性变化，部分主的要是值w权变化，的相这当生于神物元经的突出 部的分变化对于，发激状，态w取直正，对于制抑态状w取负值。 ,④经神元输出和的响是个输应入的综值合作用结果。的 ⑤奋兴和制抑状态，细当胞电位升膜高超阈过值时细胞，进入兴 状奋态产，神生冲经；动膜电当位低阈值时于，细进入抑胞状态。制14

　　更准确

　　1.6激活数函神元的经述描有多种其区别，于采用了在同的不活函激数，不同的激 活数决函神经元的定不同输特性，出常用激的函活有如下数几种 型：类 1阈值.型2.S型 3分.线段性 .概4型率51

　　1.6

　　更准确

　　激函数活 1.值阈型激函数活阈值激型活函是最数单的简前，面到提的M-P模型就于这属一。 其类输

　　出状取二态(值、1或01、+1)-,分代表别经神的元奋和兴 制。 抑f当()取0或1x,时

　　1,x 若0f x) ( 0若，x 01

　　6

　　更准确

　　16激活函数.f(x当)取1-1或，f时x()下图所示为sg的n符()号函数 gnsx)=( 1, 若 x 0 f x) ( - 1若x , 0

　　1

　　71

　　更准确

　　6激.活函数 2.S型活函激数经元神的状与输入态级之间关系的在(0,是)1连内续值取单的 调微可函数，称S型为数。函极单性S型数：函双 极性S型函数: 1f (x) x1 e

　　2 1 ef ( x) 1 x= 1 1e e x

　　x18

　　更准确

　　16.活函激数3 分段线性.活激函数段分性线活激函的数义定：为 1若x, 1 f ( x ) x,若 1 x 1 1 ,x -1 若 19

　　更准确

　　1.激6函数活 4概.型率活激数函率概激型活数函神的经模型元入输和输的关出系是确定不的， 需一种随机要函数来描输述状出态为1或为0的概率，设神元输出 经(态)状1的为率概：为1 P()1 = xT/1 e

　　(其，T中温为函度)数20

　　1

　　更准确

　　.激6活函数激活 函数基的本作用现在表:对输入、输进出函数行换转将 能无可域的限 输变换成指定入的有限 范围内输出

　　控制输的入输出对的 激活用作2

　　更准确

　　1.1人7工神经网模型 络人神经网络模型工神经网络由许是神多元经互在一相所起组成神的结经构把。 经元之间神互作相关用进系行数模型学就化以得可人工神经网络到 模。 型神元和经神网络的关经系元素是与体的整关。 系工神经网络人的中神元常经称节点或处理为元，单个节点均 每具相有的同结，其构动在时作和间空间均上步。同22

　　1