bp（back propagation）网络是1986年由rumelhart和mccelland为首的科学家小组提出，是一种按误差逆传播算法训练的多层前馈网络，是目前应用最广泛的神经网络模型之一。

bp网络能学习和存贮大量的输入-输出模式映射关系，而无需事前揭示描述这种映射关系的数学方程。它的学习规则是使用最速下降法，通过反向传播来不断调整网络的权值和阈值，使网络的误差平方和最小。

bp神经网络模型拓扑结构包括输入层（input）、隐层(hide layer)和输出层(output layer)。人工神经网络就是模拟人思维的第二种方式。

这是一个非线性动力学系统，其特色在于信息的分布式存储和并行协同处理。虽然单个神经元的结构极其简单，功能有限，但大量神经元构成的网络系统所能实现的行为却是极其丰富多彩的。

人工神经网络首先要以一定的学习准则进行学习，然后才能工作。现以人工神经网络对手写“a”、“b”两个字母的识别为例进行说明，规定当“a”输入网络时，应该输出“1”，而当输入为“b”时，输出为“0”。

所以网络学习的准则应该是：如果网络作出错误的的判决，则通过网络的学习，应使得网络减少下次犯同样错误的可能性。

首先，给网络的各连接权值赋予(0，1)区间内的随机值，将“a”所对应的图象模式输入给网络，网络将输入模式加权求和、与门限比较、再进行非线性运算，得到网络的输出。

在此情况下，网络输出为“1”和“0”的概率各为50%，也就是说是完全随机的。这时如果输出为“1”(结果正确)，则使连接权值增大，以便使网络再次遇到“a”模式输入时，仍然能作出正确的判断。

如果输出为“0”(即结果错误)，则把网络连接权值朝着减小综合输入加权值的方向调整，其目的在于使网络下次再遇到“a”模式输入时，减小犯同样错误的可能性。

如此操作调整，当给网络轮番输入若干个手写字母“a”、“b”后，经过网络按以上学习方法进行若干次学习后，网络判断的正确率将大大提高。

这说明网络对这两个模式的学习已经获得了成功，它已将这两个模式分布地记忆在网络的各个连接权值上。当网络再次遇到其中任何一个模式时，能够作出迅速、准确的判断和识别。

一般说来，网络中所含的神经元个数越多，则它能记忆、识别的模式也就越多。如图所示拓扑结构的单隐层前馈网络，一般称为三层前馈网或三层感知器，即：输入层、中间层（也称隐层）和输出层。

它的特点是：各层神经元仅与相邻层神经元之间相互全连接，同层内神经元之间无连接，各层神经元之间无反馈连接，构成具有层次结构的前馈型神经网络系统。

单计算层前馈神经网络只能求解线性可分问题，能够求解非线性问题的网络必须是具有隐层的多层神经网络。神经网络的研究内容相当广泛，反映了多学科交叉技术领域的特点。

主要的研究工作集中在以下几个方面：（1）生物原型研究。从生理学、心理学、解剖学、脑科学、病理学等生物科学方面研究神经细胞、神经网络、神经系统的生物原型结构及其功能机理。（2）建立理论模型。

根据生物原型的研究，建立神经元、神经网络的理论模型。其中包括概念模型、知识模型、物理化学模型、数学模型等。（3）网络模型与算法研究。

在理论模型研究的基础上构作具体的神经网络模型，以实现计算机模拟或准备制作硬件，包括网络学习算法的研究。这方面的工作也称为技术模型研究。（4）人工神经网络应用系统。

在网络模型与算法研究的基础上，利用人工神经网络组成实际的应用系统，例如，完成某种信号处理或模式识别的功能、构作专家系统、制成机器人等等。

纵观当代新兴科学技术的发展历史，人类在征服宇宙空间、基本粒子，生命起源等科学技术领域的进程中历经了崎岖不平的道路。我们也会看到，探索人脑功能和神经网络的研究将伴随着重重困难的克服而日新月异。

神经网络可以用作分类、聚类、预测等。神经网络需要有一定量的历史数据，通过历史数据的训练，网络可以学习到数据中隐含的知识。

在你的问题中，首先要找到某些问题的一些特征，以及对应的评价数据，用这些数据来训练神经网络。虽然bp网络得到了广泛的应用，但自身也存在一些缺陷和不足，主要包括以下几个方面的问题。

首先，由于学习速率是固定的，因此网络的收敛速度慢，需要较长的训练时间。

对于一些复杂问题，bp算法需要的训练时间可能非常长，这主要是由于学习速率太小造成的，可采用变化的学习速率或自适应的学习速率加以改进。

其次，bp算法可以使权值收敛到某个值，但并不保证其为误差平面的全局最小值，这是因为采用梯度下降法可能产生一个局部最小值。对于这个问题，可以采用附加动量法来解决。

再次，网络隐含层的层数和单元数的选择尚无理论上的指导，一般是根据经验或者通过反复实验确定。因此，网络往往存在很大的冗余性，在一定程度上也增加了网络学习的负担。最后，网络的学习和记忆具有不稳定性。

也就是说，如果增加了学习样本，训练好的网络就需要从头开始训练，对于以前的权值和阈值是没有记忆的。但是可以将预测、分类或聚类做的比较好的权值保存。

谷歌人工智能写作项目：神经网络伪原创

虽然每个人工神经元很简单，但是只要把多个人工神经元按一定方式连接起来就构成了一个能处理复杂信息的神经网络写作猫。采用BP算法的多层前馈网络是目前应用最广泛的神经网络，称之为BP神经网络。

它的最大功能就是能映射复杂的非线性函数关系。

对于已知的模型空间和数据空间，我们知道某个模型和他对应的数据，但是无法写出它们之间的函数关系式，但是如果有大量的一一对应的模型和数据样本集合，利用BP神经网络可以模拟(映射)它们之间的函数关系。

一个三层BP网络如图8.11所示，分为输入层、隐层、输出层。它是最常用的BP网络。理论分析证明三层网络已经能够表达任意复杂的连续函数关系了。只有在映射不连续函数时(如锯齿波)才需要两个隐层[8]。

图8.11中，X=(x1，…，xi，…，xn)T为输入向量，如加入x0=-1，可以为隐层神经元引入阀值;隐层输出向量为:Y=(y1，…，yi，…，ym)T，如加入y0=-1，可以为输出层神经元引入阀值;输出层输出向量为:O=(o1，…，oi，…，ol)T;输入层到隐层之间的权值矩阵用V表示，V=(V1，…，Vj，…，Vl)T，其中列向量Vj表示隐层第j个神经元的权值向量;隐层到输出层之间的权值矩阵用W表示，W=(W1，…，Wk，…，Wl)T，其中列向量Wk表示输出层第k个神经元的权值向量。

图8.11 三层BP网络[8]BP算法的基本思想是:预先给定一一对应的输入输出样本集。学习过程由信号的正向传播与误差的反向传播两个过程组成。

正向传播时，输入样本从输入层传入，经过各隐层逐层处理后，传向输出层。若输出层的实际输出与期望的输出(教师信号)不符，则转入误差的反向传播。

将输出误差以某种形式通过隐层向输入层逐层反传，并将误差分摊给各层的所有神经元，获得各层的误差信号，用它们可以对各层的神经元的权值进行调整(关于如何修改权值参见韩立群著作[8])，循环不断地利用输入输出样本集进行权值调整，以使所有输入样本的输出误差都减小到满意的精度。

这个过程就称为网络的学习训练过程。当网络训练完毕后，它相当于映射(表达)了输入输出样本之间的函数关系。

在地球物理勘探中，正演过程可以表示为如下函数:d=f(m) (8.31)它的反函数为m=f-1(d) (8.32)如果能够获得这个反函数，那么就解决了反演问题。

一般来说，难以写出这个反函数，但是我们可以用BP神经网络来映射这个反函数m=f-1(d)。

对于地球物理反问题，如果把观测数据当作输入数据，模型参数当作输出数据，事先在模型空间随机产生大量样本进行正演计算，获得对应的观测数据样本，利用它们对BP网络进行训练，则训练好的网络就相当于是地球物理数据方程的反函数。

可以用它进行反演，输入观测数据，网络就会输出它所对应的模型。BP神经网络在能够进行反演之前需要进行学习训练。训练需要大量的样本，产生这些样本需要大量的正演计算，此外在学习训练过程也需要大量的时间。

但是BP神经网络一旦训练完毕，在反演中的计算时间可以忽略。要想使BP神经网络比较好地映射函数关系，需要有全面代表性的样本，但是由于模型空间的无限性，难以获得全面代表性的样本集合。

用这样的样本训练出来的BP网络，只能反映样本所在的较小范围数据空间和较小范围模型空间的函数关系。对于超出它们的观测数据就无法正确反演。

目前BP神经网络在一维反演有较多应用，在二维、三维反演应用较少，原因就是难以产生全面代表性的样本空间。

人工神经网络有很多模型，但是日前应用最广、基本思想最直观、最容易被理解的是多层前馈神经网络及误差逆传播学习算法（Error Back-Prooaeation），简称为BP网络。

在1986年以Rumelhart和McCelland为首的科学家出版的《Parallel Distributed Processing》一书中，完整地提出了误差逆传播学习算法，并被广泛接受。

多层感知网络是一种具有三层或三层以上的阶层型神经网络。

典型的多层感知网络是三层、前馈的阶层网络（图4.1），即：输入层、隐含层（也称中间层）、输出层，具体如下：图4.1 三层BP网络结构（1）输入层输入层是网络与外部交互的接口。

一般输入层只是输入矢量的存储层，它并不对输入矢量作任何加工和处理。输入层的神经元数目可以根据需要求解的问题和数据表示的方式来确定。

一般而言，如果输入矢量为图像，则输入层的神经元数目可以为图像的像素数，也可以是经过处理后的图像特征数。

（2）隐含层1989年，Robert Hecht Nielsno证明了对于任何在闭区间内的一个连续函数都可以用一个隐层的BP网络来逼近，因而一个三层的BP网络可以完成任意的n维到m维的映射。

增加隐含层数虽然可以更进一步的降低误差、提高精度，但是也使网络复杂化，从而增加了网络权值的训练时间。

误差精度的提高也可以通过增加隐含层中的神经元数目来实现，其训练效果也比增加隐含层数更容易观察和调整，所以一般情况应优先考虑增加隐含层的神经元个数，再根据具体情况选择合适的隐含层数。

（3）输出层输出层输出网络训练的结果矢量，输出矢量的维数应根据具体的应用要求来设计，在设计时，应尽可能减少系统的规模，使系统的复杂性减少。

如果网络用作识别器，则识别的类别神经元接近1，而其它神经元输出接近0。

以上三层网络的相邻层之间的各神经元实现全连接，即下一层的每一个神经元与上一层的每个神经元都实现全连接，而且每层各神经元之间无连接，连接强度构成网络的权值矩阵W。

BP网络是以一种有教师示教的方式进行学习的。首先由教师对每一种输入模式设定一个期望输出值。然后对网络输入实际的学习记忆模式，并由输入层经中间层向输出层传播（称为“模式顺传播”）。

实际输出与期望输出的差即是误差。按照误差平方最小这一规则，由输出层往中间层逐层修正连接权值，此过程称为“误差逆传播”（陈正昌，2005）。

所以误差逆传播神经网络也简称BP（Back Propagation）网。随着“模式顺传播”和“误差逆传播”过程的交替反复进行。

网络的实际输出逐渐向各自所对应的期望输出逼近，网络对输入模式的响应的正确率也不断上升。通过此学习过程，确定下各层间的连接权值后。

典型三层BP神经网络学习及程序运行过程如下（标志渊，2006）：（1）首先，对各符号的形式及意义进行说明：网络输入向量Pk=（a1，a2，...，an）；网络目标向量Tk=（y1，y2，...，yn）；中间层单元输入向量Sk=（s1，s2，...，sp），输出向量Bk=（b1，b2，...，bp）；输出层单元输入向量Lk=（l1，l2，...，lq），输出向量Ck=（c1，c2，...，cq）；输入层至中间层的连接权wij，i=1，2，...，n，j=1，2，...p；中间层至输出层的连接权vjt，j=1，2，...，p，t=1，2，...，p；中间层各单元的输出阈值θj，j=1，2，...，p；输出层各单元的输出阈值γj，j=1，2，...，p；参数k=1，2，...，m。

（2）初始化。给每个连接权值wij、vjt、阈值θj与γj赋予区间（-1，1）内的随机值。（3）随机选取一组输入和目标样本 提供给网络。

（4）用输入样本 、连接权wij和阈值θj计算中间层各单元的输入sj，然后用sj通过传递函数计算中间层各单元的输出bj。

基坑降水工程的环境效应与评价方法bj=f（sj） j=1，2，...，p （4.5）（5）利用中间层的输出bj、连接权vjt和阈值γt计算输出层各单元的输出Lt，然后通过传递函数计算输出层各单元的响应Ct。

基坑降水工程的环境效应与评价方法Ct=f（Lt） t=1，2，...，q （4.7）（6）利用网络目标向量 ，网络的实际输出Ct，计算输出层的各单元一般化误差 。

基坑降水工程的环境效应与评价方法（7）利用连接权vjt、输出层的一般化误差dt和中间层的输出bj计算中间层各单元的一般化误差 。

基坑降水工程的环境效应与评价方法（8）利用输出层各单元的一般化误差 与中间层各单元的输出bj来修正连接权vjt和阈值γt。

基坑降水工程的环境效应与评价方法（9）利用中间层各单元的一般化误差 ，输入层各单元的输入Pk=（a1，a2，...，an）来修正连接权wij和阈值θj。

基坑降水工程的环境效应与评价方法（10）随机选取下一个学习样本向量提供给网络，返回到步骤（3），直到m个训练样本训练完毕。

（11）重新从m个学习样本中随机选取一组输入和目标样本，返回步骤（3），直到网路全局误差E小于预先设定的一个极小值，即网络收敛。如果学习次数大于预先设定的值，网络就无法收敛。（12）学习结束。

可以看出，在以上学习步骤中，（8）、（9）步为网络误差的“逆传播过程”，（10）、（11）步则用于完成训练和收敛过程。通常，经过训练的网络还应该进行性能测试。

测试的方法就是选择测试样本向量，将其提供给网络，检验网络对其分类的正确性。测试样本向量中应该包含今后网络应用过程中可能遇到的主要典型模式（宋大奇，2006）。

这些样本可以直接测取得到，也可以通过仿真得到，在样本数据较少或者较难得到时，也可以通过对学习样本加上适当的噪声或按照一定规则插值得到。

为了更好地验证网络的泛化能力，一个良好的测试样本集中不应该包含和学习样本完全相同的模式（董军，2007）。

人工神经网络是近几年来发展起来的新兴学科，它是一种大规模并行分布处理的非线性系统，适用解决难以用数学模型描述的系统，逼近任何非线性的特性，具有很强的自适应、自学习、联想记忆、高度容错和并行处理能力，使得神经网络理论的应用已经渗透到了各个领域。

近年来，人工神经网络在水质分析和评价中的应用越来越广泛，并取得良好效果。在这些应用中，纵观应用于模式识别的神经网络，BP网络是最有效、最活跃的方法之一。

BP网络是多层前向网络的权值学习采用误差逆传播学习的一种算法（Error Back Propagation，简称BP）。在具体应用该网络时分为网络训练及网络工作两个阶段。

在网络训练阶段，根据给定的训练模式，按照“模式的顺传播”→“误差逆传播”→“记忆训练”→“学习收敛”4个过程进行网络权值的训练。

在网络的工作阶段，根据训练好的网络权值及给定的输入向量，按照“模式顺传播”方式求得与输入向量相对应的输出向量的解答（阎平凡，2000）。

BP算法是一种比较成熟的有指导的训练方法，是一个单向传播的多层前馈网络。它包含输入层、隐含层、输出层，如图4-4所示。

图4-4 地下水质量评价的BP神经网络模型图4-4给出了4层地下水水质评价的BP神经网络模型。同层节点之间不连接。

输入信号从输入层节点，依次传过各隐含层节点，然后传到输出层节点，如果在输出层得不到期望输出，则转入反向传播，将误差信号沿原来通路返回，通过学习来修改各层神经元的权值，使误差信号最小。

每一层节点的输出只影响下一层节点的输入。

每个节点都对应着一个作用函数（f）和阈值（a），BP网络的基本处理单元量为非线性输入-输出的关系，输入层节点阈值为0，且f（x）=x；而隐含层和输出层的作用函数为非线性的Sigmoid型（它是连续可微的）函数，其表达式为f（x）=1/（1+e-x） （4-55）设有L个学习样本（Xk，Ok）（k=1，2，…，l），其中Xk为输入，Ok为期望输出，Xk经网络传播后得到的实际输出为Yk，则Yk与要求的期望输出Ok之间的均方误差为区域地下水功能可持续性评价理论与方法研究式中：M为输出层单元数；Yk，p为第k样本对第p特性分量的实际输出；Ok，p为第k样本对第p特性分量的期望输出。

样本的总误差为区域地下水功能可持续性评价理论与方法研究由梯度下降法修改网络的权值，使得E取得最小值，学习样本对Wij的修正为区域地下水功能可持续性评价理论与方法研究式中：η为学习速率，可取0到1间的数值。

所有学习样本对权值Wij的修正为区域地下水功能可持续性评价理论与方法研究通常为增加学习过程的稳定性，用下式对Wij再进行修正：区域地下水功能可持续性评价理论与方法研究式中：β为充量常量；Wij（t）为BP网络第t次迭代循环训练后的连接权值；Wij（t-1）为BP网络第t-1次迭代循环训练后的连接权值。

在BP网络学习的过程中，先调整输出层与隐含层之间的连接权值，然后调整中间隐含层间的连接权值，最后调整隐含层与输入层之间的连接权值。实现BP网络训练学习程序流程，如图4-5所示（倪深海等，2000）。

图4-5 BP神经网络模型程序框图若将水质评价中的评价标准作为样本输入，评价级别作为网络输出，BP网络通过不断学习，归纳出评价标准与评价级别间复杂的内在对应关系，即可进行水质综合评价。

BP网络对地下水质量综合评价，其评价方法不需要过多的数理统计知识，也不需要对水质量监测数据进行复杂的预处理，操作简便易行，评价结果切合实际。

由于人工神经网络方法具有高度民主的非线性函数映射功能，使得地下水水质评价结果较准确（袁曾任，1999）。

BP网络可以任意逼近任何连续函数，但是它主要存在如下缺点：①从数学上看，它可归结为一非线性的梯度优化问题，因此不可避免地存在局部极小问题；②学习算法的收敛速度慢，通常需要上千次或更多。

神经网络具有学习、联想和容错功能，是地下水水质评价工作方法的改进，如何在现行的神经网络中进一步吸取模糊和灰色理论的某些优点，建立更适合水质评价的神经网络模型，使该模型既具有方法的先进性又具有现实的可行性，将是我们今后研究和探讨的问题。

人工神经网络（artificialneuralnetwork，ANN）指由大量与自然神经系统相类似的神经元联结而成的网络，是用工程技术手段模拟生物网络结构特征和功能特征的一类人工系统。

神经网络不但具有处理数值数据的一般计算能力，而且还具有处理知识的思维、学习、记忆能力，它采用类似于“黑箱”的方法，通过学习和记忆，找出输入、输出变量之间的非线性关系（映射），在执行问题和求解时，将所获取的数据输入到已经训练好的网络，依据网络学到的知识进行网络推理，得出合理的答案与结果。

岩土工程中的许多问题是非线性问题，变量之间的关系十分复杂，很难用确切的数学、力学模型来描述。

工程现场实测数据的代表性与测点的位置、范围和手段有关，有时很难满足传统统计方法所要求的统计条件和规律，加之岩土工程信息的复杂性和不确定性，因而运用神经网络方法实现岩土工程问题的求解是合适的。

BP神经网络模型是误差反向传播（BackPagation）网络模型的简称。它由输入层、隐含层和输出层组成。

网络的学习过程就是对网络各层节点间连接权逐步修改的过程，这一过程由两部分组成：正向传播和反向传播。

正向传播是输入模式从输入层经隐含层处理传向输出层；反向传播是均方误差信息从输出层向输入层传播，将误差信号沿原来的连接通路返回，通过修改各层神经元的权值，使得误差信号最小。

BP神经网络模型在建立及应用过程中，主要存在的不足和建议有以下四个方面：（1）对于神经网络，数据愈多，网络的训练效果愈佳，也更能反映实际。

但在实际操作中，由于条件的限制很难选取大量的样本值进行训练，样本数量偏少。（2）BP网络模型其计算速度较慢、无法表达预测量与其相关参数之间亲疏关系。

（3）以定量数据为基础建立模型，若能收集到充分资料，以定性指标（如基坑降水方式、基坑支护模式、施工工况等）和一些易获取的定量指标作为输入层，以评价等级作为输出层，这样建立的BP网络模型将更准确全面。

（4）BP人工神经网络系统具有非线性、智能的特点。

较好地考虑了定性描述和定量计算、精确逻辑分析和非确定性推理等方面，但由于样本不同，影响要素的权重不同，以及在根据先验知识和前人的经验总结对定性参数进行量化处理，必然会影响评价的客观性和准确性。

因此，在实际评价中只有根据不同的基坑施工工况、不同的周边环境条件，应不同用户的需求，选择不同的分析指标，才能满足复杂工况条件下地质环境评价的要求，取得较好的应用效果。

可能发生了过度拟合的问题，导致网络泛化能力不足。你训练的样本波动性很强，但是你检验的样本波动性很弱，神经网络在适应变化极大的问题时，效果不太好。

泛化：当某一反应与某种刺激形成条件联系后，这一反应也会与其它类似的刺激形成某种程度的条件联系，这一过程称为泛化。

在心理学心理咨询中所谓泛化指的是：引起求助者目前不良的心理和行为反应的刺激事件不再是最初的事件，同最初刺激事件相类似、相关联的事件（已经泛化），甚至同最初刺激事件不类似、无关联的事件（完全泛化），也能引起这些心理和行为反应（症状表现）。

由于目前研究的各种数学模型或多或少存在使用条件的局限性，或使用方法的复杂性等问题，预测效果均不十分理想，距离实际应用仍有较大差距。

NNT是Matlab 中较为重要的一个工具箱，在实际应用中，BP 网络用的最广泛。

神经网络具有综合能力强，对数据的要求不高，适时学习等突出优点，其操作简便，节省时间，网络初学者即使不了解其算法的本质，也可以直接应用功能丰富的函数来实现自己的目的。

因此，易于被基层单位预防工作者掌握和应用。

以下几个问题是建立理想的因素与疾病之间的神经网络模型的关键：（1）资料选取应尽可能地选取所研究地区系统连续的因素与疾病资料，最好包括有疾病高发年和疾病低发年的数据。

在收集影响因素时，要抓住主要影响伤寒、副伤寒的发病因素。

（2）疾病发病率分级神经网络预测法是按发病率高低来进行预测，在定义发病率等级时，要结合专业知识及当地情况而定，并根据网络学习训练效果而适时调整，以使网络学习训练达到最佳效果。

（3）资料处理问题在实践中发现，资料的特征往往很大程度地影响网络学习和训练的稳定性，因此，数据的应用、纳入、排出问题有待于进一步研究。

6.3.1 人工神经网络的基本原理人工神经网络（ANN）是近年来发展起来的十分热门的交叉学科，它涉及生物、电子、计算机、数学和物理等学科，有着广泛的应用领域。

人工神经网络是一种自适应的高度非线性动力系统，在网络计算的基础上，经过多次重复组合，能够完成多维空间的映射任务。

神经网络通过内部连接的自组织结构，具有对数据的高度自适应能力，由计算机直接从实例中学习获取知识，探求解决问题的方法，自动建立起复杂系统的控制规律及其认知模型。

人工神经网络就其结构而言，一般包括输入层、隐含层和输出层，不同的神经网络可以有不同的隐含层数，但他们都只有一层输入和一层输出。

神经网络的各层又由不同数目的神经元组成，各层神经元数目随解决问题的不同而有不同的神经元个数。

6.3.2 BP神经网络模型BP网络是在1985年由PDP小组提出的反向传播算法的基础上发展起来的，是一种多层次反馈型网络（图6.17），它在输入和输出之间采用多层映射方式，网络按层排列，只有相邻层的节点直接相互连接，传递之间信息。

在正向传播中，输入信息从输入层经隐含层逐层处理，并传向输出层，每层神经元的状态只影响下一层神经元的状态。

如果输出层不能得到期望的输出结果，则转入反向传播，将误差信号沿原来的连同通路返回，通过修改各层神经元的权值，使误差信号最小。

BP网络的学习算法步骤如下（图6.18）：图6.17 BP神经网络示意图图6.18 BP算法流程图第一步：设置初始参数ω和θ，（ω为初始权重，θ为临界值，均随机设为较小的数）。

第二步：将已知的样本加到网络上，利用下式可算出他们的输出值yi，其值为岩溶地区地下水与环境的特殊性研究式中：xi为该节点的输入；ωij为从I到j的联接权；θj为临界值；yj为实际算出的输出数据。

第三步：将已知输出数据与上面算出的输出数据之差（dj-yj）调整权系数ω，调整量为ΔWij=ηδjxj式中：η为比例系数；xj为在隐节点为网络输入，在输出点则为下层（隐）节点的输出（j=1，2…，n）；dj为已知的输出数据（学习样本训练数据）；δj为一个与输出偏差相关的值，对于输出节点来说有δj=ηj（1-yj）（dj-yj）对于隐节点来说，由于它的输出无法进行比较，所以经过反向逐层计算有岩溶地区地下水与环境的特殊性研究其中k指要把上层（输出层）节点取遍。

误差δj是从输出层反向逐层计算的。各神经元的权值调整后为ωij（t）=ωij（t-1）+Vωij式中：t为学习次数。

这个算法是一个迭代过程，每一轮将各W值调整一遍，这样一直迭代下去，知道输出误差小于某一允许值为止，这样一个好的网络就训练成功了，BP算法从本质上讲是把一组样本的输入输出问题变为一个非线性优化问题，它使用了优化技术中最普遍的一种梯度下降算法，用迭代运算求解权值相当于学习记忆问题。

6.3.3 BP 神经网络模型在伤寒、副伤寒流行与传播预测中的应用伤寒、副伤寒的传播与流行同环境之间有着一定的联系。

根据桂林市1990年以来乡镇为单位的伤寒、副伤寒疫情资料，伤寒、副伤寒疫源地资料，结合现有资源与环境背景资料（桂林市行政区划、土壤、气候等）和社会经济资料（经济、人口、生活习惯等统计资料）建立人工神经网络数学模型，来逼近这种规律。

6.3.3.1 模型建立（1）神经网络的BP算法BP网络是一种前馈型网络，由1个输入层、若干隐含层和1个输出层构成。

如果输入层、隐含层和输出层的单元个数分别为n，q1，q2，m，则该三层网络网络可表示为BP（n，q1，q2，m），利用该网络可实现n维输入向量Xn=（X1，X2，…，Xn）T到m维输出向量Ym=（Y1，Y2，…，Ym）T的非线性映射。

输入层和输出层的单元数n，m根据具体问题确定。

（2）样本的选取将模型的输入变量设计为平均温度、平均降雨量、岩石性质、岩溶发育、地下水类型、饮用水类型、正规自来水供应比例、集中供水比例8个输入因子（表6.29），输出单元为伤寒副伤寒的发病率等级，共一个输出单元。

其中q1，q2的值根据训练结果进行选择。表6.29 桂林市伤寒副伤寒影响因素量化表通过分析，选取在伤寒副伤寒有代表性的县镇在1994～2001年的环境参评因子作为样本进行训练。

利用聚类分析法对疫情进行聚类分级（Ⅰ、Ⅱ、Ⅲ、Ⅳ），伤寒副伤寒发病最高级为Ⅳ（BP网络中输出定为4），次之的为Ⅲ（BP网络中输出定为3），以此类推，最低为Ⅰ（BP网络中输出定为1）（3）数据的归一化处理为使网络在训练过程中易于收敛，我们对输入数据进行了归一化处理，并将输入的原始数据都化为0～1之间的数。

如将平均降雨量的数据乘以0.0001；将平均气温的数据乘以0.01；其他输入数据也按类似的方法进行归一化处理。

（4）模型的算法过程假设共有P个训练样本，输入的第p个（p=1，2，…，P）训练样本信息首先向前传播到隐含单元上。

经过激活函数f（u）的作用得到隐含层1的输出信息：岩溶地区地下水与环境的特殊性研究经过激活函数f（u）的作用得到隐含层2的输出信息：岩溶地区地下水与环境的特殊性研究激活函数f（u）我们这里采用Sigmoid型，即f（u）=1/[1+exp（-u）]（6.5）隐含层的输出信息传到输出层，可得到最终输出结果为岩溶地区地下水与环境的特殊性研究以上过程为网络学习的信息正向传播过程。

另一个过程为误差反向传播过程。

如果网络输出与期望输出间存在误差，则将误差反向传播，利用下式来调节网络权重和阈值：岩溶地区地下水与环境的特殊性研究式中：Δω（t）为t次训练时权重和阈值的修正；η称为学习速率，0＜η＜1；E为误差平方和。

岩溶地区地下水与环境的特殊性研究反复运用以上两个过程，直至网络输出与期望输出间的误差满足一定的要求。该模型算法的缺点：1）需要较长的训练时间。

由于一些复杂的问题，BP算法可能要进行几小时甚至更长的时间的训练，这主要是由于学习速率太小造成的，可采用变化的学习速率或自适应的学习速率加以改进。2）完全不能训练。

主要表现在网络出现的麻痹现象上，在网络的训练过程中，当其权值调的过大，可能使得所有的或大部分神经元的加权总和n偏大，这使得激活函数的输入工作在S型转移函数的饱和区，从而导致其导数f′（n）非常小，从而使得对网络权值的调节过程几乎停顿下来。

3）局部极小值。BP算法可以使网络权值收敛到一个解，但它并不能保证所求为误差超平面的全局最小解，很可能是一个局部极小解。

这是因为BP算法采用的是梯度下降法，训练从某一起点沿误差函数的斜面逐渐达到误差的最小值。

考虑到以上算法的缺点，对模型进行了两方面的改进：（1）附加动量法为了避免陷入局部极小值，对模型进行了改进，应用了附加动量法。

附加动量法在使网络修正及其权值时，不仅考虑误差在梯度上的作用，而且考虑在误差曲面上变化趋势的影响，其作用如同一个低通滤波器，它允许网络忽略网络上的微小变化特性。

在没有附加动量的作用下，网络可能陷入浅的局部极小值，利用附加动量的作用则有可能滑过这些极小值。

该方法是在反向传播法的基础上在每一个权值的变化上加上一项正比于前次权值变化量的值，并根据反向传播法来产生心的权值变化。

促使权值的调节向着误差曲面底部的平均方向变化，从而防止了如Δω（t）=0的出现，有助于使网络从误差曲面的局部极小值中跳出。

这种方法主要是把式（6.7）改进为岩溶地区地下水与环境的特殊性研究式中：A为训练次数；a为动量因子，一般取0.95左右。

训练中对采用动量法的判断条件为岩溶地区地下水与环境的特殊性研究（2）自适应学习速率对于一个特定的问题，要选择适当的学习速率不是一件容易的事情。

通常是凭经验或实验获取，但即使这样，对训练开始初期功效较好的学习速率，不见得对后来的训练合适。

所以，为了尽量缩短网络所需的训练时间，采用了学习速率随着训练变化的方法来找到相对于每一时刻来说较差的学习速率。

下式给出了一种自适应学习速率的调整公式：岩溶地区地下水与环境的特殊性研究通过以上两个方面的改进，训练了一个比较理想的网络，将动量法和自适应学习速率结合起来，效果要比单独使用要好得多。

6.3.3.2 模型的求解与预测采用包含了2个隐含层的神经网络BP（4，q1，q2，1），隐含层单元数q1，q2与所研究的具体问题有关，目前尚无统一的确定方法，通常根据网络训练情况采用试错法确定。

在满足一定的精度要求下一般认小的数值，以改善网络的概括推论能力。

在训练中网络的收敛采用输出值Ykp与实测值tp的误差平方和进行控制：岩溶地区地下水与环境的特殊性研究1）将附加动量法和自适应学习速率结合应用，分析桂林市36个乡镇地质条件各因素对伤寒副伤寒发病等级的影响。

因此训练样本为36个，第一个隐含层有19个神经元，第二个隐含层有11个神经元，学习速率为0.001。A.程序（略）。B.网络训练。

在命令窗口执行运行命令，网络开始学习和训练，其学习和训练过程如下（图6.19）。图6.19 神经网络训练过程图C.模型预测。

a.输入未参与训练的乡镇（洞井乡、两水乡、延东乡、四塘乡、严关镇、灵田乡）地质条件数据。b.预测。程序运行后网络输出预测值a3，与已知的实际值进行比较，其预测结果整理后见（表6.30）。

经计算，对6个乡镇伤寒副伤寒发病等级的预测符合率为83.3%。表6.30 神经网络模型预测结果与实际结果比较c.地质条件改进方案。

在影响疾病发生的地质条件中，大部分地质条件是不会变化的，而改变发病地区的饮用水类型是可以人为地通过改良措施加以实施的一个因素。

因此，以灵田乡为例对发病率较高的乡镇进行分析，改变其饮用水类型，来看发病等级的变化情况。

表6.31显示，在其他地质条件因素不变的情况下，改变当地的地下水类型（从原来的岩溶水类型改变成基岩裂隙水）则将发病等级从原来的最高级4级，下降为较低的2级，效果是十分明显的。

因此，今后在进行伤寒副伤寒疾病防治的时候，可以通过改变高发区饮用水类型来客观上减少疫情的发生。

表6.31 灵田乡改变饮用水类型前后的预测结果2）选取桂林地区1994～2000年月平均降雨量、月平均温度作为输入数据矩阵，进行样本训练，设定不同的隐含层单元数，对各月份的数据进行BP网络训练。

在隐含层单元数q1=13，q2=9，经过46383次数的训练，误差达到精度要求，学习速率0.02。A.附加动量法程序（略）。B.网络训练。

在命令窗口执行运行命令，网络开始学习和训练，其学习和训练过程如下（图6.20）。C.模型预测。a.输入桂林市2001年1～12月桂林市各月份的平均气温和平均降雨量。预测程度（略）。b.预测。

程序运行后网络输出预测值a2，与已知的实际值进行比较，其预测结果整理后见（表6.32）。经计算，对2001年1～12月伤寒副伤寒发病等级进行预测，12个预测结果中，有9个符合，符合率为75%。

图6.20 神经网络训练过程图表6.32 神经网络模型预测结果与实际值比较6.3.3.3 模型的评价本研究采用BP神经网络对伤寒、副伤寒发病率等级进行定量预测，一方面引用数量化理论对不确定因素进行量化处理；另一方面利用神经网络优点，充分考虑各影响因素与发病率之间的非线性映射。

实际应用表明，神经网络定量预测伤寒、副伤寒发病率是理想的。其主要优点有：1）避免了模糊或不确定因素的分析工作和具体数学模型的建立工作。2）完成了输入和输出之间复杂的非线性映射关系。

3）采用自适应的信息处理方式，有效减少人为的主观臆断性。虽然如此，但仍存在以下缺点：1）学习算法的收敛速度慢，通常需要上千次或更多，训练时间长。2）从数学上看，BP算法有可能存在局部极小问题。

本模型具有广泛的应用范围，可以应用在很多领域。从上面的结果可以看出，实际和网络学习数据总体较为接近，演化趋势也基本一致。

说明选定的气象因子、地质条件因素为神经单元获得的伤寒、副伤寒发病等级与实际等级比较接近，从而证明伤寒、副伤寒流行与地理因素的确存在较密切的相关性。