人工神经网络分析编程实现

一、

神经网络

1.BP

网络的特点

1) 

网络实质上实现了一个从输入到输出的映射功能，

而数学理论已证明它具有实现任何复

杂非线性映射的功能。这使得它特别适合于求解内部机制复杂的问题。我们无需建立模

型，或了解其内部过程，只需输入，获得输出。只要

BPNN

结构优秀，一般

20

个输入

函数以下的问题都能在

50000

次的学习以内收敛到最低误差附近。

而且理论上，

一个三

层的神经网络，能够以任意精度逼近给定的函数，这是非常诱人的期望；

2) 

网络能通过学习带正确答案的实例集自动提取

“

合理的

”

求解规则，即具有自学习能力；

3) 

网络具有一定的推广、概括能力。

2.bp

主要应用

1) 

回归预测（可以进行拟合，数据处理分析，事物预测，控制等）

2) 

分类识别（进行类型划分，模式识别等）

3.BP

注意问题

1) 

BP

算法的学习速度很慢，其原因主要有：

a 

由于

BP

算法本质上为梯度下降法，而它所要优化的目标函数又非常复杂，因此，必

然会出现

“

锯齿形现象

”

，这使得

BP

算法低效；

b 

存在麻痹现象，

由于优化的目标函数很复杂，

它必然会在神经元输出接近

0

或

1

的情

况下，出现一些平坦区，在这些区域内，权值误差改变很小，使训练过程几乎停顿；

c 

为了使网络执行

BP

算法，不能用传统的一维搜索法求每次迭代的步长，而必须把步

长的更新规则预先赋予网络，这种方法将引起算法低效。

2) 

网络训练失败的可能性较大，其原因有：

a 

从数学角度看，

BP

算法为一种局部搜索的优化方法，但它要解决的问题为求解复杂

非线性函数的全局极值，因此，算法很有可能陷入局部极值，使训练失败；

b 

网络的逼近、

推广能力同学习样本的典型性密切相关，

而从问题中选取典型样本实例

组成训练集是一个很困难的问题。

3) 

网络结构的选择：

尚无一种统一而完整的理论指导，一般只能由经验选定。为此，有人称神经网络的结构

选择为一种艺术。而网络的结构直接影响网络的逼近能力及推广性质。因此，应用中如

何选择合适的网络结构是一个重要的问题。

4

、

新加入的样本要影响已学习成功的网络，而且刻画每个输入样本的特征的数目也必须相

同。

5

、

采用

s

型激活函数，由于输出层各神经元的理想输出值只能接近于

1

或

0

，而不能打到

1

或

0

，因此设置各训练样本的期望输出分量

Tkp

时，不能设置为

1

或

0

，设置

0.9

或

0.1

较为适宜。

6.

网络的泛化能力

一个神经网路是否优良，

与传统最小二乘之类的拟合评价不同

（主要依据残差，

拟合优

度等），不是体现在其对已有的数据拟合能力上，而是对后来的预测能力，既泛化能力。

网络的预测能力（也称泛化能力、推广能力）与训练能力（也称逼近能力、学习能力）

的矛盾。

一般情况下，

训练能力差时，

预测能力也差，

并且一定程度上，

随训练能力地提高，