在工程应用中经常会遇到一些复杂的非线性系统，这些系统状态方程复杂，难以用数学方法精确建模。在这种情况下，可以建立BP神经网络表达这些非线性系统。通常BP神经网络的权值和阈值都是随机初始化的，这样容易导致拟合效果不稳定，况且由于使用梯度下降的方式训练BP网络的权值和阈值，容易导致训练陷入局部最优中，所以本案例我们通过遗传算法来对神经网络初始的权值和阈值进行优化。

本案例拟合的非线性函数为：

y = x 1 2 + x 2 2 y= x_{1}^{2}+x_{2}^{2} y=x12​+x22​

该函数的图形，如下图所示。

遗传算法优化BP神经网络算法流程如下图所示，分为BP神经网络结构确定、遗传算法优化和BP神经网络预测3个部分。

（1）BP神经网络结构确定部分：根据拟合函数输入输出参数个数确定BP神经网络结构，进而确定遗传算法个体长度。

（2）遗传算法优化部分：使用遗传算法优化BP神经网络的权值和阈值，种群中的每个个体都包含了一个网络所有权值和阈值，个体通过适应度函数计算个体适应度值，遗传算法通过选择、交叉和变异操作找到最优适应度值对应个体。

（3）BP神经网络预测部分：用遗传算法得到最优个体对网络初始权值和阈值赋值，网络经训练后预测函数输出。

本案例中，由于拟合非线性函数有2个输入参数、1个输出参数，所以设置的BP神经网络结构为2-5-1，即输入层有2个结点，中间层有5个结点，输出层有1个结点，共有 2 × 5 + 5 × 1 = 15 2\times 5+5\times 1=15 2×5+5×1=15个权值，5+1=6个阈值，所以遗传算法个体编码长度为15+6=21。从非线性函数中随机得到2000组输入输出数据，从中随机选择1900组作为训练数据，用于网络训练，100组作为测试数据。把训练数据预测误差绝对值和作为个体适应度，个体适应度值越小，该个体越优。

遗传算法优化BP神经网络的要素包括种群初始化、适应度函数、选择操作、交叉操作和变异操作。

1. 种群初始化

个体编码方法为实数编码，每个个体均为一个实数串，由输入层与中间层连接权值、中间层阈值、中间层与输出层连接权值以及输出层阈值4部分组成。个体包含了神经网络全部权值和阈值，在网络结构已知的情况下，就可以构成一个结构、权值、阈值确定的神经网络。

2、适应度函数

根据个体得到BP神经网络的初始权值和阈值，用训练数据训练BP神经网络后预测系统输出，把预测输出和期望输出之间的误差绝对值之和 E E E作为个体适应度值 F F F，计算公式为：

F = k × ∑ i = 1 n a b s ( y i − o i ) F = k\times\sum_{i=1}^{n}{abs(y_i-o_i)} F=k×i=1∑n​abs(yi​−oi​)

式中， n n n为网络输出结点数； y i y_i yi​为BP神经网络第 i i i个结点的期望输出； o i o_i oi​为第 i i i个结点的预测输出； k k k为系数，本案例 k = 1 k=1 k=1。

3、选择操作

遗传算法选择操作有轮盘赌法、竞标赛法等多种方法，本案例选择轮盘赌法，即基于适应度比例的选择策略，每个个体 i i i的选择概率 p i p_i pi​为：

f i = k F i f_i=\frac{k}{F_i} fi​=Fi​k​

p i = f i ∑ j = 1 N f j p_i=\frac{f_i}{\sum_{j=1}^{N}{f_j}} pi​=∑j=1N​fj​fi​​

式中， F i F_i Fi​为个体 i i i的适应度值，由于适应度越小越好，所以在个体选择前对适应度值求倒数； k k k为系数，本案例 k = 10 k=10 k=10； N N N为种群个体数目。

4、交叉操作

由于个体采用实数编码，所以交叉操作方法采用实数交叉法，第 k k k个染色体 a k a_k ak​和第 l l l个染色体 a l a_l al​在 j j j位的交叉操作方法如下：

{ a k j = a k j ( 1 − b ) + a l j b a l j = a l j ( 1 − b ) + a k j b \left \{ \begin{array}{c} a_{kj}=a_{kj}(1-b) + a_{lj}b \\ a_{lj}=a_{lj}(1-b) + a_{kj}b \\ \end{array} \right. {akj​=akj​(1−b)+alj​balj​=alj​(1−b)+akj​b​

式中， b b b是 [ 0 , 1 ] [0,1] [0,1]间的随机数。

5、变异操作

选取第 i i i个个体的第 j j j个基因 a i j a_{ij} aij​进行变异，变异操作方法如下：

a i j = { a i j + ( a m a x − a i j ) × f ( g ) , r > 0.5 a i j − ( a i j − a m i n ) × f ( g ) , r ≤ 0.5 a_{ij}=\left \{ \begin{array}{c} a_{ij} + (a_{max} - a_{ij})\times f(g), r>0.5 \\ a_{ij} - (a_{ij} - a_{min})\times f(g), r\leq 0.5\\ \end{array} \right. aij​={aij​+(amax​−aij​)×f(g),r>0.5aij​−(aij​−amin​)×f(g),r≤0.5​

f ( g ) = r ′ ( 1 − g G m a x ) 2 f(g) = r'(1-\frac{g}{G_{max}})^2 f(g)=r′(1−Gmax​g​)2

式中， a m a x a_{max} amax​为基因 a i j a_{ij} aij​的上界； a m i n a_{min} amin​为基因 a i j a_{ij} aij​的下界； g g g为当前迭代次数； G m a x G_{max} Gmax​为最大进化次数； r , r ′ r,r' r,r′为 [ 0 , 1 ] [0,1] [0,1]间的随机数。

注：

先假设神经网络结构，{ 9 [80 50 20] 1 }；9为输入层，[80 50 20]为隐层，1为输出层。

遗传算法主函数流程为：

遗传算法优化BP神经网络过程中平均适应度与最优个体适应度值变化如图3所示。

遗传算法优化得到的BP神经网络最优初始权值和阈值如下表1所列。

表1 最优初始权值阈值

把最优初始权值和阈值赋给神经网络，用训练数据训练100次后预测非线性函数输出，预测误差如图6、7所示。从对比数据见表2，可以看出遗传算法优化的BP神经网络预测更加精确。

表2 不同方法对比

可见，遗传算法优化BP神经网络是对普通BP神经网络的一种优化方法，如果把BP神经网络看成是一个预测函数，遗传算法优化BP神经网络相当于优化预测函数中的参数，优化后BP神经网络的预测效果一般优于未优化的BP网络。但是该算法是有局限性的，它只能有限提高原有BP神经网络的预测精度，并不能把预测误差较大的BP神经网络优化为能够准确预测的BP神经网络。尤其对一些因为样本数量少、样本分布不均匀而造成神经网络预测误差大的问题，优化后的网络预测能力一般不能得到明显提高。

（1）拟合的非线性函数：

f ( x , y ) = sin ⁡ x x × sin ⁡ y y , x , y ∈ [ − 10 , 10 ] f(x,y) = \frac{ \sin x}{x}\times \frac{\sin y}{y},x,y\in[-10,10] f(x,y)=xsinx​×ysiny​,x,y∈[−10,10]

该函数的图形，如下图所示。