ANN是一个非线性大规模并行处理系统

1、一组连接，连接的强度由个连接上的权值表示，若为正，则表示是激活，为负，表示，抑制 2、一个求和单元：用于求各个输入信号的加权和 3、一个非线性激活函数：起到非线性映射的作用，并将神经元输出幅度限制在一定的范围内，一般限制在（0,1）或者（-1,1）之间 此外还有一个阈值 求和部分 总和减去阈值 减去后的值经过线性激活函数 得到输出Yk

将上面这个过程进行简化：

1.1.1阈值函数（M-P模型） 分段线性函数 例如 sigmoid函数 1.1.2网络的拓扑结构 前馈型网络：各神经元接收前一层的输入并且输出给下一层 反馈型神经网络： 人工神经网络的工作过程 1、学习期：此时各个计算单元额状态不变， 各连接线上的权值可以通过学习来修改（改变的是权值） 2、工作期：此时各个连接权固定，计算单元状态的变化，以达到某种稳定状态。（改变的输出）

线性阈值单元也叫做LTU，包括一个神经元和一组可调节的权值，神经元采用M-P模型（也就是激活函数是阈值函数） 线性阈值单元可实现，与或非，与非等逻辑函数 异或逻辑是线性不可分的

感知器是单层前馈神经网络，只有两层，即输入层和中间层 感知器只能解决线性可分问题，不 能解决异或问题 感知器的学习算法：

对于感知器的学习就是去求他的权值 然后再通过： 求出感知的输出 接下来要求调节权系数： 于是我们先求黄色框当中的式子，令e(n)=d(n)-y(n)（其中d(n)已知） = 就可以求出下一秒的权值 然后依次这样求解下去

感知器的局限性： 1、只能用来解决简单问题 2、感知器仅能够线性地将输入的矢量进行分类 3、当输入的一个数据比另外一个数据大或者小的时候，可能收敛比较慢。

学习算法: 正向传播：输入信息由输入层传递到隐层，最终在输出层输出。(改变的是输出) 反向传播：修改各层神经元之间的权值，使得误差信号最小.(改变的的权值) BP神经网络也叫反向传播学习算法

当激活函数采用sigmoid函数的时候，上面的公式可以写为： 求输出的正向的，求每个权值的误差的反向的 BP的优点： 1、有很好的逼近 2、较强的泛化能力 3、较好的容错性 存在的主要问题： 1、收敛速度慢 2、目标函数存在局部极小点 3、难以确定隐层和隐层结点的数目 反向传播学习算法的一般步骤 1、初始化 选定合适的网络，设置所有可调节的参数（权值和阈值） 2、求连接权的权值和修正量

对于高维的数值分析，我们选择一种空间和函数作为基底。一般而言，在处理多元函数的问题的基时候 选用：

选择N个基函数，每个基函数对应一个训练数据，各基函数的形式为： 其中Xi是函数的中心，的输入空间的的点X与中心Xi的距离为自变量 最常用的径向基函数是高斯核函数，高斯核函数的表示形式为： 其中Ci 为核函数中心，为核函数的宽度参数，也即是方差

径向基函数的网络一般包括三层，包含一个有输入层，一个隐层和一个线性输出层。隐层最常用的是高斯径向基函数，而输出层最常用的是线性激活函数。RBF网络的权值训练是一层一层进行的，对径向基层的权值训练可采用无导师训练，在输出层的权值设计可采用误差纠正算法，也就是有导师训练

RBF的优点 RBF比多层前馈神经网络相比，规模大、但学习速度快、函数逼近、模式识别和分类能力都优于BP网络。

RBF神经元模型 模块表示 求取 输入矢量和权值矢量的距离。传递函数为高斯函数，函数的输入n为x和w的距离乘以阈值b。 高斯函数表示式为：

RBF网络有三组可调参数：隐含层基函数中心、方差和隐含层单元到输出单元的权值。 如何确定这三个参数，主要是有两个方法： 1、根据经验和聚类方法选择中心和方差，当选定中心和方差后，由于输出是线性单元，他的权值可以采用迭代的最小二乘法直接计算出来。 2、通过训练样本，用误差纠正算法进行监督学习，逐步修正以上3个参数，也就是计算总的输出误差对各参数的梯度。再用梯度下降法修正待学习的参数。 一种采用K均值的聚类算法确定各基函数的额中心，以及其方差，用局部梯度下降法修正网络权值的算法如下： 广义RBF网络（GRNN） Cover定理：将复杂的模式分类问题非线性地投射到高维空间，将比投射到低维空间更可能是线性可分的。 在RBF网络中，将输入空间的模式（点）非线性地映射到一个高维空间的方式是： 设置一个隐层，令是隐层节点的激活函数，并且令隐层结点个数M大于输入节点N，形成一个高维空间 如果M足够大，则在隐层空间输入时线性可分的。 广义RBF网络（GRNN） 正规化RBF网络的隐层结点个数和输入样本个数相等，但是样本很大。 为了解决计算量很大的现象： 解决的方式：减少隐节点的个数，使得N