在很多信号处理系统中，并没有信号的先验统计特性，不能使用某一固定参数的滤波器来处理，比如信道均衡、回声消除以及其他因素之间的系统模型等，均采用了调整系数的滤波器，称为自适应滤波器。这样的滤波器结合了允许滤波器系数适应于信号统计特性的算法。

  自适应滤波器的原理框图如下图所示，输入信号x(n) 通过参数可调数字滤波器后产生输出信号 y(n)，将其与期望信号d(n)进行比较，形成误差信号e(n)， 通过自适应算法对滤波器参数进行调整，最终使 e(n)的均方值最小。自适应滤波可以利用前一时刻已得的滤波器参数的结果，自动调节当前时刻的滤波器参数，以适应信号和噪声未知的或随时间变化的统计特性，从而实现最优滤波。自适应滤波器实质上就是一种能调节自身传输特性以达到最优的维纳滤波器。自适应滤波器不需要关于输入信号的先验知识，计算量小，特别适用于实时处理。维纳滤波器参数是固定的，适合于平稳随机信号。卡尔曼滤波器参数是时变的，适合于非平稳随机信号。然而，只有在信号和噪声的统计特性先验已知的情况下，这两种滤波技术才能获得最优滤波。在实际应用中，常常无法得到信号和噪声统计特性的先验知识。在这种情况下，自适应滤波技术能够获得极佳的滤波性能，因而具有很好的应用价值。

image-20210309162643639

  自适应滤波器的详细模型如下图所示。

image-20210310142959048

输入信号矢量：

输出为：

自适应线性组合器的L+1个权系数构成一个权系数矢量，称为权矢量，用表示，即

因此可以表示为：

误差信号为：

自适应线性组合器按照误差信号均方值最小的准则，即：

输入信号的自相关矩阵为：

期望信号与输入信号的互相关矩阵为：

则均方误差的简单表示形式为：

从该式可看出，在输入信号和参考响应都是平稳随机信号的前提下，均方误差是权矢量的各分量的二次函数。该函数图形是L+2维空间中一个中间下凹的超抛物面，有唯一的最低点,该曲面称为均方误差性能曲面，简称性能曲面。

均方误差性能曲面的梯度：

令梯度 等于零，可求得最小均方误差对应的最佳权矢量或维纳解 ，解得 }=\boldsymbol{R}^{-1} \boldsymbol{P}w∗=R−1P。

虽然维纳解的表达式我们知道了，但仍然有几个问题：

2.3 梯度下降法

  一般情况下，我们使用递归的方法来寻找多变量函数的最小值，其性能指标就是MSE(Mean Square Error)，它是滤波器系数的二次函数，因此该函数具有唯一的最小值。一般是采用梯度下降的方法来进行迭代搜索出最小值，梯度下降又分为梯度下降、随机梯度下降和批量梯度下降。

  使用迭代搜索的方式一般都只能逼近维纳解，并不等同于维纳解。

  下面我们先来看梯度下降法，再来看下前面的公式：（梯度下降的原理可参考我的另一篇文章：基于梯度下降算法的线性回归拟合（附python/matlab/julia代码））

误差信号为：

均方误差为：

利用最陡下降算法，沿着性能曲面最速下降方向（负梯度方向）调整滤波器强权向量，搜索性能曲面的最小点，计算权向量的迭代公式为：

其中为步长因子，的取值需要满足下式，其中表示输入信号自相关矩阵的最大特征值。

由于计算特征值比较复杂，有时为了避免计算特征值，可采用计算矩阵迹的方法，因为自相关矩阵是正定的，因此有：

这里，是的迹，它可以用输入信号的取样值进行估计，即：

因此有：

在梯度下降算法中，为获得系统的最佳维纳解，需要知道输入信号和期望信号的相关信息，当期望信号未知时，就无法确定它们的相关特性，必须对梯度向量进行估计。

LMS自适应算法直接利用瞬态均方误差对瞬时抽头向量（滤波器系数）求梯度：

由此可得传统LMS自适应滤波算法流程如下：

下面我们来看一个实际的仿真：

其中LMS滤波器函数如下：

image-20210317123716776

这里可能有同学对期望信号会有疑惑，期望信号都是已知的了，还滤波干嘛？LMS滤波器还有什么用？

；

LMS算法的优缺点：

  正是由于LMS算法的缺陷，后面才有了NLMS、RLS等算法，我们会在后面的文章中一一讲到。

附：上述仿真的Python代码如下：