在很多信号处理系统中，并没有信号的先验统计特性，不能使用某一固定参数的滤波器来处理，比如信道均衡、回声消除以及其他因素之间的系统模型等，均采用了调整系数的滤波器，称为自适应滤波器。这样的滤波器结合了允许滤波器系数适应于信号统计特性的算法。

  自适应滤波器的原理框图如下图所示，输入信号x(n) 通过参数可调数字滤波器后产生输出信号 y(n)，将其与***期望信号d(n)*进行比较，形成误差信号e(n)， 通过自适应算法对滤波器参数进行调整，最终使 *e(n)*的均方值最小。自适应滤波可以利用前一时刻已得的滤波器参数的结果，自动调节当前时刻的滤波器参数，以适应信号和噪声未知的或随时间变化的统计特性，从而实现最优滤波。自适应滤波器实质上就是一种能调节自身传输特性以达到最优的维纳滤波器。自适应滤波器不需要关于输入信号的先验知识，计算量小，特别适用于实时处理。维纳滤波器参数是固定的，适合于平稳随机信号。卡尔曼滤波器参数是时变的，适合于非平稳随机信号。然而，只有在信号和噪声的统计特性先验已知的情况下，这两种滤波技术才能获得最优滤波。在实际应用中，常常无法得到信号和噪声统计特性的先验知识。在这种情况下，自适应滤波技术能够获得极佳的滤波性能，因而具有很好的应用价值。

  自适应滤波器的详细模型如下图所示。

输入信号矢量： x ( n ) = [ x ( n ) x ( n − 1 ) … x ( n − L ) ] T \boldsymbol{x}(n)=[x(n) x(n-1) \ldots x(n-L)]^{T} x(n)=[x(n)x(n−1)…x(n−L)]T 输出 y ( n ) y(n) y(n)为： y ( n ) = ∑ k = 0 L w k ( n ) x ( n − k ) y(n)=\sum_{k=0}^{L} w_{k}(n) x(n-k) y(n)=k=0∑L​wk​(n)x(n−k) 自适应线性组合器的L+1个权系数构成一个权系数矢量，称为权矢量，用 w ( n ) w(n) w(n)表示，即 w ( n ) = [ w 0 ( n ) w 1 ( n ) … w L ( n ) ] T \boldsymbol{w}(n)=\left[w_{0}(n) w_{1}(n) \ldots w_{L}(n)\right]^{T} w(n)=[w0​(n)w1​(n)…wL​(n)]T 因此 y ( n ) y(n) y(n)可以表示为： y ( n ) = x T ( n ) w ( n ) = w T ( n ) x ( n ) y(n)=x^{T}(n) \boldsymbol{w}(n)=\boldsymbol{w}^{T}(n) \boldsymbol{x}(n) y(n)=xT(n)w(n)=wT(n)x(n) 误差信号为： e ( n ) = d ( n ) − y ( n ) = d ( n ) − x T ( n ) w ( n ) = d ( n ) − w T ( n ) x ( n ) e(n)=d(n)-y(n)=d(n)-x^{T}(n) w(n)=d(n)-\boldsymbol{w}^{T}(n) \boldsymbol{x}(n) e(n)=d(n)−y(n)=d(n)−xT(n)w(n)=d(n)−wT(n)x(n) 自适应线性组合器按照误差信号均方值最小的准则，即： ξ ( n ) = E [ e 2 ( n ) ] = E [ d 2 ( n ) ] + w T ( n ) E [ x ( n ) x T ( n ) ] w ( n ) − 2 E [ d ( n ) x T ( n ) ] w ( n ) \xi(n)=E\left[e^{2}(n)\right]=E\left[d^{2}(n)\right]+\boldsymbol{w}^{T}(n) E\left[\boldsymbol{x}(n) \boldsymbol{x}^{T}(n)\right] \boldsymbol{w}(n)-2 E\left[d(n) \boldsymbol{x}^{T}(n)\right] \boldsymbol{w}(n) ξ(n)=E[e2(n)]=E[d2(n)]+wT(n)E[x(n)xT(n)]w(n)−2E[d(n)xT(n)]w(n) 输入信号的自相关矩阵为：

期望信号与输入信号的互相关矩阵为：

则均方误差的简单表示形式为： ξ ( n ) = E [ d 2 ( n ) ] + w T R w − 2 P T w \xi(n)=E\left[d^{2}(n)\right]+\boldsymbol{w}^{T} R \boldsymbol{w}-2 P^{T} \boldsymbol{w} ξ(n)=E[d2(n)]+wTRw−2PTw 从该式可看出，在输入信号和参考响应都是平稳随机信号的前提下，均方误差是权矢量的各分量的二次函数。该函数图形是L+2维空间中一个中间下凹的超抛物面，有唯一的最低点,该曲面称为均方误差性能曲面，简称性能曲面。

均方误差性能曲面的梯度： ∇ = ∂ ξ ∂ w = 2 R w − 2 P \nabla=\frac{\partial \xi}{\partial w}=2 \boldsymbol{R} \boldsymbol{w}-2 \boldsymbol{P} ∇=∂w∂ξ​=2Rw−2P 令梯度 ∇ \nabla ∇ 等于零，可求得最小均方误差对应的最佳权矢量或维纳解 W ∗ \boldsymbol{W}^{*} W∗，解得 w ∗ = R − 1 P \boldsymbol{w}^{*}=\boldsymbol{R}^{-1} \boldsymbol{P} w∗=R−1P。

虽然维纳解的表达式我们知道了，但仍然有几个问题：

2.3 梯度下降法

  一般情况下，我们使用递归的方法来寻找多变量函数的最小值，其性能指标就是MSE(Mean Square Error)，它是滤波器系数的二次函数，因此该函数具有唯一的最小值。一般是采用梯度下降的方法来进行迭代搜索出最小值，梯度下降又分为梯度下降、随机梯度下降和批量梯度下降。

  使用迭代搜索的方式一般都只能逼近维纳解，并不等同于维纳解。

  下面我们先来看梯度下降法，再来看下前面的公式：（梯度下降的原理可参考我的另一篇文章：梯度下降算法 线性回归拟合）

误差信号为： e ( n ) = d ( n ) − y ( n ) = d ( n ) − x T ( n ) w ( n ) = d ( n ) − w T ( n ) x ( n ) e(n)=d(n)-y(n)=d(n)-x^{T}(n) w(n)=d(n)-\boldsymbol{w}^{T}(n) \boldsymbol{x}(n) e(n)=d(n)−y(n)=d(n)−xT(n)w(n)=d(n)−wT(n)x(n) 均方误差为： J = E [ e 2 ( n ) ] = E [ d 2 ( n ) ] + w T ( n ) E [ x ( n ) x T ( n ) ] w ( n ) − 2 E [ d ( n ) x T ( n ) ] w ( n ) J=E\left[e^{2}(n)\right]=E\left[d^{2}(n)\right]+\boldsymbol{w}^{T}(n) E\left[\boldsymbol{x}(n) \boldsymbol{x}^{T}(n)\right] \boldsymbol{w}(n)-2 E\left[d(n) \boldsymbol{x}^{T}(n)\right] \boldsymbol{w}(n) J=E[e2(n)]=E[d2(n)]+wT(n)E[x(n)xT(n)]w(n)−2E[d(n)xT(n)]w(n) 利用最陡下降算法，沿着性能曲面最速下降方向（负梯度方向）调整滤波器强权向量，搜索性能曲面的最小点，计算权向量的迭代公式为： w ( n + 1 ) = w ( n ) + μ ( − ∇ J ) \boldsymbol{w}(n+1)=\boldsymbol{w}(n)+\mu(-\nabla \boldsymbol{J}) w(n+1)=w(n)+μ(−∇J) 其中 u u u为步长因子， u u u的取值需要满足下式，其中 λ m a x \lambda_{max} λmax​表示输入信号自相关矩阵的最大特征值。 ∣ 1 − 2 μ λ max ⁡ ∣ < 1 ⇒ 0 < μ < 1 λ max ⁡ \left|1-2 \mu \lambda_{\max }\right|