给定一个时间序列，感兴趣的问题之一是对序列的产生机理进行建模，也就是常说的信号建模。最常用的模型是线性模型，即用一个线性系统建模信号的产生机理。自回归模型 \text{AR}(p) 、滑动平均模型 \text{MA}(q) 、以及自回归滑动平均模型 \text{ARMA}(p,q) 均是常用的线性信号模型。

定义 1 设 \{\varepsilon_t\} 是 \text{WN}(0, \sigma^2) ，实系数多项式 A(z) 和 B(z) 没有公共根，满足 b_0=1 ， a_pb_q\neq 0 和

\begin{aligned} & A(z) = 1 - \sum_{j=1}^{p}a_jz^j \neq 0, \quad |z| \leq 1, \\ & B(z) = \sum_{j=0}^{q}b_jz^j \neq 0, \quad |z| < 1. \end{aligned} \tag{1}

我们称差分方程

X_t = \sum_{j=1}^{p}a_j X_{t-j} + \sum_{j=0}^{q}b_j \varepsilon_{t-j}, \quad t\in \mathbb{Z} \tag{2}

是一个自回归滑动平均模型，简称 \text{ARMA}(p,q) 模型。称满足式(2)的平稳序列 \{X_t\} 为 \text{ARMA}(p,q) 序列。

利用推移算子可以将式(2)写成

A(\mathcal{B})X_t = B(\mathcal{B})\varepsilon_t, \quad t \in \mathbb{Z} \tag{3}

因为 A(z) 满足最小相位条件，所以有 \rho > 1 ，使得在 \{z: |z| \leq \rho\} 内 A^{-1}(z)B(z) 解析，从而有Taylor展开式

\phi(z) = A^{-1}(z)B(z) = \sum_{j=0}^{\infty}\psi_j z^j, \quad |z| \leq \rho \tag{4}

于是可以得到

X_t = A^{-1}(\mathcal{B})B(\mathcal{B})\varepsilon_t = \sum_{j=0}^{\infty} \psi_j \varepsilon_{t-j}, \quad t \in \mathbb{Z} \tag{5}

式中 \{\psi_k\} 为 \{X_t\} 的Wold系数。

式(4)是 \text{ARMA}(p, q) 模型式(2)唯一的平稳解。

\text{ARMA}(p,q) 序列 \{X_t\} 的自协方差函数可以由Wold系数 \{\psi_j\} 表示：

\gamma_k = \sigma^2 \sum_{j=0}^{\infty} \psi_j \psi_{j+k}, \quad k\geq 0 \tag{6}

于是，自协方差函数由 \text{ARMA}(p, q) 的模型参数唯一决定。

利用 \text{ARMA} 模型式(2)的参数 \bm{a}_p ， \bm{b}_q 计算Wold系数 \{\psi_j\} 时，可以采用如下的递推方法：

\psi_j = \left \{ \begin{aligned} & 1, \quad \quad \quad \quad \quad \quad \quad j=0, \\ & b_j + \sum_{k=1}^{p}a_k \psi_{j-k}, \quad j = 1,2, \cdots, \end{aligned} \right. \tag{7}

其中规定 b_j = 0 ，若 j > q 和 \psi_j =0 ，若 j < 0 。

由于 \{\psi_k\} 是负指数阶趋于零的，所以 \{\gamma_k\} 也以负指数阶趋于零。

\text{ARMA}(p,q) 模型中要求 A(z) 和 B(z) 没有公共因子。这个条件保证了 \text{ARMA}(p,q) 模型参数

(\bm{a}^T, \bm{b}^T, \sigma^2) = (a_1, a_2, \cdots, a_p, b_1, b_2, \cdots, b_q, \sigma^2) \tag{8}

的可识别性。这一点从后面的 \text{ARMA}(p,q) 序列的谱密度函数中更容易看出来。

同 \text{AR}(p) 序列一样，也可以推导 \text{ARMA}(p,q) 序列的Yule-Walker方程。容易计算得到，自协方差函数 \{\gamma_k\} 满足差分方程

\gamma_k - \sum_{j=1}^{p}a_j \gamma_{k-j} = \left \{ \begin{aligned} & \sigma^2 \sum_{j=k}^{q}b_j \psi_{j-k}, \quad k < q, \\ & \sigma^2b_q, \quad \quad \quad \quad ~~~k= q, \\ & 0, \quad \quad \quad \quad \quad \quad ~k>q. \end{aligned} \right. \tag{9}

从式(9)可以延伸出Yule-Walker方程：

\left[ \begin{aligned} &\gamma_{q+1} \\ &\gamma_{q+2} \\ & ~~~\vdots \\ &\gamma_{q+p} \end{aligned} \right] = \left [ \begin{aligned} & \gamma_q ~~~~~~~~ \gamma_{q-1} ~~~~ \cdots ~~~~ \gamma_{q-p+1} \\ & \gamma_{q+1} ~~~~~~ \gamma_q ~~~~~~ \cdots ~~~~ \gamma_{q-m+2} \\ & ~~\vdots ~~~~~~~~~~~ \vdots ~~~~~~~~~~~~~~~~~~~~~ \vdots \\ & \gamma_{q+m-1} ~ \gamma_{q+m-2} ~\cdots ~~~ \gamma_q \end{aligned} \right] \left[ \begin{aligned} & a_1 \\ & a_2 \\ & ~ \vdots \\ & a_p \end{aligned} \right]. \tag{10}

可以证明，系数矩阵 \Gamma_{p,q} 可逆。参数 a_1, a_2, \cdots, a_p 由 \gamma_0, \gamma_1, \cdots, \gamma_{p+q} 唯一决定。

这时，

Y_t = X_t - \sum_{j=1}^{p}a_j X_{t-j} = B(\mathcal{B})\varepsilon_t, \quad t \in \mathbb{Z} \\

是一个 \text{MA}(q) 序列，可以按照上节的方法唯一解出参数 b_1, b_2, \cdots, b_q 和 \sigma^2 。

注意，此处并没有讲如何定阶（ p, q ）。

由于 \text{ARMA} 序列的自协方差函数 \{\gamma_k\} 绝对可和，所以 \text{ARMA}(p,q) 序列有谱密度：

f(\lambda) = \frac{1}{2\pi}\sum_{k=-\infty}^{\infty}\gamma_k \text{e}^{-\text{i}k\lambda} = \frac{\sigma^2}{2\pi}\left| \sum_{j=0}^{\infty} \psi_j \text{e}^{\text{i}j\lambda}\right|^2 = \frac{\sigma^2}{2\pi} \left| \frac{B(\text{e}^{\text{i}\lambda})}{A(\text{e}^{\text{i}\lambda})}\right|^2. \tag{11}

形如式(11)的谱密度被称为有理谱密度。

如果 B(z) = 1 + \sum_{j=1}^{q}b_jz^j 在单位圆上无根，则称 \text{ARMA}(p,q) 模型式(2)为可逆的 \text{ARMA} 模型。若模型可逆，可以得到

\varepsilon_t = B^{-1}(\mathcal{B})A(\mathcal{B})X_t = \sum_{j=0}^{\infty}\varphi_j X_{t-j} \tag{12}

上式表明可逆的 \text{ARMA}(p,q) 序列和它的噪声序列可以相互线性表示。

为什么要对信号进行建模？对信号建模之后可以用更少的参数对信号进行表示，例如，如果一个平稳序列可以用 \text{ARMA}(p,q) 进行建模，那么就可以用 p+q+1 个参数表示一个无限长的序列。用更少的参数表示信号，获得的不仅仅是表示上的简洁，还可以大大提高信号估计/预测的精度。