通常，我们用 X t = { X ∣ t ∈ T } X_t=\{X|t∈T\} Xt​={X∣t∈T}表示一个时间序列, x 1 , x 2 , … , x n x_1,x_2,…,x_n x1​,x2​,…,xn​是观察值，时间序列有下面几个常用的统计量，这些统计量，为我们拟合时间序列模型做出准备.这几个统计量分别是均值，方差，协方差，相关系数，自相关系数，偏自相关系数

理论的均值函数 μ t = E ( X t ) μ_t=E(X_t ) μt​=E(Xt​) 均值的估计值 μ ^ = 1 n ∑ i = 1 n x i \hatμ=\frac{1}{n} \sum_{i=1}^nx_i μ^​=n1​i=1∑n​xi​

理论的方差函数 σ t 2 = D ( X t ) = E ( X t 2 ) − ( E ( X t ) ) 2 σ_t^2=D(X_t )=E(X_t^2 )-(E(X_t ))^2 σt2​=D(Xt​)=E(Xt2​)−(E(Xt​))2 方差的估计值 σ ^ 2 = 1 n − 1 ∑ i = 1 n ( x i − μ ^ ) 2 \hatσ^2=\frac{1}{n-1} \sum_{i=1}^n(x_i-\hatμ)^2 σ^2=n−11​i=1∑n​(xi​−μ^​)2

对序列1阶差分 Δ x t = x t − x t − 1 Δx_t=x_t-x_{t-1} Δxt​=xt​−xt−1​ 2阶差分 Δ 2 x t = Δ x t − Δ x t − 1 = x t − 2 x t − 1 + x t − 2 Δ^2 x_t=Δx_t-Δx_{t-1}=x_t-2x_{t-1}+x_{t-2} Δ2xt​=Δxt​−Δxt−1​=xt​−2xt−1​+xt−2​ P阶差分 Δ p x t = Δ p − 1 x t − Δ p − 1 x t − 1 Δ^p x_t=Δ^{p-1} x_t-Δ^{p-1} x_{t-1} Δpxt​=Δp−1xt​−Δp−1xt−1​ P步差分 Δ p x t = x t − x t − p Δ_p x_t=x_t-x_{t-p} Δp​xt​=xt​−xt−p​ 延迟算子 L x t = x t − 1 L i x t = x t − i Lx_t=x_{t-1}\\ L^i x_t=x_{t-i} Lxt​=xt−1​Lixt​=xt−i​ 常见的时间序列模型： x t = ϕ 1 x ( t − 1 ) + ϕ 2 x ( t − 2 ) + ⋯ + ϕ p x ( t − p ) + ε t x_t=ϕ_1 x_(t-1)+ϕ_2 x_(t-2)+⋯+ϕ_p x_(t-p)+\varepsilon_t xt​=ϕ1​x(​t−1)+ϕ2​x(​t−2)+⋯+ϕp​x(​t−p)+εt​ 用延迟算子表示是 ( 1 − ϕ 1 L − ϕ 2 L 2 − … − ϕ p L p ) x t = ε t (1-ϕ_1 L-ϕ_2 L^2-…-ϕ_p L^p ) x_t=\varepsilon_t (1−ϕ1​L−ϕ2​L2−…−ϕp​Lp)xt​=εt​

白噪声序列

一个时间序列，如果完全符合正态分布，说明这个序列是白噪声序列，一旦时间序列通过了白噪声检验，说明这个序列已经没有了分析的价值，我们应该停止分析

白噪声序列满足条件 E ( X t ) = μ E(X_t )=μ E(Xt​)=μ

γ ( s , t ) = { σ 2 , s ≠ t 0 , s = t \gamma(s, t)=\left\{\begin{array}{l} \sigma^{2}, s \neq t \\ 0, s=t \end{array}\right. γ(s,t)={σ2,s​=t0,s=t​ 记为 X t ∼ W N ( μ , σ 2 ) X_t∼WN(μ,σ^2) Xt​∼WN(μ,σ2)

我们不加证明的给出预备理论：

1.如果一个序列是白噪声序列，那么这个序列的以非零延迟的自相关系数 ρ ^ k \hat ρ_k ρ^​k​近似服从方差为观察期数的倒数，均值为0的正态分布 ρ ^ k ∼ N ( 0 , 1 n ) , ∀ k ≠ 0 \hatρ_k∼N(0,\frac{1}{n}),∀k≠0 ρ^​k​∼N(0,n1​),∀k​=0 2.若 Y i ∼ N ( 0 , 1 ) , i = 1 , 2 , … , n Y_i∼N(0,1),i=1,2,…,n Yi​∼N(0,1),i=1,2,…,n ,则 ∑ i = 1 n Y i 2 ∼ χ 2 ( n ) \sum_{i=1}^nY_i^2∼\chi^2 (n) i=1∑n​Yi2​∼χ2(n) N个标准正态分布的平方和服从自由度n的卡方分布

原假设：延迟期数小于m的序列完全不相关

备择假设：延迟期数小于m的序列存在相关性

我们构造原假设 H 0 : ρ 0 = ρ 1 = ⋯ = ρ m H_0:ρ_0=ρ_1=⋯=ρ_m H0​:ρ0​=ρ1​=⋯=ρm​

备择假设 H 1 : ρ 0 , ρ 1 , … , ρ m H_1:ρ_0,ρ_1,…,ρ_m H1​:ρ0​,ρ1​,…,ρm​ 至少存在非零值

白噪声检验常用的统计量有两个

Q = n ∑ i = 1 m ρ ^ k 2 Q=n\sum_{i=1}^m\hatρ_k^2 Q=ni=1∑m​ρ^​k2​ n是序列观测期数，m是指定的延期数

由于 ρ ^ k ∼ N ( 0 , 1 n ) , ∀ k ≠ 0 \hatρ_k∼N(0,\frac{1}{n}),∀k≠0 ρ^​k​∼N(0,n1​),∀k​=0，所以 n ρ ^ k ∼ N ( 0 , 1 ) \sqrt n \hatρ _k∼N(0,1) n ​ρ^​k​∼N(0,1) ,所以 Q = n ∑ i = 1 m ρ ^ k 2 ∼ χ 2 ( m ) Q=n\sum_{i=1}^m\hatρ_k^2 ∼χ^2 (m) Q=ni=1∑m​ρ^​k2​∼χ2(m) 若 Q ≥ χ 1 − α 2 ( m ) Q≥χ_{1-α}^2 (m) Q≥χ1−α2​(m)的分位点，或者Q的p值小于 α \alpha α ,可以在 1 − α 1-α 1−α的置信水平下拒绝原假设，认为原序列不是白噪声序列，存在相关性，可以继续分析。 Q统计量适合大样本的情形

L B = n ( n + 2 ) ∑ k = 1 m ( ρ ^ k 2 n − k ) LB=n(n+2) \sum_{k=1}^m(\frac{\hatρ_k^2}{n-k}) LB=n(n+2)k=1∑m​(n−kρ^​k2​​) n是序列观测期数，m是指定的延期数 我们不加证明的告诉大家LB近似服从自由度为m的卡方分布 L B ∼ χ 2 ( m ) LB∼χ^2 (m) LB∼χ2(m)

ρ s , t = C o r r ( X s , X t ) = C o v ( X s , X t ) D ( X s ) D ( X t ) = γ s , t σ s σ t ρ_{s,t}=Corr(X_s,X_t )=\frac{Cov(X_s,X_t )}{D(X_s )D(X_t )} =\frac{γ_{s,t}}{σ_s σ_t} ρs,t​=Corr(Xs​,Xt​)=D(Xs​)D(Xt​)Cov(Xs​,Xt​)​=σs​σt​γs,t​​

回顾一下协方差和相关系数的定义

C o v ( X , Y ) = E ( X − E ( X ) ) ( Y − E ( Y ) ) C o r r ( X , Y ) = C o v ( X , Y ) / D ( X ) D ( Y ) ρ s , s = 1 Cov(X,Y)=E(X-E(X))(Y-E(Y))\\ Corr(X,Y)=Cov(X,Y)/D(X)D(Y)\\ ρ_{s,s}=1 Cov(X,Y)=E(X−E(X))(Y−E(Y))Corr(X,Y)=Cov(X,Y)/D(X)D(Y)ρs,s​=1

上面的定义，意味着在 时刻要大量的数据，才可以计算ACF，很明显这是理想情况，这是不现实的。为此，我们引入平稳时间序列的概念

平稳序列满足三个条件

(1) ∀ t ∈ T , E ( X t ) < + ∞ ∀t∈T,E(X_t )xt​} 的中心化序列

AR( p)的平稳性判别

中心化的序列平稳的条件是 t → 0 , x t → 0 t\rightarrow0,x_t\rightarrow0 t→0,xt​→0 观察齐次差分方程的解 z t = r t ( c 1 e i t ω + c 2 e − i t ω ) + c 3 λ 3 t + ⋯ + c p λ p t z_t=r^t (c_1 e^{itω}+c_2 e^{-itω} )+c_3 λ_3^t+⋯+c_p λ_p^t zt​=rt(c1​eitω+c2​e−itω)+c3​λ3t​+⋯+cp​λpt​，可以得出，序列平稳的等价条件是 ∣ λ i ∣ < 1 , i = 1 , 2 , … , p |λ_i |p时， D k D_k Dk​的前p个列向量正好是 ξ i ( i = 1 , 2 , … , p ) ξ_i (i=1,2,…,p) ξi​(i=1,2,…,p),最后一个列向量正好是 η \eta η,所以 D k = 0 , ϕ k k = 0 D_k=0,ϕ_kk=0 Dk​=0,ϕk​k=0.

所以，AR( p)的PACF是p阶截尾

定义：具有下面的结构的模型是q阶移动平均模型，记为MA(q) { x t = μ + ε t − θ 1 ε t − 1 − θ 2 ε t − 2 − … − θ q ε t − q θ p ≠ 0 E ( ε t ) = 0 , D ( ε t ) = σ ε 2 , E ( ε t ε s ) = 0 , s ≠ t \left\{\begin{array}{l} x_{t}=\mu+\varepsilon_{t}-\theta_{1} \varepsilon_{t-1}-\theta_{2} \varepsilon_{t-2}-\ldots-\theta_{q} \varepsilon_{t-q} \\ \theta_{p} \neq 0 \\ E\left(\varepsilon_{t}\right)=0, D\left(\varepsilon_{t}\right)=\sigma_{\varepsilon}^{2}, E\left(\varepsilon_{t} \varepsilon_{s}\right)=0, s \neq t \end{array}\right. ⎩⎨⎧​xt​=μ+εt​−θ1​εt−1​−θ2​εt−2​−…−θq​εt−q​θp​​=0E(εt​)=0,D(εt​)=σε2​,E(εt​εs​)=0,s​=t​ ​

用延迟算子表示为 x t = Θ ( L ) ε t x_t=Θ(L) ε_t xt​=Θ(L)εt​

中心化： y t = x t − μ y_t=x_t-μ yt​=xt​−μ

MA(q)任何时候都平稳

可逆性条件：

系数多项式 Θ ( L ) = 0 Θ(L)=0 Θ(L)=0的根都在单位圆外，这跟AR( p)的平稳性条件( Φ ( B ) = 0 Φ(B)=0 Φ(B)=0的根都在单位圆外)完全对偶

重要性质：

1.自协方差函数只和滞后阶数有关，是q阶截尾,自相关系数q阶截尾， ρ k = γ k γ 0 ρ_k=\frac{γ_k}{γ_0} ρk​=γ0​γk​​ γ k = E ( x t x t − k ) = E [ ( ε t − θ 1 ε t − 1 − … − θ q ε t − q ) ( ε t − k − θ 1 ε t − k − 1 − … − θ q ε t − k − q ) ] γ_k=E(x_t x_{t-k})=E[(ε_t-θ_1 ε_{t-1}-…-θ_q ε_{t-q} )(ε_{t-k}-θ_1 ε_{t-k-1}-…-θ_q ε_{t-k-q} )] γk​=E(xt​xt−k​)=E[(εt​−θ1​εt−1​−…−θq​εt−q​)(εt−k​−θ1​εt−k−1​−…−θq​εt−k−q​)]

= { ( 1 + θ 1 2 + … + θ q 2 ) σ ε 2 , k = 0 ( − θ k + ∑ i = 1 q − k θ i θ k + i ) σ ε 2 , 1 ⩽ k ⩽ q 0 , k > q =\left\{\begin{array}{l} \left(1+\theta_{1}^{2}+\ldots+\theta_{q}^{2}\right) \sigma_{\varepsilon}^{2}, k=0 \\ \left(-\theta_{k}+\sum_{i=1}^{q-k} \theta_{i} \theta_{k+i}\right) \sigma_{\varepsilon}^{2}, 1 \leqslant k \leqslant q \\ 0, k>q \end{array}\right. =⎩⎪⎨⎪⎧​(1+θ12​+…+θq2​)σε2​,k=0(−θk​+∑i=1q−k​θi​θk+i​)σε2​,1⩽k⩽q0,k>q​

2.偏自相关系数拖尾

这个结论来自MA(q)模型的可逆性， M A ( q ) MA(q) MA(q)模型可以写成 A R ( ∞ ) AR(∞) AR(∞)的形式,有AR§模型的PACF是p阶结尾，可以得出 A R ( ∞ ) AR(∞) AR(∞) 模型是无穷阶截尾，也就是拖尾，所以得出MA(q)模型的PACF拖尾的结论

定义：具有下面结构的模型叫自回归移动平均模型，记为ARMA(p,q) { x t = ϕ 0 + ϕ 1 x t − 1 + … + ϕ p x t − p + ε t − θ 1 ε t − 1 − θ 2 ε t − 2 − … − θ q ε t − q ϕ p ≠ 0 , θ q ≠ 0 E ( ε t ) = 0 , D ( ε t ) = σ ε 2 , E ( ε t ε s ) = 0 , s ≠ t E ( x s ε t ) = 0 , ∀ s < t \left\{\begin{array}{l} x_{t}=\phi_{0}+\phi_{1} x_{t-1}+\ldots+\phi_{p} x_{t-p}+\varepsilon_{t}-\theta_{1} \varepsilon_{t-1}-\theta_{2} \varepsilon_{t-2}-\ldots-\theta_{q} \varepsilon_{t-q} \\ \phi_{p} \neq 0, \theta_{q} \neq 0 \\ E\left(\varepsilon_{t}\right)=0, D\left(\varepsilon_{t}\right)=\sigma_{\varepsilon}^{2}, E\left(\varepsilon_{t} \varepsilon_{s}\right)=0, s \neq t \\ E\left(x_{s} \varepsilon_{t}\right)=0, \forall s