计量经济学·第7章 多重共线性和异方差性

您所在的位置:网站首页 异方差检验报告 计量经济学·第7章 多重共线性和异方差性

计量经济学·第7章 多重共线性和异方差性

#计量经济学·第7章 多重共线性和异方差性| 来源: 网络整理| 查看: 265

第七章 多重共线性和异方差性

一、计量经济学的检验

对截面数据模型来说,违背基本假定的情形主要包括:

• 解释变量之间存在严重的多重共线性

• 随机干扰项存在异方差性

• 解释变量具有内生性(遗漏变量,互为因果)

• 模型设定偏误

• 经过计量经济学检验发现出现一种或多种基本假定违背时,则不能直接使用 OLS 法进行参数估计,而必须采取补救措施或发展新的估计方法。

二、多重共线性

(一)产生多重共线性的主要原因

• 经济变量相关的共同趋势

• 模型设定不谨慎

• 样本数据的限制

(二)多重共线性的后果

完全共线性,则违背 MLR.3,无法得到 OLS 估计量 高度共线性下,OLS 估计量仍是无偏并且是BLUE 变量的显著性检验失去意义 模型的预测功能失效

(三)多重共线性的检验

相关系数若接近±1,则说明两变量存在较强的多重共线性。通过t检验和F检验 如果在OLS估计下,R2与F值较大,但 t 检验值较小,说明各解释变量对y的联合线性作用显著,但各解释变量间存在共线性而使得它们对 y 的独立作用不能分辨,故t检验不显著。辅助回归

(1)xj对剩下所有解释变量做回归,求出 R2j

(2)方差膨胀因子VIF

(四)克服多重共线性的办法

1.第一类方法:排除引起共线性的变量

• 根据理论删除某些存在高度相关的变量即可

• 逐步回归法:自动从大量可供选择的变量中选取最重要的变量,建立回归分析的预测或者解释模型。

其基本思想是:将自变量逐个引入,引入的条件是其偏回归平方和经检验后是显著的。同时,每引入一个新的自变量后,要 对旧的自变量逐个检验,剔除偏回归平方和不显著的自变量。这样一直边引入边剔除,直到既无新变量引入也无旧变量删除为止。 它的实质是建立“最优”的多元线性回归方程。

2.第二类方法:减小参数估计量的标准误

采取适当方法减小参数估计量的方差,虽然没有消除模型中的多重共线性,但确能消除多重共线性造成的后果。

例如,增加样本容量,可使参数估计量的方差减少。

3.第三类方法:贝叶斯统计或者机器学习

• Bayesian model average (BMA)

• 岭回归法和 Lasso 回归

异方差性

一、异方差性的定义

多元线性回归模型: y = β0 + β1 x1 + β2 x2 + … + βkxk +u

OLS回归中高斯-马尔科夫假定:

• MLR.1:关于参数是线性的

• MLR.2:随机抽样

• MLR.3:不存在完全共线性

• MLR.4:零条件期望

• MLR.5:同方差性 Var(u|x1, . . . , xk) = Var(u) = σ2

满足上述假定,OLS具有最优线性无偏估计量(BLUE)。

• MLR.6:正态性假定:进行假设检验和置信区间的构建。

MLR.5同方差假定表明,以解释变量为条件的误差项u的方差是常数。但只要不可观测因素的方差随总体的不同部分(由不同的解释变量值决定)变化,同方差假定就不能成立,即Var(u|xi) = σ2i不是一个常数,通常是一个关于f(xi) 的函数,此时即为异方差性

• 由于每个样本的xi不同,因此每个样本的Var(u|xi)也就相应不同。

• 截面数据样本,一般存在异方差。

二、异方差性的类型

同方差:Var(u|xi) = σ 2 =未知的常数,与解释变量观测值xi无关;

异方差:Var(u|xi) = σ2i = f(xi),与解释变量观测值xi有关。

异方差一般可归结为三种类型

• 单调递增型:σ2i 随xi的增大而增大

• 单调递减型:σ2i 随xi的增大而减小

• 复杂型:σ2i与xi的变化呈复杂形式

x−y的散点图进行判断:看是否存在明显的散点扩大、缩小或复杂型趋势(即不在一个固定的带型域中)

2−x的散点图进行判断:看是否形成一斜率为零的直线

三、异方差性对OLS所造成的影响【异方差性的后果】

(一)异方差性不会影响βj的OLS估计量的无偏性和一致性。

1.第3章中,在前四个高斯-马尔科夫假定MLR.1-4下,证明了OLS估计量的无偏性,而同方差假定MLR.5在这一过程中并不发挥作用,说明异方差性并不会导致OLS估计量出现偏误。

2. 一致性:n趋于无穷时,估计量j依概率收敛到统计量βj,plim j = βj

(二)在异方差性条件下,拟合优度指标R2和2的解释和计算也不受异方差影响,都一致地估计了总体R2。

R2或是估计总体R2的不同方法,而总体R2=1 − Var(u) /Var(y),其中是u的总体方差,是y的总体方差。

关键是,由于总体R2中这两个方差均为无条件方差,所以总体R2不受u的条件方差的异方差性影响。

而且,无论Var(u| x1, x2, … ,xk )是否为常数,SSR/n都一致估计了,SST/n也一致估计了。当我们使用自由度进行调整时,情况依然如此。

因此,无论同方差假定是否成立, R2和都一致估计了总体R2。

(三)有偏

(四)以方差为基础的检验不再有效,t统计量不再服从t分布,F统计量不再服从F分布,LM统计量不再服从渐近的χ2分布。【异方差影响统计显著性的检验】

由于OLS标准误直接以这些方差为基础,所以通常普通最小二乘的t-统计量不再具有t-分布,F-统计量不再具有F-分布,即使对于大样本容量也不能解决这个问题。

总之,在出现异方差的情况下,在高斯-马尔科夫假定下用来检验假设的统计量都不再成立。

(五)OLS不再是BLUE

1.OLS估计量不再具有最小方差性。

2.OLS估计量不再是渐近有效的。

【补充:OLS的一致性】plim j = βj

四、OLS估计后的异方差-稳健推断【异方差-稳健标准误】【异方差性的修正】

首先需要决定,是否应该完全放弃OLS?

幸运的是,OLS仍然有用。近年来,计量经济学家已经知道该如何调整标准误、t-统计量和F-统计量,使之在出现未知形式的异方差性时仍可使用。

这意味着,无论总体中出现的异方差类型如何,我们都能报告可用的新统计量,并且把这种方法称为异方差-稳健过程。

——存在异方差时,如何获得正确的 Var() 估计式???

(一)考虑具有单个自变量的模型。为强调异方差性使用了下标i:

yi = β0 + β1 xi + ui

假定前4个高斯-马尔科夫假定成立。如果误差存在异方差性,则:

Var(ui | x=xi)= σi2

其中,σ2的下标i,表示误差方差取决于xi的特定值。斜率系数的OLS估计量为:

在MLR.1-4下(仅没有同方差假定),并以样本中xi的值为条件,可以证明:

(8.2)

其中,为xi的总平方和。当对所有的i都有σi2=σ2时,这个表达式就简化成通常形式σ2/SSTx。

该表达式(8.2)明确表明,在出现异方差时,同方差条件下推导出来的方差公式就不再正确。

由于的标准误直接基于对的估计,所以在出现异方差时,我们需要给出一种估计方程(8.2)的方法。

怀特(White, 1980)的分析表明,虽然无法分别估计i2 ,但根据中心极限定理,可以获得 Var() 的一致估计。

令表示y对x做回归所得到的OLS残差。那么,对于任何形式的异方差(包括同方差),的一个有效估计量是:

(8.3)

可以证明,将方程(8.3)乘以样本容量n后,依概率收敛于,即式(8.2)与n之积的概率极限。

(二)在一般多元回归模型

y = β0 + β1 x1 + β2 x2 + … + βkxk +u

中,也可以得到类似的公式。可以证明,在MLR.1-4成立条件下,的一个有效估计量是:

(8.4)

其中,表示将xj对所有其他自变量做回归所得到的第i个残差,而SSRj是该回归的残差平方和。

方程(8.4)的平方根称为的异方差-稳健标准误,或简称为稳健标准误

(三)有时,作为对自由度的一种修正/调整,在将式(8.4)开平方之前先乘以n/(n-k-1)

进行这种调整的根据是,如果OLS残差的平方对所有观测i都相同(同方差情形),那么将得到通常的OLS标准误。

一旦得到异方差-稳健标准误,就可以构造异方差-稳健t-统计量

(四)可能会问:如果异方差-稳健标准误比通常的OLS标准误适用的情况更多,为什么还非要用通常的标准误呢?

原因之一是,如果同方差假定成立,而误差又服从正态分布,那么无论样本容量的大小如何,通常的t-统计量都服从精确的t-分布。而稳健标准误和稳健t-统计量只有在样本容量很大时才能使用,即使在CLM假设正确的情况下也是如此。而在小样本容量下,稳健t-统计量的分布可能不是那么接近于t-分布,从而使推断可能犯错误。

大样本容量的情况下,我们就有理由在横截面数据分析中只是报告异方差-稳健标准误,而且在应用研究中这种做法越来越多。像方程(8.5)那样报告两个标准误的做法也很常见,以便读者判断是否结论对标准误有敏感反应。

相类似地,还可以定义对任意一个未知形式的异方差都保持稳健的F-统计量,并将其称之为异方差-稳健的F-统计量,该统计量又被称为异方差-稳健的瓦尔德统计量。

【异方差稳健t统计量】

• 进一步的统计检验与同方差假定没有区别

• 异方差违背了高斯-马尔科夫假定,传统方法虽然得到参数的无偏估计,但其标准差计算有误,不能进行有效的统计检验

• Stata中在命令reg后加robust即可的到异方差稳健估计的所有结果

五、异方差的检验

对异方差的存在性进行检验。

首先,像上节提到的,由于通常的t-统计量在经典线性模型假定下具有精确的t-分布,为此,除非出现存在异方差性的证据,我们则希望报告通常的OLS标准误和检验统计量。

其次,如果存在异方差性,OLS估计量将不再是最优线性无偏估计量,此时可能存在一个比OLS更好的估计量。

多元线性回归模型:y = β0 + β1 x1 + β2 x2 + … + βkxk +u (8.10)

当维持假定MLR.1-4成立时,OLS是无偏且一致的。如果E(u|x) = 0,那么 Var(u|x) = E(u2 |x)

取原假设为:假定MLR.5是正确的,即H0:Var(u| x1, x2 , …, xk) = Var(u| x) = σ2

也即:H0:E(u2| x1, x2 , …, xk) =E(u2 |x) = σ2

即为了检验是否违背同方差假定,要检验u2是否与一个或多个解释变量相关

将u2看做一个新的变量,该原假设意味着u2不能被x解释。

假定u2 = δ0 + δ1 x1 + δ2 x2 + … + δkxk +v,v是在给定xj下马尔科夫假定的误差项。

则原假设可表示为:H0:δ1 = δ2 = … = δk =0

如果能观测到样本中的u2,则利用所有n个观测值,通过u2对x1, x2, …,xk的OLS回归,就能完成这个检验过程。问题在于,无法获得u2的观测值。

虽然不知道总体模型中的误差项,但能得到它的估计值:OLS残差是第i个误差ui的一个估计值。因此,可以估计方程/通过下列回归进行检验:

(8.14)

1对x1, x2, …,xk的联合显著性计算F或LM统计量

【用OLS残差取代误差项并不影响F或LM统计量(拉格朗日乘数统计量)的大样本分布性质】

F或LM统计量都取决于回归方程(8.14)的R2;为与回归方程(8.10)所得到的R2相区别,把它记为

①F统计量可以表示为:【回想回归总体显著性的 F 检验】

(8.15)

其中,k为方程(8.14)中的回归元个数,在同方差的原假设之下,这个F统计量渐进服从于一个F(k, n-k-1)分布。

②LM统计量:样本容量n×

(8.16)

在原假设之下,LM统计量渐进服从于分布,k为检验模型中的解释变量个数。

这个LM形式的检验通常被称为布罗施-帕甘异方差检验,简记为BP test

(一)布罗施-帕甘异方差检验【Breusch-Pagan BP test】

1.用OLS估计模型y = β0 + β1x1 + β2x2 + … + βkxk + u,得到每个观测误差ui的估计值,求其平方得到OLS残差平方项。(每次观测得到一个)

2.对 = δ0 + δ1x1 + δ2x2 + … + δkxk + v进行OLS回归,得到拟合优度/

3.(1)F检验:计算F统计量并计算p值。

若p Fα(k, n – k – 1)),则拒绝同方差性的原假设H0,认为模型存在异方差性。

(2)LM检验(BP检验):计算LM统计量并计算p值。

若p < α(LM值 > χα2(k)),则拒绝同方差性的原假设H0,认为模型存在异方差性。

如果BP检验得到一个足够小的p值,就应该采取某种修正措施

使用异方差-稳健标准误;

使用加权最小二乘【WLS】估计。

BP检验的改造】如果猜测异方差性只取决于某些解释变量,只要将对所选择的解释变量进行回归,并进行F检验或LM检验,显著的F统计量或LM统计量表明存在异方差性;如果猜测异方差性只取决于单个解释变量,只要将对单个解释变量进行回归,并进行通常的t检验(此时的异方差检验恰好就是该变量通常的t-统计量),显著的t统计量表明存在异方差性。

自由度取决于以为因变量的回归中自变量个数,原回归模型(8.10)中出现的自变量个数并不重要。

(二)怀特White检验

1.怀特检验

同方差假定E(u2| x1, x2 , …, xk) =σ2可以由如下较弱的假定所取代,即误差平方u2与所有自变量(xj)、所有自变量的平方(xj2)和所有自变量的交叉乘积(xjxh, j≠h)都不相关。

这一观察促使怀特(White, 1980)提出了对异方差性的另一种检验方法:

任何一个函数都可以用一个高阶多项式逼近,而二阶多项式已经可以较好地拟合一个函数。

考虑到u2与x可能不是线性相关,怀特检验判断u2与所有解释变量(xj)、所有解释变量的平方(xj2)、所有解释变量的交互项(xjxh, j ≠ h)之间的相关性。即在原回归模型(8.14)中增加所有自变量的平方项和交叉乘积项。

怀特检验是想检验,那些使通常的OLS标准误和检验统计量无效的异方差的一般形式。

2.当模型中包含k=3个自变量时,怀特检验则基于如下回归估计:【怀特一般检验】

(8.19)

怀特异方差检验就是检验方程(8.19)中除截距外所有δj都为0的LM统计量,因而在这种情形下,要检验9个约束;对于这个假设,我们也可以使用F检验。这两个检验都具有渐进等价性。

与布罗施-帕甘异方差检验相比,方程多了6个回归元。回归元过多是怀特检验形式的一个缺陷,它要使用掉很多自由度。

3.可以得到一个比怀特检验更容易实施而且自由度更为节省的检验。

在异方差检验中使用OLS拟合值

它是自变量的线性函数,如果再在方程中包含拟合值的平方项,那么就得到自变量所有平方项和所有交叉乘积项的一个特殊函数。

估计方程: (8.20) 其中,表示拟合值。

对于方程(8.20)中的原假设H0:δ1 =δ2 =0,可以使用F或LM统计量。这样就导致了无论原模型中有多少个自变量,检验同方差的原假设只有两个约束。

可以把方程(8.20)看成对方程(8.19)中的参数施加了限制,所以方程(8.20)中的检验被看成是怀特检验的一种特殊情形

4.u2 = δ0 + δ1x1 + δ2x2 + … + δkxk + δk+1x12 + δk+2x22 + … + δ2kxk2 + δ2k+1x1x2 + … + xk-1xk + v

H0:δ1 = δ2 = … = = 0。

5.异方差性检验

(1)用OLS估计模型y = β0 + β1x1 + β2x2 + … + βkxk + u,得到每个观测误差的估计值并求其平方

(2)用OLS估计模型 = δ0 + δ1x1 + δ2x2 + … + δkxk + δk+1x12 + δk+2x22 + … + δ2kxk2 + δ2k+1x1x2 + … + xk-1xk + v,得到拟合优度。

(3)①F检验:计算F统计量并计算p值。

若p < α(F值 > Fα(k, n – (2k +) – 1)),则拒绝H0,认为模型存在异方差性。

②LM检验(怀特检验):计算LM统计量并计算p值。

若p < α(LM值 > χα2(2k +)),则拒绝H0,认为模型存在异方差性。

6.简化形式的怀特检验

怀特检验的缺点是当回归元较多时,需要用掉过多的自由度。

(1)在异方差性检验中去掉交互项

即针对 = δ0 + δ1x1 + δ2x2 + … + δkxk + δk+1x12 + δk+2x22 + … + δ2kxk2 + v进行F检验或LM检验。

余下的是xj的二次多项式,它们仍可作为x函数的较好近似。

(2)在异方差性检验中使用OLS拟合值及其平方【怀特特殊检验】

即针对进行F检验或LM检验。

在这种情况下,我们施加了一种约束,这是我们做出的牺牲。同时,我们大幅减少了需要消耗的自由度,这是我们的得益。总体上,我们的得益要大于我们所做出的牺牲。

以k = 3为例,怀特检验式为:

简化形式的怀特检验式为:

对照两个检验式,,,,,,,,,,这就是我们所施加的约束。

六、加权最小二乘估计WLS

当已知异方差Var(u|x) = E(u 2|x) 的函数形式,可以使用加权最小二乘法(WLS)获得有效的参数估计来解决异方差问题。此时,WLS比OLS更为有效,而且还能够得到具有t分布的t统计量或者是具有F分布的F统计量。

(一)除了一个常数倍数外异方差是已知的

假定:Var(u| x) = E(u 2 |x) = σ2 h(x)

其中,h(x)是已知的解释变量的某种函数,并决定着异方差性;总体参数σ2未知,但能把它从一个数据样本中估计出来。

对于从总体中的一个随机抽取样本i:σi2 =Var(ui|xi)=σ2h(xi)=σ2hi

设定包含异方差误差的原方程为:

yi = β0 + β1 xi1 + β2 xi2 + … + βkxik +ui (8.24)

满足其他高斯-马尔科夫假定。

可以把它转换成一个具有同方差误差的方程,具体是在式(8.24)两端同除以:

(8.25)

令xi0*=,xik*=xik:

(8.26)

此时,方程(8.26)满足同方差性,即满足所有高斯-马尔科夫假定。有:

使用OLS估计方程(8.26),获得的估计量称为广义最小二乘估计量(GLS)

由于方程(8.26)满足所有的理想假定,所以,从利用变换的变量所做的回归方程中能得到标准误、t-统计量和F-统计量。式(8.26)的残差平方和除以自由度就是σ2的一个无偏估计量。而且,因为这些GLS估计量都是总体参数βj的最优线性无偏估计量,所以必然比从原方程中得到的OLS估计量更为有效。但必须记住,将估计值放到原方程中解释

(二)需要估计异方差函数:可行GLS

上述WLS方法基于假设:hi = h(xi) 函数形式已知且不含未知参数

在实际应用中,异方差的确切形式中hi的函数形式很难找到。

不过,可以模型化函数h,并利用数据来估计这个模型中的未知参数。从而得到每个hi的估计值,记为。在GLS变换中用取代hi就得到一个估计量,被称为可行的GLS估计量(FGLS)。可行的GLS有时又被称为估计的GLS,简记为EGLS。

有多种模型化异方差性的方法,在这里假定:

Var(u| x) = σ2exp(δ0 + δ1x1 + δ2x2 + … + δkxk ) (8.30)

即h(x)=exp(δ0 + δ1x1 + δ2x2 + … + δkxk )

δj为未知参数。虽然也可能出现xj的其他函数形式,但主要考虑(8.30)的指数形式。

所以选择指数函数而不选择线性函数,一个重要的原因是线性模型不能保证预测值都为正,而为了进行WLS,要求估计的方差必须为正。

如果参数δj已知,就只需像上一小节那样直接应用WLS,可惜这种情况不是很现实。最好是先用数据估计这些参数,然后再使用这些参数的估计值来构造权数。

在假定(8.30)之下:

u2 = σ2exp(δ0 + δ1x1 + δ2x2 + … + δkxk )v

假定v是条件期望为1的随机误差项,E(v|x) = 1,并且假定v与x无关

进一步可以写成:

log(u2) = a0 + δ1x1 + δ2x2 + … + δkxk +e (8.31)

其中,E(e) =0并与x无关;此方程中的截距a0= 2log(σ) + δ0与δ0不同但无关紧要。

由于式(8.31)满足高斯-马尔科夫假定,所以可利用OLS得到δj的无偏估计量j。

和往常一样,必须以OLS残差来取代观测不到的扰动项u,做

对x1, x2, …, xk的回归 (8.32)

从而在i已知的情况下,通过回归得到拟合值。然后hi的估计值:

(8.33)

【纠正异方差性的可行的GLS步骤】【可行广义最小二乘 FGLS 的步骤】

yx1, x2, …, xkOLS回归并得到残差;OLS残差进行平方,然后取自然对数;做方程(8.32)中的回归,得到拟合值i求出方程(8.32)拟合值的指数:;以为权数,用WLS重新估计方程,得到参数βj的一致有效估计:

y = β0 + β1 x1 + β2 x2 + … + βkxk +u

FGLS性质

如果在WLS程序中使用hi而不是,估计量将是无偏的;事实上,假定已经正确地模型化了异方差性,它们还将是最优线性无偏估计量。

但是由于不得不用同样的数据先去估计hi,这就意味着,FGLS估计量不再是无偏估计量(因此也不可能是最优线性无偏的)。不过,FGLS估计量仍然是一致的,而且比OLS估计量更渐进有效。

另一种估计hi的有用方法是,用OLS拟合值及其平方取代方程(8.32)中的自变量。换言之,从

对, (8.34)

的回归中得到拟合值,然后和方程(8.33)中所做的完全一样求。

OLS 的回归结果:

做 White 异方差性检验:

做 B-P 异方差性检验:

进行FGLS的步骤:

得到FGLS的结果:

实际应用总结:

七、异方差性的处理

对变量取对数可以在一定程度上缓解异方差性问题。这是因为取对数压缩了变量的变化尺度,例如log10(10000) = 4,log10(10) = 1。

(一)使用异方差-稳健标准误

使用异方差-稳健标准误不能解决估计量的最小方差性问题。

考虑简单回归模型yi = β0 + β1xi + ui,假设前四个高斯-马尔科夫假定成立,但误差存在异方差性,即假定SLR.1~SLR.4成立,但SLR.5不成立,Var(ui) = σi2。则

其中,是xi的总平方和。有n个样本就有n个方差,σi2 = Var(ui) = E(ui2) – [E(ui)]2 = E(ui2)(i = 1, 2, …, n)。White(1980)提出了估计上述方差的方法:令表示简单回归的OLS残差,对于任何形式的异方差(包括同方差),的一个有效估计量为

可以证明,n乘以上式依概率收敛于E[(xi – μx)2ui2]/(σx2)2。

考虑多元回归模型y = β0 + β1x1 + β2x2 + … + βkxk + u,假设前四个高斯-马尔科夫假定成立,但误差存在异方差性,即假定MLR.1~MLR.4成立,但MLR.5不成立,Var(ui) = σi2。则

其中,是xj对所有其他解释变量做回归得到的第i个残差,SSRj = SSTj(1 – Rj2)是这个回归的残差平方和。的一个有效估计量为

上式的平方根称为βj的异方差-稳健标准误。

利用异方差-稳健标准误做统计推断需要使用大样本。在大样本条件下,无论是否存在异方差性,异方差-稳健标准误都适用,因此我们希望,当不存在异方差性时,异方差-稳健标准误等于通常的OLS标准误,这就需要对自由度进行修正。在同方差条件下,,而通常的OLS方差为,又,故通常的OLS方差为。因此,在开平方之前,先将的估计量乘以n/(n – k – 1)进行自由度修正。

:(1)xj变化微小(SSTj变化微小)、xj与其他解释变量之间很强的线性关系(Rj2接近于1,多重共线性)可能导致异方差-稳健标准误变得很大。

(2)异方差-稳健标准误既可以大于又可以小于通常的OLS标准误,如果异方差-稳健标准误与通常的OLS标准误相差不大,那么可以大致判断出异方差性问题不是很严重。

异方差性条件下的联合显著性检验

(1)异方差-稳健F统计量(Wald统计量)(参见附录E)

(2)异方差-稳健LM统计量

第一,估计受约束模型,得到残差。

第二,将原假设中排除的每个自变量分别对原假设所包含的所有自变量进行回归,如果有q个被排除变量,就得到q个残差、、…、。

第三,做1对、、…、不包含截距项的回归,得到残差平方和SSR1,则LM = n – SSR1,LM统计量渐近服从χ2(q)分布。

(二)加权最小二乘估计

WLS:已知异方差函数h(xi)的形式

σi2 = Var(ui|xi) = σ2h(xi) = σ2hi,其中函数h已知。

设多元回归方程yi = β0 + β1xi1 + β2xi2 + … + βkxik + ui,两端同除以得

记作yi* = β0xi0* + β1xi1* + β2xi2* + … + βkxik* + ui*,其中xi0* = 1/√hi。以xi为条件,

如果ui服从均值为0的正态分布,那么ui*服从均值为0、方差为σ2的正态分布,假定MLR.5成立,从而CLM假定成立(假定MLR.1~MLR.6成立)。

OLS最小化残差平方和,对所有观测赋予相等权重;WLS最小化加权残差平方和,对误差方差大的观测赋予越小的权重,因此与OLS相比,样本回归函数(SRF)会偏离误差方差大的点更多。

可行GLS(FGLS):必须估计异方差性函数h(x)

在大多数情况下,我们不知道异方差函数h(xi)的形式,但可以模型化h并利用数据估计模型参数得到每个hi的估计值。设

h(x) = exp(δ0 + δ1x1 + δ2x2 + … + δkxk)

log[h(x)] = δ0 + δ1x1 + δ2x2 + … + δkxk(对数线性模型)

模型化h时,非线性函数拟合效果一般比线性函数要好。此外,线性模型不能保证预测值都为正,而方差必须为正。

以x为条件,Var(u) = E(u2) – [E(u)]2 = E(u2) = σ2h(x)。

不妨设u2 = E(u2)v = σ2h(x)v,其中E(v|x) = 1,这意味着v与x不相关。则

log(u2) = log(σ2) + log[h(x)] + log(v)

= log(σ2) + δ0 + δ1x1 + δ2x2 + … + δkxk + log(v)

= α0 + δ1x1 + δ2x2 + … + δkxk + e

其中,α0 = log(σ2) + δ0,e = log(v)。上式满足高斯-马尔科夫假定。

,其中。

用代替u2,可以作为的一个估计。

FGLS程序:

(1)将y对x1、x2、…、xk做回归,得到残差。

(2)将log(2)对x1、x2、…、xk做回归,得到拟合值。

(3),以1/为误差方差权重,用WLS估计方程y = β0 + β1x1 + β2x2 + … + βkxk + u。

【处理异方差的Stata命令】

一、画残差图

先回归:reg

rvfplot(残差与拟合值的散点图)

rvpplot varname(残差与某个解释变量的散点图)

以上两图的大致轮廓基本一致,表明很可能存在异方差,即扰动项的方差随着观测值而变。

残差与拟合值、解释变量 lnq 之间呈现线性关系,由此猜测存在异方差。

二、怀特检验

先回归

estat imtest, White

也可以输入命令“ssc install whitetst”,下载非官方命令whitetst。

检验结果显示,p值等于0. 0000,故强烈拒绝同方差的原假设,认为存在异方差。

三、BP检验

estat hettest (默认设置为使用拟合值)

estat hettest, rhs (使用方程右边的解释变量,而不是)

estat hettest [varlist] (指定使用某些解释变量)

在给定α=0.05的情况下,BP检验的卡方统计量chi2(1)=4.54

若BP检验的p值等于0.0000,则强烈拒绝同方差的原假设。

四、WLS

reg lne2 lnq 结果:变量lnq在1%水平上显著,但R2仅为0.1309,且常数项不显著 ( p值为0.26)。

reg lne2 lnq, noc 去掉常数项重新进行辅助回归

结果:R2上升为 0.7447(尽管无常数项的R2与有常数项的R2不可比), 残差平方的变动与 lnq 高度相关。

去掉对数后,即得到方差的估计值——使用方差估计值的倒数作为权重,WLS

如担心条件方差函数的设定不准确,导致加权后的新扰动项仍有异方差,可使用稳健标准误进行 WLS 估计:reg lntc lnq lnpl lnpk lnpf [aw=1/e2f], r结果:无论是否使用稳健标准误,WLS 的回归系数都相同,但标准误有所不同。

【异方差修正】

(一)方法1:OLS +稳健标准误 (更适用于一般情形)

如发现异方差,一种处理方法是,仍进行 OLS 回归(OLS 依然无偏、一致且渐近正态),但使用在异方差情况下也成立的稳健标准误。这是最简单,也是目前通用的方法。

只要样本容量较大,即使在异方差的情况下,只要使用稳健标准误,则所有参数估计、假设检验均可照常进行。

(二)方法2:WLS

WLS称为加权最小二乘法,是广义最小二乘法(GLS)的特例使用外部命令: wls0

将模型m0 m1 m2同时输出,结果如下表

esttab m0 m1 m2 using li1.doc,mtitles( m0 m1 m2) scalar(r2 F ll aic bic) replace label nogap onecell

AIC、BIC越小越好,似然比LL越小越好。



【本文地址】


今日新闻


推荐新闻


CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3