SPSS在线

您所在的位置:网站首页 stata怎么去除异常值 SPSS在线

SPSS在线

2024-06-28 05:22| 来源: 网络整理| 查看: 265

异常值,也称离群值,是指样本中的个别值,其数值明显偏离所属样本的绝大部分观测值。如果数据中有异常值,比如常见情况下中年男性身高均介于1.6~2.0米之间;但有个别数据为1.3,也或者2.2米;显然这种数据较为异常,很可能会干扰研究;也或者数据本身确定应该介于1~5之间,但是出现数字0;此时也应该进行异常值处理。

不论什么研究数据,如果数据中存在可能的异常值,均应在分析之前处理,防止异常值带来的干扰,比如异常值会扭曲X和Y之间的相关关系,回归关系等,异常错误的结论;当然其它研究方法基本均会受到异常值的干扰,异常值较多或者异常稍大时,此时会直接扭曲结论。如下说明:

上图展示X和Y的散点关系,可能明显的看出,X和Y之间有着非常紧密的关系,X增大,Y也增大。上图中也没有异常数据;但如果数据中出现一个异常值,则很可能扭曲数据间的关系,如下图所示:

上图中出现一个异常值,直接导致本应该为非常紧密的正相关关系,出现扭曲的结论,而且直接改变了数据间的相关关系系数;因而最终导致完全错误的结论。

在相关,回归分析,以及比如方差,t 检验等等研究时,均会受到异常值的干扰,只要有异常值存在,则均会或多或少的影响到数据结论;严重的情况即为将关系扭曲,不严重的时候也会影响到各类指标结果等,因而需要认真地对待异常值。

针对异常值,常见的步骤有三步:第一步是异常值检测;第二步是异常值判定;第三步是异常值处理。

第一步:异常值检测

异常值的检验有很多种方法,最常见的是图示法,也有使用分析方法进行探索,如下说明。

箱线图:实验研究时经常使用,非常直观的展示出异常数据;

散点图:研究X和Y的关系时,可直观展示查看是否有异常数据;

描述分析:可通过最大最小值等各类指标大致判断数据是否有异常;

其它:比如结合正态分布图,频数分析等判断是否有异常值。

第二步:异常值判定

上述已经说明异常值会带来严重的影响,扭曲数据结论等。那么首先需要设定异常值的标准,然后再对其进行处理。异常值的判定标准并不统一,更多是通过人为标准进行设定,SPSSAU提供以下几类判定规则:

缺失数字

小于设定标准的数字

大于设定标准的数字

大于3个标准差

第三步:异常值处理

完成异常值的判定之后,接着需要进行处理;SPSSAU提供两类处理方式,分别为:

设置为Null值;此类处理最简单,而且绝大多数情况下均使用此类处理;直接将异常值“干掉”,相当于没有该异常值。如果异常值不多时建议使用此类方法;

填补;如果异常值非常多时,则可能需要进行填补设置,SPSSAU共提供平均值,中位数,众数和随机数共四种填补方式。建议使用平均值填补方式。

平均值填补:将不满足判断标准外(即正常数据)数据取平均值,对异常数据填补;

中位数填补:将不满足判断标准外(即正常数据)数据取中位数,对异常数据填补;

众数填补:将不满足判断标准外(即正常数据)数据取众数,对异常数据填补;

随机数填补:将不满足判断标准外(即正常数据)数据取随机数(最小和最大值之间),对异常数据填补;

关于异常值设置,有以下注意事项:

首先需要选中处理的标题,请谨慎操作,一旦操作无法还原数据;

异常值是针对原始数据进行修改;无法还原,建议处理之前先进行“备份数据”,防止处理出错时无法还原。

异常值判定没有固定标准,带微弱主观性;

SPSSAU操作截图如下:

上图中将数字小于0,也或者数字大于7的数据(针对选中的标题);设置为Null值。

特殊情况说明

如果填充为null时,任何时候都生效。

如果填充为平均数,中位数或众数这三种情况时;如果不满足判断标准外(即正常数据)的个数小于3个,则整个处理不生效(无法填充);

填充为随机数时;如果不满足判断标准外(即正常数据)的个数小于3个,则整个处理不生效(无法填充);



【本文地址】


今日新闻


推荐新闻


CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3