异常值检测算法三：3sigma模型 |
您所在的位置：网站首页 › 四十十八除三 › 异常值检测算法三：3sigma模型 |
异常值检测算法三：3sigma模型
|
离散度 标准差是反应一组数据离散程度最常用的一种量化形式，是表示精确度的重要指标。说起标准差首先得搞清楚它出现的目的。我们使用方法去检测它，但检测方法总是有误差的，所以检测值并不是其真实值。检测值与真实值之间的差距就是评价检测方法最有决定性的指标。但是真实值是多少，不得而知。因此怎样量化检测方法的准确性就成了难题。这也是临床工作质控的目的：保证每批实验结果的准确可靠。 虽然样本的真实值是不可能知道的，但是每个样本总是会有一个真实值的，不管它究竟是多少。可以想象，一个好的检测方法，其检测值应该很紧密的分散在真实值周围。如果不紧密，与真实值的距离就会大，准确性当然也就不好了，不可能想象离散度大的方法，会测出准确的结果。因此，离散度是评价方法的好坏的最重要也是最基本的指标。 一组数据怎样去评价和量化它的离散度呢?人们使用了很多种方法： 极差 ： 最直接也是最简单的方法，即最大值－最小值（也就是极差）来评价一组数据的离散度。这一方法在日常生活中最为常见，比如比赛中去掉最高最低分就是极差的具体应用。离均差的平方和 由于误差的不可控性，因此只由两个数据来评判一组数据是不科学的。所以人们在要求更高的领域不使用极差来评判。其实，离散度就是数据偏离平均值的程度。因此将数据与均值之差（我们叫它离均差）加起来就能反映出一个准确的离散程度。和越大离散度也就越大。但是由于偶然误差是成正态分布的，离均差有正有负，对于大样本离均差的代数和为零的。为了避免正负问题，在数学有上有两种方法：平均绝对偏差， 离均差平方求期望（即方差，即均差平方求期望，即均差平方和除以数量）是一个层面上的意思 一种是取绝对值，也就是常说的离均差绝对值之和。 而为了避免符号问题，数学上最常用的是另一种方法－－平方，这样就都成了非负数。因此，离均差的平方和成了评价离散度一个指标。方差（S2） 由于离均差的平方和与样本个数有关，只能反应相同样本的离散度，而实际工作中做比较很难做到相同的样本，因此为了消除样本个数的影响，增加可比性，将标准差（这里应该改为:离均差的平方）求平均值，这就是我们所说的方差成了评价离散度的较好指标。样本量越大越能反映真实的情况，而算数均值却完全忽略了这个问题，对此统计学上早有考虑，在统计学中样本的均差多是除以自由度（n-1)，它的意思是样本能自由选择的程度。当选到只剩一个时，它不可能再有自由了，所以自由度是n-1。标准差（SD） 由于方差是数据的平方，与检测值本身相差太大，人们难以直观的衡量，所以常用方差开根号换算回来这就是我们要说的标准差。 在统计学中样本的均差多是除以自由度（n-1)，它是意思是样本能自由选择的程度。当选到只剩一个时，它不可能再有自由了，所以自由度是n-1。变异系数（CV） 标准差能很客观准确的反映一组数据的离散程度，但是对于不同的检目，或同一项目不同的样本，标准差就缺乏可比性了，因此对于方法学评价来说又引入了变异系数CV。一组数据的平均值及标准差常常同时做为参考的依据。在直觉上，如果数值的中心以平均值来考虑，则标准差为统计分布之一“自然”的测量。标准差与平均值定义公式 方差 s^2 = [(x1-x)^2+(x2-x)^2+......(xn-x)^2]/(n) （x为平均数） 标准差 = 方差的算术平方根 在实验中单次测量总是难免会产生误差，为此我们经常测量多次，然后用测量值的平均值表示测量的量，并用误差条来表征数据的分布，其中误差条的高度为±标准误。正态分布 正态分布（Normal distribution），也称“常态分布”，又名高斯分布（Gaussian distribution），正态曲线呈钟型，两头低，中间高，左右对称因其曲线呈钟形，因此人们又经常称之为钟形曲线。若随机变量X服从一个数学期望为 μ、方差为 σ^2 的正态分布，记为N(μ，σ^2)。其概率密度函数为正态分布的期望值μ决定了其位置，其标准差σ决定了分布的幅度。当μ = 0,σ = 1时的正态分布是标准正态分布 正态分布具有两个参数 μ 和 σ^2 的连续型随机变量的分布： 第一个参数 μ： 是服从正态分布的随机变量的均值。 第二个参数σ^2：是此随机变量的方差，所以正态分布记作N（μ,σ2）其中： μ 是正态分布的位置参数，描述正态分布的集中趋势位置。概率规律为取与μ邻近的值的概率大，而取离μ越远的值的概率越小。正态分布以X=μ为对称轴，左右完全对称。正态分布的期望、均数、中位数、众数相同，均等于μ σ 描述正态分布资料数据分布的离散程度，σ越大，数据分布越分散，σ越小，数据分布越集中。也称为是正态分布的形状参数，σ越大，曲线越扁平，反之，σ越小，曲线越瘦高。普通正态分布转换标准正态分布公式 正态分布是由两个参数 μ 与 σ 确定的。对于任意一个服从 N ( μ , σ 2 ) 分布的随机变量 X，经过下面的变换以后都可以转化为 μ = 0 , σ = 1 的标准正态分布(standard normal distribution)。转换公式为:
示例： 某专业招收研究生20名，其中有10名免费，报考人数为1000人，考试满分为500分。经过考试后才知道此专业考试总平均成绩为μ=300分，如果招收研究生的分数线确定为350分，试问，现在某人考360分，他有没有可能被录取为免费生？ 研究生考试成绩X～N(μ,σ²)，由已知 μ=300，而 σ 未知。研究生考试分数超过 350分 的考生频率应该近似等于事件 (X≥350) 的概率 所以有 P(X≥350) = 20/1000=0.02，即 P(X |
【本文地址】
今日新闻 |
推荐新闻 |