什么是噪声数据:噪声数据的处理方法

您所在的位置:网站首页 假数据的危害是什么意思啊 什么是噪声数据:噪声数据的处理方法

什么是噪声数据:噪声数据的处理方法

2024-07-08 06:51| 来源: 网络整理| 查看: 265

噪声数据是指在测量一个变量时测量值可能出现的相对于真实值的偏差或错误,这种数据会影响后续分析操作的正确性与效果。噪声数据主要包括错误数据、假数据和异常数据。异常数据是指对数据分析结果有较大影响的离散数据。

1.分箱

分箱是指把待处理的数据按照一定规则放进“箱子”中,采用某种方法对各个箱子中的数据进行处理。

1)等深分箱法:每箱具有相同的记录数,每个箱子的记录数称为箱子的深度。

2)等宽分箱法:在整个数据值的区间上平均分割,使得每个箱子的区间相等,这个区间被称为箱子的宽度。

3)用户自定义分箱法:根据用户自定义的规则进行分箱处理。

2.平滑处理

在分箱之后,要对每个箱子中的数据进行平滑处理。

1)按平均值:对同一箱子中的数据求平均值,用均值代替箱子中的所有数据。

2)按中值:取箱子中所有数据的中值,用中值代替箱子中的所有数据。

3)按边界值:对箱子中的每一个数据,使用离边界值较小的边界值代替箱子中的所有数据。

3.聚类

将数据集合分组为若干个簇,在簇外的值即为孤立点,这些孤立点就是噪声数据,应对这些孤立点进行删除或替换。相似或相临近的数据聚合在一起形成各个聚类集合,在这些聚类集合之外的数据即为异常数据。

簇是一组数据对象的集合,同一簇内的数据具有相似性,不同簇之间的数据的差异性较大。

4.回归

通过发现两个相关的变量之间的相关关系,构造一个回归函数,使得该函数能够更大程度地满足两个变量之间的关系,使用这个函数来平滑数据。



【本文地址】


今日新闻


推荐新闻


CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3