简介

由于当今数据的数量庞大且来自于各种不同类型的来源，因此出现数据异常的可能性不断增加。鉴于高质量数据可生成更好的模型和预测，数据预处理的重要性与日俱增，并且已经成为数据科学/机器学习/AI 管道中的基本步骤。在本文中，我们将探讨数据处理需求，并讨论用于完成此流程中每个步骤的不同方法。

在数据收集过程中，存在三个影响数据质量的主要因素：

准确率：与期望值之间存在偏差的错误值。数据不准确的原因多种多样，包括：

数据输入和传输期间发生的人为错误/计算机错误

用户有意提交错误值(称为“伪装缺失数据”)

输入字段格式错误

训练示例重复

完整性：缺少属性值/特征值/关联值。数据集可能因以下原因而不完整：

数据不可用

删除不一致数据

删除最初被认为无关的数据

一致性：数据聚合不一致。

影响数据质量的一些其他特征还包括及时性(在某些时间段之后但在提交所有相关信息之前数据不完整)、可信度(用户信任的数据量)以及可解释性(所有利益相关方是否都能轻松理解数据)。

为确保获得高质量的数据，对数据进行预处理就显得至关重要。为了简化此流程，数据预处理分为四个阶段：数据清理、数据集成、数据缩减和数据转换。

数据清理

“数据清理”是指用于“清理”数据的方法，具体包括移除异常值、替换缺失值、将干扰数据进行平滑处理以及纠正不一致数据。在执行上述每一项任务的过程中会使用到多种不同方法，将根据用户偏好或问题集来确定具体使用的方法。下面从问题解决方法的角度介绍了每一项任务。

缺失值

为了解决缺失数据的问题，可采用多种方法。让我们来逐一了解这些方法。