作者：Afroz Chakure

翻译：疯狂的技术宅

原文：https://towardsdatascience.com/data-preprocessing-3cd01eefd438

未经允许严禁转载

机器学习的核心是处理数据。你的机器学习工具应该与数据的质量一样好。本文涉及清理数据的各个步骤。你的数据需要经过几个步骤才能用于预测。

那么让我们逐一学习这些步骤。

你先需要下载此数据集：Data.csv

每次我们制作新模型时，都会要求导入 Numpy 和 Pandas。 Numpy 是一个包含数学函数的库，用于科学计算，而 Pandas 用于导入和管理数据集。

在这里我们导入 pandas 和 Numpy 库并分别命名名 “pd” 和 “np”。

数据集以 .csv 格式提供。 CSV 文件以纯文本格式存储表格数据。该文件的每一行都是一个数据记录。我们使用 pandas 库的 read_csv 方法将本地 CSV 文件读取为数据帧（dataframe）。

在仔细检查数据集之后，我们将在数据集（X）中创建一个特征矩阵，并创建一个依赖向量（Y）及其各自的观察结果。我们用 pandas 的 iloc （用于修复索引以进行选择）读取列，它包含两个参数 — [行选择，列选择]。

我们得到的数据很少是同质的。有时数据可能会丢失，所以需要对其进行处理，以免降低机器学习模型的性能。

我们需要用整列的 Mean 或 Median 替换缺失的数据。为此，我们将使用 sklearn.preprocessing 库，其中包含一个名为 Imputer 的类，它将帮助我们处理丢失的数据。

我们的对象名称是 imputer。 Imputer 类可以采用如下参数：

现在将 imputer 对象与我们的数据相匹配。

接着用 transform 方法将缺失值替换为列的平均值。

任何非定量的变量都是分类的。例如头发颜色、性别、研究领域、大学就业、政治派别、疾病感染状况等。

我们不能在模型的数学方程中使用“男性”和“女性”等值，因此需要将这些变量编码为数字。

为此，我们从 sklearn.preprocessing 库导入 LabelEncoder 类，并创建 LabelEncoder 类的对象labelencoder_X。之后在分类特征上使用 fit_transform 方法。

在编码之后，有必要区分同一列中的变量，为此我们将使用 sklearn.preprocessing 库中的 OneHotEncoder 类。

独热编码将分类特征转换为更适合分类和回归算法的格式。

现在我们将数据分成两组，一组用于训练模型，称为训练集，另一组用于测试模型的性能，称为测试集。它们的比例通常是 80/20。为此，我们导入 sklearn.model_selection 库的 train_test_split 方法。

现在建立训练集和测试集，我们将创建 4 套 ——

我们将为它们分配 test_train_split，它接受参数 arrays（X和Y）test_size（指定分割数据集的比率）。

大多数机器学习算法在其计算中使用两个数据点之间的欧几里德距离。因此，高幅度特征在距离计算中的权重将比低幅度的特征更重。为了避免这种功能，使用标准化或 Z-score 标准化。这是通过使用 StandardScaler 类 sklearn.preprocessing 来完成的。

此外，我们将转换 X_test 集合，同时需要适应并转换 X_train 集合。

转换函数将所有数据转换为相同的标准化比例。

到此为止，你已经学习了数据预处理所涉及的基本步骤。

现在，你可以尝试在某些实际数据集上应用这些预处理技术。