主要内容： 数据预处理的必要性 数据清洗 数据集成 数据标准化 数据规约 数据变换与离散化 利用sklearn进行数据预处理 小结

数据归约（Data Reduction）用于在尽可能保持数据完整性的基础上得到数据的归约表示。也就是说，在归约后的数据集上挖掘将更有效，而且仍会产生相同或相似的分析结果。数据归约包括维归约、数量归约和数据压缩。

（一）维归约

维归约的思路是减少所考虑的随机变量或属性的个数，使用的方法有属性子集选择、小波变换和主成分分析。属性子集选择是一种维归约方法，其中不相关、弱相关或冗余的属性或维被检测或删除。而后两种方法是原始数据变换或投影到较小的空间。

1.属性子集选择 属性子集选择通过删除不相关或者冗余属性（或维）减少数据量。 （1）逐步向前选择 （2）逐步向后删除 （3）逐步向前选择和逐步向后删除的组合 （4）决策树归纳

2.小波变换

小波变换是一种新的变换分析方法，它继承和发展了短时傅立叶变换局部化的思想，同时又克服了窗口大小不随频率变化等缺点，能够提供一个随频率改变的“时间-频率”窗口，是进行信号时频分析和处理的理想工具。

将图像进行小波变换并显示。 原图：

import cv2 as cv

3.主成分分析

主成分分析（Principal Component Analysis，PCA）又称Karhunen-Loeve或K-L方法，用于搜索k个最能代表数据的n维正交向量，是最常用的一种降维方法。PCA通常用于高维数据集的探索与可视化，还可以用作数据压缩和预处理等，在数据压缩消除冗余和数据噪音消除等领域也有广泛的应用。 PCA的主要目的是找出数据里最主要的方面代替原始数据。

PCA 算法： sklearn实现鸢尾花数据降维，将原来4维的数据降维为2维。

（二）数量归约

数量归约（Numerosity Reduction）用替代的、较小的数据表示形式换原始数据。这些技术可以是参数或者非参数的。对于参数方法而言，使用模型估计数据，使得一般只需要存放模型参数而不是实际数据（离群点需存放），如回归和对数-线性模型。 存放数据规约表示的非参数方法包括： 直方图、聚类、抽样和数据立方体聚类

（三）数据压缩

数据压缩（Data Compression）使用变换，一遍得到原始数据的归约或“压缩”表示。如果数据可以在压缩后的数据重构，而不损失信息，则该数据归约被称为无损的。如果是近似重构原数据，称为有损的。基于小波变换的数据压缩是一种非常重要的有损压缩方法。