下一节：总结：https://blog.csdn.net/Carl_changxin/article/details/88528303

数据类型：数据对象的属性可以具有不同的数据类型，数据类型决定了可以使用何种工具和技术来分析数据，此外新的数据挖掘研究常常是由适应新的应用领域和新的数据类型的需要推动的。

数据的质量：数据质量问题包括存在噪声和离群点，数据遗漏，数据不一致或重复，数据有偏差，数据不能代表描述所设想的现象。注重理解和提高数据质量可以改进分析结果的质量。

使数据更适合数据挖掘的预处理技术：通常原始数据必须进行处理，使之更适合于分析。如提高数据的质量，关注修改数据，使之更好地适应特定的数据挖掘技术或工具。比如将连续型属性（长度）转换成离散的分类值（长、短），以便使用特定的技术。再如，将数据集属性的数目减少，通常会使技术更加有效。

根据数据联系分析数据：数据分析的一种方法是找出数据对象之间的联系，然后使用这些联系而不是数据本身进行其余的分析。比如我们计算对象之间的相似度或距离，然后根据这种相似度或距离进行分析（聚类，分类或异常检测）。

数据集是数据对象的集合；数据对象用一组刻画对象的基本特性的属性描述。而数据对象的属性可以具有不同的数据类型。

1、属性（也称特征或变量）

属性：是对象的性质，属性因对象而异，或随时间而变化（如温度）。

测量标度：是将数值或符号值和对象的属性相关联的规则。比如将人分成男女就是使用测量标度（规则可以是辨别是否有喉结）将一个值（男或女）同一个特定对象的特定属性（某人的性别）相关联。

2、属性类型

通常称测量标度的类型

属性类型的定义：比如长度作为属性，有数值的许多性质，如按照长度比较，长度的差和比例等等。可以用数值的性质（即操作）来对属性进行分类。

3、用值的个数描述属性

离散的：离散属性具有有限个或无限个可数值。离散属性可以是分类的，比如ID号；也可以是数值的，比如计数。二元属性（0-1）是离散属性的一种特殊情况。

连续的：比如温度，高度或重量等属性。

注：任何测量标度类型是可以和属性值个数的任意类型组合的。然而，有些组合是没有意义的。

注：通常，标称和序数属性是二元或离散的，而区间和比率属性是连续的。然而，计数属性是离散的也是比率属性。

4、非对称属性

对于非对称属性，出现非零属性值是最重要的。比如，数据集中的每个对象都是学生，每个属性记录了学生是否选修了某门课程，选了该门课程即为1，否则即为0。由于学生只选修可选课程的很小一部分，这种数据集大部分值都为0。因此关注非0值将更加有意义，更有效。只有非0值才重要的二元属性是非对称的二元属性。

1、数据集的一般特性

维度：是指数据集中的对象具有的属性数目。高维数据难以处理，因此数据预处理的一个重要动机是维规约。

稀疏度：对于一些数据集，如具有非对称特征的数据集，一个对象的大部分属性上的值都是0，非0项不到1%，由于只有非零值才需要存储和处理，因此稀疏性是一个优点。

分辨率：在不同的分辨率下的到的数据性质不同。比如在数米的分辨率下，地球表面看上去很不平坦，但在数十公里的分辨率下却相对平坦。再如小时标度下的气压变化可以反应风暴的移动，而在月标度下就检测不到。

为方便起见，将数据集类型分成三组：记录数据，基于图形的数据和有序的数据。这些分类不可能涵盖所有的可能，存在其它可能的分类。

2、记录数据

许多数据挖掘任务都假定数据集是记录（也即数据对象）的汇集，每个记录包含固定的数据字段集（即属性集）。如图a

不同类型的记录数据如下：

3、基于图形的数据

4、有序数据

与数据质量相关的概念：

1、测量和数据收集问题

测量误差：测量过程中导致记录的值和实际值不同，测量值和实际值的差称为误差

数据收集错误：比如遗漏数据对象或属性值，不正确的包含数据对象等错误

2、噪声：许多数据挖掘工作都关注设计鲁棒算法，即使存在噪声也能产生可以接受的结果。

3、离群点

4、遗漏值

处理遗漏值的策略：

5、不一致的值：纠正

6、重复数据：需要去重复

1、聚集

比如：现有一个数据集记录了一年内的在各地的商店商品日销售情况。对该数据集聚集的一种方法就是，只选择一年的某一天的商店商品销售记录，这样就把数据对象的个数降低成商店的个数。

如何创建上面的聚集事务，即对于一个特定商店的所有记录要用单个日销售记录代替，如何合并记录的每个属性。定量属性（价格）一般求和或者求平均值；定性属性（商品）可以忽略或汇总在商店销售的所有商品的集合。

聚集的好处：更具有整体性，更稳定

聚集的缺点：可能不能观测到细节，比如在月上的聚集就丢失了星期几最高销售额的信息。

2、抽样

抽样是一种选择数据对象子集进行分析的常用方法。数据挖掘中使用抽样是因为处理所有的数据费用太高、太费时间。使用抽样可以压缩数据量，使得可以使用更好但开销更大的算法。

选择一个确保以很高的概率得到有代表性的样本的抽样方案，涉及选择适当的样本尺寸和抽样技术。

如下是一些基本的抽样技术（方法）：

3、维规约

维规约：通过创建新属性，将一些旧属性合并在一起，降低数据集的维度。通过选择旧属性的子集得到新属性称为特征子集选择或特征选择。

维规约的好处：

维灾难：随着数据维度的增加，许多数据分析变得非常困难。随着维度的增加，数据在它所占据的空间中越来越稀疏。对于分类，可能意味着没有足够的数据去创建模型，可靠地将所有可能的对象指派到一个类。对于聚类，点之间的密度和距离的定义变得不太有意义。结果是对于高维数据，许多分类和聚类算法（以及其它数据分析算法）都有麻烦，分类准确率降低，聚类质量下降。

维规约的线性代数技术：

4、特征子集选择

冗余特征：即某个属性重复了其它属性中的部分或全部内容；比如一种产品的价格和销售税额具有许多相同的信息。

不相关特征：即某个属性的内容对数据挖掘任务起不到作用；比如学生的ID对于预测学生的总平均成无关。

冗余和不相关特征可能会降低分类的准确率或所发现的聚类的质量。

特征子集选择的理想方法：将所有可能的特征子集作为感兴趣的数据挖掘算法的输入，选择产生最好结果的子集。该方法在大部分情况下行不通，因为涉及n个属性的子集会多达2的n次方个。

因此需要其它特征子集选择策略：

特征子集选择的流程图：

5、特征创建

三种创建新属性的方法：

6、离散化和二元化

二元化举例：若有m个分类值，则将每个原始值唯一地赋予区间[0，m-1]中的一个整数。再将这m个整数变换成一个二进制数。如一个具有5个值{awful，poor，OK，good，great}的分类变量需要三个二元变量x1，x2，x3。

这样的变换可能导致复杂化，如无意间建立了转换后的属性之间的联系。如属性x2和x3是相关的，因为good的值是使用这两个属性表示。此外对于关联问题，关联分析需要非对称的二元属性，即只有值为1的才是最重要的，因此需要为每个分类值引入一个二元属性，如下图。

连续属性离散化举例：一般，离散化用在分类或关联分析中使用到的属性上。连续属性离散化需要解决两个问题，首先需要分多少类，其次如何将连续属性映射到这些分类值。

非监督离散化：不使用类信息的离散化方法。例如，等宽方法将属性的值域划分成具有相同宽度的区间，而区间的个数由用户指定。这种方法可能受到离群点的影响，因此等频率（等深）方法更好。等频率方法试图将相同数量的对象放进每个区间。还有k均值等聚类方法也是一种离散化方法。

监督化离散：基于熵的方法是最有前途的离散化方法之一。

定义熵，设k是不同的类标号，mi是某划分的第i个区间中值的个数，而mij是区间i中类j的值的个数。则第i个区间的熵ei如下：

划分的中熵e是每个区间的熵的加权平均，即：

从熵的定义可知，区间的熵是区间纯度的度量。即一个区间若只有一个类的值，则其熵是0；若区间中的类值出现的频率相等（该区间尽可能不纯），则其熵最大。

划分连续属性的一种简单方法：先将初始值切分成两部分，得到两个结果区间产生的最小熵。然后选区最大熵的区间，重复切分过程，直到区间个数达到用户指定的个数。

7、变量变换

变量变换（属性变换）是指用于变量的所有值的变换。即对于每个对象，变换都作用于该对象的变量值。如取绝对值对变量进行变换

两种变量变换的类型：

1、概念

在许多情况下，一旦计算出相似性和相异性，原始数据就不再需要了；这种方法可以看作将数据变换到相似性（相异性）空间，然后分析。

我们用邻近性表示相似性或相异性；邻近度是两个对象对应属性之间的邻近度的函数；邻近度度量包括相关和欧几里得距离度量，对于时间序列这样的稠密数据或二维点是有用的；还包括Jaccard和余弦相似性度量，对于文档这样的稀疏数据是有用的。

相似度的概念，是指两个对象的相似程度的数值度量。通常在[0,1]之间取值，0表示不相似，1表示完全相似。

相异度的概念，和术语距离是同意词，是两个对象差异程度的数值度量。有时在[0,1]之间取值，也可在[0,无穷]之间取值。

2、数据对象之间的相异度：

距离一般具有如下的几个性质：满足以下三个性质的测度称为度量；