目录

一、EM算法的步骤

二、EM算法的工作原理

三、在sklearn中创建GMM模型

四、工作流程

五、实战环节

1. 导包

2. 加载数据

3. 数据可视化分析

4. 特征工程

5. 数据规范化

6. 建模并产生结果，写入文件

7. 显示聚类后的结果

8. 聚类结果的评估

本篇理论性不多，主要是部分总结及实战内容。

EM算法（英文叫做Expectation Maximization，最大期望算法）三个主要的步骤：

EM算法一般用于聚类，也就是无监督模型里面，因为无监督学习没有标签，EM算法可以先给无监督学习估计一个隐状态（即标签），有了标签，算法模型就可以转换成有监督学习，这时就可以用极大似然估计法求解出模型最优参数。其中估计隐状态流程应为EM算法的E步，后面用极大似然估计为M步。

下面介绍一下两种不同类型的聚类算法：

EM 算法相当于一个框架，你可以采用不同的模型来进行聚类，比如 GMM（高斯混合模型），或者 HMM（隐马尔科夫模型）来进行聚类。

本案例采用GMM高斯混合模型。因此将介绍下如何在sklearn中创建GMM聚类。

gmm = GaussianMixture(n_components=1, covariance_type='full', max_iter=100)

看一下这几个参数：

1. n_components：即高斯混合模型的个数，也就是我们要聚类的个数，默认值为 1。如果你不指定 n_components，最终的聚类结果都会为同一个值。

2. covariance_type：代表协方差类型。一个高斯混合模型的分布是由均值向量和协方差矩阵决定的，所以协方差的类型也代表了不同的高斯混合模型的特征。协方差类型有 4 种取值：

3. max_iter：代表最大迭代次数，EM 算法是由 E 步和 M 步迭代求得最终的模型参数，这里可以指定最大迭代次数，默认值为 100。

创建完GMM聚类器之后，可以传入数据让它进行迭代拟合。我们使用 fit 函数，传入样本特征矩阵，模型会自动生成聚类器，然后使用 prediction=gmm.predict(data) 来对数据进行聚类，传入你想进行聚类的数据，可以得到聚类结果 prediction。

我们使用王者荣耀英雄数据集来进行聚类，数据包括 69 名英雄的 23 个特征属性。这些属性分别是，英雄，最大生命，生命成长，初始生命，最大法力，法力成长，初始法力，最高物攻，物攻成长，初始物攻，最大物防，物防成长，初始物防，最大每5秒回血，每5秒回血成长，初始每5秒回血，最大每5秒回蓝，每5秒回蓝成长，初始每5秒回蓝，最大攻速，攻击范围，主要定位，次要定位。 

王者荣耀英雄数据集链接：https://github.com/cystanford/EM_data

先划分一下流程：

整个训练过程基本上都会包括三个阶段：

首先加载数据集；

在准备阶段，我们需要对数据进行探索，包括采用数据可视化技术，让我们对英雄属性以及这些属性之间的关系理解更加深刻，然后对数据质量进行评估，是否进行数据清洗，最后进行特征选择方便后续的聚类算法；

聚类阶段：选择适合的聚类模型，这里我们采用 GMM 高斯混合模型进行聚类，并输出聚类结果，对结果进行分析。

我们将 18 个英雄属性之间的关系用热力图呈现了出来，中间的数字代表两个属性之间的关系系数，最大值为 1，代表完全正相关，关系系数越大代表相关性越大。

从图中你能看出来“最大生命”“生命成长”和“初始生命”这三个属性的相关性大，我们只需要保留一个属性即可。同理我们也可以对其他相关性大的属性进行筛选，保留一个。 这既是对原有属性进行降维。

我们能看到“最大攻速”这个属性值是百分数，不适合做矩阵运算，因此我们需要将百分数转化为小数。我们也看到“攻击范围”这个字段的取值为远程或者近战，也不适合矩阵运算，我们将取值做个映射，用 1 代表远程，0 代表近战。然后采用 Z-Score 规范化，对特征矩阵进行规范化。

我们采用了 GMM 高斯混合模型，并将结果输出到 CSV 文件中。聚类个数为 30。

第一列代表的是分组（簇），我们能看到百里守约和成吉思汗分到了一组，哪吒、杨戬和夏侯惇是一组，亚瑟自己是一组，甄姬、干将莫邪和小乔是一组。

聚类的特点是相同类别之间的属性值相近，不同类别的属性值差异大。

聚类和分类不一样，聚类是无监督的学习方式，也就是我们没有实际的结果可以进行比对，所以聚类的结果评估不像分类准确率一样直观，那么有没有聚类结果的评估方式呢？这里我们可以采用 Calinski-Harabaz 指标，代码如下：

指标分数越高，代表聚类效果越好，也就是相同类中的差异性小，不同类之间的差异性大。当然具体聚类的结果含义，我们需要人工来分析，也就是当这些数据被分成不同的类别之后，具体每个类表代表的含义。