训练得到一个模型之后，我们可能会问的一个最基本的问题是：哪些特征对预测结果的影响最大？这一概念叫做特征重要性。

测量特征重要性的方法有多种。有些方法对上述问题的不同版本做出了微妙的回答。其他方法也存在documented shortcomings。

与其它方法相比，排列重要性具有以下优点：

排列重要性使用模型的方式与你迄今为止所见到过的都不同，而且在一开始，很多人都会对其感到很困惑。所以首先举一个例子来具体介绍以下它。

假定有以下格式的数据集： 我们想用一个人10岁的数据去预测他20岁的身高是多少？ 数据中包含：

排列重要性是要在模型拟合之后才能进行计算。 所以对于给定的身高、股票数量等取值之后，计算排列重要性并不会改变模型或者是它的预测结果。相反，我们会问以下问题：如果随机打乱验证数据某一列的值，保持目标列以及其它列的数据不变，那么这种操作会在这些打乱的数据上对预测准确率产生怎样的影响？ **对某一列进行随机排序应当会降低预测的准确率，这是因为产生的数据不再对应于现实世界中的任何东西。如果随机打乱的那一列模型预测对其依赖程度很高，那么模型准确率的衰减程度就会更大。**在这个例子中，打乱height at age 10将会让预测结果非常差。但是如果我们随机打乱的是socks owned，那么产生的预测结果就不会衰减得那么厉害。

有了上述认识之后，排列重要性就按照以下步骤进行计算：

下面的例子会用到这样一个模型，这个模型用球队的统计数据预测一个足球队会不会出现“全场最佳球员”。“全场最佳球员”奖是颁发给比赛里表现最好的球员的。我们现在关注的并不是建模的过程，所以下面的代码只是载入了数据，然后构建了一个很基础的模型。

数据预览: 下面演示如何用eli5库计算和展示排列重要性。

对于sklearn兼容的估计器eli5提供了PermutationImport包装器。如果想将此方法用于其他估计器，可以将它们包装在与 sklearn 兼容的对象中，或者使用eli5.permutation _ important模块，该模块具有基本的构造块。

例如，可以通过下面的方法检查skLearn.svm.SVC分类器的特性重要性，当使用非线性内核时，eli5不直接支持该分类器:

如果没有单独的保留数据集，可以将PermutationImport安装在用于训练的相同数据上; 这仍然允许检查模型，但是不显示哪些特性对于泛化是重要的。 对于非sklearn模型，可以使用eli5.permutation_ important. get _ score _ important () :

这种方法不仅适用于introspection，也适用于特征选择——人们可以使用排列重要性计算特征重要性，然后使用sklearn的SelectFromModel 或RFE去掉不重要的特征。在这种情况下，传递给PermutationImport的估计器不一定fit; 特性重要性可以针对多个 train/test 拆分计算，然后取平均值：

请注意，排列重要性应该谨慎地用于特征选择(像许多其他特征重要性度量)。例如，如果几个特征是相关的，并且估计器平等地使用它们，那么对于所有这些特征，置换重要性可能会很低: 放弃一个特征可能不会影响结果，因为估计器仍然可以从其他特征获得相同的信息。因此，如果基于重要性阈值删除特征，那么这些相关特征可以同时删除，而不管它们是否有用。RFE 和类似的方法(相对于单阶段特征选择)可以在一定程度上帮助解决这个问题。

下图是随即森林模型和决策树模型的特征重要性结果： 可以看到对于最总要的特征，两个模型的意见是一致的，那就是进球数（Goals scored），然而对于第二重要的特征，随机森林认为射中目标最为重要，然而决策树认为，发更多的角球才是王道，坚决放弃控球，虽然随即森林认为发角球鸟用都没有，是最不重要的。

在了解了特征重要性后，我们还想了解每一个特征具体是如果影响模型决策的，这个时候就可以利用PDP或者ICE来进一步分析。PDP的基本思路就是控制其它所有特征不变，改变要分析的特征，看看它对预测结果的影响。ICE和PDP类似，ICE会显示所有实例上的分析结果。

（1）首先分析进球数对预测的影响

从PDP图中可以看出从不进球到近一个球，对预测的结果又一个明显的上升的影响趋势。然而进一个球之后，进太多的球对预测结果影响很低。 （2）然后分析跑动距离对预测结果的影响。

可以看出，当全队的跑动距离在100KM的时候，获得最佳球员的概率最大，然而跑动更多，概率反而下降了。

Sklearn也提供了PDP的支持：

PDP最多可以分析两个特征。上图中的最后一个PDP图就是包含了对进球数和控球两个特征的分析。

PDP一般只针对某一个特征进行分析，最多两个，我们可以看出当分析两个特征的时候，PDP图已经不是一目了然的清楚了。Sharpley Value可以针对某一个数据实例，对所有的特征对预测的贡献作出分析。

首先，选取某一个训练数据，假定为第五个训练数据。该数据的具体内容如下：

从预测上看，随机森林模型和决策树模型都认为该比赛本队获得最佳球员的可能性很大，其中决策树模型更是给出了100%的预测概率。那么我们就来看看利用Sharpley Value，每一个特征的具体贡献。

利用TreeExplainer可以分析决策树模型中，对该条数据的解释。红色部分表示正面的影响，蓝色是负面影响，Base Value 0.5是基准值，进球，射门数，犯规，角球和控球率等都提供了正分数，进球影响最大。而控球率等其它指标则提供了负分。总共一起，贡献了最终的输出值1。

KernelExplainer可以针对一般的模型进行Sharpley Value的分析，但是运算要慢一些。

上图是利用KernelExplainer，针对同一场比赛，对于随即森林模型的解释。

Summary Plot给出了所有数据点的分析汇总:

横坐标表示改值对于预测是正面的还是负面的，颜色标志了该值的大小。对于进球，我们发现，当进球数高的时候（红色），多为正面影响，而进球数低的时候，多为负面影响。有意思的黄牌数，大部分情况无论颜色，所有的点都集中在中间，也就是说得多少黄牌对于是否能评选本场最佳影响不大，然而有一场比赛，有一个特例，高的黄牌数对是否获得本场最佳产生了很大的负面影响。

还可以利用shap.dependence_plot来分析两个特征之间的相互影响:

上图是控球和进球数两个指标对Sharpley Value的影响。同样的，当出现位置，颜色两个可视化属性来提供分析的时候，我们人类是很难很好的读出图中的含义的。我们把焦点放在右下角的两个点。这两个点是所有比赛中控球率最高的两场比赛，但是右边这个点的Sharpley Value更低，从这个角度来看更多的控球对于本队获得最佳球员，更为不利。

LIME 全称是local interpretable model-agnostic explanations直译是局部可解释的模型无关的解释，非常拗口。LIME针对某个实例，假定在局部，模型是简单的线性模型，对该数据点作出解释，是一种解释黑盒估计量预测的算法。

类似的，随机从训练集中取出一个点，用LIME来进行解释。该场比赛的数据如下：

分别使用随机森林模型和决策树模型进行预测：

利用LIME，可以给出LIME对于决策树模型下，给场比赛的解释。

比起本文中的表数据，LIME跟擅长对于文本数据和深度神经网络进行解释。

本文利用俄罗斯世界杯数据，构建了两个模型（随机森林模型和决策树模型）来预测本场最佳球员，并利用Permutation Importance/PDP/Sharpley Value/LIME等工具来对这两个模型进行解释，并给出一些如何解释机器学习模型的实际操作的例子。可以看出，虽然有诸多的工具，但是对于模型的解释还是需要利用对足球的理解和知识来阐述的，也就是说所有提供解释不可避免的需要领域专家的介入。

[1] Permutation Importance [2] Permutaion Importance —— 排列重要性 [3] 机器学习模型可解释性实战-预测世界杯当场最佳 [4] Permutation Importance [5] LIME