目录

0.引言

一、概念

二、工具

三、建模思路

四、代码

1.数据读取

2.数据集划分

3.特征计算

4.特征分箱

5.转换WOE值

6.特征选择

7.模型训练

8.模型评估

9.模型验证

10.分值转换

评分卡建模的目的是根据现有的数据对用户的好坏进行预测，比如一个人35岁左右，正值事业上升期，拥有高学历，薪资水平稳定，那么我们根据这些特点就可以断定，这个用户大概率是有还款能力的。反之一个18岁的精神小伙，没有经济能力，那么银行是不会给他进行贷款的。

当然，银行绝不可能根据简单的几个特征去判断用户的好坏，银行实际会根据成百上千个维度去进行判别，此时再使用人工来进行判断，不仅非常困难，还存在一定的主观性，不够准确。

下面我们通过一个案例来搞懂这个问题。

我们的目标是：通过银行给出的用户信息来判断用户的好坏，形成一套评分卡模型。

在金融风控领域，评分卡模型是非常常见的一种模型，主要分为三类：

1.申请评分卡（Application score card），称为A卡

2.行为评分卡（Behavior score card），称为B卡

3.催收评分卡（Collection score card），称为C卡

今天我们探讨的主要是A卡。

python作为一种面向对象的语言，拥有庞大的第三方库，上手简单。下面为大家介绍一个评分卡建模的第三方库-toad。

toad由国内一家金融公司进行开发维护，网址如下：

Welcome to toad’s documentation! — toad 0.1.1 documentation

使用的数据集依然还是大家耳熟能详的德国信用卡数据，下面是kaggle的网址：

https:www.kaggle.com/c/GiveMeSomeCredit/data

为了方便大家下载与学习，这里给大家提供一个经过预处理的数据集。

百度网盘下载：

链接：https://pan.baidu.com/s/1Sam9Utr6u7JR2EyGZeP9gQ?pwd=8ijj  提取码：8ijj

1.首先，拿到一份数据集（这里提供了经过预处理的版本），先要查看数据的分布情况以及数据的类型，对数据有个大概的了解，toad可以直接生成EDA（探索性分析，包括均值、中位数、最大最小值等信息）报告。

2.划分数据集，一个机器学习的模型训练，数据集通常分为三部分，包括训练集、测试集、验证集，可以根据自己的数据情况进行划分。

3.特征值计算。评分卡模型使用的指标包含IV值，GINI值等，这都是对于某个指标预测能力的一个量度，具体概念可以自己进行查阅。

4.特征选择与分箱。根据特征值，筛选一些有用的特征，在机器学习中并不是所有的数据都是可用的，往往几十个维度的数据筛选后只能保留十几个甚至几个特征。

分箱通俗的说，就是把数据进行分组，每一组数据中都包含好坏用户，比如100个数据，分为2组，每组50个，其中一组10个坏用户，40个好用户；另一组8个坏用户，42个好用户。分箱的主要目的是去噪,将连续数据离散化后,特征会更稳定。

5.模型训练与评估。

 这部分不用多说，就是查看一下数据的基本状况，主要看看是否有空值。

2.1 这部分有一个数据集划分的函数：train_test_split(train_data,train_target,test_size, random_state=0)，参数从左到右依次是：

这个函数的返回值是四个：Xtr,Xts,Ytr,Yts，样本训练集（里面就是特征，比如年龄、固定资产等）、样本测试集、结果训练集（里面就是结果，也就是好坏用户）、结果测试集。

2.2 下面的pd.concat()用于拼接数据，将训练集与测试集分别拼接在一起，后续继续处理。

下面我们用到了主角toad，进行探索性分析：

结果被保存在excel中，这里就不展示了，自己可以动手尝试一下，看看生成的内容是什么。

3.1 这就是toad包强大的地方，只需要传入数据，不需要经过复杂的预处理，就可以得到数据的特征值，得到的特征值都有各自合适的范围，并不是单纯的越大或者越小越好。

这里说明一下IV值的计算方式，这个是在特征选择中最重要的指标之一。计算IV值之前，还要理解WOE的计算方式，因为IV值的计算是以WOE为基础的。

对于一个分组后的变量，第i组的WOE计算公式如下：

那么对应的第i组的IV值计算公式如下：

再将所有的IV值求和：

 3.2 特征预筛选。

selected_train,drop_lst = toad.selection.select(data_tr,target='SeriousDlqin2yrs',                                                 empty=0.5,                                                 corr=0.7,                                                 return_drop=True,                                                 exclude='type')

这里说一下toad.selection.select方法，用于筛选数据，传入的参数分别为：

data_tr：训练用的特征数据

target：结果数据

empty：缺失值大于多少进行删除

corr：保留相关性大于多少的数据

return_drop: 若为True，function将返回被删去的变量列

exclude: 明确不被删去的列名，输入为list格式

返回的数据是筛选后的数据和删除的内容（格式为list）,所以有两个返回值。

toad的分箱功能支持数值型数据和离散型分箱，默认分箱方法使用卡方分箱。

卡方分箱是自底向上的(即基于合并的)数据离散化方法。它依赖于卡方检验:具有最小卡方值的相邻区间合并在一起,直到满足确定的停止准则。基本思想:对于精确的离散化，相对类频率在一个区间内应当完全一致。因此,如果两个相邻的区间具有非常类似的类分布，则这两个区间可以合并；否则，它们应当保持分开。而低卡方值表明它们具有相似的类分布。

​

这篇文章我们主要讨论过程，就不叙述过多的概念了。

4.1 首先需要初始化一个Combiner类，这就是一个用作分箱的类。

4.2  训练分箱，其中method是分箱方法，类别有：’chi’ (卡方分箱), ‘dt’ (决策树分箱), ‘kmean’ , ‘quantile’ (等频分箱), ‘step’ (等步长分箱)

4.3 查看分箱结果：

为了更直观的观察，还可以把特征的分箱图画出来，这里放几个图片，具体方法会在后面完整代码写出。

 4.5 调整合并分箱

对于离散型的数据可以进行手动分箱：

注意：这些变量其实是我们之前处理过的，为了更好的确定各箱的边界，所以单独再进行设置。

计算后的WOE值我们无法直接使用，需要进行转换：

其实这部分就是很固定的一种写法，在使用自己数据集时把参数进行替换即可。

有的读者看到这里可能会问，为什么要进行两次的特征筛选，是因为我们之前筛选指标的量度只有缺失率和相关性，下面采用的是逐步回归的方法。

说一下toad.selection.stepwise()的参数：

调用逻辑回归进行训练。

后面的步骤比较粗略，有机会再补充。

欢迎批评指正！

完整源码：