对分类的影响：分类模型中，模型更偏向对多数类的预测概率，从而导致少数类的预测精度大幅度下降，虽然整体来看精度很好，但这与实际工作不符。

典型场景：

通过make_classification方法创建随机的n类分类数据集

该数据集分布情况如下：

此时不同类的数据分布相对紧密，易于分类。

安装代码：

环境依赖：

网址： https://imbalanced-learn.org/stable/references/index.html

imbalanced库中提供：

但是我们需要谨慎使用这些算法，因为它们往往会改变数据的原始分布。

目的：减少多数类的数量，简单来看就是数据清洗，洗掉一部分数据。

原理：从多数类中随机选择一些样样本组成样本集。 代码：

原理：

距离的计算可以使用欧式距离、曼哈顿距离、切比雪夫距离等

代码：

原理：遍历多数类的样本，如果他的大部分k近邻样本都跟他自己本身的类别不一样，我们就将他删除。

代码：

参数kind_sel:

原理：重复以上ENN的过程直到没有样本可以被删除。

代码：

原理：将组成Tomek link的两个样本，如果有一个属于多数类样本，就将该多数类样本删除掉。

代码：

目的：为少数类别增加新样本

原理：在少数类中选择部分样本进行复制，从而扩大少数累的样本量。

代码：

原理：对随机过采样方法的一个改进算法，通过对少数类样本进行插值来产生更多的少数类样本。

缺点：

原理：将少数类样本分为safe、danger、noise，仅对danger的样本进行smote采样

1. Noise： 所有的k近邻个样本都属于多数类； 2. Danger ： 超过一半的k近邻样本属于多数类； 3. Safe： 超过一半的k近邻样本属于少数类。

代码：

原理：就是对不同的少数类样本赋予不同的权重，从而通过smote算法生成不同数量的样本，往往样本k近邻上的多数类样本越多，该样本生成的样本也越多。

代码：

以及部分数据增强的方法

原理：由于在过采样的过程中，会出现重复样本，因此需要欠采样中的数据清洗方法对重复样本进行剔除。先进行过采样，再通过欠采样中的算法对重复样本进行剔除。

代码：

翻转，旋转，裁剪（Cutout），变形，缩放

噪声、模糊、颜色变换、擦除、填充

在机器学习中，可以通过修改模型中的“class_weight”参数，从而调节不均衡样本的惩罚权重。

代码：

效果：

提升了一点，在测试集上的改进会更加显著。

代码：

效果：

精度同样有所提高，但是容易过拟合，只能调低参数C。

focal loss由何凯明提出，用于解决数据不平衡对深度学习模型造成的模型性能问题

Loss=L(y,\hat{p} )=-ylog(\hat{p})-(1-y)log(1-\hat{p})

其中 \hat p 为预测概率。

在二分类下， L 如下形式： L_{ce}(y,\hat p)=\left\{\begin{matrix} -log(\hat p) & y=1\\ -log(1-\hat p) & y=0 \end{matrix}\right.

在交叉熵损失函数（CE）的基础上增加了类别的不同权重以及困难（高损失）样本的权重。

L=\frac{1}{N}\sum_{N}^{i=1}l(y_{i},\hat P_{i})

在二分类中，L表示如下：

L=\frac{1}{N}(\sum_{y_{i}=1}^{m}-log(\hat p)+\sum_{y_{i}=0}^{n}-log(1-\hat p))

当样本分布失衡时，在损失函数L的分布也会发生倾斜，多数类样本就会在损失函数占据主导地位。由于损失函数的倾斜，模型训练过程中会倾向于样本多的类别，造成模型对少样本类别的性能较差。

从样本分布角度对损失函数添加权重因子。

原理：基于样本非平衡造成的损失函数倾斜，一个直观的做法就是在损失函数中添加权重因子，提高少数类别在损失函数中的权重，平衡损失函数的分布。

在二分类下，变为如下形式： L=\frac{1}{N}(\sum_{y_{i}=1}^{m}-\alpha log(\hat p)+\sum_{y_{i}=0}^{n}-(1-\alpha )log(1-\hat p))

其中 \frac{\alpha}{1-\alpha}=\frac{n}{m} ，即权重的大小根据正负样本的分布进行设置。

从样本分类难易程度解决问题 原理：从loss的另一角度的解决方法，就是针对样本难易程度进行权重的分配，对难分类的样本赋予更大的权重，对于易分类的样本赋予较小的权重。 具体形式如下： L_{fl}=\left\{\begin{matrix} -(1-\hat p)^{\gamma}log(\hat p) & y=1\\ -\hat p^{\gamma}log(1-\hat p) & y=0 \end{matrix}\right.

\gamma 的意义为可调节因子，

其中 \gamma 均大于0，定义 p_{t} 如下：

p_{t}=\left\{\begin{matrix} \hat p & y=1\\ 1-\hat p & y=0 \end{matrix}\right.

因此focalloos表达式变形如下： L_{fl}=-(1-p_{t})^{\gamma}log(p_{t}) 交叉熵表达式变形如下： L_{ce}=-log(p_{t}) 相比较两个表达式，可以发现：fl表达式比交叉熵表达式多了一个可调节因子 (1-p_{t})^{\gamma} 对于分类正确的样本，该因子趋于0。 - 对于分类错误的样本，该因子趋于1。 因此，fl对于分类错误的样本，损失项相较于交叉熵没有变化，而对于分类正确的样本，损失相对于交叉熵缩小了，整体而言，fl相对于交叉熵整体缩小了，增加了分类不正确样本在损失函数中的权重。 p_{t} 衡量了分类的难易程度， p_{t} 越大，分类置信度越高，即越容易分类。fl相当于增加了难分样本在损失函数中的权重，使得损失函数倾向于难分的样本。 但并不是难分样本永远都是难分，易分样本也可能会逐渐变成难分样本，从而导致模型收敛较慢，因此应当适当降低学习率，以防止 p_{t} 的巨大改变。

代码：

目标检测领域中所提出的算法，用来对困难负样本进行挖掘，基准算法是Fast R-cnn。 基本原理与focal loss相似，都是针对难分的样本。 选择一些hard examples（多样性和高损失的样本）作为训练的样本，针对性地改善模型学习效果。

第一块ROI层会得到所有ROI的loss，根据hard ROI sampler结构根据损失排序选出hard example，并将这些hard example作为第二块ROI层的输入。

树模型要比逻辑回归模型要在不平衡数据集上表现更优秀

原理：采用集成学习机制来处理随机欠采样的信息丢失问题

基于无监督的方式进行欠采样。 为了克服随机欠采样方法导致的信息缺失问题，又要保证算法表现出较好的不均衡数据分类性能。基于均衡样本集的Adaboost分类器的集成算法，就是对多数类样本进行n次欠采样，得到n个模型。

基于有监督结合boosting的方式。 基于Adaboost，将Adaboost作为基分类器，其核心思路是在每一轮训练时都使用多数类与少数类数量上相等的训练集，然后使用该分类器对全体多数类进行预测，通过控制分类阈值（即概率超过多少判定为少数类）来控制FP（False Positive）率，将所有判断正确的类（数量为负样本总数×（1-FP））删除，然后进入下一轮迭代继续降低多数类数量。

通过数据挖掘方法发现与数据集分布不一致的异常数据。

网址：https://mp.weixin.qq.com/s?__biz=MzI4MDYzNzg4Mw==&mid=2247552622&idx=5&sn=8911513d9c1a1306da590bfd659b70f8&chksm=ebb736badcc0bfac43536a905ef999f29e5c618bb3bc41395a57b13b4306f8315055ccd08dc1&scene=27

Aucurracy=\frac{TP+TN}{TP+FP+TN+FN}

Precision=\frac{TP}{TP+FP}

Recall=\frac{TP}{TP+FN}

\frac{1}{F1}=\frac{1}{2}({\frac{1}{Precision}+\frac{1}{Recall}})

ROC曲线下面积就是AUC ROC曲线的横轴是TPR（recall），纵轴是FPR

R-P曲线的横轴是Recall，纵轴是Precision RP曲线下面积就是AUPRC，往往AUPRC 正样本个数严重小于负样本个数，收据严重倾斜时，P-R曲线相比较于ROC曲线更加适合