模型量化

2024-07-04 15:46| 来源: 网络整理| 查看: 265

模型量化-有校准数据训练后量化¶

本文首先简单介绍有校准数据训练后量化，然后说明产出量化模型、量化模型预测，最后给出一个使用示例。如果想快速上手，大家可以先参考使用示例，再查看详细使用方法。

1 简介¶

有校准数据训练后量化，使用少量校准数据计算量化因子，可以快速得到量化模型。使用该量化模型进行预测，可以减少计算量、降低计算内存、减小模型大小。

有校准数据训练后量化中，有两种计算量化因子的方法，非饱和量化方法和饱和量化方法。非饱和量化方法计算整个Tensor的绝对值最大值abs_max，将其映射为127。饱和量化方法使用KL散度计算一个合适的阈值T (0

【本文地址】

今日新闻