大模型运行推理显存计算器

您所在的位置:网站首页 显存520mb 大模型运行推理显存计算器

大模型运行推理显存计算器

2024-07-17 00:47| 来源: 网络整理| 查看: 265

大模型的显存占用主要取决于以下几点:

参数规模:以常见的大模型 Llama2 为例,其常见的参数量包括 7B、13B、70B;其中B表示十亿(billion)的参数级别,7B也就代表70亿个参数 参数精度:常见的浮点精度包括float32(占用4字节,32bit)、float16(16bit)、int8(8bit)、int4(4bit)等,占用空间依次递减,但模型的预测效果也会下滑 中间过程:模型推理时还需要存储一些中间过程文件,因此实际显存占用会比计算值高一些

本页面的大模型显存尽显推理阶段,不包括训练阶段,训练阶段需要十几倍甚至二十倍的显存。所以本页得出的显存容量只是最小显存容量的参考值,不能确保一定可以完美运行大模型推理。

模型训练时的显存占用影响因素:参数量、梯度、优化器参数、样本大小、BatchSize。由于训练模型的大佬已经比较熟悉原理了,这个工具就没有什么用了,所以不提供训练模型的显存计算。



【本文地址】


今日新闻


推荐新闻


CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3