全球算力激增!算力需求驱动AI服务器需求快速增长(附逻辑)

您所在的位置:网站首页 推理AI芯片 全球算力激增!算力需求驱动AI服务器需求快速增长(附逻辑)

全球算力激增!算力需求驱动AI服务器需求快速增长(附逻辑)

2024-01-15 04:17| 来源: 网络整理| 查看: 265

全球算力规模保持高速稳定增长态势。算力需求驱动全球服务器市场持续增长,训练数据规模和模型复杂度提升,推动AI服务器需求快速增长。

点击输入图片描述(最多30字)

1、算力场景向AI升级,CPU+GPU是核心

服务器随着场景需求经历通用服务器-云服务器-边缘服务器-AI服务器四种模式,AI服务器采用GPU增强其并行计算能力;

AI服务器按应用场景可分为训练和推理,训练对芯片算力的要求更高,根据IDC,随着大模型的应用,2025年推理算力需求占比有望提升至60.8%;

AI服务器按芯片类型可分为CPU+GPU、CPU+FPGA、CPU+ASIC等组合形式,CPU+GPU是目前国内的主要选择(占比91.9%);

AI服务器的成本主要来自CPU、GPU等芯片,占比25%-70%不等,对于训练型服务器其80%以上的成本来源于CPU和GPU。

2、ChatGPT等大模型训练和推理需求激增驱动AI服务器市场高速增长

据ARKInvest预测,ChatGPT-4参数量最高达15000亿个,由于参数量与算力需求间存在正比关系,所以可推算GPT-4算力需求最高达到31271PFlop/s-day。随着国内外厂商加速布局千亿级参数量的大模型,训练需求有望进一步增长,叠加大模型落地应用带动推理需求高速增长,共同驱动算力革命并助推AI服务器市场及出货量高速增长。

3、国产芯片推理接近国际一流水平,国产AI服务器有望受到下游需求拉动

美国对中国禁售英伟达高性能芯片A100和H100,英伟达特供中国的削弱互联带宽的版本A800或为当前可替代方案;

以海光信息、壁仞科技等为代表的国产GPU部分单卡指标接近英伟达,在推理场景中具有一定竞争力;

国产AI服务器厂商全球份额超35%,浪潮信息位列榜首;国产AI服务器厂商各具优势,有望受到下游需求拉动。

点击输入图片描述(最多30字)

东方证券研报指出,为提升服务器性能,AI服务器需搭载多个CPU处理器,同时服务器CPU性能不断升级,要求内存技术同步升级。DDR5、HBM、CXL、NVLink等内存技术将加速渗透,有望充分受益于AI带来的算力需求增长。

东方证券研报指出,为提升服务器性能,AI服务器需搭载多个CPU处理器,同时服务器CPU性能不断升级,要求内存技术同步升级。DDR5、HBM、CXL、NVLink等内存技术将加速渗透,有望充分受益于AI带来的算力需求增长。

1)AI模型数据量和算力需求大

ChatGPT3相较ChatGPT2在数据存储端从百G提升至40T,在存储量上有约100倍的提升,算力需求同样也呈几何倍增长。

据OpenAI测算,2012年以来全球头部AI模型训练算力需求3-4个月翻一番,每年头部训练模型所需算力增长幅度高达10倍,远超摩尔定律的增长速度。美光表示,一个典型的人工智能服务器的DRAM容量是普通服务器的8倍,NAND容量是普通服务器的3倍。

2)AI服务器快速增长,内存技术同步升级

根据TrendForce,预计2022年搭载GPGPU的AI服务器年出货量占整体服务器比重近1%,而2023年ChatGPT相关应用有望再度刺激AI相关领域,预计2023年出货量增长率可达8%,2022-2026年复合成长率将达10.8%。

为提升服务器性能,AI服务器需搭载多个CPU处理器,同时服务器CPU性能不断升级,要求内存技术同步升级。DDR5、HBM、CXL、NVLink等内存技术将加速渗透,有望充分受益于AI带来的算力需求增长。

3)DDR5需要使用更多内存接口芯片

DDR5的内存接口缓存芯片RCD价格远高于DDR4,内存接口芯片有望迎来量价齐升。DDR5芯片需要搭载更多的SPD、电源管理芯片(PMIC)和温度传感器(TS)等配套芯片。

4)HBM为大算力芯片提供支撑

如今搭载于新兴AI应用的内存芯片亟待升级,而HBM是一种基于3D堆叠工艺的DRAM内存芯片,被安装在GPU、网络交换设备、AI加速器及高效能服务器上。

HBM作为一种带宽远超DDR/GDDR的高速内存,将为大算力芯片提供能力支撑,同时生成类模型也会加速HBM内存进一步增大容量和增大带宽。TrendForce预估2023-2025年HBM市场年复合成长率有望成长至40-45%以上。

5)CXL兼容性强、可实现内存一致性

CXL为英特尔于2019年推出的一种开放性互联协议,能够让CPU与GPU、FPGA或其他加速器之间实现高速高效的互联,从而满足高性能异构计算的要求。

在AMD、ARM、IBM以及英特尔等主要CPU供应商的支持下,CXL已经成为领先的行业标准。美光科技在22年5月与投资者交流时曾预测CXL相关产品的市场规模,到2025年预计将达到20亿美金,到2030年可能超过200亿美金。

6)NVLink可最大化提升系统吞吐量

第四代NVIDIA?NVLink?技术可为多GPU系统配置提供高于以往1.5倍的带宽,以及增强的可扩展性。

单个NVIDIAH100TensorCoreGPU支持多达18个NVLink连接,总带宽为900GB/s,是PCIe5.0带宽的7倍。第三代NVIDIANVSwitch?基于NVLink的高级通信能力构建,可为计算密集型工作负载提供更高带宽和更低延迟。NVIDIADGX?H100等服务器可利用NVLink技术来提高可扩展性,进而实现超快速的深度学习训练。

(来源:东方证券、方正证券)



【本文地址】


今日新闻


推荐新闻


CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3