GPU及神行工具包(DeepGPU)的优势

您所在的位置:网站首页 阿里云gpu服务器免费 GPU及神行工具包(DeepGPU)的优势

GPU及神行工具包(DeepGPU)的优势

2024-07-12 04:45| 来源: 网络整理| 查看: 265

GPU产品优势

覆盖范围广阔

阿里云GPU云服务器在全球17个地域实现规模部署,覆盖范围广,结合弹性供应、弹性伸缩等交付方式,能够很好地满足您业务的突发需求。

超强计算能力

阿里云GPU云服务器配备业界超强算力的GPU计算卡,结合高性能CPU平台,单实例可提供高达1000 TFLOPS的混合精度计算性能。

网络性能出色

阿里云GPU云服务器实例的VPC网络最大支持450万的PPS及32 Gbit/s的内网带宽。在此基础上,超级计算集群产品中,节点间额外提供高达50 Gbit/s的RDMA网络,满足节点间数据传输的低延时高带宽要求。

购买方式灵活

支持灵活的资源付费模式,包括包年包月、按量付费、抢占式实例、预留实例券、存储容量单位包。您可以按需要购买,避免资源浪费。

说明

部分GPU实例规格族不支持使用预留实例券。更多信息,请参见预留实例券属性。

神行工具包(DeepGPU)优势

神行工具包中的组件主要包括神龙AI加速引擎AIACC、AI分布式训练通信优化库AIACC-ACSpeed、AI训练计算优化编译器AIACC-AGSpeed、集群极速部署工具FastGPU以及GPU容器共享技术cGPU,其各自具有以下核心优势。

神龙AI加速引擎AIACC

神龙AI加速引擎AIACC作为阿里云自研的AI加速器,在训练及推理场景下具有其显著的性能优势,能够提高计算效率同时降低使用成本。

统一加速

提供对TensorFlow、Caffe、MXNet和PyTorch多种人工智能框架的统一加速。

性能深度优化

基于阿里云IaaS基础资源(GPU、CPU、网络以及I/O等基础设施)提供性能的深度优化。

弹性伸缩

基于IaaS基础资源,支持一键构建、弹性伸缩。

开源兼容

轻量便捷、开源兼容。您基于开源框架编写的算法代码或模型代码,几乎无需进行修改。

AI分布式训练通信优化库AIACC-ACSpeed

AIACC-ACSpeed(AIACC 2.0-AIACC Communication Speeding)作为阿里云自研的AI训练加速器,专注于分布式训练场景的通信优化功能,在训练场景下具有其显著的性能优势,提高计算效率的同时能够降低使用成本。

定制优化

提供针对PyTorch热门框架的特定优化,适用于所有模型的训练场景。

统一加速

基于nccl-plugin组件功能,提供对TensorFlow、Caffe、MXNet多种人工智能框架的统一加速。

性能深度优化

基于阿里云IaaS基础资源(GPU、CPU、网络以及I/O等基础设施)提供性能的深度优化。

弹性伸缩

基于阿里云IaaS基础资源,兼容PyTorch原生特性,支持一键构建和弹性伸缩功能。

开源兼容

轻量便捷、开源兼容。您基于开源框架编写的算法代码或模型代码,几乎无需进行修改。

如果您想了解ACSpeed在训练模型时的性能优势,更多信息,请参见AIACC-ACSpeed性能数据。

AI训练计算优化编译器AIACC-AGSpeed

AIACC-AGSpeed(简称AGSpeed)作为阿里云自研的AI训练计算优化编译器,针对PyTorch热门框架训练场景中存在的计算瓶颈进行深度优化,具有其显著的性能优势,在提高训练效率的同时能够降低使用成本。

定制优化

提供针对PyTorch热门框架的特定优化,适用于PyTorch框架的所有模型的训练场景。

无感加速

通过TorchScript在PyTorch框架中获取后端编译器可优化的静态计算图,属于当前较成熟的方案,但该方案仍无法做到完全地准确与无感。相比PyTorch原生提供的TorchScript前端,AGSpeed具有无感加速的性能优势,具体说明如下所示。

性能深度优化

基于阿里云IaaS基础资源(GPU、CPU、网络以及I/O等基础设施)提供性能的深度优化。

开源兼容

轻量便捷、开源兼容。您基于开源框架编写的算法代码或模型代码,几乎无需进行修改。

集群极速部署工具FastGPU

使用FastGPU构建人工智能计算任务时,您无需关心IaaS层的计算、存储、网络等资源部署操作,简单适配即可一键部署,帮助您节省时间成本以及经济成本。

节省时间

一键部署集群。无需分别进行IaaS层计算、存储、网络等资源的部署操作,将部署集群的时间缩短到5分钟。

通过接口和命令行管理任务和资源,方便快捷。

节省成本

当数据集完成准备工作并触发训练或推理任务后,才会触发GPU实例资源的购买。当训练或推理任务结束后,将自动释放GPU实例资源。实现了资源生命周期与任务同步,帮助您节省成本。

支持创建抢占式实例。

易用性好

所有资源均为IaaS层,可访问、可调试。

满足可视化和log管理需求,保证任务可回溯。

GPU容器共享技术cGPU

GPU容器共享技术cGPU拥有节约成本和可灵活分配资源的优势,从而实现您业务的安全隔离。

节约成本

随着显卡技术的不断发展,半导体制造工艺的进步,单张GPU卡的算力越来越强,同时价格也越来越高。但在很多的业务场景下,一个AI应用并不需要一整张的GPU卡。cGPU的出现让多个容器共享一张GPU卡,从而实现业务的安全隔离,提升GPU利用率,节约用户成本。

可灵活分配资源

cGPU实现了物理GPU的资源任意划分,您可以按照不同比例灵活配置。

支持按照显存和算力两个维度划分,您可以根据需要灵活分配。灵活资源分配

cGPU拥有灵活可配置的算力分配策略,支持三种调度策略的实时切换,满足了AI负载的峰谷能力的要求。可配置的算力分配策略



【本文地址】


今日新闻


推荐新闻


CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3