神龙AI加速引擎AIACC是阿里云自研的AI加速器,包括神龙AI加速训练引擎AIACC-Training和神龙AI加速推理引擎AIACC-Inference。其中AIACC-Training支持统一加速AI主流计算框架TensorFlow、PyTorch、MxNet和Caffe,可以显著提升训练性能。
背景信息
Conda是一款开源跨平台的软件包和环境管理系统,Miniconda是一款小巧的Conda环境部署工具。创建GPU实例时支持自动安装包含AIACC-Training的Conda环境,您可以使用Miniconda快速选择不同的Conda环境,一键安装和切换深度学习框架,并通过AIACC-Training显著提升训练性能。
AIACC-Training包括以下加速特性:
- 梯度融合通信支持自适应多流、自适应梯度融合,显著提升带宽密集的网络模型的训练性能,约提速50%至300%。
- 采用去中心化梯度协商机制,将大规模节点下梯度协商的通信量降低1到2个数量级。
- 采用分级的Allreduce方法,支持FP16梯度压缩及混合精度压缩。
- 支持在训练过程中开启NaN检查,支持定位NaN来自于哪个梯度(需要为SM60及更新平台)。
- 提供针对MXNet的API扩展,支持insightface类型的数据和模型并行。
- 提供针对RDMA网络的深度优化。
自动安装AIACC-Training
AIACC-Training依赖GPU驱动、CUDA和cuDNN,请在创建GPU实例时配置自动安装GPU驱动,然后选中AIACC-Training。具体操作,请参见创建配备NVIDIA GPU的实例。

Conda环境包括AIACC-Training及OpenMPI等依赖包,但不包括深度学习框架。安装深度学习框架的具体操作,请参见选择Conda环境并安装深度学习框架。
CUDA版本决定支持安装的深度学习框架版本,对应关系如下表所示。
CUDA版本 | 默认进入的Conda环境 | 支持安装的深度学习框架版本 |
---|---|---|
CUDA 10.1 | tf2.1_cu10.1_py36 | Tensorflow 2.1 |
CUDA 10.0 | tf1.15_tr1.4.0_mx1.5.0_cu10.0_py36 |
|
CUDA 9.0 | tf1.12_tr1.3.0_mx1.5.0_cu9.0_py36 | Tensorflow 1.12 + Pytorch 1.3.0 + MXNet 1.5.0 |
选择Conda环境并安装深度学习框架
删除Miniconda
如果您不需要使用AIACC-Training,可以删除Miniconda。默认为root用户安装Miniconda,为root用户删除Miniconda即可。