AIACC-ACSpeedは、分散トレーニングシナリオで分散ノード間の通信を最適化するように設計されたトレーニングアクセラレータです。 AIACC-ACSpeedは、最適化された分離モジュールを活用して、互換性、適用性、およびパフォーマンスの観点から分散トレーニングジョブを最適化します。 このトピックでは、AIACC-ACSpeed V1.1.0をインストールして使用する方法について説明します。
前提条件
次の要件を満たすAlibaba Cloud GPU高速化インスタンスが作成されます。
OSは、Alibaba Cloud Linux、CentOS 7.x以降、またはUbuntu 16.04以降です。
NVIDIAドライバとCUDA 10.0以降がインストールされています。
サポートされているバージョン
AIACC-ACSpeed (ACSpeed) V1.1.0は、PyTorch、CUDA、Python、およびNGCイメージをサポートします。 次の表に、サポートされているバージョンを示します。
データ型 | PyTorchバージョン | CUDAバージョン | Pythonバージョン |
公式PyTorch | 1.6.0 | 10.1 | 3.6/3.7/3.8 |
1.8.0 | 10.1/10.2/11.1 | 3.6/3.7/3.8/3.9 | |
1.8.1 | 10.1/10.2/11.1 | 3.6/3.7/3.8/3.9 | |
1.9.0 | 10.2/11.1 | 3.6/3.7/3.8/3.9 | |
1.9.1 | 10.2/11.1 | 3.6/3.7/3.8/3.9 | |
1.10.0 | 10.2/11.1/11.3 | 3.6/3.7/3.8/3.9 | |
1.10.1 | 10.2/11.1/11.3 | 3.6/3.7/3.8/3.9 | |
1.10.2 | 10.2/11.1/11.3 | 3.6/3.7/3.8/3.9 | |
1.11.0 | 10.2/11.3 | 3.7/3.8/3.9/3.10 | |
1.12.0 | 10.2/11.3/11.6 | 3.7/3.8/3.9/3.10 | |
1.12.1 | 10.2/11.3/11.6 | 3.7/3.8/3.9/3.10 | |
1.13.0 | 11.6 | 3.7/3.8/3.9/3.10 | |
1.13.1 | 11.6 | 3.7/3.8/3.9/3.10 | |
2.0.0 | 11.7 | 3.7/3.8/3.9/3.10 | |
NGCイメージ 画像バージョン: nvcr.io/nvidia/pytorch:22.06-py3 | 1.13.0a0 | 11.7 | 3.8 |
AIACC-ACSpeedのインストール
次のコマンドを実行してACSpeed V1.1.0をダウンロードします。
wget https://ali-perseus-release.oss-cn-huhehaote.aliyuncs.com/ACSpeed/acspeed-1.1.0.tar.gz次のコマンドを実行してACSpeed V1.1.0をインストールします。
pip install acspeed-1.1.0.tar.gz
AIACC-ACSpeedを使用する
ACSpeedを使用するには、ACSpeedモジュールをコードにインポートします。
トレーニングコードのmain関数に対応するファイルにimportコマンドの行を追加して、ACSpeedコードをインポートします。 トーチがインポートされる場所に追加できます。 次のコマンドの例を示します。
import torch
import acspeed