Platform For AI:ACCL: Alibaba Cloud によって開発されたハイパフォーマンス コレクティブ通信ライブラリ

ACCL でサポートされている拡張機能

ACCL は、環境変数を使用して有効または無効にできる、さまざまな拡張機能をサポートしています。

• 対応するオープンソース版の NCCL で見つかったバグを修正します。

• コレクティブ通信のさまざまなオペレーターとメッセージサイズを最適化し、オープンソースの NCCL よりも優れたパフォーマンスを提供します。

• トレーニング中のコレクティブ通信の統計分析を提供し、デバイスのエラーによる速度低下やハングの診断に役立ちます。Alibaba Cloud PAI の Aimaster: エラスティック フォールトトレランス エンジン および C4D: モデル トレーニング ジョブ診断ツール と併用することで、迅速な異常検出と自動フォールトトレランスを実現します。

• マルチパス伝送と負荷分散をサポートし、不均一なハッシュによって引き起こされるトレーニング クラスタの輻輳を軽減または解消し、全体的なトレーニング スループットを向上させます。

制限事項

凌雲リソース が利用可能なリージョンでは、凌雲リソースとカスタムイメージを使用して DLC ジョブを送信する前に、ACCL をインストールする必要があります。

ACCL ライブラリのインストール

凌雲が提供する公式イメージには、ACCL がプリインストールされています。公式の凌雲イメージを使用して DLC ジョブを送信する場合、以下の手順は不要です。

ステップ 1: イメージ内の Pytorch で使用されている NCCL ライブラリが動的かどうかを確認する

カスタムイメージ コンテナで、次の手順を実行します。

1. PyTorch ライブラリの場所を確認します。

   PyTorch のインストールパスがわかっている場合は、そのパス内を検索します。たとえば、PyTorch が /usr/local/lib にある場合は、次のコマンドを使用して libtorch.so ファイルを見つけます。

   find /usr/local/lib -name "libtorch*"
   # 結果例:
   /usr/local/lib/python3.10/dist-packages/torch/lib/libtorchcuda.so
   /usr/local/lib/python3.10/dist-packages/torch/lib/libtorch.so
   /usr/local/lib/python3.10/dist-packages/torch/lib/libtorchbindtest.so

2. ldd コマンドを使用して、PyTorch ライブラリの NCCL ライブラリへの依存関係を確認します。

   ldd libtorch.so | grep nccl

   • 同様の結果が返された場合、NCCL ライブラリは動的であるため、ACCL をダウンロードしてインストールできます。

     libnccl.so.2=>/usr/lib/x86_64-linux-gnu/libnccl.so.2(0x00007feab3b27000)

   • 結果が返されない場合、NCCL は静的であるため、ACCL をインストールできません。公式の NVIDIA NGC イメージに基づいてカスタムイメージを作成するか、動的 NCCL ライブラリに依存する PyTorch バージョンに切り替える必要があります。

ステップ 2: イメージで使用されている CUDA バージョンを確認する

カスタムイメージ コンテナで、次のコマンドを使用して CUDA バージョンを確認します。

nvidia-smi

以下の出力は、CUDA バージョンが 12.2 であることを示しています。コマンドによって返される実際のバージョンを参照してください。

ステップ 3: CUDA バージョンに対応する ACCL をダウンロードする

ACCL のダウンロードリンク:

カスタムイメージ コンテナで CUDA バージョンに対応する ACCL をダウンロードするには、次のコマンドを使用します。次の例では、CUDA バージョンは 12.3 です。

wget http://accl-n.oss-cn-beijing.aliyuncs.com/cuda12.3/lib/libnccl.so.2

ステップ 4: ACCL をインストールする

ACCL をインストールする前に、システムに NCCL がインストールされているかどうかを確認します。次のコマンドを実行して、libnccl.so.2 が存在するかどうかを確認します。

sudo find / -name "libnccl.so.2"

クエリ結果に応じて、次のいずれかの操作を実行します。

• libnccl.so.2 ファイルが見つからない場合、またはシステムディレクトリ /usr/lib64 または /lib64 にある場合は、cp コマンドを使用して、新しくダウンロードした libnccl.so.2 ファイルを適切なシステムディレクトリにコピーします。

  sudo cp -f ./libnccl.so.2 /usr/lib64

• libnccl.so.2 ファイルが/opt/xxx/ などの標準以外のディレクトリにある場合、これはカスタム NCCL インストールパスを示している可能性があります。cp コマンドを使用して、既存のファイルを新しくダウンロードした libnccl.so.2 で上書きします。

  sudo cp -f libnccl.so.2 /opt/xxx/

ステップ 5: 動的ライブラリを更新する

次のコマンドで動的ライブラリ キャッシュを更新します。

sudo ldconfig

ステップ 6: ACCL がロードされているかどうかを確認する

1. カスタムイメージを使用して DLC ジョブを送信します。詳細については、「トレーニング ジョブを送信する」をご参照ください。

2. ジョブログを確認します。起動ログに ACCL バージョン情報が表示されている場合、ACCL ライブラリはロードされています。ジョブログの確認方法については、「トレーニング ジョブを表示する」をご参照ください。

   説明

   ログに accl-n 識別子が含まれていることを確認してください。そうでない場合、ACCL はロードされていません。

   NCCL version 2.20.5.7-accl-n+cuda12.4, COMMIT_ID Zeaa6674c2f1f896e3a6bbd77e85231e0700****, BUILD_TIME 2024-05-10 15:40:56

推奨される環境変数の構成

ACCL に関する豊富な経験に基づいて、PAI チームはさまざまな設定で通信スループットを向上させることができる環境変数のリストをまとめています。

export NCCL_IB_TC=136
export NCCL_IB_SL=5
export NCCL_IB_GID_INDEX=3
export NCCL_SOCKET_IFNAME=eth
export NCCL_DEBUG=INFO
export NCCL_IB_HCA=mlx5
export NCCL_IB_TIMEOUT=22
export NCCL_IB_QPS_PER_CONNECTION=8
export NCCL_MIN_NCHANNELS=4
export NCCL_NET_PLUGIN=none
export ACCL_C4_STATS_MODE=CONN
export ACCL_IB_SPLIT_DATA_NUM=4
export ACCL_IB_QPS_LOAD_BALANCE=1
export ACCL_IB_GID_INDEX_FIX=1
export ACCL_LOG_TIME=1

次の表に、主要な環境変数を示します。