Container Compute Service:training-nv-pytorch 25.04 リリースノート

主な機能

• ベースイメージは NGC 25.03 に合わせ、CUDA は 12.8.1 に、TransformerEngine は 2.1 にアップグレードされました。

• Triton は 3.2.0 に、accelerate は 1.6.0+ali に対応し、対応するバージョンの機能とバグ修正が統合されています。

• vLLM は最新のコミュニティバージョン 0.8.5 に、flashinfer-python は 0.2.5 に、Transformers は 4.51.2+ali にアップグレードされ、Qwen3 をサポートしています。

バグ修正

なし

25.04

• egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/training-nv-pytorch:25.04-serverless

PyTorch コンパイルの最適化

PyTorch 2.0 で導入されたコンパイル最適化機能は、1 つの GPU での小規模トレーニングに適しています。ただし、LLM トレーニングには、GPU メモリの最適化と、FSDP や DeepSpeed などの分散フレームワークが必要です。その結果、torch.compile() はトレーニングにメリットをもたらすことができず、デメリットが生じる可能性があります。

• DeepSpeed フレームワークで通信の粒度を制御すると、コンパイラはより広範囲のコンパイル最適化のための完全な計算グラフを取得できます。

• 最適化された PyTorch:

  • PyTorch コンパイラのフロントエンドが最適化され、計算グラフでグラフの切断が発生した場合にコンパイルが確実に行われるようになりました。

  • モードマッチングと動的シェイプ機能が強化され、コンパイル済みコードが最適化されました。

上記の最適化後、8B LLM をトレーニングする場合の E2E スループットが 20% 向上しました。

再計算のための GPU メモリの最適化

さまざまなクラスターにデプロイされたモデル、またはさまざまなパラメーターで構成されたモデルのパフォーマンステストを実行し、GPU メモリ使用率などのシステムメトリックを収集することにより、モデルの GPU メモリ消費量を予測および分析します。結果に基づいて、最適なアクティベーション再計算レイヤー数を提案し、PyTorch に統合します。これにより、ユーザーは GPU メモリの最適化を簡単に活用できます。現在、この機能は DeepSpeed フレームワークで使用できます。

ACCL

ACCL は、Alibaba Cloud が Lingjun 向けに提供する社内 HPN 通信ライブラリです。GPU アクセラレーションシナリオ向けに ACCL-N を提供します。ACCL-N は、NCCL に基づいてカスタマイズされた HPN ライブラリです。NCCL と完全に互換性があり、NCCL のいくつかのバグを修正しています。ACCL-N は、より高いパフォーマンスと安定性も提供します。

E2E パフォーマンスメリット評価

クラウドネイティブ AI パフォーマンス評価および分析ツール CNP を使用すると、主流のオープンソースモデルとフレームワークを標準ベースイメージと共に使用して、E2E パフォーマンスを分析できます。さらに、アブレーションスタディを使用して、各最適化コンポーネントがモデルトレーニング全体にどのようにメリットをもたらすかをさらに評価できます。

GPU コアコンポーネントの E2E パフォーマンス貢献分析

次のテストは Golden-25.04 に基づいており、マルチノード GPU クラスターで E2E パフォーマンス評価と比較分析を実施しています。比較項目は次のとおりです。

1. ベース: NGC PyTorch イメージ

2. ACS AI イメージ: ベース+ACCL: ACCL 通信ライブラリを使用するイメージ

3. ACS AI イメージ: AC2+ACCL: AC2 BaseOS を使用したゴールデンイメージ (最適化は有効になっていません)

4. ACS AI イメージ: AC2+ACCL+CompilerOpt: AC2 BaseOS を使用したゴールデンイメージ (torch コンパイル最適化のみが有効になっています)

5. ACS AI イメージ: AC2+ACCL+CompilerOpt+CkptOpt: AC2 BaseOS を使用したゴールデンイメージ (torch コンパイルと選択的勾配チェックポイント最適化の両方が有効になっています)

1. イメージを選択する

docker pull egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/training-nv-pytorch:[tag]

2. API を呼び出して、コンパイルの最適化と再計算のための GPU メモリの最適化を有効にする

• コンパイルの最適化を有効にする

  transformers Trainer API を使用する:

  

• 再計算のための GPU メモリの最適化を有効にする

  export CHECKPOINT_OPTIMIZATION=true

3. コンテナを起動する

イメージには、ljperf という名前の組み込みモデルトレーニングツールが用意されており、コンテナを起動してトレーニングタスクを実行する手順を示しています。

# コンテナを起動し、コンテナにログインします。
docker run --rm -it --ipc=host --net=host  --privileged egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/training-nv-pytorch:[tag]

# トレーニングデモを実行します。
ljperf benchmark --model deepspeed/llama3-8b 

4. 提案

• イメージの変更には、PyTorch ライブラリと DeepSpeed ライブラリが含まれます。再インストールしないでください。

• DeepSpeed 構成の zero_optimization.stage3_prefetch_bucket_size は空のままにするか、auto に設定します。