Container Compute Service:training-nv-pytorch 25.07

主な機能

• vllm を v0.9.2 にアップグレードしました。

• TransformerEngine v2.3.0+5de3e14、peft v0.16.0、および diffusers v0.34.0 のサポートを追加しました。

バグ修正

このリリースでは修正はありません。

25.07

• egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/training-nv-pytorch:25.07-serverless

PyTorch コンパイルの最適化

PyTorch 2.0 で導入された torch.compile() は、小規模なシングル GPU のワークロードで大きな効果を発揮することがよくあります。しかし、LLM のトレーニングは GPU メモリの最適化と FSDP や DeepSpeed などの分散フレームワークに依存するため、torch.compile() では限定的な利点しか得られないか、パフォーマンスを低下させる可能性があります。

• DeepSpeed フレームワークでの通信粒度の制御。これにより、コンパイラがより完全な計算グラフをキャプチャし、より広範なコンパイル最適化を適用できます。

• 最適化された PyTorch ビルドの使用：

  • PyTorch コンパイラのフロントエンドが改善され、計算グラフでグラフブレークが発生した場合でもコンパイルが成功するようになりました。

  • パターンマッチングと動的シェイプのサポートが強化され、コンパイル後のパフォーマンスが向上しました。

これらの最適化により、8B パラメーターの LLM トレーニングでは、通常、エンドツーエンドのスループットが約 20% 向上します。

再計算のための GPU メモリの最適化

大規模なパフォーマンスデータ (さまざまなモデル、クラスター、トレーニングパラメーター設定、ベンチマーク中に収集された GPU メモリ使用率などのシステムメトリクスを含む) に基づいて構築された GPU メモリオーバーヘッドの予測モデルは、最適なアクティベーション再計算レイヤー数を推奨します。このアプローチは PyTorch に統合されており、最小限の労力で GPU メモリの最適化によるパフォーマンス向上を実現できます。この機能は、DeepSpeed フレームワークでサポートされるようになりました。

ACCL

ACCL は、Lingjun 向けに構築された Alibaba Cloud の高性能な通信ライブラリです。ACCL-N は GPU に特化したバージョンです。ACCL-N は、NVIDIA NCCL をカスタマイズした高性能な通信ライブラリです。NCCL と完全に互換性があり、アップストリームの NCCL リリースの問題を修正し、パフォーマンスと安定性を向上させています。

エンドツーエンドのパフォーマンス評価

Cloud Native Platform (CNP) の AI パフォーマンス分析ツールを使用して、このイメージと標準的なベースイメージとの間で、主流のオープンソースモデルとフレームワーク構成を用いた包括的なエンドツーエンドのパフォーマンス比較を実施しました。また、アブレーションスタディを通じて、各最適化コンポーネントがモデル全体のトレーニングにどの程度貢献しているかを評価しました。

GPU コアコンポーネントの E2E パフォーマンス貢献度分析

バージョン 25.07 に基づいて、マルチノード GPU クラスター上で以下のテストを実施し、エンドツーエンドのトレーニングパフォーマンスを評価・比較しました。比較構成は以下の通りです。

1. ベース： NGC PyTorch イメージ。

2. ACS AI イメージ： Base+ACCL： ベースイメージに ACCL 通信ライブラリを適用。

3. ACS AI イメージ： AC2+ACCL： AC2 ベース OS を使用したゴールデンイメージで、最適化は有効化されていません。

4. ACS AI イメージ： AC2+ACCL+CompilerOpt： AC2 ベース OS を使用したゴールデンイメージで、torch コンパイルの最適化のみが有効化されています。

5. ACS AI イメージ： AC2+ACCL+CompilerOpt+CkptOpt： AC2 ベース OS を使用したゴールデンイメージで、torch コンパイルと選択的勾配チェックポイントの最適化の両方が有効化されています。

1. イメージのプル

docker pull egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/training-nv-pytorch:[tag]

2. コンパイルの最適化と勾配チェックポイントの最適化の有効化 (任意)

• コンパイルの最適化の有効化

  Transformers Trainer API を使用する場合：

  training_args = TrainingArguments(
      bf16=True,
      gradient_checkpointing=True,
      torch_compile=True
  )

• 勾配チェックポイントの最適化の有効化

  export CHECKPOINT_OPTIMIZATION=true

3. コンテナの起動

このイメージには、組み込みのモデルトレーニングツールである ljperf が含まれています。この例では、コンテナを起動してトレーニングタスクを実行する方法を示します。

# コンテナを起動して中に入る
docker run --rm -it --ipc=host --net=host  --privileged egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/training-nv-pytorch:[tag]
# トレーニングデモを実行
ljperf benchmark --model deepspeed/llama3-8b 

4. 使用上の注意

• このイメージでは、PyTorch や DeepSpeed などのライブラリが変更されています。再インストールしないでください。

• DeepSpeed の設定では、zero_optimization.stage3_prefetch_bucket_size は空にするか、auto に設定してください。

• 組み込みの NCCL_SOCKET_IFNAME 環境変数は、ユースケースに応じて調整する必要があります。

  • 単一の Pod がトレーニング/推論タスクのために 1、2、4、または 8 個の GPU を要求する場合、NCCL_SOCKET_IFNAME=eth0 を設定します。これはデフォルト設定です。

  • 単一の Pod がホスト上の全 16 GPU を要求し、トレーニング/推論タスクのために高性能ネットワーク (HPN) を使用する場合、NCCL_SOCKET_IFNAME=hpn0 を設定します。