Container Compute Service:training-nv-pytorch 25.12

主な機能

• vLLM を 0.12.0 に、flashinfer-python を 0.5.3 にアップグレードしました。

バグ修正

なし。

コアコンポーネント

次の表は、各イメージのコアコンポーネントとコンポーネントバージョンを示しています。

パブリックイメージ

training-nv-pytorch 25.12 の各 CUDA バージョンは、それぞれ独自のイメージアドレスで公開されています。各イメージで必要なドライバーバージョンおよび CPU アーキテクチャについては、イメージ仕様セクションをご参照ください。

VPC イメージ

ACS コンソールの YAML ファイルで指定されている AI コンテナイメージアセット URI egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/{image:tag} を acs-registry-vpc.{region-id}.cr.aliyuncs.com/egslingjun/{image:tag} に置き換えることで、VPC 経由で PG1 AI コンテナイメージを迅速にプルできます。

• {region-id} は、ACS がアクティブ化されている利用可能なリージョン (cn-beijing や cn-wulanchabu など) です。

• {image:tag} は、イメージの名前とタグです。

PyTorch コンパイルの最適化

PyTorch 2.0 で導入された torch.compile() は、小規模なシングル GPU のワークロードで大きな効果を発揮することがよくあります。しかし、LLM のトレーニングは GPU メモリの最適化と FSDP や DeepSpeed などの分散フレームワークに依存するため、torch.compile() では限定的な利点しか得られないか、パフォーマンスを低下させる可能性があります。

• DeepSpeed フレームワークでの通信粒度の制御。これにより、コンパイラがより完全な計算グラフをキャプチャし、より広範なコンパイル最適化を適用できます。

• 最適化された PyTorch ビルドの使用：

  • PyTorch コンパイラのフロントエンドが改善され、計算グラフでグラフブレークが発生した場合でもコンパイルが成功するようになりました。

  • パターンマッチングと動的シェイプのサポートが強化され、コンパイル後のパフォーマンスが向上しました。

これらの最適化により、8B パラメーターの LLM トレーニングでは、通常、エンドツーエンドのスループットが約 20% 向上します。

再計算のための GPU メモリの最適化

大規模なパフォーマンスデータ (さまざまなモデル、クラスター、トレーニングパラメーター設定、ベンチマーク中に収集された GPU メモリ使用率などのシステムメトリクスを含む) に基づいて構築された GPU メモリオーバーヘッドの予測モデルは、最適なアクティベーション再計算レイヤー数を推奨します。このアプローチは PyTorch に統合されており、最小限の労力で GPU メモリの最適化によるパフォーマンス向上を実現できます。この機能は、DeepSpeed フレームワークでサポートされるようになりました。

E2E パフォーマンス向上の評価

クラウドネイティブ AI パフォーマンス評価および分析ツール (CNP) を使用し、主流のオープンソースモデルおよびフレームワーク構成で、標準ベースイメージに対する包括的なエンドツーエンド (E2E) パフォーマンス比較を行いました。アブレーションスタディにより、各最適化コンポーネントがモデルトレーニング全体のパフォーマンスにどの程度貢献しているかをさらに評価しました。

イテレーション全体での本イメージとベースイメージの比較

コア GPU コンポーネントの E2E パフォーマンス貢献度分析

マルチノード GPU クラスタ上でバージョン 25.12 を実行し、以下の構成で E2E トレーニングパフォーマンスを評価しました。

• Base： NGC PyTorch イメージです。

• ACS AI イメージ (Base + ACCL)： ACCL 通信ライブラリを使用したベースイメージです。

• ACS AI イメージ (AC2 + ACCL)： ACCL を使用した AC2 BaseOS で、最適化は有効化されていません。

• ACS AI イメージ (AC2 + ACCL + CompilerOpt)： ACCL を使用した AC2 BaseOS で、torch compile 最適化のみが有効化されています。

• ACS AI イメージ (AC2 + ACCL + CompilerOpt + CkptOpt)： ACCL を使用した AC2 BaseOS で、torch compile と選択的勾配チェックポイント最適化の両方が有効化されています。

  

使用上の推奨事項

training-nv-pytorch イメージを実行する際は、以下の制限と設定があります。

• バンドルされたライブラリ： PyTorch や DeepSpeed などのライブラリを再インストールしないでください。このイメージには、これらのライブラリの修正版が含まれています。

• DeepSpeed 構成： DeepSpeed 構成では、zero_optimization.stage3_prefetch_bucket_size を空のままにするか、auto に設定してください。

• ネットワークインターフェイス： このイメージに組み込まれている NCCL_SOCKET_IFNAME 環境変数を、シナリオに基づいて調整してください。

  • 単一の Pod がトレーニングまたは推論ジョブ用に 1、2、4、または 8 個の GPU を要求する場合は、NCCL_SOCKET_IFNAME=eth0 に設定してください。これは、このイメージのデフォルト構成です。

  • 単一の Pod がトレーニングまたは推論ジョブ用にノード上のすべての 16 個の GPU を要求する場合は、高性能ネットワーク (HPN) を使用できます。この場合、NCCL_SOCKET_IFNAME=hpn0 に設定してください。

1. イメージのプル

環境の NVIDIA ドライバーバージョンと CPU アーキテクチャを確認してから、次のコマンドを実行してイメージをプルします。

docker pull egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/training-nv-pytorch:[tag]

[tag] を公開されているタグのいずれかに置き換えます。

• 25.12-cu130-serverless： CUDA 13.0.2、NVIDIA ドライバー 580 以降が必要で、amd64 および aarch64 をサポートします。

• 25.12-cu128-serverless： CUDA 12.8.0、NVIDIA ドライバー 575 以降が必要で、amd64 のみをサポートします。

2. コンパイルおよび再計算の最適化を有効化

コンパイルの最適化を有効化

transformers の TrainingArguments クラスで、次のフィールドを設定します。

training_args = TrainingArguments(
    bf16=True,
    gradient_checkpointing=True,
    torch_compile=True
)

再計算のための GPU メモリの最適化を有効化

次の環境変数を設定します。

export CHECKPOINT_OPTIMIZATION=true

3. コンテナの起動

ljperf モデルトレーニングツールがイメージに組み込まれています。次のコマンドは、ljperf を使用してコンテナを起動し、トレーニングジョブを実行します。

LLM

# コンテナを起動して入る
docker run --rm -it --ipc=host --net=host  --privileged egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/training-nv-pytorch:[tag]
# トレーニングデモを実行
ljperf benchmark --model deepspeed/llama3-8b