Container Compute Service:training-nv-pytorch 25.11

機能とアップグレード

• アーキテクチャと CUDA のサポート — リリース 25.11 は、amd64 および aarch64 アーキテクチャと、CUDA 13.0.2 と CUDA 12.8 の両方をサポートするとともに。

• PyTorch — CUDA 13.0.2 イメージでは、PyTorch がコミュニティのリリースに合わせて 2.9 にアップグレードされました。

• コアトレーニングコンポーネント — コミュニティのリリースに合わせて、Transformers は 4.57.1 に、DeepSpeed は 0.18.1 に、TransformerEngine は 2.9.0 にアップグレードされ、Qwen3-VL がサポートされるようになりました。

• コア推論コンポーネント — vLLM は 0.11.2 にアップグレードされました。

  アーキテクチャのサポートとコンポーネントのバージョンは、2 つのイメージバリアントで異なります。詳細については、「イメージのバリアントと仕様」をご参照ください。

バグ修正

このリリースでは修正されたバグはありません。

CUDA 13.0.2 イメージのコアコンポーネント

• Ubuntu: 24.04

• Python: 3.12.7+gc

• CUDA: 13.0

• perf: 5.4.30

• gdb: 15.0.50

• torch: 2.9.0+ali.10.nv25.10

• triton: 3.5.0

• transformer_engine: 2.9.0+70f53666

• deepspeed: 0.18.1+ali

• flash_attn: 2.8.3

• transformers: 4.57.1+ali

• grouped_gemm: 1.1.4

• accelerate: 1.11.0+ali

• diffusers: 0.34.0

• mmengine: 0.10.3

• mmcv: 2.1.0

• mmdet: 3.3.0

• opencv-python-headless: 4.11.0.86

• ultralytics: 8.3.96

• timm: 1.0.22

• vllm: 0.11.2+cu130

• flashinfer-python: 0.5.2

• pytorch-dynamic-profiler: 0.24.11

• peft: 0.16.0

• ray: 2.52.0

• megatron-core: 0.14.0

CUDA 12.8 イメージのコアコンポーネント

• Ubuntu: 24.04

• Python: 3.12.7+gc

• CUDA: 12.8

• perf: 5.4.30

• gdb: 15.0.50

• torch: 2.8.0.9+nv25.3

• triton: 3.4.0

• transformer_engine: 2.9.0

• deepspeed: 0.18.1+ali

• flash_attn: 2.8.3

• flash_attn_3: 3.0.0b1

• transformers: 4.57.1+ali

• grouped_gemm: 1.1.4

• accelerate: 1.11.0+ali

• diffusers: 0.34.0

• mmengine: 0.10.3

• mmcv: 2.1.0

• mmdet: 3.3.0

• opencv-python-headless: 4.11.0.86

• ultralytics: 8.3.96

• timm: 1.0.22

• vllm: 0.11.2

• flashinfer-python: 0.5.2

• pytorch-dynamic-profiler: 0.24.11

• peft: 0.16.0

• ray: 2.52.0

• megatron-core: 0.14.0

PyTorch コンパイルの最適化

PyTorch 2.0 で導入された torch.compile() は、小規模なシングル GPU のワークロードで大きな効果を発揮することがよくあります。しかし、LLM のトレーニングは GPU メモリの最適化と FSDP や DeepSpeed などの分散フレームワークに依存するため、torch.compile() では限定的な利点しか得られないか、パフォーマンスを低下させる可能性があります。

• DeepSpeed フレームワークでの通信粒度の制御。これにより、コンパイラがより完全な計算グラフをキャプチャし、より広範なコンパイル最適化を適用できます。

• 最適化された PyTorch ビルドの使用：

  • PyTorch コンパイラのフロントエンドが改善され、計算グラフでグラフブレークが発生した場合でもコンパイルが成功するようになりました。

  • パターンマッチングと動的シェイプのサポートが強化され、コンパイル後のパフォーマンスが向上しました。

これらの最適化により、8B パラメーターの LLM トレーニングでは、通常、エンドツーエンドのスループットが約 20% 向上します。

再計算のための GPU メモリの最適化

大規模なパフォーマンスデータ (さまざまなモデル、クラスター、トレーニングパラメーター設定、ベンチマーク中に収集された GPU メモリ使用率などのシステムメトリクスを含む) に基づいて構築された GPU メモリオーバーヘッドの予測モデルは、最適なアクティベーション再計算レイヤー数を推奨します。このアプローチは PyTorch に統合されており、最小限の労力で GPU メモリの最適化によるパフォーマンス向上を実現できます。この機能は、DeepSpeed フレームワークでサポートされるようになりました。

パブリックイメージ

次の表に、各 25.11 イメージバリアントのアセット URI を示します。

VPC イメージ

ACS コンソールの YAML ファイルで指定されている AI コンテナイメージのアセット URI egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/{image:tag} を acs-registry-vpc.{region-id}.cr.aliyuncs.com/egslingjun/{image:tag} に置き換えることで、VPC 経由で PG1 AI コンテナイメージを迅速にプルできます。

• ここで、{region-id} は、ACS を有効化した利用可能なリージョン (cn-beijing、cn-wulanchabu など) です。

• {image:tag} は、イメージの名前とタグです。

ステップ 1：イメージのプル

次のコマンドを実行して training-nv-pytorch イメージをプルします：

docker pull egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/training-nv-pytorch:[tag]

[tag] を選択したイメージバリアントのタグで置き換えます。利用可能なタグについては、「パブリックイメージ」をご参照ください。

ステップ 2：コンテナの起動とトレーニング Job の実行

このイメージには、組み込みのモデルトレーニングツール ljperf が含まれています。 次の例では、コンテナを起動し、このツールを使用して LLM のトレーニングデモを実行します:

# コンテナを起動して中に入ります。
docker run --rm -it --ipc=host --net=host --privileged egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/training-nv-pytorch:[tag]
# トレーニングデモを実行します。
ljperf benchmark --model deepspeed/llama3-8b

ステップ 3：コンパイラ最適化と再計算のための GPU メモリ最適化の有効化

Transformers Trainer API を介してコンパイラ最適化を有効にします：

training_args = TrainingArguments(
    bf16=True,
    gradient_checkpointing=True,
    torch_compile=True
)

次の環境変数を設定して、再計算のための GPU メモリ最適化を有効にします：

export CHECKPOINT_OPTIMIZATION=true

ベースイメージとのイメージ比較と反復評価

コア GPU コンポーネントの E2E パフォーマンス貢献度分析

以下のテストは training-nv-pytorch 25.11 イメージに基づいており、マルチノード GPU クラスターでのエンドツーエンドのトレーニングパフォーマンスを評価および比較します。比較項目は次のとおりです：

• Base：NGC PyTorch イメージ。

• ACS AI Image: Base+ACCL：このイメージは ACCL 通信ライブラリを使用します。

• ACS AI Image: AC2+ACCL：AC2 BaseOS を使用しますが、最適化は有効になっていません。

• ACS AI Image: AC2+ACCL+CompilerOpt：AC2 BaseOS を使用し、torch コンパイル最適化のみが有効にされています。

• ACS AI Image: AC2+ACCL+CompilerOpt+CkptOpt：AC2 BaseOS を使用し、torch コンパイルと選択的勾配チェックポイント最適化の両方が有効にされています。