Container Compute Service:training-nv-pytorch 26.01

コンポーネントのアップグレード

• 組み込みのトレーニングコンポーネント megatron-core が 0.15.0 にアップグレードされました。

• 組み込みの推論コンポーネント vLLM が 0.13.0 にアップグレードされました。

• 組み込みコンポーネント flashinfer-python が 0.5.3 にアップグレードされました。

• 組み込みコンポーネント health_check が shuttle 1.5.3 と連携するようにアップグレードされました。

修正された問題

このリリースには、修正された問題はありません。

コアコンポーネント

パブリックイメージ

VPC イメージ

仮想プライベートクラウド (VPC) 内で ACS AI コンテナイメージを迅速にプルするには、指定された AI コンテナイメージのアセット URI egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/{image:tag} を acs-registry-vpc.{region-id}.cr.aliyuncs.com/egslingjun/{image:tag} に置き換えてください。

• {region-id}： ACS リージョンの ID です。たとえば、cn-beijing や cn-wulanchabu などです。詳細については、「リージョン」をご参照ください。

• {image:tag}： AI コンテナイメージの名前とタグです。たとえば、inference-nv-pytorch:25.10-vllm0.11.0-pytorch2.8-cu128-20251028-serverless や training-nv-pytorch:25.10-serverless などです。

PyTorch コンパイル最適化

PyTorch 2.0 で導入された torch.compile() は、小規模なシングル GPU ワークロードでは多くの場合、大幅な向上をもたらします。しかし、LLM のトレーニングは GPU メモリの最適化と、FSDP や DeepSpeed などの分散フレームワークに依存するため、torch.compile() は限定的なメリットしか得られないか、パフォーマンスが低下する可能性があります。

• DeepSpeed フレームワークでの通信粒度を制御します。これにより、コンパイラがより完全な計算グラフをキャプチャし、より広範なコンパイル最適化を適用できるようになります。

• 最適化された PyTorch ビルドを使用します：

  • PyTorch コンパイラのフロントエンドが改善され、計算グラフでグラフブレークが発生した場合でもコンパイルが成功するようになります。

  • パターンマッチングと動的シェイプのサポートが強化され、コンパイル後のパフォーマンスが向上します。

  これらの最適化により、8B パラメーターの LLM トレーニングでは、通常、約 20% のエンドツーエンドのスループット向上が達成されます。

選択的勾配チェックポインティングによる GPU メモリ最適化

GPU メモリオーバーヘッドの予測モデルが、最適な活性化再計算レイヤー数を推奨します。このモデルは、さまざまなモデル、クラスター、トレーニングパラメーター設定などの大規模なパフォーマンスデータと、ベンチマーク中に収集された GPU メモリ使用率などのシステムメトリクスに基づいて構築されています。このアプローチは PyTorch に統合されており、最小限の労力で GPU メモリ最適化によるパフォーマンス向上を実現できます。この機能は DeepSpeed フレームワークでサポートされています。

1. イメージのプル

お使いのノードに一致する NVIDIA ドライバー要件とサポートされるアーキテクチャのタグを選択し、次のコマンドの [tag] をそのタグに置き換えてください。各タグの要件については、「イメージのコンテンツ」をご参照ください。

docker pull egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/training-nv-pytorch:[tag]

2. コンパイラと勾配チェックポインティングの最適化を有効にする

training_args = TrainingArguments(
    bf16=True,
    gradient_checkpointing=True,
    torch_compile=True
)

export CHECKPOINT_OPTIMIZATION=true

3. コンテナの開始

このイメージには、組み込みのモデルトレーニングツール ljperf が含まれています。次の手順では、このツールを使用してコンテナを開始し、トレーニングジョブを実行します。

# コンテナを起動し、ログインします
docker run --rm -it --ipc=host --net=host  --privileged egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/training-nv-pytorch:[tag]
# トレーニングデモを実行します
ljperf benchmark --model deepspeed/llama3-8b

使用上の推奨事項

• PyTorch や DeepSpeed など、イメージが変更するライブラリを再インストールしないでください。

• DeepSpeed 設定で、zero_optimization.stage3_prefetch_bucket_size を空白にするか、auto に設定してください。

• このイメージの組み込み環境変数 NCCL_SOCKET_IFNAME を、シナリオに基づいて調整してください：

  • 単一の Pod がトレーニングまたは推論ジョブに 1、2、4、または 8 個の GPU のみを要求する場合は、NCCL_SOCKET_IFNAME=eth0 を設定してください (このイメージのデフォルト設定です)。

  • 単一の Pod がトレーニングまたは推論ジョブにマシン上の 16 個すべての GPU を要求し、高性能ネットワーク (HPN) を使用できる場合は、NCCL_SOCKET_IFNAME=hpn0 を設定してください。