Container Compute Service:training-nv-pytorch 25.03 リリースノート

主な機能

• ベースイメージが NGC 25.02 に更新されました。

• PyTorch と関連コンポーネントが 2.6.0.7 に、TE が 2.1 に、accelerate が 1.5.2 に更新され、新機能とバグ修正が提供されます。

• ACCL-N が 2.23.4.12 に更新され、新機能とバグ修正が提供されます。

• vLLM が 0.8.2.dev0 に、ray が 2.44 に更新されました。 flash-infer 0.2.3 がサポートされています。 Transformers が 4.49.0+ali に、flash_attn が 2.7.2 に更新され、新機能とバグ修正が提供されます。

修正されたバグ

vLLM のバージョンを 0.8.2.dev0 にアップグレードし、H20 での MoE の不正なメモリアクセス #13693 の問題を修正しました。

25.03 パブリックイメージ

egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/training-nv-pytorch:25.03-serverless

PyTorch コンパイル最適化

単一の GPU を小規模なコンピューティングに使用する場合、PyTorch 2.0 のコンパイル最適化機能を利用できます。ただし、LLM トレーニングでは、メモリ最適化、FSDP/DeepSpeed、およびその他の分散フレームワークが必要です。その結果、torch.compile() はこの機能を簡単に利用できず、場合によってはマイナスの効果をもたらす可能性があります。

• DeepSpeed フレームワークの通信粒度を制御して、コンパイラが完全な計算グラフを取得し、より広い範囲でコンパイル最適化を実行できるようにします。

• 最適化された PyTorch:

  • PyTorch コンパイラのフロントエンドを最適化して、計算グラフでグラフの中断が発生した場合でもコンパイルを確実に実行します。

  • モードマッチと動的形状機能を強化して、コンパイル済みコードのパフォーマンスを向上させます。

これらの最適化により、8B LLM トレーニングシナリオで E2E スループットを 20% 向上させることができます。

再計算のための GPU メモリ最適化

さまざまなクラスタにデプロイされたモデル、またはさまざまなパラメータで構成されたモデルでパフォーマンステストを実行し、GPU メモリ使用率などのシステムメトリックを収集することにより、モデルの GPU メモリ消費量を予測および分析します。結果に基づいて、最適なアクティベーション再計算レイヤー数を提案し、PyTorch に統合します。これにより、ユーザーは GPU メモリの最適化を簡単に利用できます。現在、この機能は DeepSpeed フレームワークで使用できます。

Accl 通信ライブラリ

ACCL は、Alibaba Cloud が 凌雲 向けに提供する社内 HPN 通信ライブラリです。 GPU アクセラレーションシナリオ向けに ACCL-N を提供します。 ACCL-N は、NCCL に基づいてカスタマイズされた HPN ライブラリです。 NCCL と完全に互換性があり、NCCL のいくつかのバグを修正しています。 ACCL-N は、より高いパフォーマンスと安定性も提供します。

E2E パフォーマンスメリット評価

クラウドネイティブ AI パフォーマンス評価および分析ツール CNP を使用すると、主流のオープンソースモデルとフレームワークを標準ベースイメージと共に使用して、E2E パフォーマンスを分析できます。さらに、アブレーションスタディを使用して、各最適化コンポーネントがモデルトレーニング全体にどのように役立つかをさらに評価できます。

GPU コアコンポーネント E2E パフォーマンスメリット分析

次の E2E パフォーマンス評価は、バージョン 25.03 と、複数の GPU アクセラレーションノードを含むクラスターに基づいています。比較項目は次のとおりです。

1. ベース: NGC PyTorch イメージ。

2. ACS AI イメージ: ベース+ACCL: イメージで使用される ACCL。

3. ACS AI イメージ: AC2+ACCL: Golden イメージは AC2 BaseOS を使用し、最適化は行いません。

4. ACS AI イメージ: AC2+ACCL+CompilerOpt: Golden イメージは AC2 BaseOS を使用し、PyTorch コンパイル最適化のみが有効になっています。

5. ACS AI イメージ: AC2+ACCL+CompilerOpt+CkptOpt: Golden イメージは AC2 BaseOS を使用し、torch コンパイルと選択的勾配チェックポイント最適化の両方が有効になっています。

1. イメージを選択する

docker pull egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/training-nv-pytorch:[tag]

2. API を呼び出して、コンパイル最適化と再計算のための GPU メモリ最適化を有効にする

• コンパイル最適化を有効にする

  transformers Trainer API を呼び出します。

  

• 再計算のための GPU メモリ最適化を有効にする

  export CHECKPOINT_OPTIMIZATION=true

3. コンテナを起動する

イメージには、ljperf という名前の組み込みモデルトレーニングツールが用意されており、コンテナを起動してトレーニングタスクを実行する手順を示しています。

# コンテナを起動してログインします。
docker run --rm -it --ipc=host --net=host  --privileged egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/training-nv-pytorch:[tag]

# トレーニングデモを実行します。
ljperf --action train --model_name deepspeed/llama3-8b 

4. 使用上の注意

• イメージの変更には、PyTorch ライブラリと DeepSpeed ライブラリが含まれます。再インストールしないでください。

• DeepSpeed 構成の zero_optimization.stage3_prefetch_bucket_size は空のままにするか、auto に設定します。