Container Compute Service:training-nv-pytorch 26.07

主な機能

• PyTorch と関連コンポーネントを 2.12.1 に、Triton を 3.7.1 にアップグレードしました。

• トレーニングコンポーネント： Transformer Engine を 2.16.1 に、Megatron-Core を 0.18.2 に、Transformers を 5.12.1 にアップグレードしました。コミュニティの機能と関連する修正がマージされています。

• 推論コンポーネント： vLLM を 0.24.0 に、FlashInfer を 0.6.12 にアップグレードしました。コミュニティの機能と関連する修正がマージされています。

バグ修正

なし

パブリックイメージ

CUDA 13.0.2 (ドライバー 580 以降、amd64 および aarch64)

• egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/training-nv-pytorch:26.07-serverless

VPC イメージ

VPC 内で Container Compute Service (ACS) の AI コンテナイメージを迅速にプルするには、指定された AI コンテナイメージのアセット URI egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/{image:tag} を acs-registry-vpc.{region-id}.cr.aliyuncs.com/egslingjun/{image:tag} に置き換えてください。

• {region-id}：ACS の リージョンID です。例：cn-beijing、cn-wulanchabu。

• {image:tag}：AI コンテナイメージの名前とタグです。例：inference-nv-pytorch:25.10-vllm0.11.0-pytorch2.8-cu128-20251028-serverless、training-nv-pytorch:25.10-serverless。

yy.mm-serverless (例：26.07-serverless) タグが付いたイメージは、Alibaba Cloud Container Compute Service (ACS) および Lingjun のマルチテナントデプロイメントに適用されます。Lingjun のシングルテナントデプロイメントの場合は、yy.mm (例：26.07) タグが付いたイメージを使用してください。

1. イメージのプル

[tag] を、お使いの製品に適用されるイメージタグに置き換えてください。ACS および Lingjun マルチテナント製品の場合は 26.07-serverless、Lingjun シングルテナント製品の場合は 26.07 です。

docker pull egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/training-nv-pytorch:[tag]

2. コンテナの起動

このイメージには、組み込みのモデルトレーニングツールが含まれています。次の例では、コンテナを起動し、トレーニングタスクを実行します。

LLM ワークロード

# コンテナを起動して入ります
docker run -it --gpus=all --ipc=host --net=host egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/training-nv-pytorch:[tag]

# Dense: Qwen3.5-4B LoRA スモークテスト
NPROC_PER_NODE=2 CUDA_VISIBLE_DEVICES=0,1 \
swift sft --model Qwen/Qwen3.5-4B --tuner_type lora \
    --dataset 'AI-ModelScope/alpaca-gpt4-data-zh#500' \
    --split_dataset_ratio 0.01 --num_train_epochs 1 \
    --target_modules all-linear --attn_impl flash_attn \
    --deepspeed zero2 --max_length 2048 --output_dir output

# MoE の例: Qwen/Qwen3.5-35B-A3B
NPROC_PER_NODE=8 CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 \
megatron sft --model Qwen/Qwen3.5-35B-A3B \
    --dataset 'AI-ModelScope/alpaca-gpt4-data-zh#500' \
    --split_dataset_ratio 0.01 --num_train_epochs 1 --finetune true \
    --expert_model_parallel_size 8 --moe_grouped_gemm true \
    --micro_batch_size 1 --global_batch_size 8 \
    --recompute_granularity full --recompute_method uniform --recompute_num_layers 1 \
    --attention_backend flash --max_length 2048 \
    --output_dir megatron_output/Qwen3.5-35B-A3B

3. 使用上の推奨事項

• このイメージには、PyTorch や DeepSpeed などのライブラリの修正版が含まれています。これらのライブラリを再インストールしないでください。

• DeepSpeed の設定では、zero_optimization.stage3_prefetch_bucket_size を空にするか、auto に設定してください。