Cette version met à jour vLLM vers la v0.8.2 et PyTorch vers la 2.6.0 dans l'image vLLM, ainsi que SGLang vers la v0.4.4.post1.
Nouveautés
PyTorch passe à la version 2.6.0 dans l'image vLLM.
vLLM passe à la version v0.8.2.
SGLang passe à la version v0.4.4.post1.
ACCL-N passe à la version 2.23.4.12, avec de nouvelles fonctionnalités et des corrections de bugs.
Corrections de bugs
Aucune.
Contenu de l'image
|
inference-nv-pytorch (variante vLLM) |
inference-nv-pytorch (variante SGLang) |
|
|
Tag |
|
|
|
Cas d'usage |
Inférence LLM |
Inférence LLM |
|
Framework |
PyTorch |
PyTorch |
|
Prérequis |
Pilote NVIDIA version ≥ 550 |
Pilote NVIDIA version ≥ 550 |
|
Composants système |
Ubuntu 22.04, Python 3.10, Torch 2.6.0, CUDA 12.4, ACCL-N 2.23.4.12, accelerate 1.5.2, diffusers 0.32.2, flash_attn 2.7.4.post1, transformer 4.50.1, vllm 0.8.2, ray 2.44.0, triton 3.2.0 |
Ubuntu 22.04, Python 3.10, Torch 2.5.1, CUDA 12.4, ACCL-N 2.23.4.12, accelerate 1.5.2, diffusers 0.32.2, flash_attn 2.7.4.post1, transformer 4.48.3, vllm 0.7.2, ray 2.44.0, triton 3.2.0, flashinfer-python 0.2.3, sglang 0.4.4.post1, sgl-kernel 0.0.5 |
Ressources
Images publiques
egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:25.03-vllm0.8.2-pytorch2.6-cu124-20250328-serverlessegslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:25.03-sglang0.4.4.post1-pytorch2.5-cu124-20250327-serverless
Image VPC
acs-registry-vpc.{region-id}.cr.aliyuncs.com/egslingjun/{image:tag}Remplacez{region-id}par l'ID de la région où votre service Alibaba Cloud Container Compute Service (ACS) est activé (par exemple,cn-beijingoucn-wulanchabu).
Remplacez {image:tag} par le nom et le tag de l'image.
Les images inference-nv-pytorch:25.03-vllm0.8.2-pytorch2.6-cu124-20250328-serverless et inference-nv-pytorch:25.03-sglang0.4.4.post1-pytorch2.5-cu124-20250327-serverless sont compatibles uniquement avec les déploiements ACS et Lingjun multi-tenant. Elles ne sont pas compatibles avec les déploiements Lingjun single-tenant.
Prérequis liés aux pilotes
Pilote NVIDIA version ≥ 550.
Prise en main rapide
L'exemple suivant récupère l'image inference-nv-pytorch via Docker et exécute un test d'inférence avec le modèle Qwen2.5-7B-Instruct.
Pour utiliser l'image inference-nv-pytorch dans ACS, sélectionnez-la depuis la page du centre d'artefacts lors de la création de charges de travail dans la console, ou spécifiez-la dans un fichier YAML. Pour obtenir des instructions détaillées, consultez :
-
Récupérez l'image de conteneur d'inférence.
docker pull egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:[tag] -
Téléchargez un modèle open source au format ModelScope.
pip install modelscope cd /mnt modelscope download --model Qwen/Qwen2.5-7B-Instruct --local_dir ./Qwen2.5-7B-Instruct -
Démarrez un conteneur à partir de l'image récupérée.
docker run -d -t --network=host --privileged --init --ipc=host \ --ulimit memlock=-1 --ulimit stack=67108864 \ -v /mnt/:/mnt/ \ egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:[tag] -
Exécutez un test d'inférence avec vLLM.
-
Lancez le serveur API vLLM.
python3 -m vllm.entrypoints.openai.api_server \ --model /mnt/Qwen2.5-7B-Instruct \ --trust-remote-code --disable-custom-all-reduce \ --tensor-parallel-size 1 -
Envoyez une requête depuis le client.
curl http://localhost:8000/v1/chat/completions \ -H "Content-Type: application/json" \ -d '{ "model": "/mnt/Qwen2.5-7B-Instruct", "messages": [ {"role": "system", "content": "You are a friendly AI assistant."}, {"role": "user", "content": "Please introduce deep learning."} ]}'Pour plus d'informations sur vLLM, consultez la documentation vLLM.
-
Problèmes connus
Aucun problème connu pour cette version.