Container Compute Service:inference-nv-pytorch 25.06

Novedades

Componentes del sistema

Esta versión incluye dos variantes de imagen: una basada en vLLM y otra basada en SGLang. La tabla siguiente enumera sus etiquetas de imagen, escenarios de destino y versiones de los componentes.

Acceso a imágenes

acs-registry-vpc.{region-id}.cr.aliyuncs.com/egslingjun/{image:tag}

Requisitos del controlador

Ambas imágenes requieren CUDA 12.8. La versión mínima del controlador de NVIDIA difiere según la imagen:

Inicio rápido

El ejemplo a continuación descarga la imagen inference-nv-pytorch con Docker y ejecuta una prueba de inference con el modelo Qwen2.5-7B-Instruct.

Para usar la imagen inference-nv-pytorch en ACS, seleccione la imagen en la página de Artifact Center al crear cargas de trabajo o especifíquela en un archivo YAML. Para obtener más información, consulte:

Uso de la capacidad de cómputo de GPU de ACS para el despliegue de un servicio de inference de modelos a partir de un modelo destilado de DeepSeek

Uso de la capacidad de cómputo de GPU de ACS para el despliegue de un servicio de inference de modelos basado en la versión completa de DeepSeek

Uso de la capacidad de cómputo de GPU de ACS para el despliegue de un servicio de inference de modelos distribuido basado en la versión completa de DeepSeek

1. Descargue la imagen de contenedor de inference.

   docker pull egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:[tag]

2. Descargue el modelo Qwen2.5-7B-Instruct de ModelScope.

   pip install modelscope
   cd /mnt
   modelscope download --model Qwen/Qwen2.5-7B-Instruct --local_dir ./Qwen2.5-7B-Instruct

3. Inicie el contenedor.

   docker run -d -t --network=host --privileged --init --ipc=host \
   --ulimit memlock=-1 --ulimit stack=67108864 \
   -v /mnt/:/mnt/ \
   egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:[tag]

4. Ejecute la prueba de inference.

   1. Inicie el servidor de API de vLLM.

      python3 -m vllm.entrypoints.openai.api_server \
      --model /mnt/Qwen2.5-7B-Instruct \
      --trust-remote-code --disable-custom-all-reduce \
      --tensor-parallel-size 1

   2. Envíe una solicitud de prueba desde el cliente.

      curl http://localhost:8000/v1/chat/completions \
          -H "Content-Type: application/json" \
          -d '{
          "model": "/mnt/Qwen2.5-7B-Instruct",
          "messages": [
          {"role": "system", "content": "You are a friendly AI assistant."},
          {"role": "user", "content": "Please introduce deep learning."}
          ]}'

      Para obtener más información sobre vLLM, consulte vLLM.

Problemas conocidos

• El complemento deepgpu-comfyui solo admite GN8IS para acelerar la generación de video basada en el modelo Wanx.