Tüm Ürünler
Search
Belge Merkezi

Container Service for Kubernetes:Deploy a vLLM model as an inference service

Son Güncelleme:Oct 06, 2026

vLLM, birden fazla model biçimini ve arka uç hızlandırıcıyı destekleyen büyük dil modelleri için bir çıkarım kütüphanesidir; bu özellik, büyük ölçekli dil modellerinin sunumu için uygun hale getirir. Bu eğitimde, V100 GPU'lar üzerinde Qwen-7B-Chat-Int8 modelini kullanarak HTTP üzerinden sorgulayabileceğiniz bir çıkarım hizmeti oluşturursunuz.

vLLM hakkında daha fazla bilgi için bkz. vllm-project.

Önkoşullar

Adım 1: Model verilerini hazırlama ve kalıcı birimi yapılandırma

Model verilerini OSS veya NAS üzerinde hazırlayabilirsiniz. Daha fazla bilgi için bkz. ossfs 1,0 statik birim kullanma ve Statik NAS birimleri kullanma. Bu eğitimde OSS kullanılır.

Modeli yerel makinenize indirin

Bu eğitimde Qwen-7B-Chat-Int8 modeli kullanılır.

  1. Git'i yüklemek için aşağıdaki komutu çalıştırın:

    sudo yum install git
  2. Git LFS (Large File Storage) eklentisini yüklemek için aşağıdaki komutu çalıştırın:

    sudo yum install git-lfs
  3. Qwen-7B-Chat-Int8 deposunu ModelScope'dan yerel makinenize klonlamak için aşağıdaki komutu çalıştırın:

    GIT_LFS_SKIP_SMUDGE=1 git clone https://www.modelscope.cn/qwen/Qwen-7B-Chat-Int8.git
  4. Qwen-7B-Chat-Int8 depo dizinine gitmek için aşağıdaki komutu çalıştırın:

    cd Qwen-7B-Chat-Int8
  5. LFS tarafından yönetilen büyük dosyaları indirmek için Qwen-7B-Chat-Int8 dizininde aşağıdaki komutu çalıştırın:

    git lfs pull
Model dosyalarını OSS'e yükleyin
  1. OSS konsolu üzerinde oturum açın ve oluşturduğunuz paketin adını not edin. Paket oluşturma hakkında daha fazla bilgi için bkz. Paket oluşturma.

  2. ossutil'i yükleyin ve yapılandırın. Daha fazla bilgi için bkz. ossutil yükleme.

  3. OSS'te Qwen-7B-Chat-Int8 adlı bir dizin oluşturmak için aşağıdaki komutu çalıştırın:

    ossutil mkdir oss://<Your-Bucket-Name>/Qwen-7B-Chat-Int8
  4. Model dosyalarını OSS'e yüklemek için aşağıdaki komutu çalıştırın:

    ossutil cp -r ./Qwen-7B-Chat-Int8 oss://<Your-Bucket-Name>/Qwen-7B-Chat-Int8
PV ve PVC yapılandırma

Hedef küme için llm-model adlı bir kalıcı birim (PV) ve kalıcı birim talebi (PVC) yapılandırın. Daha fazla bilgi için bkz. ossfs 1,0 statik birim kullanma.

  • PV temel yapılandırmaları:


    Yapılandırma öğesi


    Açıklama


    PV Type


    OSS


    Volume Name:


    llm-model


    Access Certificate


    OSS'e erişim için kullanılan AccessKey ID ve AccessKey secret değerlerini yapılandırın.


    Bucket ID:


    Model dosyalarını OSS'e yükleme bölümünde oluşturduğunuz OSS paketini seçin.


    OSS Yolu


    Modelin depolandığı yolu seçin, örneğin /Qwen-7B-Chat-Int8.

  • PVC temel yapılandırmaları:


    Yapılandırma öğesi


    Açıklama


    PVC Type


    OSS


    Name


    llm-model


    Allocation Mode


    Existing Volumes seçeneğini belirleyin.


    Existing Volumes

    Select PV seçeneğine tıklayın ve oluşturduğunuz PV'yi seçin.

Adım 2: Çıkarım hizmetini dağıtma

Bu adımda, mevcut GPU kaynaklarını kontrol eder ve ardından vLLM çıkarım hizmetini başlatırsınız.

  1. Kümede kullanılabilir olan GPU kaynaklarını kontrol etmek için aşağıdaki komutu çalıştırın:

    arena top node
  2. vllm çıkarım hizmetini başlatmak için aşağıdaki komutu çalıştırın:

    arena serve kserve \
        --name=qwen \
        --image=kube-ai-registry.cn-shanghai.cr.aliyuncs.com/kube-ai/vllm:0.4.1 \
        --gpus=1 \
        --cpu=4 \
        --memory=12Gi \
        --data="llm-model:/mnt/models/Qwen-7B-Chat-Int8" \
        "python3 -m vllm.entrypoints.openai.api_server --port 8080 --trust-remote-code --served-model-name qwen --model /mnt/models/Qwen-7B-Chat-Int8 --gpu-memory-utilization 0.95 --quantization gptq --max-model-len=6144"


    Parametre


    Gerekli


    Açıklama


    --name


    Evet


    Gönderilen çıkarım hizmetinin adı. Ad genel olarak benzersiz olmalıdır.


    --image


    Evet


    Çıkarım hizmetinin görüntü adresi.


    --gpus


    Hayır


    Çıkarım hizmetinin kullandığı GPU sayısı. Varsayılan değer: 0.


    --cpu


    Hayır


    Çıkarım hizmetinin kullandığı CPU sayısı.


    --memory


    Hayır


    Çıkarım hizmetinin kullandığı bellek miktarı.


    --data


    Hayır


    Hizmetin model adresi. Bu konuda model, konteynerdeki /mnt/models/ dizinine bağlanan llm-model içinde depolanır.

    Beklenen çıktı:

    inferenceservice.serving.kserve.io/qwen created
    INFO[0006] The Job qwen has been submitted successfully 
    INFO[0006] You can run `arena serve get qwen --type kserve -n default` to check the job status

Adım 3: Çıkarım hizmetini doğrulama

Bu adımda, dağıtım durumunu onaylar ve çıkarım hizmetine bir test isteği gönderirsiniz.

  1. KServe çıkarım hizmetinin dağıtım durumunu sorgulamak için aşağıdaki komutu çalıştırın:

    arena serve get qwen

    Beklenen çıktı:

    Çıkarım hizmetinin dağıtım durumunu görüntülemek için tıklayın

    Name:       qwen
    Namespace:  default
    Type:       KServe
    Version:    1
    Desired:    1
    Available:  1
    Age:        2m
    Address:    http://qwen-default.example.com
    Port:       :80
    GPU:        1
    
    Instances:
      NAME                             STATUS   AGE  READY  RESTARTS  GPU  NODE
      ----                             ------   ---  -----  --------  ---  ----
      qwen-predictor-5485d6d8d5-kvj7g  Running  2m   1/1    0         1    cn-beijing.XX.XX.XX.XX

    Çıktı, KServe çıkarımının http://qwen-default.example.com adresinde dağıtıldığını gösterir.

  2. Nginx Ingress ağ geçidi üzerinden çıkarım hizmetine erişmek için aşağıdaki komutu çalıştırın:

    # Obtain the IP address of the Nginx Ingress.
    NGINX_INGRESS_IP=$(kubectl -n kube-system get svc nginx-ingress-lb -ojsonpath='{.status.loadBalancer.ingress[0].ip}')
    # Obtain the hostname of the inference service.
    SERVICE_HOSTNAME=$(kubectl get inferenceservice qwen -o jsonpath='{.status.url}' | cut -d "/" -f 3)
    # Send a request to access the inference service.
    curl -H "Host: $SERVICE_HOSTNAME" -H "Content-Type: application/json" http://$NGINX_INGRESS_IP:80/v1/chat/completions -d '{"model": "qwen", "messages": [{"role": "user", "content": "Run a test"}], "max_tokens": 10, "temperature": 0.7, "top_p": 0.9, "seed": 10}'

    Beklenen çıktı:

    Beklenen çıktıyı görüntülemek için tıklayın

    {"id":"cmpl-b7579597aa284f118718b22b83b726f8","object":"chat.completion","created":1715589652,"model":"qwen","choices":[{"index":0,"message":{"role":"assistant","content":"OK, xxxxxxxx?<|im_end|>"},"logprobs":null,"finish_reason":"length","stop_reason":null}],"usage":{"prompt_tokens":10,"total_tokens":20,"completion_tokens":10}}% 

    Çıktı, isteğin hizmete gönderildiğini ve beklenen JSON yanıtının döndürüldüğünü gösterir.

(İsteğe Bağlı) Adım 4: Çıkarım hizmetini silme

Önemli

Hizmeti silmeden önce, hizmete ve ilgili kaynaklara artık ihtiyaç duymadığınızdan emin olun.

Çıkarım hizmetini silmek için aşağıdaki komutu çalıştırın:

arena serve delete qwen

Başvurular