Tüm Ürünler
Search
Belge Merkezi

Container Service for Kubernetes:Deploy a KServe model inference service in serverless mode

Son Güncelleme:Oct 06, 2026

KServe (eski adıyla KFServing), otomatik ölçeklendirme, sıfıra ölçeklendirme ve canary dağıtımı destekleyen cloud-native bir model sunucusu ve çıkarım motorudur. Bu konu, Alibaba Cloud Service Mesh (ASM) ve Arena kullanarak sunucusuz modda bir KServe model çıkarım hizmetinin nasıl dağıtılacağını açıklar.

Ön koşullar

Başlamadan önce aşağıdaki ön koşulları karşıladığınızdan emin olun:

Adım 1: Model verilerini hazırlayın

Model verilerini NAS veya Object Storage Service (OSS) üzerinde depolayın. Daha fazla bilgi için Statik olarak sağlanan NAS birimini bağlama ve ossfs 1.0 statik olarak sağlanan birim kullanma konularına bakın. Bu örnekte NAS kullanılmaktadır.

1.1 NAS bağlantı hedefini alın

  1. File Storage NAS konsoluna giriş yapın. Sol gezinme bölmesinde File System > File System List seçeneğini belirleyin. NAS dosya sisteminin bulunduğu bölgeyi seçin.

  2. File System List sayfasında hedef dosya sistemi kimliğine tıklayın. Ayrıntılar sayfasında Mount Targets sekmesine tıklayın. Mount Target sütunundaki image simgesinin üzerine gelerek bağlantı hedefini ve bağlama komutunu görüntüleyip kaydedin.

1.2 PV ve PVC yapılandırın

  1. ACK konsoluna giriş yapın. Sol gezinme bölmesinde Clusters öğesine tıklayın.

  2. Clusters sayfasında hedef kümenin adına tıklayın. Sol gezinme bölmesinde Volumes > Persistent Volumes seçeneğini belirleyin.

  3. Persistent Volumes sayfasında Create düğmesine tıklayın.

  4. Create PV iletişim kutusunda aşağıdaki parametreleri ayarlayın ve training-data adlı bir PV oluşturmak için Create düğmesine tıklayın. Daha fazla bilgi için Statik olarak sağlanan NAS birimini bağlama konusuna bakın.

    Parameter Value
    PV Type NAS
    Volume Name training-data
    Mount Target Domain Name 1.1 adımındaki bağlantı hedefini seçin
  5. Sol gezinme bölmesinde Volumes > Persistent Volume Claims seçeneğini belirleyin. Persistent Volume Claims sayfasında Create düğmesine tıklayın.

  6. Create PVC iletişim kutusunda aşağıdaki parametreleri ayarlayın ve training-data adlı bir PVC oluşturmak için Create düğmesine tıklayın. Daha fazla bilgi için Statik olarak sağlanan NAS birimini bağlama konusuna bakın.

    Parameter Value
    PVC Type NAS
    Name training-data
    Allocation Mode Existing Volumes
    Existing Volumes Oluşturduğunuz PV'yi seçmek için Select PV düğmesine tıklayın

1.3 Model verilerini NAS dosya sistemine indirin

  1. ACK konsoluna giriş yapın. Sol gezinme bölmesinde Clusters öğesine tıklayın.

  2. Clusters sayfasında hedef kümenin adına tıklayın. Sol gezinme bölmesinde Nodes > Nodes seçeneğini belirleyin.

  3. Nodes sayfasında hedef düğümün örnek kimliğine tıklayın. Instance Details sayfasında More > Workbench Remote Access > Log in seçeneğini belirleyin.

  4. 1.1 adımındaki bağlama komutunu çalıştırarak NAS dosya sistemini bağlayın.

  5. Hugging Face üzerinden bloom-560m modelini indirin ve pvc://training-data/bloom-560m yolunda depolayın.

Adım 2: Çıkarım hizmetini dağıtın

  1. Kümede kullanılabilir GPU kaynaklarını sorgulayın:

    arena top node

    Beklenen çıktı:

    NAME                       IPADDRESS      ROLE    STATUS  GPU(Total)  GPU(Allocated)
    cn-beijing.192.1xx.x.xx   192.1xx.x.xx   <none>  Ready   0           0
    cn-beijing.192.1xx.x.xx   192.1xx.x.xx   <none>  Ready   0           0
    cn-beijing.192.1xx.x.xx   192.1xx.x.xx   <none>  Ready   0           0
    cn-beijing.192.1xx.x.xx   192.1xx.x.xx   <none>  Ready   1           0
    cn-beijing.192.1xx.x.xx   192.1xx.x.xx   <none>  Ready   1           0
    ---------------------------------------------------------------------------------------------------
    Allocated/Total GPUs In Cluster:
    0/2 (0.0%)

    İki GPU hızlandırmalı düğüm kullanılabilir durumdadır.

  2. bloom-560m adlı çıkarım hizmetini başlatın. PVC training-data konteyner içindeki /mnt/models yoluna bağlanır.

    arena serve kserve \
        --name=bloom-560m \
        --image=ghcr.io/huggingface/text-generation-inference:1.0.2 \
        --gpus=1 \
        --cpu=6 \
        --memory=20Gi \
        --port=8080 \
        --env=STORAGE_URI=pvc://training-data \
        "text-generation-launcher --disable-custom-kernels --model-id /mnt/models/bloom-560m --num-shard 1 -p 8080"

    Beklenen çıktı:

    inferenceservice.serving.kserve.io/bloom-560m created
    INFO[0013] The Job bloom-560m has been submitted successfully
    INFO[0013] You can run `arena serve get bloom-560m --type kserve -n default` to check the job status

    Parametreler:

    Parameter Required Description
    --name Evet İş adı. Genel olarak benzersiz olmalıdır.
    --image Evet Çıkarım hizmeti için kullanılan konteyner görüntüsü.
    --gpus Hayır Gerekli GPU sayısı. Varsayılan değer: 0.
    --cpu Hayır Gerekli CPU sayısı.
    --memory Hayır Gerekli bellek miktarı.
    --port Hayır Dış erişim için açılan bağlantı noktası.
    --env Hayır Anahtar-değer çiftleri olarak ortam değişkenleri. Burada STORAGE_URI model PVC'sini işaret eder.

Adım 3: Çıkarım hizmetini doğrulayın

  1. KServe çıkarım hizmetinin dağıtım durumunu kontrol edin:

    arena serve get bloom-560m

    Beklenen çıktı:

    Name:       bloom-560m
    Namespace:  default
    Type:       KServe
    Version:    00001
    Desired:    1
    Available:  1
    Age:        9m
    Address:    http://bloom-560m.default.example.com
    Port:       :80
    GPU:        1
    
    LatestRevision:     bloom-560m-predictor-00001
    LatestPrecent:      100
    
    Instances:
      NAME                                                   STATUS   AGE  READY  RESTARTS  GPU  NODE
      ----                                                   ------   ---  -----  --------  ---  ----
      bloom-560m-predictor-00001-deployment-ff4c49bf6-twrlp  Running  9m   2/2    0         1    cn-hongkong.192.1xx.x.xxx

    Çıkarım hizmeti dağıtılmıştır. Erişim adresi: http://bloom-560m.default.example.com.

  2. ASM giriş ağ geçidinin IP adresini alın. Daha fazla bilgi için ASM giriş ağ geçidinin IP adresini alma konusuna bakın.

  3. ASM giriş ağ geçidi IP adresini kullanarak çıkarım hizmetine bir test isteği gönderin:

    # Replace ${ASM_GATEWAY} with the IP address of the ASM ingress gateway.
    curl -H "Host: bloom-560m.default.example.com" http://${ASM_GATEWAY}:80/generate \
        -X POST \
        -d '{"inputs":"What is Deep Learning?","parameters":{"max_new_tokens":17}}' \
        -H 'Content-Type: application/json'

    Beklenen çıktı:

    {"generated_text":" Deep Learning is a new type of machine learning that is used to solve complex problems."}

Adım 4: Çıkarım hizmetini güncelleyin

Trafiği yeni bir model sürümüne kademeli olarak yönlendirmek için canary dağıtımı kullanın.

  1. Modelin yeni bir sürümünü oluşturun ve PVC'deki model dosyalarını yeni bloom-560m-v2 yoluna kopyalayın.

  2. Yeni sürümü dağıtın ve trafiğin %10'unu bu sürüme yönlendirin:

    arena serve update kserve \
        --name bloom-560m \
        --canary-traffic-percent=10 \
        "text-generation-launcher --disable-custom-kernels --model-id /mnt/models/bloom-560m-v2 --num-shard 1 -p 8080"
  3. Çıkarım hizmetinin durumunu kontrol edin:

    arena serve get bloom-560m

    Beklenen çıktı:

    Name:       bloom-560m
    Namespace:  default
    Type:       KServe
    Version:    00002
    Desired:    2
    Available:  2
    Age:        36m
    Address:    http://bloom-560m.default.example.com
    Port:       :80
    GPU:        2
    
    LatestRevision:     bloom-560m-predictor-00002
    LatestPrecent:      10
    PrevRevision:       bloom-560m-predictor-00001
    PrevPrecent:        90
    
    Instances:
      NAME                                                    STATUS   AGE  READY  RESTARTS  GPU  NODE
      ----                                                    ------   ---  -----  --------  ---  ----
      bloom-560m-predictor-00001-deployment-ff4c49bf6-twrlp   Running  36m  2/2    0         1    cn-hongkong.192.1xx.x.xxx
      bloom-560m-predictor-00002-deployment-5b7bb66cfb-nqprp  Running  6m   2/2    0         1    cn-hongkong.192.1xx.x.xxx

    Trafiğin %10'u bloom-560m-predictor-00002 (yeni sürüm) üzerine, %90'ı ise bloom-560m-predictor-00001 (önceki sürüm) üzerine yönlendirilir.

  4. Yeni sürüm testlerden başarıyla geçtikten sonra tüm trafiği bu sürüme yönlendirin:

    arena serve update kserve \
        --name bloom-560m \
        --canary-traffic-percent=100

(İsteğe bağlı) Adım 5: Çıkarım hizmetini silin

Tüm GPU ve hesaplama kaynaklarını serbest bırakmak için çıkarım hizmetini silin:

arena serve delete bloom-560m