Tüm Ürünler
Search
Belge Merkezi

Container Service for Kubernetes:Elastic inference on ECI

Son Güncelleme:Oct 06, 2026

Bir modeli eğittikten sonra, genellikle bunu bir çıkarım hizmeti olarak dağıtırsınız. Çıkarım iş yükleri değişken trafik desenlerine sahiptir; sabit bir ECS düğüm havuzu, aşırı kaynak tahsisi yapmadan ani artışları verimli bir şekilde karşılayamaz. Container Service for Kubernetes (ACK), Elastic Container Instance (ECI) üzerinde çıkarım podlarını zamanlayarak düğümleri yönetmenize gerek kalmadan kapasiteyi talebe göre ölçeklendirir.

Bu konuda, BERT modelinin ECI üzerinde TensorFlow Serving çıkarım hizmeti olarak nasıl dağıtılacağı, saniye başına sorgu (QPS) bazında ölçeklendirme yapmak için Horizontal Pod Autoscaler (HPA) yapılandırması ve hizmetin İnternet üzerinden nasıl sunulacağı adım adım açıklanmaktadır.

Çalışma mantığı

Elastik çıkarımı sunmak için aşağıdaki bileşenler birlikte çalışır:

Client → Ingress (Internet-facing) → TF Serving pods (on ECI)
                                            ↑
                                     HPA (scale-out/in)
                                            ↑
                           Metrics Adapter ← SLS (nginx-ingress QPS)
  1. Eğitilmiş modeli bir Object Storage Service paketine yükleyin.

  2. Kalıcı birim (PV) ve kalıcı birim talebi (PVC) kullanarak paketi kümeye bağlayın.

  3. Yeni podların ECI'ye yönlendirilmesini sağlayan ek açıklamalarla arena kullanarak çıkarım hizmetini dağıtın.

  4. Simple Log Service (SLS) kaynağından alınan harici ölçümü kullanarak, QPS belirli bir eşiği aştığında yatay ölçeklendirmeyi tetiklemek üzere HPA'yı yapılandırın.

  5. Harici istemcilerin hizmete erişebilmesi için İnternet'e açık bir Ingress oluşturun.

  6. HPA'nın QPS'ye göre podları yatay olarak büyütüp küçülttüğünü doğrulamak için bir stres testi çalıştırın.

Ön koşullar

Başlamadan önce şunlara sahip olduğunuzdan emin olun:

  • Dağıtıma hazır, eğitilmiş bir model. Bu konuda TensorFlow 1.15 ile eğitilmiş bir BERT modeli kullanılmaktadır.

  • ACK kümenizde şu bileşenlerin kurulu olması: ack-virtual-node, ack-alibaba-cloud-metrics-adapter ve arena. Kurulum talimatları için bkz. Bileşenleri yönetme. ack-virtual-node hakkında bilgi için bkz. Bağlantıya genel bakış

Adım 1: Modeli OSS'e yükleme

Eğitilmiş model dosyalarınızı bir OSS paketinde depolayın. Talimatlar için bkz. Nesneleri yükleme.

Adım 2: PV ve PVC kullanarak modeli bağlama

OSS paketinizle eşleşen bir PV ve çıkarım podunun bağlayacağı bir PVC oluşturun.

  1. Aşağıdaki içeriğe sahip pvc.yaml adlı bir dosya oluşturun:

    apiVersion: v1
    kind: PersistentVolume
    metadata:
      name: model-csi-pv
    spec:
      capacity:
        storage: 5Gi
      accessModes:
        - ReadWriteMany
      persistentVolumeReclaimPolicy: Retain
      csi:
        driver: ossplugin.csi.alibabacloud.com
        volumeHandle: model-csi-pv   # Must match the PV name above
        volumeAttributes:
          bucket: "<your-bucket-name>"
          url: "<your-oss-url>"
          akId: "<your-access-key-id>"
          akSecret: "<your-access-key-secret>"
          otherOpts: "-o max_stat_cache_size=0 -o allow_other"
    ---
    apiVersion: v1
    kind: PersistentVolumeClaim
    metadata:
      name: model-pvc
    spec:
      accessModes:
        - ReadWriteMany
      volumeName: model-csi-pv
      storageClassName: ""
      resources:
        requests:
          storage: 5Gi

    Yer tutucuları değiştirin:

    Placeholder Description
    <your-bucket-name> OSS paketinin adı. Paket adları küresel olarak benzersizdir. Bkz. Paket adlandırma kuralları.
    <your-oss-url> Paketteki nesnelere erişmek için kullanılan URL. Bkz. Tek bir nesnenin URL'sini veya birden çok nesnenin URL'lerini alma.
    <your-access-key-id> OSS erişimi için AccessKey ID'si. En az ayrıcalıklı izinlere sahip bir Resource Access Management (RAM) kullanıcısı kullanın. Bkz. AccessKey çifti oluşturma.
    <your-access-key-secret> Yukarıdaki AccessKey ID'ye karşılık gelen AccessKey gizli anahtarı.

    otherOpts alanı, ossfs için özel bağlama seçeneklerini kabul eder:

    • -o max_stat_cache_size=0 — meta veri önbelleğini devre dışı bırakır, böylece pod her zaman OSS'ten en son nesne meta verilerini okur.

    • -o allow_other — pod içinde farklı kullanıcılar olarak çalışan işlemlerin bağlı pakete erişmesine olanak tanır.

    Ek bağlama seçenekleri için bkz. ossfs tarafından desteklenen özel parametreler.

  2. Bildirim dosyasını uygulayın:

    kubectl apply -f pvc.yaml

Adım 3: Çıkarım hizmetini dağıtma

Bir TensorFlow Serving çıkarım hizmeti dağıtmak için arena komutunu kullanın. --annotation işaretleri, podların ECS düğümlerinde mi yoksa ECI'de mi çalışacağını kontrol eder.

  1. Aşağıdaki komutu çalıştırın:

    arena serve tensorflow \
      --namespace=default \
      --name=bert-tfserving \
      --model-name=chnsenticorp \
      --gpus=1 \
      --image=tensorflow/serving:1.15.0-gpu \
      --data=model-pvc:/data \
      --model-path=/data/models/tensorflow/chnsenticorp \
      --version-policy=specific:1623831335 \
      --annotation=alibabacloud.com/burst-resource=eci_only \
      --annotation=k8s.aliyun.com/eci-use-specs=ecs.gn6i-c4g1.xlarge

    İki ek açıklama, ECI zamanlamasını kontrol eder:

    Annotation Description
    alibabacloud.com/burst-resource Podların nereye zamanlanacağını kontrol eder. Yalnızca ECS kullanmak için boş bırakın (varsayılan). ECS kapasitesi yetersiz olduğunda ECI kullanmak için eci olarak ayarlayın. Yalnızca ECI kullanmak için eci_only olarak ayarlayın.
    k8s.aliyun.com/eci-use-specs GPU hızlandırmalı ECI örnek türünü belirtir. ECI GPU kaynaklarını kullanırken gereklidir.
  2. Hizmetin çalıştığını doğrulayın:

    arena serve list

    Beklenen çıktı:

    NAME            TYPE        VERSION       DESIRED  AVAILABLE  ADDRESS        PORTS                   GPU
    bert-tfserving  Tensorflow  202207181536  1        1          172.16.52.170  GRPC:8500,RESTFUL:8501  1
  3. Podun ECI üzerinde çalıştığını onaylayın:

    kubectl get pods -o wide

    Beklenen çıktı:

    NAME                                                              READY   STATUS    RESTARTS   AGE    IP              NODE                           NOMINATED NODE   READINESS GATES
    bert-tfserving-202207181536-tensorflow-serving-547797c546-djh58   1/1     Running   0          114s   192.168.0.246   virtual-kubelet-cn-beijing-h   <none>           <none>

    NODE değerinin virtual-kubelet-cn-beijing-h olması, podun bir ECS düğümü yerine bir ECI örneğinde çalıştığını doğrular.

Adım 4: QPS tabanlı ölçeklendirme için HPA yapılandırma

HPA, SLS'teki sls_ingress_qps ölçümüne dayanarak çıkarım podlarının sayısını otomatik olarak ayarlar. QPS averageValue değerini aştığında yatay büyüme tetiklenir; QPS bu değerin altına düştüğünde ise yatay küçülme gerçekleşir.

  1. arena tarafından oluşturulan Dağıtım ve Hizmet adlarını kontrol edin:

    kubectl get deployment

    Beklenen çıktı:

    NAME                                             READY   UP-TO-DATE   AVAILABLE   AGE
    bert-tfserving-202207181536-tensorflow-serving   1/1     1            1           2m18s
    kubectl get service

    Beklenen çıktı:

    NAME                                             TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)             AGE
    bert-tfserving-202207181536-tensorflow-serving   ClusterIP   172.16.52.170   <none>        8500/TCP,8501/TCP   2m45s
  2. Aşağıdaki içeriğe sahip bert-tfserving-eci-hpa.yaml adlı bir dosya oluşturun:

    Parameter Description
    scaleTargetRef Ölçeklendirilecek Dağıtım — 3. Adımda oluşturulan çıkarım hizmeti Dağıtımı.
    minReplicas Minimum pod sayısı.
    maxReplicas Maksimum pod sayısı.
    sls.project Kümeniz için SLS projesinin adı, k8s-log-{cluster id} biçimindedir. {cluster id} yerine gerçek küme kimliğinizi yazın.
    sls.logstore SLS Logstore adı. Varsayılan nginx-ingress değeridir.
    sls.ingress.route İzlenecek Ingress rotasını tanımlar, {namespace}-{service name}-{service port} biçimindedir.
    averageValue Yatay büyümeyi tetikleyen pod başına QPS eşiği. Bu örnekte 10 olarak ayarlanmıştır.
    apiVersion: autoscaling/v2
    kind: HorizontalPodAutoscaler
    metadata:
      name: bert-tfserving-eci-hpa
      namespace: default
    spec:
      scaleTargetRef:
        apiVersion: apps/v1
        kind: Deployment
        name: bert-tfserving-202207181536-tensorflow-serving
      minReplicas: 1
      maxReplicas: 10
      metrics:
      - type: External
        external:
          metric:
            name: sls_ingress_qps
            selector:
              matchLabels:
                sls.project: "k8s-log-{cluster id}"
                sls.logstore: "nginx-ingress"
                sls.ingress.route: "default-bert-tfserving-202207181536-tensorflow-serving-8501"
          target:
            type: AverageValue
            averageValue: "10"

    Temel parametreler:

  3. HPA bildirim dosyasını uygulayın:

    kubectl apply -f bert-tfserving-eci-hpa.yaml
  4. HPA'nın etkin olduğunu doğrulayın:

    kubectl get hpa

    Beklenen çıktı:

    NAME                     REFERENCE                                                   TARGETS      MINPODS   MAXPODS   REPLICAS   AGE
    bert-tfserving-eci-hpa   Deployment/bert-tfserving-202207181536-tensorflow-serving   0/10 (avg)   1         10        1          116s

Adım 5: Hizmeti İnternet üzerinden sunma

Varsayılan olarak, arena serve tensorflow hizmete yalnızca bir küme IP adresi atar. Harici trafiği kabul etmek için İnternet'e açık bir Ingress oluşturun.

  1. ACK konsoluna giriş yapın ve sol gezinme bölmesinden Clusters öğesini tıklayın.

  2. Hedef kümenin adına tıklayın. Sol gezinme bölmesinden Network > Ingresses seçeneğini belirleyin.

  3. Namespace açılır listesinden çıkarım hizmetinin bulunduğu ad alanını seçin ve ardından Create Ingress öğesini tıklayın. Aşağıdaki parametreleri yapılandırın. Ayrıntılar için bkz. NGINX Ingress oluşturma.

    Parameter Example value
    Name bert-tfserving
    Domain name test.example.com (kendi alan adınızı kullanın)
    Path /
    Rule ImplementationSpecific (varsayılan)
    Service name bert-tfserving-202207181536-tensorflow-serving
    Port 8501
  4. Ingresses sayfasında oluşturduğunuz Ingress'i bulun ve Rules sütunundaki adresini not edin.

Adım 6: Stres testiyle elastik ölçeklendirmeyi doğrulama

Çıkarım hizmetine yük göndermek için 5. Adımdaki Ingress adresini kullanın.

  • QPS, averageValue değerini (bu örnekte 10) aştığında, HPA yatay büyümeyi tetikler ve yeni podlar ECI üzerinde zamanlanır. Toplam pod sayısı maxReplicas (10) içinde kalır.

  • QPS, averageValue değerinin altına düştüğünde, HPA yatay küçülmeyi tetikler.