Tüm Ürünler
Search
Belge Merkezi

Container Service for Kubernetes:Best practices for configuring AI model inference services in Knative

Son Güncelleme:Oct 06, 2026

Knative, AI model çıkarımı için son derece uygundur; otomatik ölçeklendirme ile trafik dalgalanmalarını yönetir, boşta kaldığında podları sıfıra ölçekler ve GPU kaynaklarını iş yükleri arasında esnek bir şekilde tahsis etmenizi sağlar. Bu kılavuz, Knative tabanlı bir çıkarım hizmetinin her katmanı için yapılandırma en iyi uygulamalarını kapsar: model yükleme, eşzamanlılık, otomatik ölçeklendirme, GPU paylaşımı, prob'lar ve dağıtım stratejileri.

Hızlandırılmış model dağıtımı

AI model dosyaları büyüktür. Bunları konteyner görüntülerinin içine paketlemek iki sorun yaratır: Görüntüler hızlıca çekilemeyecek kadar büyük hale gelir ve model sürümleri görüntü sürümlerine kilitlenir. Bunun yerine, model dosyalarını Object Storage Service (OSS) veya File Storage NAS (NAS) üzerinde depolayın ve ardından kalıcı birim talebi (PVC) kullanarak bu depolamayı Knative Service pod'larınıza bağlayın.

Model yüklemeyi daha da hızlandırmak için Fluid'i kullanın. Fluid, yerel SSD'de verileri önbelleğe alarak büyük dil modellerini saniyeler içinde yükleyebilen dağıtık veri kümesi düzenleme ve hızlandırma motorudur.

Ön koşullar

Başlamadan önce şunlara sahip olduğunuzdan emin olun:

Adım 1: Veri Kümesini Tanımlama

Modelinizin OSS üzerindeki konumunu belirtmek ve SSD önbelleğe almayı yapılandırmak için bir Dataset özel kaynağı (CR) ve bir JindoRuntime CR oluşturun.

apiVersion: v1
kind: Secret
metadata:
  name: access-key
stringData:
  fs.oss.accessKeyId: your_ak_id          # Replace with your AccessKey ID.
  fs.oss.accessKeySecret: your_ak_skrt    # Replace with your AccessKey secret.
---
apiVersion: data.fluid.io/v1alpha1
kind: Dataset
metadata:
  name: oss-data
spec:
  mounts:
  - mountPoint: "oss://{Bucket}/{path-to-model}"  # Replace with your OSS bucket and model path.
    name: xxx
    path: "{path-to-model}"                        # Replace with the model path to load.
    options:
      fs.oss.endpoint: "oss-cn-beijing.aliyuncs.com"  # Replace with your OSS bucket endpoint.
    encryptOptions:
      - name: fs.oss.accessKeyId
        valueFrom:
          secretKeyRef:
            name: access-key
            key: fs.oss.accessKeyId
      - name: fs.oss.accessKeySecret
        valueFrom:
          secretKeyRef:
            name: access-key
            key: fs.oss.accessKeySecret
  accessModes:
    - ReadOnlyMany
---
apiVersion: data.fluid.io/v1alpha1
kind: JindoRuntime
metadata:
  name: oss-data
spec:
  replicas: 2
  tieredstore:
    levels:
      - mediumtype: SSD
        volumeType: emptyDir
        path: /mnt/ssd0/cache
        quota: 100Gi
        high: "0.95"
        low: "0.7"
  fuse:
    properties:
      fs.jindofsx.data.cache.enable: "true"
    args:
      - -okernel_cache
      - -oro
      - -oattr_timeout=7200
      - -oentry_timeout=7200
      - -ometrics_port=9089
    cleanPolicy: OnDemand

Adım 2: PVC'yi Bağlama

Dataset CR ve JindoRuntime CR'yi uyguladıktan sonra sistem, Dataset ile aynı ada sahip bir PVC'yi otomatik olarak oluşturur. Önbelleğe alınmış modele konteyner içinden erişilebilir kılmak için bu PVC'yi Knative Service'inize bağlayın.

apiVersion: serving.knative.dev/v1
kind: Service
metadata:
  name: sd-backend
spec:
  template:
    spec:
      containers:
        - image: <YOUR-IMAGE>    # Replace with your container image name.
          name: image-name
          ports:
            - containerPort: xxx
              protocol: TCP
          volumeMounts:
            - mountPath: /data/models  # The path where the model is loaded inside the container.
              name: data-volume
      volumes:
        - name: data-volume
          persistentVolumeClaim:
            claimName: oss-data    # Must match the Dataset name.

Daha fazla bilgi için bkz. OSS erişimini hızlandırmak için JindoFS kullanma ve NAS dosya sistemlerine erişimi hızlandırmak için EFC kullanma.

Adım 3: Görüntü önbellekleri ile görüntü çekmeyi hızlandırma

AI çıkarımı için kullanılan konteyner görüntüleri büyüktür; CUDA, PyTorch-GPU ve diğer bağımlılıkları içerirler. Knative, elastik konteyner örneklerinde podları ölçeklendirdiğinde yavaş görüntü çekmeleri başlatmayı geciktirir. Podların saniyeler içinde başlamasını sağlamak için görüntünün önbelleğe alınmış bir anlık görüntüsünü önceden oluşturmak üzere ImageCache kullanın.

apiVersion: eci.alibabacloud.com/v1
kind: ImageCache
metadata:
  name: imagecache-ai-model
  annotations:
    k8s.aliyun.com/eci-image-cache: "true"  # Enable cache reuse.
spec:
  images:
  - <YOUR-IMAGE>
  imageCacheSize:
    25    # Cache size in GiB.
  retentionDays:
    7     # Number of days to retain the cache.

Daha fazla bilgi için bkz. Elastik konteyner örneklerinin oluşturulmasını hızlandırmak için ImageCache kullanma.

Düzgün pod kapatma

Bir uygulama HTTP prob'u kullanıyorsa, uygulama podları SIGTERM sinyalini aldıktan sonra Not Ready durumuna geçer ve böylece yeni istekler bunlara yönlendirilmez. Ancak, Knative'in queue-proxy'si SIGTERM'den sonra kısa bir süre boyunca devam eden istekleri iletmeye devam edebilir. Bu isteklerin tamamlanması için zaman tanımak amacıyla timeoutSeconds değerini maksimum istek zaman aşımınızın 1,2 katına ayarlayın.

Örneğin, en uzun isteğiniz 10 saniye sürüyorsa timeoutSeconds değerini 12 olarak ayarlayın:

apiVersion: serving.knative.dev/v1
kind: Service
metadata:
  name: helloworld-go
  namespace: default
spec:
  template:
    spec:
      timeoutSeconds: 12

Eşzamanlılığı yapılandırma

Eşzamanlılık ayarları, tek bir pod'un aynı anda kaç isteği işleyeceğini belirler. Bunları doğru şekilde ayarlamak aktarım hızını artırır ve aşırı yüklenmeyi önler.

Sabit eşzamanlılık sınırı (containerConcurrency): Zorunlu bir üst sınırdır. Sınırın üzerindeki istekler kuyruğa alınır ve kapasite bekler.

Uyarı

Sabit sınırı yalnızca uygulamanızın güvenli eşzamanlılık konusunda katı bir üst sınırı varsa kullanın. Düşük bir sabit sınır, aktarım hızını azaltır, gecikme süresini artırır ve ek soğuk başlatmalara neden olabilir.

Esnek eşzamanlılık sınırı (autoscaling.knative.dev/target): Katı olmayan bir hedeftir. Trafik dalgalanmaları geçici olarak bu sınırı aşabilir. Bu, çoğu çıkarım iş yükü için daha güvenli varsayılan değerdir.

Hedef kullanım oranı (autoscaling.knative.dev/target-utilization-percentage): Knative'in sınıra ne kadar yakın kalmaya çalıştığını kontrol eder. Ölçeklendirmeyi tetiklemeden önce pod kullanımını maksimize etmek için bunu %100'e yakın ayarlayın.

Daha fazla bilgi için bkz. Esnek eşzamanlılık sınırını yapılandırma.

Otomatik ölçeklendirme

Otomatik ölçeklendirmeyi ayarlamadan önce pod başlatma sürenizi ölçün; bu, hangi parametrelerin en önemli olduğunu belirler.

Tüm parametre referansları için bkz. Trafik dalgalanmalarına karşı koymak için otomatik ölçeklendirmeyi etkinleştirme.

Ölçeklendirme modları

Knative'in otomatik ölçeklendiricisi iki modda çalışır:

  • Kararlı mod: Kararlı pencere üzerinden ortalaması alınan trafiğe dayanarak ölçeklendirme kararları verir. Normal, öngörülebilir trafik için uygundur.

  • Panik modu: Ani trafik dalgalanmalarını işlemek için daha kısa bir pencere kullanarak daha hızlı tepki verir. Panik penceresi, kararlı pencerenin bir yüzdesidir.

Kararlı pencere

Kararlı pencereyi ortalama pod başlatma sürenizin en az 2 katına ayarlayın. Pod başlatma süresinden daha kısa bir pencere, yeni başlatılan podlar henüz sayılmadığından otomatik ölçeklendiricinin hedefin altında kalmasına neden olur.

Parametre Genel anahtar Revizyon başına ek açıklama Varsayılan
Kararlı pencere stable-window autoscaling.knative.dev/window 60s
apiVersion: serving.knative.dev/v1
kind: Service
metadata:
  name: helloworld
spec:
  template:
    metadata:
      annotations:
        autoscaling.knative.dev/window: "40s"

Panik penceresi

Panik penceresi, kararlı pencerenin bir yüzdesidir.

Parametre Genel anahtar Revizyon başına ek açıklama Geçerli aralık Varsayılan
Panik penceresi yüzdesi panic-window-percentage autoscaling.knative.dev/panic-window-percentage 1.0–100.0 10.0
Uyarı

Kısa bir panik penceresi, başlatma süreleri uzun olduğunda aşırı pod oluşturulmasına neden olabilir. Kararlı pencere 30 saniye ve panik penceresi %10 ise otomatik ölçeklendirici kararlarını 3 saniyelik verilere dayanarak verir. Podların başlaması 30 saniye sürerse otomatik ölçeklendirici tüm başlatma süresi boyunca pod oluşturmaya devam eder ve bu da büyük bir hedef aşımına yol açar. Diğer parametrelerin doğru çalıştığı teyit edilene kadar panik penceresini azaltmayın. Kararlı pencereniz ortalama pod başlatma süresinin 2 katıysa, güvenli bir başlangıç noktası olarak panik penceresini %50 olarak ayarlayın.

apiVersion: serving.knative.dev/v1
kind: Service
metadata:
  name: helloworld
  namespace: default
spec:
  template:
    metadata:
      annotations:
        autoscaling.knative.dev/panic-window-percentage: "20.0"

Panik modu eşiği

Panik eşiği, panik modunun etkinleştiği gelen trafiğin mevcut hizmet kapasitesine oranıdır.

Parametre Genel anahtar Revizyon başına ek açıklama Geçerli aralık Varsayılan
Panik eşiği yüzdesi panic-threshold-percentage autoscaling.knative.dev/panic-threshold-percentage ≥110.0 200.0

Varsayılan değerle (%200) başlayın ve trafik desenlerinizi ile gecikme süresi toleransınızı gözlemledikten sonra ayarlama yapın.

apiVersion: serving.knative.dev/v1
kind: Service
metadata:
  name: helloworld
  namespace: default
spec:
  template:
    metadata:
      annotations:
        autoscaling.knative.dev/panic-threshold-percentage: "150.0"

Ölçeklendirme yukarı oranı ve ölçeklendirme aşağı oranı

Varsayılan oranlar çoğu senaryo için uygundur. Üretim ortamına uygulamadan önce değişiklikleri bir hazırlama ortamında test edin.

Ölçeklendirme yukarı oranı: Podların ne kadar hızlı eklenebileceğini kontrol eder. Yeni podlar kaynak tahsisini beklediğinden pod başlatma yavaşsa bu oranı artırın.

apiVersion: v1
kind: ConfigMap
metadata:
  name: config-autoscaler
  namespace: knative-serving
data:
  max-scale-up-rate: "500.0"

Ölçeklendirme aşağı oranı: Hemen yeni bir ölçeklendirme yukarı işlemini tetikleyen agresif ölçeklendirme aşağı işlemlerinden kaçınmak için bunu en az ortalama pod başlatma süresine ayarlayın. Değer bir orandır: 4.0 değeri, pod sayısının her ölçeklendirme döngüsünde mevcut sayının en fazla 1/4'üne düşebileceği anlamına gelir.

Maliyetleri azaltmak için, trafik düştüğünde podların hızlıca kaldırılması amacıyla ölçeklendirme aşağı oranını artırın. Az sayıda pod içeren hizmetler için stabiliteyi korumak ve tekrarlayan ölçeklendirmelerden kaçınmak adına ölçeklendirme aşağı oranını azaltın.

apiVersion: v1
kind: ConfigMap
metadata:
  name: config-autoscaler
  namespace: knative-serving
data:
  max-scale-down-rate: "4.0"

Ölçeklendirme aşağı gecikmesi

Ölçeklendirme aşağı gecikmesi, podları kaldırmadan önce sabit bir süre boyunca tutar. Bu, otomatik ölçeklendiricinin podları agresif bir şekilde kaldırmasını ve ardından yeni bir istek geldiğinde hemen yeniden oluşturmasını önler.

apiVersion: serving.knative.dev/v1
kind: Service
metadata:
  name: helloworld-go
  namespace: default
spec:
  template:
    metadata:
      annotations:
        autoscaling.knative.dev/scale-down-delay: "2m"  # Keep pods for 2 minutes after scale-down decision.

Ölçek sınırları

Minimum çoğaltma sayısı

autoscaling.knative.dev/min-scale çalışan pod sayısının alt sınırını belirler.

Kullanım durumu Önerilen değer
Düşük trafikli, her zaman kullanılabilir hizmet 1
Trafik dalgalanmaları alabilecek hizmet >1
Boşta kaldığında sıfıra ölçeklendirmeye izin verme 0
apiVersion: serving.knative.dev/v1
kind: Service
metadata:
  name: helloworld
  namespace: default
spec:
  template:
    metadata:
      annotations:
        autoscaling.knative.dev/min-scale: "0"

Maksimum çoğaltma sayısı

autoscaling.knative.dev/max-scale pod sayısını sınırlar. Kaynak kotanız dahilinde kalmak için bunu ayarlayın.

apiVersion: serving.knative.dev/v1
kind: Service
metadata:
  name: helloworld
  namespace: default
spec:
  template:
    metadata:
      annotations:
        autoscaling.knative.dev/max-scale: "3"

İlk ölçeklendirme

autoscaling.knative.dev/initial-scale ilk dağıtımda bir revizyon için hedef çoğaltma sayısını belirler. Revizyon bu sayıya ulaştığında ve Ready olarak işaretlendiğinde bu değer artık uygulanmaz; otomatik ölçeklendirici gerçek trafiğe göre devralır ve trafik düşükse çoğaltma sayısı düşebilir. Trafik kaydırmalı güncellemeler sırasında yeni revizyonun trafik gelmeden önce kapasiteye sahip olması için bunu mevcut pod sayınızın yaklaşık 1,2 katına ayarlayın.

apiVersion: serving.knative.dev/v1
kind: Service
metadata:
  name: helloworld-go
  namespace: default
spec:
  template:
    metadata:
      annotations:
        autoscaling.knative.dev/initial-scale: "3"

GPU paylaşımı

Container Service for Kubernetes (ACK), konteynerler arasında GPU bellek izolasyonu sağlayan cGPU aracılığıyla GPU paylaşımını destekler. Bir Knative Service'te GPU paylaşımını etkinleştirmek için resources.limits altında aliyun.com/gpu-mem değerini ayarlayın.

apiVersion: serving.knative.dev/v1
kind: Service
metadata:
  name: helloworld-go
  namespace: default
spec:
  template:
    spec:
      containerConcurrency: 1
      containers:
      - image: registry-vpc.cn-hangzhou.aliyuncs.com/demo-test/test:helloworld-go
        name: user-container
        ports:
        - containerPort: 6666
          name: http1
          protocol: TCP
        resources:
          limits:
            aliyun.com/gpu-mem: "3"  # GPU memory in GiB allocated to this container.

Prob'lar

Knative, soğuk başlatma gecikme süresini en aza indirmek için hizmetleri standart Kubernetes'e göre daha sık prob'lar. Çıkarım konteynerleriniz için hem canlılık hem de hazırlık prob'larını yapılandırın.

  • Canlılık prob'u: Konteyner sağlığını izler. Prob başarısız olursa Kubernetes konteyneri yeniden başlatır.

  • Hazırlık prob'u: Trafik yönlendirmesini kontrol eder. Yalnızca hazırlık prob'undan geçen pod'lar istek alır.

TCP ve HTTP karşılaştırması:

  • TCP prob'u: Tüm bileşenler yüklenip konteynerler hazır olana kadar dinleme bağlantı noktasını açmaz.

  • HTTP prob'u: Yalnızca uç nokta başarılı bir yanıt döndürdüğünde geçer. Bu, ısınma aşaması olan çıkarım hizmetleri için daha doğrudur.

Pod'un hazır hale gelmesi ile trafiğin ona yönlendirilmesi arasındaki gecikmeyi azaltmak için periodSeconds değerini varsayılan 10 saniyeden daha kısa bir değere ayarlayın.

Daha fazla bilgi için bkz. Knative'te bağlantı noktası prob'larını yapılandırma.

Sıfıra ölçeklendirme

Bir Knative Service trafik almadığında Knative, podlarını sıfıra ölçekleyerek boşta kalan modeller için kaynak maliyetlerini ortadan kaldırabilir.

Çok sayıda model içeren iş yükleri için her model için ayrı bir Knative Service oluşturun. Bu, her Service'teki iş mantığını basit tutar ve her modelin bağımsız olarak ölçeklenmesine olanak tanır.

Bir istemci boşta kalan bir modele ilk kez eriştiğinde Knative sıfırdan yukarı ölçeklendirir. Soğuk başlatma etkisini azaltmak için her zaman en az bir sıcak pod'un hazır bulunmasını sağlamak üzere ayrılmış bir örnek yapılandırın.

Daha fazla bilgi için bkz. Ayrılmış örnek yapılandırma.

Canary yayınlamaları

Knative, yeni revizyon hazır olana kadar eski revizyonu çalışır durumda tutarak dağıtımlar sırasında sürekliliği sağlar.

Trafik bölüşmesini percent alanını kullanarak kontrol edin. Geçerli aralık %10–%100'dür. Yeni revizyona tamamen geçiş yapmak ve eskisini hemen emekliye ayırmak için bunu %100 olarak ayarlayın.

Kaynaklar kısıtlı olduğunda—örneğin, 500 pod çalışırken yalnızca 300 pod daha mevcutken—eski revizyonun ne kadar hızlı ölçeklendirileceğini sınırlamak için düşük bir trafik yüzdesi kullanın. Bu durumda çok yüksek bir yüzde ayarlamak, eski revizyonun yeni olandan daha hızlı ölçeklenmesine ve yetersiz kapasite kalmasına neden olabilir.

Daha fazla bilgi için bkz. Knative Service için trafik bölüşmeye dayalı canary yayınlama gerçekleştirme.

ECS örneklerini ve elastik konteyner örneklerini birlikte konumlandırma

Elastic Compute Service (ECS) örneklerini elastik konteyner örnekleriyle karıştırmak için ResourcePolicies yapılandırın. ECS örnekleri normal trafik sırasında çalışır; elastik konteyner örnekleri trafik dalgalanmalarını karşılar.

  • Yukarı ölçeklendirme: Knative, podları önce ECS örneklerine zamanlar. Podlar önceden tanımlanmış sınırı aştığında veya ECS kapasitesi tükendiğinde yeni podlar elastik konteyner örneklerine gider.

  • Aşağı ölçeklendirme: Elastik konteyner örneklerindeki podlar önce kaldırılır.

image

Daha fazla bilgi için bkz. Knative'te ECS örneklerini ve elastik konteyner örneklerini birlikte konumlandırma.