Tüm Ürünler
Search
Belge Merkezi

Container Service for Kubernetes:Implement a phased release for an inference service using an Nginx Ingress Controller gateway

Son Güncelleme:Oct 06, 2026

Bu kılavuz, NGINX Ingress denetleyicisini ağ geçidi olarak kullanarak Raw Deployment modundaki bir çıkarım hizmeti için kanarya sürümünün nasıl uygulanacağını adım adım açıklar. Bir çıkarım hizmetinin iki sürümünü yan yana dağıtın, trafiği v1'den v2'ye kademeli olarak yönlendirin ve v2 doğrulandıktan sonra tam geçişi tamamlayın.

Önkoşullar

Başlamadan önce aşağıdakilerin hazır olduğundan emin olun:

Çalışma mantığı

Bu kılavuzda aynı modelden (canary) dağıtılan iki çıkarım hizmeti kullanılır: biri v1, diğeri v2 çalıştırır. NGINX Ingress denetleyicisi, kanarya ek açıklamalarını kullanarak trafiği bu hizmetler arasında yönlendirir. İki trafik bölme stratejisi ele alınır:

  • Üst bilgi tabanlı yönlendirme: Belirli bir istek üst bilgisi (foo: bar) içeren istekler v2'ye gider. Diğer tüm istekler v1'e gider.

  • Ağırlık tabanlı yönlendirme: İsteklerin %20'si v2'ye gider. Kalan %80'i v1'e gider.

v2 doğrulandıktan sonra arka uç Service'i tamamen v2'yi gösterecek şekilde güncelleyin ve ardından v1 kaynaklarını temizleyin.

NGINX Ingress ile kanarya ve mavi-yeşil sürümler hakkında arka plan bilgisi için bkz. Kanarya sürümleri ve mavi-yeşil sürümleri uygulamak için NGINX Ingress denetleyicisini kullanma.

Adım 1: Çıkarım hizmetlerini dağıtın ve doğrulayın

Çıkarım hizmetinin her iki sürümünü de dağıtın ve her biri için bir Kubernetes Service oluşturun.

v1'i dağıtın

  1. v1 çıkarım hizmetini dağıtın.

    arena serve kserve \
     --name=model-v1 \
     --image=kube-ai-registry.cn-shanghai.cr.aliyuncs.com/ai-sample/kserve-canary:1.0.0 \
     --cpu=1 \
     --memory=2Gi \
     "python app.py --model_name=canary"
  2. Aşağıdaki içeriğe sahip model-svc.yaml adlı bir dosya oluşturun.

    apiVersion: v1
    kind: Service
    metadata:
      name: model-svc
    spec:
      ports:
      - port: 80
        protocol: TCP
        targetPort: 8080
      selector:
        serving.kserve.io/inferenceservice: model-v1
      type: ClusterIP
  3. Service'i oluşturun.

    kubectl apply -f model-svc.yaml
  4. model-v1'in doğru şekilde çalıştığını doğrulayın.

    curl -H "Host: $(kubectl get inferenceservice model-v1 -o jsonpath='{.status.url}' | cut -d "/" -f 3)" \
     -H "Content-Type: application/json" \
     http://$(kubectl -n kube-system get svc nginx-ingress-lb -ojsonpath='{.status.loadBalancer.ingress[0].ip}'):80/v1/models/canary:predict -X POST \
     -d '{"data": "test"}'

v2'yi dağıtın

  1. v2 çıkarım hizmetini dağıtın.

    arena serve kserve \
     --name=model-v2 \
     --image=kube-ai-registry.cn-shanghai.cr.aliyuncs.com/ai-sample/kserve-canary:1.0.0 \
     --cpu=1 \
     --memory=2Gi \
     "python app-v2.py --model_name=canary"
  2. Aşağıdaki içeriğe sahip model-v2-svc.yaml adlı bir dosya oluşturun.

    apiVersion: v1
    kind: Service
    metadata:
      name: model-v2-svc
    spec:
      ports:
      - port: 80
        protocol: TCP
        targetPort: 8080
      selector:
        serving.kserve.io/inferenceservice: model-v2
      type: ClusterIP
  3. Service'i oluşturun.

    kubectl apply -f model-v2-svc.yaml
  4. model-v2'nin doğru şekilde çalıştığını doğrulayın.

    curl -H "Host: $(kubectl get inferenceservice model-v2 -o jsonpath='{.status.url}' | cut -d "/" -f 3)" \
     -H "Content-Type: application/json" \
     http://$(kubectl -n kube-system get svc nginx-ingress-lb -ojsonpath='{.status.loadBalancer.ingress[0].ip}'):80/v1/models/canary:predict -X POST \
     -d '{"data": "test"}'

Adım 2: Ingress oluşturun

Varsayılan olarak tüm trafiği v1 Service'ine yönlendiren temel bir Ingress oluşturun.

  1. Aşağıdaki içeriğe sahip model-ingress.yaml adlı bir dosya oluşturun.

    apiVersion: networking.k8s.io/v1
    kind: Ingress
    metadata:
      name: model-ingress
    spec:
      rules:
      - host: model.example.com # Replace with your hostname.
        http:
          paths:
          - path: /
            backend:
              service:
                name: model-svc  # The Service for v1.
                port:
                  number: 80
            pathType: ImplementationSpecific
  2. Ingress'i oluşturun.

    kubectl apply -f model-ingress.yaml

Adım 3: Kanarya sürüm ilkelerini oluşturun ve doğrulayın

Hangi trafiğin v2'ye ulaşacağını kontrol etme yöntemine bağlı olarak aşağıdaki stratejilerden birini seçin.

Senaryo 1: Üst bilgi tabanlı trafik bölme

Belirli bir istek üst bilgisi içeren istekleri v2'ye yönlendirin. Diğer tüm istekler varsayılan olarak v1'e gider. Bu stratejiyi belirli bir istemci veya ekip ile hedeflenen testler için kullanın.

  1. Aşağıdaki içeriğe sahip gray-release-canary.yaml adlı bir dosya oluşturun.

    apiVersion: networking.k8s.io/v1
    kind: Ingress
    metadata:
      name: gray-release-canary
      annotations:
        nginx.ingress.kubernetes.io/canary: "true"
        nginx.ingress.kubernetes.io/canary-by-header: "foo"           # Route by the "foo" request header.
        nginx.ingress.kubernetes.io/canary-by-header-value: "bar"     # Requests with foo: bar go to v2.
    spec:
      rules:
      - host: model.example.com
        http:
          paths:
          - path: /
            backend:
              service:
                name: model-v2-svc  # The Service for v2.
                port:
                  number: 80
            pathType: ImplementationSpecific
  2. Kanarya sürüm ilkesini dağıtın.

    kubectl apply -f gray-release-canary.yaml
  3. Kanarya üst bilgisi içermeyen isteklerin v1'e gittiğini doğrulayın.

    # Replace the hostname with the one specified in your Ingress.
    curl -H "Host: model.example.com" -H "Content-Type: application/json" \
         http://$(kubectl -n kube-system get svc nginx-ingress-lb -ojsonpath='{.status.loadBalancer.ingress[0].ip}'):80/v1/models/canary:predict -X POST \
         -d '{"data": "test"}'

    Beklenen çıktı:

    {"id":"4d8c110d-c291-4670-ad0a-1a30bf8e314c","model_name":"canary","model_version":null,"outputs":[{"name":"output-0","shape":[1,1],"datatype":"STR","data":["model-v1"]}]}

    model-v1'den gelen yanıt, varsayılan trafiğin v1'e ulaşmaya devam ettiğini doğrular.

  4. foo: bar içeren isteklerin v2'ye gittiğini doğrulayın.

    curl -H "Host: model.example.com" -H "Content-Type: application/json" \
         -H "foo: bar" \
         http://$(kubectl -n kube-system get svc nginx-ingress-lb -ojsonpath='{.status.loadBalancer.ingress[0].ip}'):80/v1/models/canary:predict -X POST \
         -d '{"data": "test"}'

    Beklenen çıktı:

    {"id":"4d3efc12-c8bd-40f8-898f-7983377db7bd","model_name":"canary","model_version":null,"outputs":[{"name":"output-0","shape":[1,1],"datatype":"STR","data":["model-v2"]}]}

    model-v2'den gelen yanıt, kanarya sürüm ilkesinin çalıştığını doğrular.

Senaryo 2: Ağırlık tabanlı trafik bölme

İstek üst bilgilerine bakılmaksızın sabit bir yüzde oranında trafiği v2'ye yönlendirin. Bu stratejiyi tüm kullanıcılar arasında geniş kapsamlı kanarya doğrulaması için kullanın.

  1. Aşağıdaki içeriğe sahip gray-release-canary.yaml adlı bir dosya oluşturun.

    apiVersion: networking.k8s.io/v1
    kind: Ingress
    metadata:
      name: gray-release-canary
      annotations:
        nginx.ingress.kubernetes.io/canary: "true"
        nginx.ingress.kubernetes.io/canary-weight: "20"  # Route 20% of traffic to v2. The default total weight is 100.
    spec:
      rules:
      - host: model.example.com
        http:
          paths:
          - path: /
            backend:
              service:
                name: model-v2-svc  # The Service for v2.
                port:
                  number: 80
            pathType: ImplementationSpecific
  2. Kanarya sürüm ilkesini dağıtın.

    kubectl apply -f gray-release-canary.yaml
  3. Birden çok istek göndererek trafik dağılımını doğrulayın.

    curl -H "Host: model.example.com" -H "Content-Type: application/json" \
         http://$(kubectl -n kube-system get svc nginx-ingress-lb -ojsonpath='{.status.loadBalancer.ingress[0].ip}'):80/v1/models/canary:predict -X POST \
         -d '{"data": "test"}'

    Komutu birkaç kez çalıştırın. Yanıtların yaklaşık %20'si "data":["model-v2"] gösterirken kalan %80'i "data":["model-v1"] gösterir; bu da kanarya sürüm ilkesinin çalıştığını doğrular.

Adım 4: Trafiği yeni sürüme yönlendirin

v2 beklendiği gibi çalıştıktan sonra tüm trafiği v2'ye yönlendirin ve v1'i kaldırın.

  1. model-svc Service'ini v2'yi gösterecek şekilde güncellemek için model-svc.yaml dosyasını güncelleyin.

    apiVersion: v1
    kind: Service
    metadata:
      name: model-svc
    spec:
      ports:
      - port: 80
        protocol: TCP
        targetPort: 8080
      selector:
        serving.kserve.io/inferenceservice: model-v2  # Changed from model-v1 to model-v2.
      type: ClusterIP
  2. Güncellenmiş Service'i uygulayın.

    kubectl apply -f model-svc.yaml
  3. Tüm trafiğin artık v2'ye ulaştığını doğrulayın.

    curl -H "Host: model.example.com" -H "Content-Type: application/json" \
         http://$(kubectl -n kube-system get svc nginx-ingress-lb -ojsonpath='{.status.loadBalancer.ingress[0].ip}'):80/v1/models/canary:predict -X POST \
         -d '{"data": "test"}'

    Beklenen çıktı:

    {"id":"a13f2089-73ce-41e3-989e-e58457d14fed","model_name":"canary","model_version":null,"outputs":[{"name":"output-0","shape":[1,1],"datatype":"STR","data":["model-v2"]}]}

    Tüm yanıtların model-v2'den geldiğini onaylamak için komutu birkaç kez çalıştırın.

  4. Kanarya Ingress'ini ve v1 kaynaklarını silin.

    kubectl delete ingress gray-release-canary
    arena serve delete model-v1
    kubectl delete svc model-v2-svc