Bu kılavuz, NGINX Ingress denetleyicisini ağ geçidi olarak kullanarak Raw Deployment modundaki bir çıkarım hizmeti için kanarya sürümünün nasıl uygulanacağını adım adım açıklar. Bir çıkarım hizmetinin iki sürümünü yan yana dağıtın, trafiği v1'den v2'ye kademeli olarak yönlendirin ve v2 doğrulandıktan sonra tam geçişi tamamlayın.
Önkoşullar
Başlamadan önce aşağıdakilerin hazır olduğundan emin olun:
Çalışma mantığı
Bu kılavuzda aynı modelden (canary) dağıtılan iki çıkarım hizmeti kullanılır: biri v1, diğeri v2 çalıştırır. NGINX Ingress denetleyicisi, kanarya ek açıklamalarını kullanarak trafiği bu hizmetler arasında yönlendirir. İki trafik bölme stratejisi ele alınır:
Üst bilgi tabanlı yönlendirme: Belirli bir istek üst bilgisi (
foo: bar) içeren istekler v2'ye gider. Diğer tüm istekler v1'e gider.Ağırlık tabanlı yönlendirme: İsteklerin %20'si v2'ye gider. Kalan %80'i v1'e gider.
v2 doğrulandıktan sonra arka uç Service'i tamamen v2'yi gösterecek şekilde güncelleyin ve ardından v1 kaynaklarını temizleyin.
NGINX Ingress ile kanarya ve mavi-yeşil sürümler hakkında arka plan bilgisi için bkz. Kanarya sürümleri ve mavi-yeşil sürümleri uygulamak için NGINX Ingress denetleyicisini kullanma.
Adım 1: Çıkarım hizmetlerini dağıtın ve doğrulayın
Çıkarım hizmetinin her iki sürümünü de dağıtın ve her biri için bir Kubernetes Service oluşturun.
v1'i dağıtın
-
v1 çıkarım hizmetini dağıtın.
arena serve kserve \ --name=model-v1 \ --image=kube-ai-registry.cn-shanghai.cr.aliyuncs.com/ai-sample/kserve-canary:1.0.0 \ --cpu=1 \ --memory=2Gi \ "python app.py --model_name=canary" -
Aşağıdaki içeriğe sahip
model-svc.yamladlı bir dosya oluşturun.apiVersion: v1 kind: Service metadata: name: model-svc spec: ports: - port: 80 protocol: TCP targetPort: 8080 selector: serving.kserve.io/inferenceservice: model-v1 type: ClusterIP -
Service'i oluşturun.
kubectl apply -f model-svc.yaml -
model-v1'in doğru şekilde çalıştığını doğrulayın.
curl -H "Host: $(kubectl get inferenceservice model-v1 -o jsonpath='{.status.url}' | cut -d "/" -f 3)" \ -H "Content-Type: application/json" \ http://$(kubectl -n kube-system get svc nginx-ingress-lb -ojsonpath='{.status.loadBalancer.ingress[0].ip}'):80/v1/models/canary:predict -X POST \ -d '{"data": "test"}'
v2'yi dağıtın
-
v2 çıkarım hizmetini dağıtın.
arena serve kserve \ --name=model-v2 \ --image=kube-ai-registry.cn-shanghai.cr.aliyuncs.com/ai-sample/kserve-canary:1.0.0 \ --cpu=1 \ --memory=2Gi \ "python app-v2.py --model_name=canary" -
Aşağıdaki içeriğe sahip
model-v2-svc.yamladlı bir dosya oluşturun.apiVersion: v1 kind: Service metadata: name: model-v2-svc spec: ports: - port: 80 protocol: TCP targetPort: 8080 selector: serving.kserve.io/inferenceservice: model-v2 type: ClusterIP -
Service'i oluşturun.
kubectl apply -f model-v2-svc.yaml -
model-v2'nin doğru şekilde çalıştığını doğrulayın.
curl -H "Host: $(kubectl get inferenceservice model-v2 -o jsonpath='{.status.url}' | cut -d "/" -f 3)" \ -H "Content-Type: application/json" \ http://$(kubectl -n kube-system get svc nginx-ingress-lb -ojsonpath='{.status.loadBalancer.ingress[0].ip}'):80/v1/models/canary:predict -X POST \ -d '{"data": "test"}'
Adım 2: Ingress oluşturun
Varsayılan olarak tüm trafiği v1 Service'ine yönlendiren temel bir Ingress oluşturun.
-
Aşağıdaki içeriğe sahip
model-ingress.yamladlı bir dosya oluşturun.apiVersion: networking.k8s.io/v1 kind: Ingress metadata: name: model-ingress spec: rules: - host: model.example.com # Replace with your hostname. http: paths: - path: / backend: service: name: model-svc # The Service for v1. port: number: 80 pathType: ImplementationSpecific -
Ingress'i oluşturun.
kubectl apply -f model-ingress.yaml
Adım 3: Kanarya sürüm ilkelerini oluşturun ve doğrulayın
Hangi trafiğin v2'ye ulaşacağını kontrol etme yöntemine bağlı olarak aşağıdaki stratejilerden birini seçin.
Senaryo 1: Üst bilgi tabanlı trafik bölme
Belirli bir istek üst bilgisi içeren istekleri v2'ye yönlendirin. Diğer tüm istekler varsayılan olarak v1'e gider. Bu stratejiyi belirli bir istemci veya ekip ile hedeflenen testler için kullanın.
-
Aşağıdaki içeriğe sahip
gray-release-canary.yamladlı bir dosya oluşturun.apiVersion: networking.k8s.io/v1 kind: Ingress metadata: name: gray-release-canary annotations: nginx.ingress.kubernetes.io/canary: "true" nginx.ingress.kubernetes.io/canary-by-header: "foo" # Route by the "foo" request header. nginx.ingress.kubernetes.io/canary-by-header-value: "bar" # Requests with foo: bar go to v2. spec: rules: - host: model.example.com http: paths: - path: / backend: service: name: model-v2-svc # The Service for v2. port: number: 80 pathType: ImplementationSpecific -
Kanarya sürüm ilkesini dağıtın.
kubectl apply -f gray-release-canary.yaml -
Kanarya üst bilgisi içermeyen isteklerin v1'e gittiğini doğrulayın.
# Replace the hostname with the one specified in your Ingress. curl -H "Host: model.example.com" -H "Content-Type: application/json" \ http://$(kubectl -n kube-system get svc nginx-ingress-lb -ojsonpath='{.status.loadBalancer.ingress[0].ip}'):80/v1/models/canary:predict -X POST \ -d '{"data": "test"}'Beklenen çıktı:
{"id":"4d8c110d-c291-4670-ad0a-1a30bf8e314c","model_name":"canary","model_version":null,"outputs":[{"name":"output-0","shape":[1,1],"datatype":"STR","data":["model-v1"]}]}model-v1'den gelen yanıt, varsayılan trafiğin v1'e ulaşmaya devam ettiğini doğrular.
-
foo: bariçeren isteklerin v2'ye gittiğini doğrulayın.curl -H "Host: model.example.com" -H "Content-Type: application/json" \ -H "foo: bar" \ http://$(kubectl -n kube-system get svc nginx-ingress-lb -ojsonpath='{.status.loadBalancer.ingress[0].ip}'):80/v1/models/canary:predict -X POST \ -d '{"data": "test"}'Beklenen çıktı:
{"id":"4d3efc12-c8bd-40f8-898f-7983377db7bd","model_name":"canary","model_version":null,"outputs":[{"name":"output-0","shape":[1,1],"datatype":"STR","data":["model-v2"]}]}model-v2'den gelen yanıt, kanarya sürüm ilkesinin çalıştığını doğrular.
Senaryo 2: Ağırlık tabanlı trafik bölme
İstek üst bilgilerine bakılmaksızın sabit bir yüzde oranında trafiği v2'ye yönlendirin. Bu stratejiyi tüm kullanıcılar arasında geniş kapsamlı kanarya doğrulaması için kullanın.
-
Aşağıdaki içeriğe sahip
gray-release-canary.yamladlı bir dosya oluşturun.apiVersion: networking.k8s.io/v1 kind: Ingress metadata: name: gray-release-canary annotations: nginx.ingress.kubernetes.io/canary: "true" nginx.ingress.kubernetes.io/canary-weight: "20" # Route 20% of traffic to v2. The default total weight is 100. spec: rules: - host: model.example.com http: paths: - path: / backend: service: name: model-v2-svc # The Service for v2. port: number: 80 pathType: ImplementationSpecific -
Kanarya sürüm ilkesini dağıtın.
kubectl apply -f gray-release-canary.yaml -
Birden çok istek göndererek trafik dağılımını doğrulayın.
curl -H "Host: model.example.com" -H "Content-Type: application/json" \ http://$(kubectl -n kube-system get svc nginx-ingress-lb -ojsonpath='{.status.loadBalancer.ingress[0].ip}'):80/v1/models/canary:predict -X POST \ -d '{"data": "test"}'Komutu birkaç kez çalıştırın. Yanıtların yaklaşık %20'si
"data":["model-v2"]gösterirken kalan %80'i"data":["model-v1"]gösterir; bu da kanarya sürüm ilkesinin çalıştığını doğrular.
Adım 4: Trafiği yeni sürüme yönlendirin
v2 beklendiği gibi çalıştıktan sonra tüm trafiği v2'ye yönlendirin ve v1'i kaldırın.
-
model-svcService'ini v2'yi gösterecek şekilde güncellemek içinmodel-svc.yamldosyasını güncelleyin.apiVersion: v1 kind: Service metadata: name: model-svc spec: ports: - port: 80 protocol: TCP targetPort: 8080 selector: serving.kserve.io/inferenceservice: model-v2 # Changed from model-v1 to model-v2. type: ClusterIP -
Güncellenmiş Service'i uygulayın.
kubectl apply -f model-svc.yaml -
Tüm trafiğin artık v2'ye ulaştığını doğrulayın.
curl -H "Host: model.example.com" -H "Content-Type: application/json" \ http://$(kubectl -n kube-system get svc nginx-ingress-lb -ojsonpath='{.status.loadBalancer.ingress[0].ip}'):80/v1/models/canary:predict -X POST \ -d '{"data": "test"}'Beklenen çıktı:
{"id":"a13f2089-73ce-41e3-989e-e58457d14fed","model_name":"canary","model_version":null,"outputs":[{"name":"output-0","shape":[1,1],"datatype":"STR","data":["model-v2"]}]}Tüm yanıtların model-v2'den geldiğini onaylamak için komutu birkaç kez çalıştırın.
-
Kanarya Ingress'ini ve v1 kaynaklarını silin.
kubectl delete ingress gray-release-canary arena serve delete model-v1 kubectl delete svc model-v2-svc