Bir modeli eğittikten sonra, genellikle bunu bir çıkarım hizmeti olarak dağıtırsınız. Çıkarım iş yükleri değişken trafik desenlerine sahiptir; sabit bir ECS düğüm havuzu, aşırı kaynak tahsisi yapmadan ani artışları verimli bir şekilde karşılayamaz. Container Service for Kubernetes (ACK), Elastic Container Instance (ECI) üzerinde çıkarım podlarını zamanlayarak düğümleri yönetmenize gerek kalmadan kapasiteyi talebe göre ölçeklendirir.
Bu konuda, BERT modelinin ECI üzerinde TensorFlow Serving çıkarım hizmeti olarak nasıl dağıtılacağı, saniye başına sorgu (QPS) bazında ölçeklendirme yapmak için Horizontal Pod Autoscaler (HPA) yapılandırması ve hizmetin İnternet üzerinden nasıl sunulacağı adım adım açıklanmaktadır.
Çalışma mantığı
Elastik çıkarımı sunmak için aşağıdaki bileşenler birlikte çalışır:
Client → Ingress (Internet-facing) → TF Serving pods (on ECI)
↑
HPA (scale-out/in)
↑
Metrics Adapter ← SLS (nginx-ingress QPS)
Eğitilmiş modeli bir Object Storage Service paketine yükleyin.
Kalıcı birim (PV) ve kalıcı birim talebi (PVC) kullanarak paketi kümeye bağlayın.
Yeni podların ECI'ye yönlendirilmesini sağlayan ek açıklamalarla
arenakullanarak çıkarım hizmetini dağıtın.Simple Log Service (SLS) kaynağından alınan harici ölçümü kullanarak, QPS belirli bir eşiği aştığında yatay ölçeklendirmeyi tetiklemek üzere HPA'yı yapılandırın.
Harici istemcilerin hizmete erişebilmesi için İnternet'e açık bir Ingress oluşturun.
HPA'nın QPS'ye göre podları yatay olarak büyütüp küçülttüğünü doğrulamak için bir stres testi çalıştırın.
Ön koşullar
Başlamadan önce şunlara sahip olduğunuzdan emin olun:
Dağıtıma hazır, eğitilmiş bir model. Bu konuda TensorFlow 1.15 ile eğitilmiş bir BERT modeli kullanılmaktadır.
ACK kümenizde şu bileşenlerin kurulu olması: ack-virtual-node, ack-alibaba-cloud-metrics-adapter ve arena. Kurulum talimatları için bkz. Bileşenleri yönetme. ack-virtual-node hakkında bilgi için bkz. Bağlantıya genel bakış
Adım 1: Modeli OSS'e yükleme
Eğitilmiş model dosyalarınızı bir OSS paketinde depolayın. Talimatlar için bkz. Nesneleri yükleme.
Adım 2: PV ve PVC kullanarak modeli bağlama
OSS paketinizle eşleşen bir PV ve çıkarım podunun bağlayacağı bir PVC oluşturun.
-
Aşağıdaki içeriğe sahip
pvc.yamladlı bir dosya oluşturun:apiVersion: v1 kind: PersistentVolume metadata: name: model-csi-pv spec: capacity: storage: 5Gi accessModes: - ReadWriteMany persistentVolumeReclaimPolicy: Retain csi: driver: ossplugin.csi.alibabacloud.com volumeHandle: model-csi-pv # Must match the PV name above volumeAttributes: bucket: "<your-bucket-name>" url: "<your-oss-url>" akId: "<your-access-key-id>" akSecret: "<your-access-key-secret>" otherOpts: "-o max_stat_cache_size=0 -o allow_other" --- apiVersion: v1 kind: PersistentVolumeClaim metadata: name: model-pvc spec: accessModes: - ReadWriteMany volumeName: model-csi-pv storageClassName: "" resources: requests: storage: 5GiYer tutucuları değiştirin:
Placeholder Description <your-bucket-name>OSS paketinin adı. Paket adları küresel olarak benzersizdir. Bkz. Paket adlandırma kuralları. <your-oss-url>Paketteki nesnelere erişmek için kullanılan URL. Bkz. Tek bir nesnenin URL'sini veya birden çok nesnenin URL'lerini alma. <your-access-key-id>OSS erişimi için AccessKey ID'si. En az ayrıcalıklı izinlere sahip bir Resource Access Management (RAM) kullanıcısı kullanın. Bkz. AccessKey çifti oluşturma. <your-access-key-secret>Yukarıdaki AccessKey ID'ye karşılık gelen AccessKey gizli anahtarı. otherOptsalanı, ossfs için özel bağlama seçeneklerini kabul eder:-o max_stat_cache_size=0— meta veri önbelleğini devre dışı bırakır, böylece pod her zaman OSS'ten en son nesne meta verilerini okur.-o allow_other— pod içinde farklı kullanıcılar olarak çalışan işlemlerin bağlı pakete erişmesine olanak tanır.
Ek bağlama seçenekleri için bkz. ossfs tarafından desteklenen özel parametreler.
-
Bildirim dosyasını uygulayın:
kubectl apply -f pvc.yaml
Adım 3: Çıkarım hizmetini dağıtma
Bir TensorFlow Serving çıkarım hizmeti dağıtmak için arena komutunu kullanın. --annotation işaretleri, podların ECS düğümlerinde mi yoksa ECI'de mi çalışacağını kontrol eder.
-
Aşağıdaki komutu çalıştırın:
arena serve tensorflow \ --namespace=default \ --name=bert-tfserving \ --model-name=chnsenticorp \ --gpus=1 \ --image=tensorflow/serving:1.15.0-gpu \ --data=model-pvc:/data \ --model-path=/data/models/tensorflow/chnsenticorp \ --version-policy=specific:1623831335 \ --annotation=alibabacloud.com/burst-resource=eci_only \ --annotation=k8s.aliyun.com/eci-use-specs=ecs.gn6i-c4g1.xlargeİki ek açıklama, ECI zamanlamasını kontrol eder:
Annotation Description alibabacloud.com/burst-resourcePodların nereye zamanlanacağını kontrol eder. Yalnızca ECS kullanmak için boş bırakın (varsayılan). ECS kapasitesi yetersiz olduğunda ECI kullanmak için eciolarak ayarlayın. Yalnızca ECI kullanmak içineci_onlyolarak ayarlayın.k8s.aliyun.com/eci-use-specsGPU hızlandırmalı ECI örnek türünü belirtir. ECI GPU kaynaklarını kullanırken gereklidir. -
Hizmetin çalıştığını doğrulayın:
arena serve listBeklenen çıktı:
NAME TYPE VERSION DESIRED AVAILABLE ADDRESS PORTS GPU bert-tfserving Tensorflow 202207181536 1 1 172.16.52.170 GRPC:8500,RESTFUL:8501 1 -
Podun ECI üzerinde çalıştığını onaylayın:
kubectl get pods -o wideBeklenen çıktı:
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES bert-tfserving-202207181536-tensorflow-serving-547797c546-djh58 1/1 Running 0 114s 192.168.0.246 virtual-kubelet-cn-beijing-h <none> <none>NODEdeğerininvirtual-kubelet-cn-beijing-holması, podun bir ECS düğümü yerine bir ECI örneğinde çalıştığını doğrular.
Adım 4: QPS tabanlı ölçeklendirme için HPA yapılandırma
HPA, SLS'teki sls_ingress_qps ölçümüne dayanarak çıkarım podlarının sayısını otomatik olarak ayarlar. QPS averageValue değerini aştığında yatay büyüme tetiklenir; QPS bu değerin altına düştüğünde ise yatay küçülme gerçekleşir.
-
arenatarafından oluşturulan Dağıtım ve Hizmet adlarını kontrol edin:kubectl get deploymentBeklenen çıktı:
NAME READY UP-TO-DATE AVAILABLE AGE bert-tfserving-202207181536-tensorflow-serving 1/1 1 1 2m18skubectl get serviceBeklenen çıktı:
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE bert-tfserving-202207181536-tensorflow-serving ClusterIP 172.16.52.170 <none> 8500/TCP,8501/TCP 2m45s -
Aşağıdaki içeriğe sahip
bert-tfserving-eci-hpa.yamladlı bir dosya oluşturun:Parameter Description scaleTargetRefÖlçeklendirilecek Dağıtım — 3. Adımda oluşturulan çıkarım hizmeti Dağıtımı. minReplicasMinimum pod sayısı. maxReplicasMaksimum pod sayısı. sls.projectKümeniz için SLS projesinin adı, k8s-log-{cluster id}biçimindedir.{cluster id}yerine gerçek küme kimliğinizi yazın.sls.logstoreSLS Logstore adı. Varsayılan nginx-ingressdeğeridir.sls.ingress.routeİzlenecek Ingress rotasını tanımlar, {namespace}-{service name}-{service port}biçimindedir.averageValueYatay büyümeyi tetikleyen pod başına QPS eşiği. Bu örnekte 10olarak ayarlanmıştır.apiVersion: autoscaling/v2 kind: HorizontalPodAutoscaler metadata: name: bert-tfserving-eci-hpa namespace: default spec: scaleTargetRef: apiVersion: apps/v1 kind: Deployment name: bert-tfserving-202207181536-tensorflow-serving minReplicas: 1 maxReplicas: 10 metrics: - type: External external: metric: name: sls_ingress_qps selector: matchLabels: sls.project: "k8s-log-{cluster id}" sls.logstore: "nginx-ingress" sls.ingress.route: "default-bert-tfserving-202207181536-tensorflow-serving-8501" target: type: AverageValue averageValue: "10"Temel parametreler:
-
HPA bildirim dosyasını uygulayın:
kubectl apply -f bert-tfserving-eci-hpa.yaml -
HPA'nın etkin olduğunu doğrulayın:
kubectl get hpaBeklenen çıktı:
NAME REFERENCE TARGETS MINPODS MAXPODS REPLICAS AGE bert-tfserving-eci-hpa Deployment/bert-tfserving-202207181536-tensorflow-serving 0/10 (avg) 1 10 1 116s
Adım 5: Hizmeti İnternet üzerinden sunma
Varsayılan olarak, arena serve tensorflow hizmete yalnızca bir küme IP adresi atar. Harici trafiği kabul etmek için İnternet'e açık bir Ingress oluşturun.
ACK konsoluna giriş yapın ve sol gezinme bölmesinden Clusters öğesini tıklayın.
Hedef kümenin adına tıklayın. Sol gezinme bölmesinden Network > Ingresses seçeneğini belirleyin.
-
Namespace açılır listesinden çıkarım hizmetinin bulunduğu ad alanını seçin ve ardından Create Ingress öğesini tıklayın. Aşağıdaki parametreleri yapılandırın. Ayrıntılar için bkz. NGINX Ingress oluşturma.
Parameter Example value Name bert-tfservingDomain name test.example.com(kendi alan adınızı kullanın)Path /Rule ImplementationSpecific(varsayılan)Service name bert-tfserving-202207181536-tensorflow-servingPort 8501 Ingresses sayfasında oluşturduğunuz Ingress'i bulun ve Rules sütunundaki adresini not edin.
Adım 6: Stres testiyle elastik ölçeklendirmeyi doğrulama
Çıkarım hizmetine yük göndermek için 5. Adımdaki Ingress adresini kullanın.
QPS,
averageValuedeğerini (bu örnekte 10) aştığında, HPA yatay büyümeyi tetikler ve yeni podlar ECI üzerinde zamanlanır. Toplam pod sayısımaxReplicas(10) içinde kalır.QPS,
averageValuedeğerinin altına düştüğünde, HPA yatay küçülmeyi tetikler.