Bu konuda Arena kullanarak bir TensorFlow modelinin çıkarım hizmeti olarak nasıl dağıtılacağı açıklanır.
Ön koşullar
Yordam
Bu konuda, çıkarım hizmetini dağıtmak için TensorFlow 1.15 ile eğitilmiş bir BERT modeli kullanılır. Model, kaydedilmiş model (saved model) olarak dışa aktarılmıştır.
-
Kümedeki kullanılabilir GPU kaynaklarını kontrol etmek için aşağıdaki komutu çalıştırın.
arena top nodeBeklenen çıktı:
NAME IPADDRESS ROLE STATUS GPU(Total) GPU(Allocated) cn-beijing.192.168.0.100 192.168.0.100 <none> Ready 1 0 cn-beijing.192.168.0.101 192.168.0.101 <none> Ready 1 0 cn-beijing.192.168.0.99 192.168.0.99 <none> Ready 1 0 --------------------------------------------------------------------------------------------------- Allocated/Total GPUs of nodes which own resource nvidia.com/gpu In Cluster: 0/3 (0.0%)Çıktı, model dağıtımı için üç GPU düğümünün hazır olduğunu gösterir.
-
Modeli Object Storage Service (OSS) paketinde yükleyin.
ÖnemliModelin OSS'ye yüklenmesine ilişkin aşağıdaki adımlar Linux sistemi içindir. Diğer işletim sistemlerinde yükleme talimatları için bkz. ossutil komut satırı aracı için hızlı başlangıç.
-
examplebucketadlı bir paket oluşturun.-
examplebucketoluşturmak için aşağıdaki komutu çalıştırın.ossutil64 mb oss://examplebucket -
Aşağıdaki çıktı,
examplebucketpaketinin oluşturulduğunu gösterir.0.668238(s) elapsed
-
-
Modeli
examplebucketpaketine yükleyin.ossutil64 cp model.savedmodel oss://examplebucket
-
Kalıcı birim (PV) ve kalıcı birim talebi (PVC) oluşturun.
-
Aşağıdaki şablona göre bir
Tensorflow.yamldosyası oluşturun.apiVersion: v1 kind: PersistentVolume metadata: name: model-csi-pv spec: capacity: storage: 5Gi accessModes: - ReadWriteMany persistentVolumeReclaimPolicy: Retain csi: driver: ossplugin.csi.alibabacloud.com volumeHandle: model-csi-pv # Must be the same as the PV name. volumeAttributes: bucket: "Your Bucket" url: "Your oss url" akId: "Your AccessKey ID" akSecret: "Your AccessKey Secret" otherOpts: "-o max_stat_cache_size=0 -o allow_other" --- apiVersion: v1 kind: PersistentVolumeClaim metadata: name: model-pvc spec: accessModes: - ReadWriteMany resources: requests: storage: 5GiParametre
Açıklama
bucket
OSS paketinin adı. Ad, OSS içinde genel olarak benzersiz olmalıdır. Daha fazla bilgi için bkz. Paket adlandırma kuralları.
url
OSS dosyalarına erişmek için kullanılan URL. Daha fazla bilgi için bkz. Tek bir dosyanın veya birden çok dosyanın URL'lerini alma.
akId
OSS'ye erişmek için kullanılan AccessKey ID ve AccessKey Secret. Erişim için bir RAM kullanıcı hesabı kullanmanızı öneririz. Daha fazla bilgi için bkz. AccessKey çifti oluşturma.
akSecret
otherOpts
OSS'yi bağlama yönelik özel parametreler.
-
-o max_stat_cache_size=0seçeneği öznitelik önbelleğe almayı devre dışı bırakır. Bir dosyaya her eriştiğinizde en güncel öznitelik bilgileri OSS'den alınır. -
-o allow_otherseçeneği, diğer kullanıcıların bağlanan dosya sistemine erişmesine olanak tanır.
Parametre ayarları hakkında daha fazla bilgi için bkz. ossfs tarafından desteklenen ayar seçenekleri.
-
-
PV ve PVC'yi oluşturmak için aşağıdaki komutu çalıştırın.
kubectl apply -f Tensorflow.yaml
-
-
bert-tfservingadlı birtensorflow servingörneği başlatmak için aşağıdaki komutu çalıştırın.arena serve tensorflow \ --name=bert-tfserving \ --model-name=chnsenticorp \ --gpus=1 \ --image=tensorflow/serving:1.15.0-gpu \ --data=model-pvc:/models \ --model-path=/models/tensorflow \ --version-policy=specific:1623831335Beklenen çıktı:
configmap/bert-tfserving-202106251556-tf-serving created configmap/bert-tfserving-202106251556-tf-serving labeled configmap/bert-tfserving-202106251556-tensorflow-serving-cm created service/bert-tfserving-202106251556-tensorflow-serving created deployment.apps/bert-tfserving-202106251556-tensorflow-serving created INFO[0003] The Job bert-tfserving has been submitted successfully INFO[0003] You can run `arena get bert-tfserving --type tf-serving` to check the job status -
Şu anda çalışan hizmetleri listelemek için aşağıdaki komutu çalıştırın.
arena serve listYalnızca
bert-tfservinghizmeti çalışıyor:NAME TYPE VERSION DESIRED AVAILABLE ADDRESS PORTS bert-tfserving Tensorflow 202106251556 1 1 172.16.95.171 GRPC:8500,RESTFUL:8501 -
bert-tfservingçıkarım hizmetinin ayrıntılarını görüntülemek için aşağıdaki komutu çalıştırın.arena serve get bert-tfservingBeklenen çıktı:
Name: bert-tfserving Namespace: inference Type: Tensorflow Version: 202106251556 Desired: 1 Available: 1 Age: 4m Address: 172.16.95.171 Port: GRPC:8500,RESTFUL:8501 Instances: NAME STATUS AGE READY RESTARTS NODE ---- ------ --- ----- -------- ---- bert-tfserving-202106251556-tensorflow-serving-8554d58d67-jd2z9 Running 4m 1/1 0 cn-beijing.192.168.0.88Çıktı, modelin
tensorflow servingkullanılarak başarıyla dağıtıldığını ve iki API bağlantı noktasını (8500 (gRPC) ve 8501 (HTTP)) açtığını gösterir. -
Varsayılan olarak
arena serve tensorflowçıkarım hizmetini bir ClusterIP üzerinden açar. Doğrudan erişim için bir genel ağ Ingress'i yapılandırmanız gerekir.Clusters sayfasında hedef kümenin adına tıklayın. Sol gezinme bölmesinde seçeneğini belirleyin.
Sayfanın üst kısmındaki Namespace açılır listesinden, 6. Adımda oluşturulan çıkarım hizmetini içeren
inferencead alanını seçin.-
Sayfanın sağ üst köşesinde Create Ingress seçeneğine tıklayın. Parametreler hakkında daha fazla bilgi için bkz. Hizmeti açığa çıkarmak için NGINX Ingress oluşturma ve kullanma.
Name: Bu örnekte adı
Tensorflowolarak ayarlayın.-
Rules:
Host: Özel bir etki alanı adı, örneğin
test.example.com.-
Mappings:
Path: Kök yolu
/kullanmak için bu alanı boş bırakın.Match Rule: Varsayılan değer (ImplementationSpecific).
Service:
kubectl get servicekomutunu çalıştırarak adı alın.Port: Bu örnekte bağlantı noktasını 8501 olarak ayarlayın.
Ingress oluşturulduktan sonra Rules sayfasındaki Ingresses sütunundan Ingress adresini alın.
-
Çıkarım hizmeti API'sini çağırmak için aşağıdaki komutu çalıştırın.
tensorflow servinghakkında daha fazla bilgi için Tensorflow Serving API adresindeki API belgelerine bakın.curl "http://<Ingress address>"Beklenen çıktı:
{ "model_version_status": [ { "version": "1623831335", "state": "AVAILABLE", "status": { "error_code": "OK", "error_message": "" } } ] }