KServe (eski adıyla KFServing), otomatik ölçeklendirme, sıfıra ölçeklendirme ve canary dağıtımı destekleyen cloud-native bir model sunucusu ve çıkarım motorudur. Bu konu, Alibaba Cloud Service Mesh (ASM) ve Arena kullanarak sunucusuz modda bir KServe model çıkarım hizmetinin nasıl dağıtılacağını açıklar.
Ön koşullar
Başlamadan önce aşağıdaki ön koşulları karşıladığınızdan emin olun:
GPU hızlandırmalı düğümlere sahip bir Container Service for Kubernetes (ACK) kümesi
Bir ASM örneğinin 1.17.2.7 veya sonraki bir sürümünü oluşturmuş veya yükseltmiş olmalısınız.
KServe ile ASM entegrasyonunu tamamlamış olmalısınız.
Arena istemcisi sürüm 0.9.11 veya sonrasını yüklemiş olmalısınız.
Adım 1: Model verilerini hazırlayın
Model verilerini NAS veya Object Storage Service (OSS) üzerinde depolayın. Daha fazla bilgi için Statik olarak sağlanan NAS birimini bağlama ve ossfs 1.0 statik olarak sağlanan birim kullanma konularına bakın. Bu örnekte NAS kullanılmaktadır.
1.1 NAS bağlantı hedefini alın
File Storage NAS konsoluna giriş yapın. Sol gezinme bölmesinde File System > File System List seçeneğini belirleyin. NAS dosya sisteminin bulunduğu bölgeyi seçin.
File System List sayfasında hedef dosya sistemi kimliğine tıklayın. Ayrıntılar sayfasında Mount Targets sekmesine tıklayın. Mount Target sütunundaki
simgesinin üzerine gelerek bağlantı hedefini ve bağlama komutunu görüntüleyip kaydedin.
1.2 PV ve PVC yapılandırın
ACK konsoluna giriş yapın. Sol gezinme bölmesinde Clusters öğesine tıklayın.
Clusters sayfasında hedef kümenin adına tıklayın. Sol gezinme bölmesinde Volumes > Persistent Volumes seçeneğini belirleyin.
Persistent Volumes sayfasında Create düğmesine tıklayın.
-
Create PV iletişim kutusunda aşağıdaki parametreleri ayarlayın ve training-data adlı bir PV oluşturmak için Create düğmesine tıklayın. Daha fazla bilgi için Statik olarak sağlanan NAS birimini bağlama konusuna bakın.
Parameter Value PV Type NAS Volume Name training-data Mount Target Domain Name 1.1 adımındaki bağlantı hedefini seçin Sol gezinme bölmesinde Volumes > Persistent Volume Claims seçeneğini belirleyin. Persistent Volume Claims sayfasında Create düğmesine tıklayın.
-
Create PVC iletişim kutusunda aşağıdaki parametreleri ayarlayın ve training-data adlı bir PVC oluşturmak için Create düğmesine tıklayın. Daha fazla bilgi için Statik olarak sağlanan NAS birimini bağlama konusuna bakın.
Parameter Value PVC Type NAS Name training-data Allocation Mode Existing Volumes Existing Volumes Oluşturduğunuz PV'yi seçmek için Select PV düğmesine tıklayın
1.3 Model verilerini NAS dosya sistemine indirin
ACK konsoluna giriş yapın. Sol gezinme bölmesinde Clusters öğesine tıklayın.
Clusters sayfasında hedef kümenin adına tıklayın. Sol gezinme bölmesinde Nodes > Nodes seçeneğini belirleyin.
Nodes sayfasında hedef düğümün örnek kimliğine tıklayın. Instance Details sayfasında More > Workbench Remote Access > Log in seçeneğini belirleyin.
1.1 adımındaki bağlama komutunu çalıştırarak NAS dosya sistemini bağlayın.
Hugging Face üzerinden
bloom-560mmodelini indirin vepvc://training-data/bloom-560myolunda depolayın.
Adım 2: Çıkarım hizmetini dağıtın
-
Kümede kullanılabilir GPU kaynaklarını sorgulayın:
arena top nodeBeklenen çıktı:
NAME IPADDRESS ROLE STATUS GPU(Total) GPU(Allocated) cn-beijing.192.1xx.x.xx 192.1xx.x.xx <none> Ready 0 0 cn-beijing.192.1xx.x.xx 192.1xx.x.xx <none> Ready 0 0 cn-beijing.192.1xx.x.xx 192.1xx.x.xx <none> Ready 0 0 cn-beijing.192.1xx.x.xx 192.1xx.x.xx <none> Ready 1 0 cn-beijing.192.1xx.x.xx 192.1xx.x.xx <none> Ready 1 0 --------------------------------------------------------------------------------------------------- Allocated/Total GPUs In Cluster: 0/2 (0.0%)İki GPU hızlandırmalı düğüm kullanılabilir durumdadır.
-
bloom-560m adlı çıkarım hizmetini başlatın. PVC
training-datakonteyner içindeki/mnt/modelsyoluna bağlanır.arena serve kserve \ --name=bloom-560m \ --image=ghcr.io/huggingface/text-generation-inference:1.0.2 \ --gpus=1 \ --cpu=6 \ --memory=20Gi \ --port=8080 \ --env=STORAGE_URI=pvc://training-data \ "text-generation-launcher --disable-custom-kernels --model-id /mnt/models/bloom-560m --num-shard 1 -p 8080"Beklenen çıktı:
inferenceservice.serving.kserve.io/bloom-560m created INFO[0013] The Job bloom-560m has been submitted successfully INFO[0013] You can run `arena serve get bloom-560m --type kserve -n default` to check the job statusParametreler:
Parameter Required Description --nameEvet İş adı. Genel olarak benzersiz olmalıdır. --imageEvet Çıkarım hizmeti için kullanılan konteyner görüntüsü. --gpusHayır Gerekli GPU sayısı. Varsayılan değer: 0. --cpuHayır Gerekli CPU sayısı. --memoryHayır Gerekli bellek miktarı. --portHayır Dış erişim için açılan bağlantı noktası. --envHayır Anahtar-değer çiftleri olarak ortam değişkenleri. Burada STORAGE_URImodel PVC'sini işaret eder.
Adım 3: Çıkarım hizmetini doğrulayın
-
KServe çıkarım hizmetinin dağıtım durumunu kontrol edin:
arena serve get bloom-560mBeklenen çıktı:
Name: bloom-560m Namespace: default Type: KServe Version: 00001 Desired: 1 Available: 1 Age: 9m Address: http://bloom-560m.default.example.com Port: :80 GPU: 1 LatestRevision: bloom-560m-predictor-00001 LatestPrecent: 100 Instances: NAME STATUS AGE READY RESTARTS GPU NODE ---- ------ --- ----- -------- --- ---- bloom-560m-predictor-00001-deployment-ff4c49bf6-twrlp Running 9m 2/2 0 1 cn-hongkong.192.1xx.x.xxxÇıkarım hizmeti dağıtılmıştır. Erişim adresi:
http://bloom-560m.default.example.com. ASM giriş ağ geçidinin IP adresini alın. Daha fazla bilgi için ASM giriş ağ geçidinin IP adresini alma konusuna bakın.
-
ASM giriş ağ geçidi IP adresini kullanarak çıkarım hizmetine bir test isteği gönderin:
# Replace ${ASM_GATEWAY} with the IP address of the ASM ingress gateway. curl -H "Host: bloom-560m.default.example.com" http://${ASM_GATEWAY}:80/generate \ -X POST \ -d '{"inputs":"What is Deep Learning?","parameters":{"max_new_tokens":17}}' \ -H 'Content-Type: application/json'Beklenen çıktı:
{"generated_text":" Deep Learning is a new type of machine learning that is used to solve complex problems."}
Adım 4: Çıkarım hizmetini güncelleyin
Trafiği yeni bir model sürümüne kademeli olarak yönlendirmek için canary dağıtımı kullanın.
Modelin yeni bir sürümünü oluşturun ve PVC'deki model dosyalarını yeni
bloom-560m-v2yoluna kopyalayın.-
Yeni sürümü dağıtın ve trafiğin %10'unu bu sürüme yönlendirin:
arena serve update kserve \ --name bloom-560m \ --canary-traffic-percent=10 \ "text-generation-launcher --disable-custom-kernels --model-id /mnt/models/bloom-560m-v2 --num-shard 1 -p 8080" -
Çıkarım hizmetinin durumunu kontrol edin:
arena serve get bloom-560mBeklenen çıktı:
Name: bloom-560m Namespace: default Type: KServe Version: 00002 Desired: 2 Available: 2 Age: 36m Address: http://bloom-560m.default.example.com Port: :80 GPU: 2 LatestRevision: bloom-560m-predictor-00002 LatestPrecent: 10 PrevRevision: bloom-560m-predictor-00001 PrevPrecent: 90 Instances: NAME STATUS AGE READY RESTARTS GPU NODE ---- ------ --- ----- -------- --- ---- bloom-560m-predictor-00001-deployment-ff4c49bf6-twrlp Running 36m 2/2 0 1 cn-hongkong.192.1xx.x.xxx bloom-560m-predictor-00002-deployment-5b7bb66cfb-nqprp Running 6m 2/2 0 1 cn-hongkong.192.1xx.x.xxxTrafiğin %10'u
bloom-560m-predictor-00002(yeni sürüm) üzerine, %90'ı isebloom-560m-predictor-00001(önceki sürüm) üzerine yönlendirilir. -
Yeni sürüm testlerden başarıyla geçtikten sonra tüm trafiği bu sürüme yönlendirin:
arena serve update kserve \ --name bloom-560m \ --canary-traffic-percent=100
(İsteğe bağlı) Adım 5: Çıkarım hizmetini silin
Tüm GPU ve hesaplama kaynaklarını serbest bırakmak için çıkarım hizmetini silin:
arena serve delete bloom-560m