Bir modeli dağıtmadan önce canlıya geçiş standartlarını karşıladığından emin olmak için model analiz aracını kullanarak kıyaslama, profil oluşturma ve optimizasyon işlemlerini gerçekleştirin. Bu konuda, V100 GPU'lar üzerinde çalışan PyTorch ResNet18 modeli örnek olarak kullanılmıştır.
Ön koşullar
Aşağıdaki ön koşulları karşıladığınızdan emin olun:
En az bir GPU hızlandırmalı düğüm içeren bir ACK Pro kümesi (Kubernetes 1.20 veya üzeri). Daha fazla bilgi için bkz. ACK kümesini güncelleme.
PV ve PVC yapılandırılmış bir OSS paketi. Daha fazla bilgi için bkz. Statik olarak sağlanan ossfs 1.0 birimini bağlama.
En son Arena istemcisini yükleyin. Daha fazla bilgi için bkz. Arena istemcisini yapılandırma.
Çalışma mantığı
Veri bilimciler doğruluğu optimize ederken mühendisler çıkarım performansını optimize eder. Modelin gecikme süresi ve aktarım hızı hedeflerini karşıladığından emin olmak için dağıtımdan önce kıyaslama ve profil oluşturma işlemlerini gerçekleştirin.
Arena, model yaşam döngüsünün her aşaması için komutlar sağlar:

| Aşama | Amaç |
|---|---|
| Model eğitimi | Bir veri kümesi üzerinde modeli eğitin |
| Model kıyaslama | Gecikme süresi, aktarım hızı ve GPU kullanımının gereksinimleri karşılayıp karşılamadığını kontrol edin |
| Model profili oluşturma | Performans darboğazlarını belirleyin |
| Model optimizasyonu | TensorRT gibi araçlarla GPU çıkarım performansını iyileştirin |
| Model sunumu | Modeli çevrimiçi bir hizmet olarak dağıtın |
Model optimizasyondan sonra hala gereksinimleri karşılamıyorsa kıyaslama → profil oluşturma → optimizasyon döngüsünü tekrarlayın.
Tüm analiz komutları arena model analyze altında çalışır. Alt komutları görüntülemek için:
arena model analyze --help
Çıktı:
submit a model analyze job.
Available Commands:
benchmark Submit a model benchmark job
delete Delete a model job
evaluate Submit a model evaluate job
get Get a model job
list List all the model jobs
optimize Submit a model optimize job, this is a experimental feature
profile Submit a model profile job
Adım 1: Model hazırlama
ResNet18 modelini TorchScript formatına dönüştürün ve OSS'e yükleyin.
-
Modeli dönüştürün ve kaydedin:
Parametre Açıklama model_nameModel adı model_platformPlatform veya çerçeve, örneğin TorchScriptveyaONNXmodel_pathModel depolama yolu. inputsGiriş parametreleri outputsÇıkış parametreleri import torch import torchvision model = torchvision.models.resnet18(pretrained=True) # Switch the model to eval mode model.eval() # An example input you would normally provide to your model's forward() method dummy_input = torch.rand(1, 3, 224, 224) # Use torch.jit.trace to generate a torch.jit.ScriptModule via tracing traced_script_module = torch.jit.trace(model, dummy_input) # Save the TorchScript model traced_script_module.save("resnet18.pt") resnet18.ptdosyasınıoss://bucketname/models/resnet18/resnet18.ptkonumuna yükleyin. Daha fazla bilgi için bkz. Nesneleri yükleme.
Adım 2: Modeli kıyaslama
Modeli gecikme süresi, aktarım hızı ve GPU kullanımı hedeflerine göre kıyaslayın. Bu örnekte, default ad alanında oss-pvc adlı bir PVC kullanılmaktadır.
-
Bir model yapılandırma dosyası
config.jsonoluşturun:{ "model_name": "resnet18", "model_platform": "torchscript", "model_path": "/data/models/resnet18/resnet18.pt", "inputs": [ { "name": "input", "data_type": "float32", "shape": [1, 3, 224, 224] } ], "outputs": [ { "name": "output", "data_type": "float32", "shape": [1000] } ] } config.jsondosyasınıoss://bucketname/models/resnet18/config.jsonkonumuna yükleyin.-
Kıyaslama işini gönderin:
Önemli--requestsve--durationparametreleri birbirini dışlar; her ikisi de ayarlanırsa--durationönceliklidir. Zaman sınırı yerine sabit bir istek sayısı kullanmak için--requestsparametresini kullanın.Parametre Açıklama --gpusKullanılacak GPU sayısı --dataPVC adı ve bağlama yolu --model-config-fileModel yapılandırma dosyasının yolu --report-pathKıyaslama raporunun çıktı yolu. --concurrencyEşzamanlı istek sayısı --durationSaniye cinsinden kıyaslama süresi. arena model analyze benchmark \ --name=resnet18-benchmark \ --namespace=default \ --image=registry.cn-beijing.aliyuncs.com/kube-ai/easy-inference:1.0.2 \ --gpus=1 \ --data=oss-pvc:/data \ --model-config-file=/data/models/resnet18/config.json \ --report-path=/data/models/resnet18 \ --concurrency=5 \ --duration=60 -
İş durumunu kontrol edin:
arena model analyze list -ABeklenen çıktı:
NAMESPACE NAME STATUS TYPE DURATION AGE GPU(Requested) default resnet18-benchmark COMPLETE Benchmark 0s 2d 1 -
Durum
COMPLETEolduğunda,--report-pathdizinindenbenchmark_result.txtdosyasını alın:Ölçüm Açıklama Birim p90_latency90. yüzdelik yanıt süresi Milisaniye p95_latency95. yüzdelik yanıt süresi Milisaniye p99_latency99. yüzdelik yanıt süresi Milisaniye min_latencyEn hızlı yanıt süresi Milisaniye max_latencyEn yavaş yanıt süresi Milisaniye mean_latencyOrtalama yanıt süresi Milisaniye median_latencyMedyan yanıt süresi Milisaniye throughputAktarım hızı Kez gpu_mem_usedGPU bellek kullanımı GB gpu_utilizationGPU kullanımı Yüzde { "p90_latency": 7.511, "p95_latency": 7.86, "p99_latency": 9.34, "min_latency": 7.019, "max_latency": 12.269, "mean_latency": 7.312, "median_latency": 7.206, "throughput": 136, "gpu_mem_used": 1.47, "gpu_utilization": 21.280 }
Adım 3: Model profili oluşturma
Modelin çıkarım sırasında zamanının nereye harcandığını belirlemek için arena model analyze profile komutunu çalıştırın. Profil oluşturucu, operatöre göre ayrılmış bir TensorBoard raporu oluşturur.
-
Profil oluşturma işini gönderin:
Parametre Açıklama --gpusKullanılacak GPU sayısı --dataPVC adı ve bağlama yolu --model-config-fileModel yapılandırma dosyasının yolu --report-pathProfil oluşturma raporunun çıktı yolu. --tensorboardProfil oluşturma raporunu görüntülemek için TensorBoard'u etkinleştirir. --tensorboard-imageTensorBoard konteyner görüntüsü. arena model analyze profile \ --name=resnet18-profile \ --namespace=default \ --image=registry.cn-beijing.aliyuncs.com/kube-ai/easy-inference:1.0.2 \ --gpus=1 \ --data=oss-pvc:/data \ --model-config-file=/data/models/resnet18/config.json \ --report-path=/data/models/resnet18/log/ \ --tensorboard \ --tensorboard-image=registry.cn-beijing.aliyuncs.com/kube-ai/easy-inference:1.0.2 -
İş durumunu kontrol edin:
arena model analyze list -ABeklenen çıktı:
NAMESPACE NAME STATUS TYPE DURATION AGE GPU(Requested) default resnet18-profile COMPLETE Profile 13s 2d 1 -
TensorBoard hizmetinin çalıştığını doğrulayın:
kubectl get service -n defaultBeklenen çıktı:
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE resnet18-profile-tensorboard NodePort 172.16.158.170 <none> 6006:30582/TCP 2d20h -
Yerel TensorBoard erişimi için bağlantı noktasını yönlendirin:
kubectl port-forward svc/resnet18-profile-tensorboard -n default 6006:6006Beklenen çıktı:
Forwarding from 127.0.X.X:6006 -> 6006 Forwarding from [::1]:6006 -> 6006 -
Bir tarayıcıda
http://localhost:6006adresini açın. Sol gezinme bölmesinde, performans verilerini keşfetmek ve darboğaz operatörlerini belirlemek için Views seçeneğini tıklayın.
Adım 4: Modeli optimize etme
Darboğazları belirledikten sonra bir optimizasyon işi gönderin. Arena, varsayılan olarak GPU çıkarımı için modeli optimize etmek üzere TensorRT kullanır.
-
Optimizasyon işini gönderin:
Parametre Açıklama --gpusKullanılacak GPU sayısı --dataPVC adı ve bağlama yolu --optimizerOptimizasyon motoru. Geçerli değerler: tensorrt(varsayılan),aiacc-torch--model-config-fileModel yapılandırma dosyasının yolu --export-pathOptimize edilmiş modelin çıktı yolu. arena model analyze optimize \ --name=resnet18-optimize \ --namespace=default \ --image=registry.cn-beijing.aliyuncs.com/kube-ai/easy-inference:1.0.2 \ --gpus=1 \ --data=oss-pvc:/data \ --optimizer=tensorrt \ --model-config-file=/data/models/resnet18/config.json \ --export-path=/data/models/resnet18 -
İş durumunu kontrol edin:
arena model analyze list -ABeklenen çıktı:
NAMESPACE NAME STATUS TYPE DURATION AGE GPU(Requested) default resnet18-optimize COMPLETE Optimize 16s 2d 1 Durum
COMPLETEolduğunda, optimize edilmiş modelopt_resnet18.pt--export-pathdizinine kaydedilir.-
Optimize edilmiş modelle kıyaslamayı yeniden çalıştırın.
config.jsoniçindekimodel_pathdeğeriniopt_resnet18.ptolarak güncelleyin ve ardından 2. Adımı tekrarlayın. Aşağıdaki tabloda TensorRT optimizasyonu öncesi ve sonrası sonuçlar karşılaştırılmaktadır. Model hala gereksinimlerinizi karşılamıyorsa 3. ve 4. Adımları tekrarlayın.Ölçüm Optimizasyon öncesi Optimizasyon sonrası p90_latency7,511 ms 5,162 ms p95_latency7,86 ms 5,428 ms p99_latency9,34 ms 6,64 ms min_latency7,019 ms 4,827 ms max_latency12,269 ms 8,426 ms mean_latency7,312 ms 5,046 ms median_latency7,206 ms 4,972 ms throughput136 kez 198 kez gpu_mem_used1,47 GB 1,6 GB gpu_utilization%21,280 %10,912
Adım 5: Modeli dağıtma
Model performans gereksinimlerini karşıladığında, NVIDIA Triton Inference Server ile dağıtın.
-
Triton yapılandırma dosyası
config.pbtxtoluşturun:ÖnemliDosya adını değiştirmeyin.
Yapılandırma ayrıntıları için bkz. Model Deposu .
name: "resnet18" platform: "pytorch_libtorch" max_batch_size: 1 default_model_filename: "opt_resnet18.pt" input [ { name: "input__0" format: FORMAT_NCHW data_type: TYPE_FP32 dims: [ 3, 224, 224 ] } ] output [ { name: "output__0", data_type: TYPE_FP32, dims: [ 1000 ] } ] -
OSS'te aşağıdaki dizin yapısını oluşturun:
1/dizini model sürümünü temsil eder (Triton kuralı). Bir depoda birden fazla sürüm saklanabilir. Daha fazla bilgi için bkz. Model Deposu .oss://bucketname/triton/model-repository/ resnet18/ config.pbtxt 1/ opt_resnet18.pt -
Modeli Arena ile dağıtın. İş yükünüzüze bağlı olarak GPU modunu seçin:
-
GPU özel modu — GPU başına bir model. Modellerin GPU kaynaklarını paylaşmaması gereken yüksek kararlılık gerektiren çıkarım senaryoları için kullanın.
arena serve triton \ --name=resnet18-serving \ --gpus=1 \ --replicas=1 \ --image=nvcr.io/nvidia/tritonserver:21.05-py3 \ --data=oss-pvc:/data \ --model-repository=/data/triton/model-repository \ --allow-metrics=true -
GPU paylaşım modu — Birden fazla model, model başına bellek sınırlarıyla tek bir GPU'yu paylaşır. Maliyet açısından verimli veya uzun kuyruklu çıkarım senaryoları için kullanın. Kıyaslamadaki
gpu_mem_useddeğerine göre pod başına GPU belleğini (GB) ayarlamak için--gpumemoryparametresini kullanın. Örneğin,gpu_mem_useddeğeri 1,6 GB ise--gpumemory=2olarak ayarlayın. Değer pozitif bir tam sayı olmalıdır.arena serve triton \ --name=resnet18 \ --gpumemory=2 \ --replicas=1 \ --image=nvcr.io/nvidia/tritonserver:21.12-py3 \ --data=oss-pvc:/data \ --model-repository=/data/triton/model-repository \ --allow-metrics=true
-
-
Dağıtımı doğrulayın:
arena serve list -ABeklenen çıktı:
NAMESPACE NAME TYPE VERSION DESIRED AVAILABLE ADDRESS PORTS GPU default resnet18-serving Triton 202202141817 1 1 172.16.147.248 RESTFUL:8000,GRPC:8001 1AVAILABLEdeğeriDESIREDdeğerine eşit olduğunda model kullanıma hazırdır.