Tüm Ürünler
Search
Belge Merkezi

Container Service for Kubernetes:Analyze and optimize models

Son Güncelleme:Oct 06, 2026

Bir modeli dağıtmadan önce canlıya geçiş standartlarını karşıladığından emin olmak için model analiz aracını kullanarak kıyaslama, profil oluşturma ve optimizasyon işlemlerini gerçekleştirin. Bu konuda, V100 GPU'lar üzerinde çalışan PyTorch ResNet18 modeli örnek olarak kullanılmıştır.

Ön koşullar

Aşağıdaki ön koşulları karşıladığınızdan emin olun:

Çalışma mantığı

Veri bilimciler doğruluğu optimize ederken mühendisler çıkarım performansını optimize eder. Modelin gecikme süresi ve aktarım hızı hedeflerini karşıladığından emin olmak için dağıtımdan önce kıyaslama ve profil oluşturma işlemlerini gerçekleştirin.

Arena, model yaşam döngüsünün her aşaması için komutlar sağlar:

Model lifecycle

Aşama Amaç
Model eğitimi Bir veri kümesi üzerinde modeli eğitin
Model kıyaslama Gecikme süresi, aktarım hızı ve GPU kullanımının gereksinimleri karşılayıp karşılamadığını kontrol edin
Model profili oluşturma Performans darboğazlarını belirleyin
Model optimizasyonu TensorRT gibi araçlarla GPU çıkarım performansını iyileştirin
Model sunumu Modeli çevrimiçi bir hizmet olarak dağıtın
Model optimizasyondan sonra hala gereksinimleri karşılamıyorsa kıyaslama → profil oluşturma → optimizasyon döngüsünü tekrarlayın.

Tüm analiz komutları arena model analyze altında çalışır. Alt komutları görüntülemek için:

arena model analyze --help

Çıktı:

submit a model analyze job.

Available Commands:
  benchmark   Submit a model benchmark job
  delete      Delete a model job
  evaluate    Submit a model evaluate job
  get         Get a model job
  list        List all the model jobs
  optimize    Submit a model optimize job, this is a experimental feature
  profile     Submit a model profile job

Adım 1: Model hazırlama

ResNet18 modelini TorchScript formatına dönüştürün ve OSS'e yükleyin.

  1. Modeli dönüştürün ve kaydedin:

    Parametre Açıklama
    model_name Model adı
    model_platform Platform veya çerçeve, örneğin TorchScript veya ONNX
    model_path Model depolama yolu.
    inputs Giriş parametreleri
    outputs Çıkış parametreleri
    import torch
    import torchvision
    
    model = torchvision.models.resnet18(pretrained=True)
    
    # Switch the model to eval mode
    model.eval()
    
    # An example input you would normally provide to your model's forward() method
    dummy_input = torch.rand(1, 3, 224, 224)
    
    # Use torch.jit.trace to generate a torch.jit.ScriptModule via tracing
    traced_script_module = torch.jit.trace(model, dummy_input)
    
    # Save the TorchScript model
    traced_script_module.save("resnet18.pt")
  2. resnet18.pt dosyasını oss://bucketname/models/resnet18/resnet18.pt konumuna yükleyin. Daha fazla bilgi için bkz. Nesneleri yükleme.

Adım 2: Modeli kıyaslama

Modeli gecikme süresi, aktarım hızı ve GPU kullanımı hedeflerine göre kıyaslayın. Bu örnekte, default ad alanında oss-pvc adlı bir PVC kullanılmaktadır.

  1. Bir model yapılandırma dosyası config.json oluşturun:

    {
      "model_name": "resnet18",
      "model_platform": "torchscript",
      "model_path": "/data/models/resnet18/resnet18.pt",
      "inputs": [
        {
          "name": "input",
          "data_type": "float32",
          "shape": [1, 3, 224, 224]
        }
      ],
      "outputs": [
        {
          "name": "output",
          "data_type": "float32",
          "shape": [1000]
        }
      ]
    }
  2. config.json dosyasını oss://bucketname/models/resnet18/config.json konumuna yükleyin.

  3. Kıyaslama işini gönderin:

    Önemli

    --requests ve --duration parametreleri birbirini dışlar; her ikisi de ayarlanırsa --duration önceliklidir. Zaman sınırı yerine sabit bir istek sayısı kullanmak için --requests parametresini kullanın.

    Parametre Açıklama
    --gpus Kullanılacak GPU sayısı
    --data PVC adı ve bağlama yolu
    --model-config-file Model yapılandırma dosyasının yolu
    --report-path Kıyaslama raporunun çıktı yolu.
    --concurrency Eşzamanlı istek sayısı
    --duration Saniye cinsinden kıyaslama süresi.
    arena model analyze benchmark \
      --name=resnet18-benchmark \
      --namespace=default \
      --image=registry.cn-beijing.aliyuncs.com/kube-ai/easy-inference:1.0.2 \
      --gpus=1 \
      --data=oss-pvc:/data \
      --model-config-file=/data/models/resnet18/config.json \
      --report-path=/data/models/resnet18 \
      --concurrency=5 \
      --duration=60
  4. İş durumunu kontrol edin:

    arena model analyze list -A

    Beklenen çıktı:

    NAMESPACE  NAME                STATUS    TYPE       DURATION  AGE  GPU(Requested)
    default    resnet18-benchmark  COMPLETE  Benchmark  0s        2d   1
  5. Durum COMPLETE olduğunda, --report-path dizininden benchmark_result.txt dosyasını alın:

    Ölçüm Açıklama Birim
    p90_latency 90. yüzdelik yanıt süresi Milisaniye
    p95_latency 95. yüzdelik yanıt süresi Milisaniye
    p99_latency 99. yüzdelik yanıt süresi Milisaniye
    min_latency En hızlı yanıt süresi Milisaniye
    max_latency En yavaş yanıt süresi Milisaniye
    mean_latency Ortalama yanıt süresi Milisaniye
    median_latency Medyan yanıt süresi Milisaniye
    throughput Aktarım hızı Kez
    gpu_mem_used GPU bellek kullanımı GB
    gpu_utilization GPU kullanımı Yüzde
    {
        "p90_latency": 7.511,
        "p95_latency": 7.86,
        "p99_latency": 9.34,
        "min_latency": 7.019,
        "max_latency": 12.269,
        "mean_latency": 7.312,
        "median_latency": 7.206,
        "throughput": 136,
        "gpu_mem_used": 1.47,
        "gpu_utilization": 21.280
    }

Adım 3: Model profili oluşturma

Modelin çıkarım sırasında zamanının nereye harcandığını belirlemek için arena model analyze profile komutunu çalıştırın. Profil oluşturucu, operatöre göre ayrılmış bir TensorBoard raporu oluşturur.

  1. Profil oluşturma işini gönderin:

    Parametre Açıklama
    --gpus Kullanılacak GPU sayısı
    --data PVC adı ve bağlama yolu
    --model-config-file Model yapılandırma dosyasının yolu
    --report-path Profil oluşturma raporunun çıktı yolu.
    --tensorboard Profil oluşturma raporunu görüntülemek için TensorBoard'u etkinleştirir.
    --tensorboard-image TensorBoard konteyner görüntüsü.
    arena model analyze profile \
      --name=resnet18-profile \
      --namespace=default \
      --image=registry.cn-beijing.aliyuncs.com/kube-ai/easy-inference:1.0.2 \
      --gpus=1 \
      --data=oss-pvc:/data \
      --model-config-file=/data/models/resnet18/config.json \
      --report-path=/data/models/resnet18/log/ \
      --tensorboard \
      --tensorboard-image=registry.cn-beijing.aliyuncs.com/kube-ai/easy-inference:1.0.2
  2. İş durumunu kontrol edin:

    arena model analyze list -A

    Beklenen çıktı:

    NAMESPACE  NAME              STATUS    TYPE     DURATION  AGE  GPU(Requested)
    default    resnet18-profile  COMPLETE  Profile  13s       2d   1
  3. TensorBoard hizmetinin çalıştığını doğrulayın:

    kubectl get service -n default

    Beklenen çıktı:

    NAME                           TYPE       CLUSTER-IP       EXTERNAL-IP   PORT(S)          AGE
    resnet18-profile-tensorboard   NodePort   172.16.158.170   <none>        6006:30582/TCP   2d20h
  4. Yerel TensorBoard erişimi için bağlantı noktasını yönlendirin:

    kubectl port-forward svc/resnet18-profile-tensorboard -n default 6006:6006

    Beklenen çıktı:

    Forwarding from 127.0.X.X:6006 -> 6006
    Forwarding from [::1]:6006 -> 6006
  5. Bir tarayıcıda http://localhost:6006 adresini açın. Sol gezinme bölmesinde, performans verilerini keşfetmek ve darboğaz operatörlerini belirlemek için Views seçeneğini tıklayın.

    Profiling results

Adım 4: Modeli optimize etme

Darboğazları belirledikten sonra bir optimizasyon işi gönderin. Arena, varsayılan olarak GPU çıkarımı için modeli optimize etmek üzere TensorRT kullanır.

  1. Optimizasyon işini gönderin:

    Parametre Açıklama
    --gpus Kullanılacak GPU sayısı
    --data PVC adı ve bağlama yolu
    --optimizer Optimizasyon motoru. Geçerli değerler: tensorrt (varsayılan), aiacc-torch
    --model-config-file Model yapılandırma dosyasının yolu
    --export-path Optimize edilmiş modelin çıktı yolu.
    arena model analyze optimize \
      --name=resnet18-optimize \
      --namespace=default \
      --image=registry.cn-beijing.aliyuncs.com/kube-ai/easy-inference:1.0.2 \
      --gpus=1 \
      --data=oss-pvc:/data \
      --optimizer=tensorrt \
      --model-config-file=/data/models/resnet18/config.json \
      --export-path=/data/models/resnet18
  2. İş durumunu kontrol edin:

    arena model analyze list -A

    Beklenen çıktı:

    NAMESPACE  NAME               STATUS    TYPE      DURATION  AGE  GPU(Requested)
    default    resnet18-optimize  COMPLETE  Optimize  16s       2d   1
  3. Durum COMPLETE olduğunda, optimize edilmiş model opt_resnet18.pt --export-path dizinine kaydedilir.

  4. Optimize edilmiş modelle kıyaslamayı yeniden çalıştırın. config.json içindeki model_path değerini opt_resnet18.pt olarak güncelleyin ve ardından 2. Adımı tekrarlayın. Aşağıdaki tabloda TensorRT optimizasyonu öncesi ve sonrası sonuçlar karşılaştırılmaktadır. Model hala gereksinimlerinizi karşılamıyorsa 3. ve 4. Adımları tekrarlayın.

    Ölçüm Optimizasyon öncesi Optimizasyon sonrası
    p90_latency 7,511 ms 5,162 ms
    p95_latency 7,86 ms 5,428 ms
    p99_latency 9,34 ms 6,64 ms
    min_latency 7,019 ms 4,827 ms
    max_latency 12,269 ms 8,426 ms
    mean_latency 7,312 ms 5,046 ms
    median_latency 7,206 ms 4,972 ms
    throughput 136 kez 198 kez
    gpu_mem_used 1,47 GB 1,6 GB
    gpu_utilization %21,280 %10,912

Adım 5: Modeli dağıtma

Model performans gereksinimlerini karşıladığında, NVIDIA Triton Inference Server ile dağıtın.

  1. Triton yapılandırma dosyası config.pbtxt oluşturun:

    Önemli

    Dosya adını değiştirmeyin.

    Yapılandırma ayrıntıları için bkz. Model Deposu .
    name: "resnet18"
    platform: "pytorch_libtorch"
    max_batch_size: 1
    default_model_filename: "opt_resnet18.pt"
    input [
        {
            name: "input__0"
            format: FORMAT_NCHW
            data_type: TYPE_FP32
            dims: [ 3, 224, 224 ]
        }
    ]
    output [
        {
            name: "output__0",
            data_type: TYPE_FP32,
            dims: [ 1000 ]
        }
    ]
  2. OSS'te aşağıdaki dizin yapısını oluşturun:

    1/ dizini model sürümünü temsil eder (Triton kuralı). Bir depoda birden fazla sürüm saklanabilir. Daha fazla bilgi için bkz. Model Deposu .
    oss://bucketname/triton/model-repository/
        resnet18/
          config.pbtxt
          1/
            opt_resnet18.pt
  3. Modeli Arena ile dağıtın. İş yükünüzüze bağlı olarak GPU modunu seçin:

    • GPU özel modu — GPU başına bir model. Modellerin GPU kaynaklarını paylaşmaması gereken yüksek kararlılık gerektiren çıkarım senaryoları için kullanın.

      arena serve triton \
        --name=resnet18-serving \
        --gpus=1 \
        --replicas=1 \
        --image=nvcr.io/nvidia/tritonserver:21.05-py3 \
        --data=oss-pvc:/data \
        --model-repository=/data/triton/model-repository \
        --allow-metrics=true
    • GPU paylaşım modu — Birden fazla model, model başına bellek sınırlarıyla tek bir GPU'yu paylaşır. Maliyet açısından verimli veya uzun kuyruklu çıkarım senaryoları için kullanın. Kıyaslamadaki gpu_mem_used değerine göre pod başına GPU belleğini (GB) ayarlamak için --gpumemory parametresini kullanın. Örneğin, gpu_mem_used değeri 1,6 GB ise --gpumemory=2 olarak ayarlayın. Değer pozitif bir tam sayı olmalıdır.

      arena serve triton \
        --name=resnet18 \
        --gpumemory=2 \
        --replicas=1 \
        --image=nvcr.io/nvidia/tritonserver:21.12-py3 \
        --data=oss-pvc:/data \
        --model-repository=/data/triton/model-repository \
        --allow-metrics=true
  4. Dağıtımı doğrulayın:

    arena serve list -A

    Beklenen çıktı:

    NAMESPACE  NAME              TYPE    VERSION       DESIRED  AVAILABLE  ADDRESS         PORTS                   GPU
    default    resnet18-serving  Triton  202202141817  1        1          172.16.147.248  RESTFUL:8000,GRPC:8001  1

    AVAILABLE değeri DESIRED değerine eşit olduğunda model kullanıma hazırdır.