Tüm Ürünler
Search
Belge Merkezi

Container Service for Kubernetes:TensorFlow modeli çıkarım hizmetini dağıtın

Son Güncelleme:Oct 30, 2026

Bu konuda Arena kullanarak bir TensorFlow modelinin çıkarım hizmeti olarak nasıl dağıtılacağı açıklanır.

Ön koşullar

Yordam

Not

Bu konuda, çıkarım hizmetini dağıtmak için TensorFlow 1.15 ile eğitilmiş bir BERT modeli kullanılır. Model, kaydedilmiş model (saved model) olarak dışa aktarılmıştır.

  1. Kümedeki kullanılabilir GPU kaynaklarını kontrol etmek için aşağıdaki komutu çalıştırın.

    arena top node

    Beklenen çıktı:

    NAME                      IPADDRESS      ROLE    STATUS  GPU(Total)  GPU(Allocated)
    cn-beijing.192.168.0.100  192.168.0.100  <none>  Ready   1           0
    cn-beijing.192.168.0.101  192.168.0.101  <none>  Ready   1           0
    cn-beijing.192.168.0.99   192.168.0.99   <none>  Ready   1           0
    ---------------------------------------------------------------------------------------------------
    Allocated/Total GPUs of nodes which own resource nvidia.com/gpu In Cluster:
    0/3 (0.0%)

    Çıktı, model dağıtımı için üç GPU düğümünün hazır olduğunu gösterir.

  2. Modeli Object Storage Service (OSS) paketinde yükleyin.

    Önemli

    Modelin OSS'ye yüklenmesine ilişkin aşağıdaki adımlar Linux sistemi içindir. Diğer işletim sistemlerinde yükleme talimatları için bkz. ossutil komut satırı aracı için hızlı başlangıç.

    1. ossutil'i yükleyin.

    2. examplebucket adlı bir paket oluşturun.

      • examplebucket oluşturmak için aşağıdaki komutu çalıştırın.

        ossutil64 mb oss://examplebucket
      • Aşağıdaki çıktı, examplebucket paketinin oluşturulduğunu gösterir.

        0.668238(s) elapsed
    3. Modeli examplebucket paketine yükleyin.

      ossutil64 cp model.savedmodel oss://examplebucket
  3. Kalıcı birim (PV) ve kalıcı birim talebi (PVC) oluşturun.

    1. Aşağıdaki şablona göre bir Tensorflow.yaml dosyası oluşturun.

      apiVersion: v1
      kind: PersistentVolume
      metadata:
        name: model-csi-pv
      spec:
        capacity:
          storage: 5Gi
        accessModes:
          - ReadWriteMany
        persistentVolumeReclaimPolicy: Retain
        csi:
          driver: ossplugin.csi.alibabacloud.com
          volumeHandle: model-csi-pv   # Must be the same as the PV name.
          volumeAttributes:
            bucket: "Your Bucket"
            url: "Your oss url"
            akId: "Your AccessKey ID"
            akSecret: "Your AccessKey Secret"
            otherOpts: "-o max_stat_cache_size=0 -o allow_other"
      ---
      apiVersion: v1
      kind: PersistentVolumeClaim
      metadata:
        name: model-pvc
      spec:
        accessModes:
        - ReadWriteMany
        resources:
          requests:
            storage: 5Gi

      Parametre

      Açıklama

      bucket

      OSS paketinin adı. Ad, OSS içinde genel olarak benzersiz olmalıdır. Daha fazla bilgi için bkz. Paket adlandırma kuralları.

      url

      OSS dosyalarına erişmek için kullanılan URL. Daha fazla bilgi için bkz. Tek bir dosyanın veya birden çok dosyanın URL'lerini alma.

      akId

      OSS'ye erişmek için kullanılan AccessKey ID ve AccessKey Secret. Erişim için bir RAM kullanıcı hesabı kullanmanızı öneririz. Daha fazla bilgi için bkz. AccessKey çifti oluşturma.

      akSecret

      otherOpts

      OSS'yi bağlama yönelik özel parametreler.

      • -o max_stat_cache_size=0 seçeneği öznitelik önbelleğe almayı devre dışı bırakır. Bir dosyaya her eriştiğinizde en güncel öznitelik bilgileri OSS'den alınır.

      • -o allow_other seçeneği, diğer kullanıcıların bağlanan dosya sistemine erişmesine olanak tanır.

      Parametre ayarları hakkında daha fazla bilgi için bkz. ossfs tarafından desteklenen ayar seçenekleri.

    2. PV ve PVC'yi oluşturmak için aşağıdaki komutu çalıştırın.

      kubectl apply -f Tensorflow.yaml
  4. bert-tfserving adlı bir tensorflow serving örneği başlatmak için aşağıdaki komutu çalıştırın.

    arena serve tensorflow \
      --name=bert-tfserving \
      --model-name=chnsenticorp  \
      --gpus=1  \
      --image=tensorflow/serving:1.15.0-gpu \
      --data=model-pvc:/models \
      --model-path=/models/tensorflow \
      --version-policy=specific:1623831335

    Beklenen çıktı:

    configmap/bert-tfserving-202106251556-tf-serving created
    configmap/bert-tfserving-202106251556-tf-serving labeled
    configmap/bert-tfserving-202106251556-tensorflow-serving-cm created
    service/bert-tfserving-202106251556-tensorflow-serving created
    deployment.apps/bert-tfserving-202106251556-tensorflow-serving created
    INFO[0003] The Job bert-tfserving has been submitted successfully
    INFO[0003] You can run `arena get bert-tfserving --type tf-serving` to check the job status
  5. Şu anda çalışan hizmetleri listelemek için aşağıdaki komutu çalıştırın.

    arena serve list

    Yalnızca bert-tfserving hizmeti çalışıyor:

    NAME            TYPE        VERSION       DESIRED  AVAILABLE  ADDRESS        PORTS
    bert-tfserving  Tensorflow  202106251556  1        1          172.16.95.171  GRPC:8500,RESTFUL:8501
  6. bert-tfserving çıkarım hizmetinin ayrıntılarını görüntülemek için aşağıdaki komutu çalıştırın.

    arena serve get bert-tfserving

    Beklenen çıktı:

    Name:       bert-tfserving
    Namespace:  inference
    Type:       Tensorflow
    Version:    202106251556
    Desired:    1
    Available:  1
    Age:        4m
    Address:    172.16.95.171
    Port:       GRPC:8500,RESTFUL:8501
    Instances:
      NAME                                                             STATUS   AGE  READY  RESTARTS  NODE
      ----                                                             ------   ---  -----  --------  ----
      bert-tfserving-202106251556-tensorflow-serving-8554d58d67-jd2z9  Running  4m   1/1    0         cn-beijing.192.168.0.88

    Çıktı, modelin tensorflow serving kullanılarak başarıyla dağıtıldığını ve iki API bağlantı noktasını (8500 (gRPC) ve 8501 (HTTP)) açtığını gösterir.

  7. Varsayılan olarak arena serve tensorflow çıkarım hizmetini bir ClusterIP üzerinden açar. Doğrudan erişim için bir genel ağ Ingress'i yapılandırmanız gerekir.

    1. Clusters sayfasında hedef kümenin adına tıklayın. Sol gezinme bölmesinde Network > Ingresses seçeneğini belirleyin.

    2. Sayfanın üst kısmındaki Namespace açılır listesinden, 6. Adımda oluşturulan çıkarım hizmetini içeren inference ad alanını seçin.

    3. Sayfanın sağ üst köşesinde Create Ingress seçeneğine tıklayın. Parametreler hakkında daha fazla bilgi için bkz. Hizmeti açığa çıkarmak için NGINX Ingress oluşturma ve kullanma.

      • Name: Bu örnekte adı Tensorflow olarak ayarlayın.

      • Rules:

        • Host: Özel bir etki alanı adı, örneğin test.example.com.

        • Mappings:

          • Path: Kök yolu / kullanmak için bu alanı boş bırakın.

          • Match Rule: Varsayılan değer (ImplementationSpecific).

          • Service: kubectl get service komutunu çalıştırarak adı alın.

          • Port: Bu örnekte bağlantı noktasını 8501 olarak ayarlayın.

  8. Ingress oluşturulduktan sonra Rules sayfasındaki Ingresses sütunundan Ingress adresini alın.

  9. Çıkarım hizmeti API'sini çağırmak için aşağıdaki komutu çalıştırın. tensorflow serving hakkında daha fazla bilgi için Tensorflow Serving API adresindeki API belgelerine bakın.

    curl "http://<Ingress address>"

    Beklenen çıktı:

    {
     "model_version_status": [
      {
       "version": "1623831335",
       "state": "AVAILABLE",
       "status": {
        "error_code": "OK",
        "error_message": ""
       }
      }
     ]
    }