Tüm Ürünler
Search
Belge Merkezi

Platform For AI:Yerleşik işlemciler

Son Güncelleme:Oct 04, 2026

İşlemci, çevrimiçi tahmin mantığını içeren bir pakettir. Elastic Algorithm Service (EAS) standart modelleri dağıtmanız için yerleşik işlemciler sunar; bu sayede söz konusu mantığı kendiniz geliştirmeniz gerekmez.

Aşağıdaki tabloda EAS içindeki işlemci adları ve kodları listelenmiştir. EASCMD ile bir hizmet dağıtırken işlemci kodunu belirtin.

İşlemci adı

İşlemci kodu (yalnızca EASCMD)

Başvuru

CPU sürümü

GPU sürümü

EasyRec

easyrec-2,4

easyrec-2,4

EasyRec işlemcisi

TorchEasyRec

easyrec-torch-1,0

easyrec-torch-1,0

TorchEasyRec işlemcisi

PMML

pmml

None

PMML işlemcisi

TensorFlow 1.12

tensorflow_cpu_1.12

tensorflow_gpu_1.12

TensorFlow 1.12 işlemcisi

TensorFlow 1.14

tensorflow_cpu_1.14

tensorflow_gpu_1.14

TensorFlow 1.14 işlemcisi

TensorFlow 1.15

tensorflow_cpu_1.15

tensorflow_gpu_1.15

TensorFlow 1.15 işlemcisi (PAI-Blade Agility Edition optimizasyon motorunu içerir)

TensorFlow 2.3

tensorflow_cpu_2.3

None

TensorFlow 2.3 işlemcisi

PyTorch 1.6

pytorch_cpu_1.6

pytorch_gpu_1.6

PyTorch 1.6 işlemcisi (PAI-Blade Agility Edition optimizasyon motorunu içerir)

Caffe

caffe_cpu

caffe_gpu

Caffe işlemcisi

Parameter Server

parameter_server

None

Parameter Server işlemcisi

Alink

alink_pai_processor

None

None

xNN

xnn_cpu

None

None

EasyVision

easy_vision_cpu_tf1.12_torch151

easy_vision_gpu_tf1.12_torch151

EasyVision işlemcisi

EasyTransfer

easytransfer_cpu

easytransfer_gpu

EasyTransfer işlemcisi

EasyNLP

easynlp

easynlp

EasyNLP işlemcisi

EasyCV

easycv

easycv

EasyCV işlemcisi

Blade

blade_cpu

blade_cuda10,0_beta

None

MediaFlow

None

mediaflow

MediaFlow işlemcisi

Triton

None

triton

Triton işlemcisi

PMML işlemcisi

EAS içindeki PMML işlemcisi:

  • Bir PMML model dosyasını hizmet olarak yükler.

  • Model hizmetine yönelik istekleri işler.

  • Tahmin sonuçlarını hesaplar ve istemciye döndürür.

PMML işlemcisi, eksik değerleri işlemek için varsayılan bir strateji sunar. PMML model dosyasındaki özellik sütunları için isMissing ilkesi belirtilmemişse sistem aşağıdaki varsayılan değerlerle atama yapar.


Tür


Varsayılan


BOOLEAN


false


DOUBLE


0,0


FLOAT


0,0


INT


0


STRING


""

Bir PMML modelini aşağıdaki yollardan herhangi biriyle dağıtın:

  • Konsol

    Processor Type parametresini PMML olarak ayarlayın. Daha fazla bilgi için bkz. Konsolu kullanarak bir model hizmeti dağıtma.

  • EASCMD istemcisi

    service.json yapılandırma dosyasında processor değerini pmml olarak ayarlayın. Örnek:

    {
      "processor": "pmml",
      "generate_token": "true",
      "model_path": "http://xxxxx/lr.pmml",
      "name": "eas_lr_example",
      "metadata": {
        "instance": 1,
        "cpu": 1 # EAS allocates 4 GB of memory per CPU core (1 Quota).
      }
    }
  • Data Science Workshop (DSW)

    EASCMD istemcisini kullanmaya benzer. Bir service.json yapılandırma dosyası oluşturun. Daha fazla bilgi için bkz. EASCMD kullanarak bir model hizmeti dağıtma.

TensorFlow 1.12 işlemcisi

EAS TensorFlow 1.12 işlemcisi, SavedModel (önerilir) veya SessionBundle biçimindeki TensorFlow modellerini yükler. Dağıtımdan önce Keras ve Checkpoint modellerini SavedModel biçimine dönüştürün. Daha fazla bilgi için bkz. TensorFlow SSS.

Not

Bu işlemci özel TensorFlow işlemlerini desteklemez.

Bir TensorFlow modelini aşağıdaki yollardan biriyle dağıtın:

  • Konsol

    Processor Type değerini TensorFlow1.12 olarak ayarlayın. Daha fazla bilgi için bkz. Özel çıkarım hizmeti dağıtma.

  • EASCMD istemcisi

    service.json yapılandırma dosyasında processor değerini tensorflow_cpu_1.12 veya tensorflow_gpu_1.12 olarak ayarlayın. Dağıtım kaynaklarına göre kodu seçin. processor ile kaynak türü arasındaki uyumsuzluk dağıtım hatasına neden olur. Örnek:

    {
      "name": "tf_serving_test",
      "generate_token": "true",
      "model_path": "http://xxxxx/savedmodel_example.zip",
      "processor": "tensorflow_cpu_1.12",
      "metadata": {
        "instance": 1,
        "cpu": 1,
        "gpu": 0,
        "memory": 2000
      }
    }
  • DSW

    EASCMD istemcisini kullanmaya benzer. Bir service.json yapılandırma dosyası oluşturun. Daha fazla bilgi için bkz. EASCMD kullanarak model hizmetleri dağıtma.

TensorFlow 1.14 işlemcisi

EAS TensorFlow 1.14 işlemcisi, SavedModel (önerilir) veya SessionBundle biçimindeki TensorFlow modellerini yükler. Dağıtımdan önce Keras ve Checkpoint modellerini SavedModel biçimine dönüştürün. Daha fazla bilgi için bkz. TensorFlow SSS.

Not

Bu işlemci özel TensorFlow işlemlerini desteklemez.

Bir TensorFlow modelini aşağıdaki yollardan biriyle dağıtın:

  • Konsol

    Processor Type değerini TensorFlow1.14 olarak ayarlayın. Daha fazla bilgi için bkz. Özel çıkarım hizmeti dağıtma.

  • EASCMD istemcisi

    service.json yapılandırma dosyasında processor değerini tensorflow_cpu_1.14 veya tensorflow_gpu_1.14 olarak ayarlayın. Dağıtım kaynaklarınızla eşleşen kodu seçin. processor ile kaynak türü arasındaki uyumsuzluk dağıtım hatasına neden olur. Örnek:

    {
      "name": "tf_serving_test",
      "generate_token": "true",
      "model_path": "http://xxxxx/savedmodel_example.zip",
      "processor": "tensorflow_cpu_1.14",
      "metadata": {
        "instance": 1,
        "cpu": 1,
        "gpu": 0,
        "memory": 2000
      }
    }
  • DSW

    EASCMD istemcisini kullanmaya benzer. Bir service.json yapılandırma dosyası oluşturun. Daha fazla bilgi için bkz. EASCMD kullanarak model hizmetleri dağıtma.

TensorFlow 1.15 işlemcisi (PAI-Blade Agility Edition)

EAS TensorFlow 1.15 işlemcisi, SavedModel (önerilir) veya SessionBundle biçimindeki TensorFlow modellerini yükler. Dağıtımdan önce Keras ve Checkpoint modellerini SavedModel biçimine dönüştürün. Daha fazla bilgi için bkz. TensorFlow SSS.

Not
  • Bu işlemci özel TensorFlow işlemlerini desteklemez.

  • Bu işlemci, PAI-Blade ile optimize edilmiş TensorFlow modellerini dağıtmak için PAI-Blade Agility Edition optimizasyon motorunu içerir.

Bir TensorFlow modelini aşağıdaki yollardan biriyle dağıtın:

  • Konsol

    Processor Type değerini TensorFlow1.15 olarak ayarlayın. Daha fazla bilgi için bkz. Özel çıkarım hizmeti dağıtma.

  • EASCMD

    service.json yapılandırma dosyasında processor değerini tensorflow_cpu_1.15 veya tensorflow_gpu_1.15 olarak ayarlayın. Dağıtım kaynaklarınızla eşleşen kodu seçin. processor ile kaynak türü arasındaki uyumsuzluk dağıtım hatasına neden olur. Örnek:

    {
      "name": "tf_serving_test",
      "generate_token": "true",
      "model_path": "http://xxxxx/savedmodel_example.zip",
      "processor": "tensorflow_cpu_1.15",
      "metadata": {
        "instance": 1,
        "cpu": 1,
        "gpu": 0,
        "memory": 2000
      }
    }
  • DSW

    EASCMD'yi kullanmaya benzer. Bir service.json yapılandırma dosyası oluşturun. Daha fazla bilgi için bkz. EASCMD kullanarak model hizmetleri dağıtma. Parametre açıklamaları için bkz. Hizmet oluşturma.

TensorFlow 2.3 işlemcisi

EAS TensorFlow 2.3 işlemcisi, SavedModel (önerilir) veya SessionBundle biçimindeki TensorFlow modellerini yükler. Dağıtımdan önce Keras ve Checkpoint modellerini SavedModel biçimine dönüştürün. Daha fazla bilgi için bkz. TensorFlow SSS.

Not

Bu işlemci özel TensorFlow işlemlerini desteklemez.

Bir TensorFlow modelini aşağıdaki yollardan biriyle dağıtın:

  • Konsol

    Processor Type değerini TensorFlow2.3 olarak ayarlayın. Daha fazla bilgi için bkz. Konsolu kullanarak bir hizmet dağıtma.

  • EASCMD

    service.json yapılandırma dosyasında processor değerini tensorflow_cpu_2.3 Örnek:

    {
      "name": "tf_serving_test",
      "generate_token": "true",
      "model_path": "http://xxxxx/savedmodel_example.zip",
      "processor": "tensorflow_cpu_2.3",
      "metadata": {
        "instance": 1,
        "cpu": 1,
        "gpu": 0,
        "memory": 2000
      }
    }
  • DSW

    EASCMD'yi kullanmaya benzer. Bir service.json yapılandırma dosyası oluşturun. Daha fazla bilgi için bkz. EASCMD kullanarak model hizmetleri dağıtma.

PyTorch 1.6 işlemcisi (PAI-Blade Agility Edition)

EAS PyTorch 1.6 işlemcisi, TorchScript biçimindeki modelleri yükler. Daha fazla bilgi için bkz. resmi TorchScript belgeleri.

Not
  • Bu işlemci PyTorch uzantılarını veya tensör olmayan model girişlerini ve çıkışlarını desteklemez.

  • Bu işlemci, optimize edilmiş PyTorch modellerini dağıtmak için PAI-Blade (Agility Edition) optimizasyon motorunu içerir.

Bir TorchScript modelini aşağıdaki yollardan biriyle dağıtın:

  • Konsol

    Processor Type değerini PyTorch 1.6 olarak ayarlayın. Daha fazla bilgi için bkz. Özel çıkarım hizmeti dağıtma.

  • EASCMD istemcisi

    service.json yapılandırma dosyasında processor değerini pytorch_cpu_1.6 veya pytorch_gpu_1.6 olarak ayarlayın. Dağıtım kaynaklarına göre bir değer seçin. processor ile kaynak türü arasındaki uyumsuzluk dağıtım hatasına neden olur. Örnek:

    {
      "name": "pytorch_serving_test",
      "generate_token": "true",
      "model_path": "http://xxxxx/torchscript_model.pt",
      "processor": "pytorch_gpu_1.6",
      "metadata": {
        "instance": 1,
        "cpu": 1,
        "gpu": 1,
        "cuda": "10.0",
        "memory": 2000
      }
    }
  • DSW

    EASCMD istemcisini kullanmaya benzer. Bir service.json yapılandırma dosyası oluşturun. Daha fazla bilgi için bkz. EASCMD kullanarak model hizmetleri dağıtma. Parametre açıklamaları için bkz. Hizmet oluşturma.

Caffe işlemcisi

EAS Caffe işlemcisi, Caffe ile eğitilmiş derin öğrenme modellerini yükler. Model paketinde model ve ağırlık dosya adlarını belirtin.

Not

Bu işlemci özel veri katmanlarını desteklemez.

Bir Caffe modelini aşağıdaki yollarla dağıtın:

  • Konsol

    Processor Type değerini Caffe olarak ayarlayın. Daha fazla bilgi için bkz. Özel çıkarım hizmeti dağıtma.

  • EASCMD istemcisi

    service.json yapılandırma dosyasında processor değerini kaynak türüne göre caffe_cpu veya caffe_gpu olarak ayarlayın. processor ile kaynak türü arasındaki uyumsuzluk dağıtım hatasına neden olur. Örnek:

    {
      "name": "caffe_serving_test",
      "generate_token": "true",
      "model_path": "http://xxxxx/caffe_model.zip",
      "processor": "caffe_cpu",
      "model_config": {
        "model": "deploy.prototxt",
        "weight": "bvlc_reference_caffenet.caffemodel"
      },
      "metadata": {
        "instance": 1,
        "cpu": 1,
        "gpu": 0,
        "memory": 2000
      }
    }
  • DSW

    EASCMD istemcisini kullanmaya benzer. Bir service.json yapılandırma dosyası oluşturun. Daha fazla bilgi için bkz. EASCMD kullanarak model hizmetleri dağıtma.

PS işlemcisi

EAS PS işlemcisi, PS biçimindeki modelleri yükler.

Bir PS modeli dağıtın ve hizmete istek gönderin.

  • Bir PS modelini aşağıdaki yollardan biriyle dağıtın:

    • Konsol

      Processor Type değerini PS Algorithm olarak ayarlayın. Daha fazla bilgi için bkz. Özel dağıtım.

    • EASCMD istemcisi

      service.json yapılandırma dosyasında processor değerini parameter_sever olarak ayarlayın.

      {
        "name":"ps_smart",
        "model_path": "oss://examplebucket/xlab_m_pai_ps_smart_b_1058272_v0.tar.gz",
        "processor": "parameter_sever",
        "metadata": {
          "region": "beijing",
          "cpu": 1,
          "instance": 1,
          "memory": 2048
        }
      }
    • DSW

      EASCMD istemcisini kullanmaya benzer. Bir service.json yapılandırma dosyası oluşturun. Daha fazla bilgi için bkz. EASCMD istemcisini kullanarak model hizmetleri dağıtma.

  • İstek biçimi

    İşlemci hem tekli hem de toplu tahminleri destekler. İstek biçimi aynıdır: özellik nesnelerinden oluşan bir JSON dizisi.

    • Tekli istek örneği

      curl "http://eas.location/api/predict/ps_smart" -d "[
                  {
                      "f0": 1,
                      "f1": 0.2,
                      "f3": 0.5
                  }
      ]"
    • Toplu istek örneği

      curl "http://eas.location/api/predict/ps_smart" -d "[
              {
                  "f0": 1,
                  "f1": 0.2,
                  "f3": 0.5
              },
              {
                  "f0": 1,
                  "f1": 0.2,
                  "f3": 0.5
              }
      ]"
    • Yanıt

      Yanıt biçimi tekli ve toplu istekler için aynıdır: yanıt nesnelerinden oluşan bir dizi. Her yanıt nesnesi, aynı konumdaki istek nesnesine karşılık gelir.

      [
        {
          "label":"xxxx",
          "score" : 0.2,
          "details" : [{"k1":0.3}, {"k2":0.5}]
        },
        {
          "label":"xxxx",
          "score" : 0.2,
          "details" : [{"k1":0.3}, {"k2":0.5}]
        }
      ]

EasyTransfer işlemcisi

EAS EasyTransfer işlemcisi, EasyTransfer ile eğitilmiş TensorFlow tabanlı NLP modellerini yükler.

Bir EasyTransfer modelini aşağıdaki yollarla dağıtın:

  • Konsol

    Processor Type parametresi için EasyTransfer seçeneğini belirleyin. Daha fazla bilgi için bkz. Özel çıkarım hizmeti dağıtma.

  • EASCMD istemcisi

    service.json yapılandırma dosyasında processor değerini dağıtım kaynaklarına göre easytransfer_cpu veya easytransfer_gpu olarak ayarlayın. processor ile kaynaklar arasındaki uyumsuzluk dağıtım hatasına neden olur. model_config içinde type değerini eğitim sırasında kullanılan model türüne ayarlayın. Aşağıdaki örnek bir metin sınıflandırma modeli kullanır. Diğer parametreler için bkz. Hizmet oluşturma.

    • GPU dağıtımı için yapılandırma (örnek olarak genel kaynak grubu kullanılmıştır)

      {
        "name": "et_app_demo",
        "metadata": {
          "instance": 1
        },
        "cloud": {
          "computing": {
            "instance_type": "ecs.gn6i-c4g1.xlarge"
          }
        },
        "model_path": "http://xxxxx/your_model.zip",
        "processor": "easytransfer_gpu",
        "model_config": {
          "type": "text_classify_bert"
        }
      }
    • CPU dağıtımı için yapılandırma

      {
        "name": "et_app_demo",
        "model_path": "http://xxxxx/your_model.zip",
        "processor": "easytransfer_cpu",
        "model_config": {
          "type":"text_classify_bert"
        },
        "metadata": {
          "instance": 1,
          "cpu": 1,
          "memory": 4000
        }
      }

    Desteklenen görev türleri:


    Görev türü


    Tür


    Metin eşleştirme


    text_match_bert


    Metin sınıflandırma


    text_classify_bert


    Dizi etiketleme


    sequence_labeling_bert


    Metin vektörleştirme


    vectorization_bert

EasyNLP işlemcisi

EAS EasyNLP işlemcisi, EasyNLP ile eğitilmiş PyTorch tabanlı NLP modellerini yükler.

Bir EasyNLP modelini aşağıdaki yollardan biriyle dağıtın:

  • Konsol

    Processor Type değerini EasyNLP olarak ayarlayın. Daha fazla bilgi için bkz. Özel çıkarım hizmeti dağıtma.

  • EASCMD istemcisi

    service.json yapılandırma dosyasında processor değerini easynlp olarak ayarlayın. model_config içinde type değerini eğitim görevi türüne ayarlayın. Aşağıdaki örnek tek etiketli metin sınıflandırma modeli kullanır. Diğer parametreler için bkz. Hizmet oluşturma.

    {
      "name": "easynlp_app_demo",
      "metadata": {
        "instance": 1
      },
      "cloud": {
        "computing": {
          "instance_type": "ecs.gn6i-c4g1.xlarge"
        }
      },
      "model_config": {
        "app_name": "text_classify",
        "type": "text_classify"
      },
      "model_path": "http://xxxxx/your_model.tar.gz",
      "processor": "easynlp"
    }

    Desteklenen görev türleri:


    Görev türü


    Değer


    Tek etiketli metin sınıflandırma


    text_classify


    Çok etiketli metin sınıflandırma


    text_classify_multi


    Metin eşleştirme


    text_match


    Dizi etiketleme


    sequence_labeling


    Metin vektörleştirme


    vectorization


    Çince metin özetleme (GPU)


    sequence_generation_zh


    İngilizce metin özetleme (GPU)


    sequence_generation_en


    Makine okuma anlama (Çince)


    machine_reading_comprehension_zh


    Makine okuma anlama (İngilizce)


    machine_reading_comprehension_en


    WUKONG_CLIP (GPU)


    wukong_clip


    CLIP (GPU)


    clip

Dağıtımdan sonra, Elastic Algorithm Service (EAS) sayfasında hedef hizmetin Service Type sütunundaki Invocation Information seçeneğine tıklayarak uç noktayı ve belirteci görüntüleyin. Hizmeti aşağıdaki Python örneğini kullanarak çağırın.

import requests
# Replace with your service endpoint.
url = '<eas-service-url>'
# Replace with your token.
token = '<eas-service-token>'
# Prepare the request data. The following example is for text classification.
request_body = {
    "first_sequence": "hello"
}
 
headers = {"Authorization": token}
resp = requests.post(url=url, headers=headers, json=request_body)
print(resp.content.decode())

EasyCV işlemcisi

EAS EasyCV işlemcisi, EasyCV ile eğitilmiş derin öğrenme modellerini yükler.

Bir EasyCV modelini aşağıdaki yollardan biriyle dağıtın:

  • Konsol

    Processor Type değerini EasyCV olarak ayarlayın. Daha fazla bilgi için bkz. Özel çıkarım hizmeti dağıtma.

  • EASCMD istemcisi

    service.json yapılandırma dosyasında processor değerini easycv olarak ayarlayın. model_config içinde type değerini eğitim sırasında kullanılan model türüne ayarlayın. Aşağıdaki örnek bir görüntü sınıflandırma modeli kullanır. Diğer parametreler için bkz. Hizmet oluşturma.

    {
      "name": "easycv_classification_example",
      "processor": "easycv",
      "model_path": "oss://examplebucket/epoch_10_export.pt",
      "model_config": {"type":"TorchClassifier"},
      "metadata": {
        "instance": 1
      },
      "cloud": {
        "computing": {
          "instance_type": "ecs.gn5i-c4g1.xlarge"
        }
      }
    }

    Desteklenen iş türleri:


    İş türü


    model_config


    Görüntü sınıflandırma


    {"type":"TorchClassifier"}


    Nesne algılama


    {"type":"DetectionPredictor"}


    Anlamsal segmentasyon


    {"type":"SegmentationPredictor"}


    YOLOX


    {"type":"YoloXPredictor"}


    Video sınıflandırma


    {"type":"VideoClassificationPredictor"}

Dağıtımdan sonra Elastic Algorithm Service (EAS) sayfasına gidin. Hizmeti bulun ve Service Type sütununda uç noktayı ve belirteci görüntülemek için Invocation Information seçeneğine tıklayın. Hizmetin nasıl çağrılacağını gösteren aşağıdaki Python örneğine bakın.

import requests
import base64
import json
resp = requests.get('http://examplebucket.oss-cn-zhangjiakou.aliyuncs.com/images/000000123213.jpg')
ENCODING = 'utf-8'
datas = json.dumps( {
            "image": base64.b64encode(resp.content).decode(ENCODING)
            })
# Replace with your authentication token.
head = {
   "Authorization": "NTFmNDJlM2E4OTRjMzc3OWY0NzI3MTg5MzZmNGQ5Yj***"
}
for x in range(0,10):
  	# Replace with your service endpoint.
    resp = requests.post("http://150231884461***.cn-hangzhou.pai-eas.aliyuncs.com/api/predict/easycv_classification_example", data=datas, headers=head)
    print(resp.text)
                            

İletim için görüntü veya video verilerini Base64 ile kodlayın. Görüntü verileri için image anahtarını, video verileri için video anahtarını kullanın.

EasyVision işlemcisi

EAS EasyVision işlemcisi, EasyVision ile eğitilmiş derin öğrenme modellerini yükler.

Bir EasyVision modelini aşağıdaki yollardan biriyle dağıtın:

  • Konsol

    Processor Type değerini EasyVision olarak ayarlayın. Daha fazla bilgi için bkz. Özel çıkarım hizmeti dağıtma.

  • EASCMD istemcisi

    service.json yapılandırma dosyasında processor değerini easy_vision_cpu_tf1.12_torch151 veya easy_vision_gpu_tf1.12_torch151 olarak ayarlayın. Dağıtım kaynaklarınızla eşleşen kodu seçin. processor ile kaynak türü arasındaki uyumsuzluk dağıtım hatasına neden olur. model_config içinde type değerini eğitim için kullanılan model türüne ayarlayın. Örnekler. Diğer parametreler için bkz. Hizmet oluşturma:

    • GPU dağıtımı için yapılandırma

      {
        "name": "ev_app_demo",
        "processor": "easy_vision_gpu_tf1.12_torch151",
        "model_path": "oss://path/to/your/model",
        "model_config": "{\"type\":\"classifier\"}",
        "metadata": {
          "resource": "your_resource_name",
          "cuda": "9.0",
          "instance": 1,
          "memory": 4000,
          "gpu": 1,
          "cpu": 4,
          "rpc.worker_threads" : 5
        }
      }
    • CPU dağıtımı için yapılandırma

      {
        "name": "ev_app_cpu_demo",
        "processor": "easy_vision_cpu_tf1.12_torch151",
        "model_path": "oss://path/to/your/model",
        "model_config": "{\"type\":\"classifier\"}",
        "metadata": {
          "resource": "your_resource_name",
          "instance": 1,
          "memory": 4000,
          "gpu": 0,
          "cpu": 4,
          "rpc.worker_threads" : 5
        }
      }

MediaFlow işlemcisi

EAS MediaFlow işlemcisi, video, ses ve görüntüleri analiz etmek ve işlemek için bir düzenleme motorudur.

Bir MediaFlow modelini aşağıdaki yollardan biriyle dağıtın:

  • Konsol

    Processor Type değerini MediaFlow olarak ayarlayın. Daha fazla bilgi için bkz. Özel çıkarım hizmeti dağıtma.

  • EASCMD istemcisi

    service.json yapılandırma dosyasında processor değerini mediaflow olarak ayarlayın. Bu işlemci ek yapılandırma alanları gerektirir. Diğer alanlar için bkz. Hizmet oluşturma:

    • graph_pool_size: Grafik havuzu sayısı.

    • worker_threads: İş parçacığı sayısı.

    Örnekler:

    • Video sınıflandırma modeli dağıtma yapılandırması.

      {
        "model_entry": "video_classification/video_classification_ext.js", 
        "name": "video_classification", 
        "model_path": "oss://path/to/your/model", 
        "generate_token": "true", 
        "processor": "mediaflow", 
        "model_config" : {
            "graph_pool_size":8,
            "worker_threads":16
        },
        "metadata": {
          "eas.handlers.disable_failure_handler" :true,
          "resource": "your_resource_name", 
            "rpc.worker_threads": 30,
            "rpc.enable_jemalloc": true,
          "rpc.keepalive": 500000, 
          "cpu": 4, 
          "instance": 1, 
          "cuda": "9.0", 
          "rpc.max_batch_size": 64, 
          "memory": 10000, 
          "gpu": 1 
        }
      }
    • Otomatik konuşma tanıma (ASR) modeli dağıtma yapılandırması.

      {
        "model_entry": "asr/video_asr_ext.js", 
        "name": "video_asr", 
        "model_path": "oss://path/to/your/model", 
        "generate_token": "true", 
        "processor": "mediaflow", 
        "model_config" : {
            "graph_pool_size":8,
            "worker_threads":16
        },
        "metadata": {
          "eas.handlers.disable_failure_handler" :true,
          "resource": "your_resource_name", 
            "rpc.worker_threads": 30,
            "rpc.enable_jemalloc": true,
          "rpc.keepalive": 500000, 
          "cpu": 4, 
          "instance": 1, 
          "cuda": "9.0", 
          "rpc.max_batch_size": 64, 
          "memory": 10000, 
          "gpu": 1 
        }
      }

    ASR ve video sınıflandırma yapılandırmaları başlıca olarak model_entry, name ve model_path alanlarında farklılık gösterir. Modeliniz için bu alanları değiştirin.

Triton işlemcisi

Triton Inference Server, NVIDIA tarafından sunulan bir çevrimiçi hizmet çerçevesidir. GPU'larda modelleri dağıtmak ve yönetmek için bir arayüz sağlar ve KFServing API standardıyla uyumludur. Temel özellikler:

  • TensorFlow, PyTorch, ONNX Runtime, TensorRT ve özel arka uçlar gibi çeşitli çerçevelerden modelleri dağıtır.

  • Kullanımı artırmak için bir GPU üzerinde birden çok modeli eş zamanlı çalıştırır.

  • HTTP/gRPC protokollerini ve ikili biçim uzantısını destekleyerek istek boyutunu azaltır.

  • Hizmet aktarım hızını artırmak için Dinamik Toplu İşlemeyi (Dynamic Batching) destekler.

Triton Inference Server, EAS üzerinde yerleşik bir Triton işlemcisi olarak kullanılabilir.

Not
  • Yalnızca Çin (Şanghay) bölgesinde genel önizleme aşamasında sunulmaktadır.

  • Tüm modeller OSS'de depolanmalıdır. Önce OSS'i etkinleştirin ve model dosyalarınızı bir OSS paketlerine yükleyin. Daha fazla bilgi için bkz. Basit Yükleme.

Bir Triton işlemcisi hizmetini dağıtın ve çağırın.

  • Triton işlemcisiyle dağıtım

    Triton model hizmetlerini yalnızca EASCMD kullanarak dağıtın. Daha fazla bilgi için bkz. Hizmet oluşturma. service.json yapılandırma dosyasında processor değerini triton olarak ayarlayın. Triton modelleri OSS'den aldığından gerekli OSS parametrelerini yapılandırın. Örnek service.json:

    {
      "name": "triton_test",                          
      "processor": "triton",
      "processor_params": [
        "--model-repository=oss://triton-model-repo/models", 
        "--allow-http=true", 
      ],
      "metadata": {
        "instance": 1,
        "cpu": 4,
        "gpu": 1,
        "memory": 10000,
        "resource":"<your resource id>"
      }
    }

    Triton'a özel parametreler aşağıda listelenmiştir. Diğer parametreler için bkz. service.json içindeki parametreler.

    Parametre

    Açıklama

    processor_params

    Triton Server başlatılırken aktarılan parametreler. Desteklenmeyen parametreler otomatik olarak filtrelenir. Desteklenen parametreler aşağıdaki Triton sunucusuna aktarılabilen parametre kümesi içinde listelenmiştir. model-repository gereklidir. İsteğe bağlı parametreler için bkz. main.cc.

    oss_endpoint

    OSS uç noktası. Belirtilmezse sistem, EAS hizmetiyle aynı bölgedeki OSS'i kullanır. Bölge dışı OSS için bunu belirtin. Değerler için bkz. Bölgeler ve Uç Noktalar.

    metadata

    resource

    Model hizmetini dağıtmak için kullanılan EAS özel kaynak grubunun kimliği. Triton işlemcisi bir EAS özel kaynak grubu gerektirir. Daha fazla bilgi için bkz. EAS özel kaynak gruplarını kullanma.

    Tablo 1. Triton sunucusu için desteklenen parametreler

    Parametre

    Gerekli

    Açıklama

    model-repository

    Evet

    Yol bir OSS yolu olarak belirtilmelidir. Sistem, Paket kök dizininin doğrudan model-repository olarak kullanılmasını desteklemez. Paket altında bir Paket alt dizini belirtmeniz gerekir.

    Örneğin, oss://triton-model-repo/models; burada triton-model-repo Paket adıdır, models ise Paket altındaki bir Paket alt dizinidir.

    log-verbose

    Hayır

    Daha fazla bilgi için bkz. main.cc.

    log-info

    Hayır

    log-warning

    Hayır

    log-error

    Hayır

    exit-on-error

    Hayır

    strict-model-config

    Hayır

    strict-readiness

    Hayır

    allow-http

    Hayır

    http-thread-count

    Hayır

    pinned-memory-pool-byte-size

    Hayır

    cuda-memory-pool-byte-size

    Hayır

    min-supported-compute-capability

    Hayır

    buffer-manager-thread-count

    Hayır

    backend-config

    Hayır

  • Hizmeti yerel Triton istemcisiyle çağırma

    NVIDIA'nın resmi Triton istemcisini yükleyin:

    pip3 install nvidia-pyindex
    pip3 install tritonclient[all]

    Bir test görüntüsü indirin:

    wget http://pai-blade.oss-cn-zhangjiakou.aliyuncs.com/doc-assets/cat.png

    Python istemcisini kullanarak Triton işlemcisi hizmetine ikili biçimde bir istek gönderin:

    import numpy as np
    import time
    from PIL import Image
    
    import tritonclient.http as httpclient
    from tritonclient.utils import InferenceServerException
    
    URL = "<service url>"  # Replace <service url> with your service endpoint.
    HEADERS = {"Authorization": "<service token>"} # Replace <service token> with your service access token.
    input_img = httpclient.InferInput("input", [1, 299, 299, 3], "FP32")
    img = Image.open('./cat.png').resize((299, 299))
    img = np.asarray(img).astype('float32') / 255.0
    input_img.set_data_from_numpy(img.reshape([1, 299, 299, 3]), binary_data=True)
    
    output = httpclient.InferRequestedOutput(
        "InceptionV3/Predictions/Softmax", binary_data=True
    )
    triton_client = httpclient.InferenceServerClient(url=URL, verbose=False)
    
    start = time.time()
    for i in range(10):
        results = triton_client.infer(
            "inception_graphdef", inputs=[input_img], outputs=[output], headers=HEADERS
        )
        res_body = results.get_response()
        elapsed_ms = (time.time() - start) * 1000
        if i == 0:
            print("model name: ", res_body["model_name"])
            print("model version: ", res_body["model_version"])
            print("output name: ", res_body["outputs"][0]["name"])
            print("output shape: ", res_body["outputs"][0]["shape"])
        print("[{}] Avg rt(ms): {:.2f}".format(i, elapsed_ms))
        start = time.time()