İşlemci, çevrimiçi tahmin mantığını içeren bir pakettir. Elastic Algorithm Service (EAS) standart modelleri dağıtmanız için yerleşik işlemciler sunar; bu sayede söz konusu mantığı kendiniz geliştirmeniz gerekmez.
Aşağıdaki tabloda EAS içindeki işlemci adları ve kodları listelenmiştir. EASCMD ile bir hizmet dağıtırken işlemci kodunu belirtin.
|
İşlemci adı |
İşlemci kodu (yalnızca EASCMD) |
Başvuru |
|
|
CPU sürümü |
GPU sürümü |
||
|
EasyRec |
easyrec-2,4 |
easyrec-2,4 |
|
|
TorchEasyRec |
easyrec-torch-1,0 |
easyrec-torch-1,0 |
|
|
PMML |
pmml |
None |
|
|
TensorFlow 1.12 |
tensorflow_cpu_1.12 |
tensorflow_gpu_1.12 |
|
|
TensorFlow 1.14 |
tensorflow_cpu_1.14 |
tensorflow_gpu_1.14 |
|
|
TensorFlow 1.15 |
tensorflow_cpu_1.15 |
tensorflow_gpu_1.15 |
TensorFlow 1.15 işlemcisi (PAI-Blade Agility Edition optimizasyon motorunu içerir) |
|
TensorFlow 2.3 |
tensorflow_cpu_2.3 |
None |
|
|
PyTorch 1.6 |
pytorch_cpu_1.6 |
pytorch_gpu_1.6 |
PyTorch 1.6 işlemcisi (PAI-Blade Agility Edition optimizasyon motorunu içerir) |
|
Caffe |
caffe_cpu |
caffe_gpu |
|
|
Parameter Server |
parameter_server |
None |
|
|
Alink |
alink_pai_processor |
None |
None |
|
xNN |
xnn_cpu |
None |
None |
|
EasyVision |
easy_vision_cpu_tf1.12_torch151 |
easy_vision_gpu_tf1.12_torch151 |
|
|
EasyTransfer |
easytransfer_cpu |
easytransfer_gpu |
|
|
EasyNLP |
easynlp |
easynlp |
|
|
EasyCV |
easycv |
easycv |
|
|
Blade |
blade_cpu |
blade_cuda10,0_beta |
None |
|
MediaFlow |
None |
mediaflow |
|
|
Triton |
None |
triton |
|
PMML işlemcisi
EAS içindeki PMML işlemcisi:
Bir PMML model dosyasını hizmet olarak yükler.
Model hizmetine yönelik istekleri işler.
Tahmin sonuçlarını hesaplar ve istemciye döndürür.
PMML işlemcisi, eksik değerleri işlemek için varsayılan bir strateji sunar. PMML model dosyasındaki özellik sütunları için isMissing ilkesi belirtilmemişse sistem aşağıdaki varsayılan değerlerle atama yapar.
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Bir PMML modelini aşağıdaki yollardan herhangi biriyle dağıtın:
-
Konsol
Processor Type parametresini PMML olarak ayarlayın. Daha fazla bilgi için bkz. Konsolu kullanarak bir model hizmeti dağıtma.
-
EASCMD istemcisi
service.json yapılandırma dosyasında processor değerini pmml olarak ayarlayın. Örnek:
{ "processor": "pmml", "generate_token": "true", "model_path": "http://xxxxx/lr.pmml", "name": "eas_lr_example", "metadata": { "instance": 1, "cpu": 1 # EAS allocates 4 GB of memory per CPU core (1 Quota). } } -
Data Science Workshop (DSW)
EASCMD istemcisini kullanmaya benzer. Bir service.json yapılandırma dosyası oluşturun. Daha fazla bilgi için bkz. EASCMD kullanarak bir model hizmeti dağıtma.
TensorFlow 1.12 işlemcisi
EAS TensorFlow 1.12 işlemcisi, SavedModel (önerilir) veya SessionBundle biçimindeki TensorFlow modellerini yükler. Dağıtımdan önce Keras ve Checkpoint modellerini SavedModel biçimine dönüştürün. Daha fazla bilgi için bkz. TensorFlow SSS.
Bu işlemci özel TensorFlow işlemlerini desteklemez.
Bir TensorFlow modelini aşağıdaki yollardan biriyle dağıtın:
-
Konsol
Processor Type değerini TensorFlow1.12 olarak ayarlayın. Daha fazla bilgi için bkz. Özel çıkarım hizmeti dağıtma.
-
EASCMD istemcisi
service.json yapılandırma dosyasında processor değerini tensorflow_cpu_1.12 veya tensorflow_gpu_1.12 olarak ayarlayın. Dağıtım kaynaklarına göre kodu seçin. processor ile kaynak türü arasındaki uyumsuzluk dağıtım hatasına neden olur. Örnek:
{ "name": "tf_serving_test", "generate_token": "true", "model_path": "http://xxxxx/savedmodel_example.zip", "processor": "tensorflow_cpu_1.12", "metadata": { "instance": 1, "cpu": 1, "gpu": 0, "memory": 2000 } } -
DSW
EASCMD istemcisini kullanmaya benzer. Bir service.json yapılandırma dosyası oluşturun. Daha fazla bilgi için bkz. EASCMD kullanarak model hizmetleri dağıtma.
TensorFlow 1.14 işlemcisi
EAS TensorFlow 1.14 işlemcisi, SavedModel (önerilir) veya SessionBundle biçimindeki TensorFlow modellerini yükler. Dağıtımdan önce Keras ve Checkpoint modellerini SavedModel biçimine dönüştürün. Daha fazla bilgi için bkz. TensorFlow SSS.
Bu işlemci özel TensorFlow işlemlerini desteklemez.
Bir TensorFlow modelini aşağıdaki yollardan biriyle dağıtın:
-
Konsol
Processor Type değerini TensorFlow1.14 olarak ayarlayın. Daha fazla bilgi için bkz. Özel çıkarım hizmeti dağıtma.
-
EASCMD istemcisi
service.json yapılandırma dosyasında processor değerini tensorflow_cpu_1.14 veya tensorflow_gpu_1.14 olarak ayarlayın. Dağıtım kaynaklarınızla eşleşen kodu seçin. processor ile kaynak türü arasındaki uyumsuzluk dağıtım hatasına neden olur. Örnek:
{ "name": "tf_serving_test", "generate_token": "true", "model_path": "http://xxxxx/savedmodel_example.zip", "processor": "tensorflow_cpu_1.14", "metadata": { "instance": 1, "cpu": 1, "gpu": 0, "memory": 2000 } } -
DSW
EASCMD istemcisini kullanmaya benzer. Bir service.json yapılandırma dosyası oluşturun. Daha fazla bilgi için bkz. EASCMD kullanarak model hizmetleri dağıtma.
TensorFlow 1.15 işlemcisi (PAI-Blade Agility Edition)
EAS TensorFlow 1.15 işlemcisi, SavedModel (önerilir) veya SessionBundle biçimindeki TensorFlow modellerini yükler. Dağıtımdan önce Keras ve Checkpoint modellerini SavedModel biçimine dönüştürün. Daha fazla bilgi için bkz. TensorFlow SSS.
Bu işlemci özel TensorFlow işlemlerini desteklemez.
Bu işlemci, PAI-Blade ile optimize edilmiş TensorFlow modellerini dağıtmak için PAI-Blade Agility Edition optimizasyon motorunu içerir.
Bir TensorFlow modelini aşağıdaki yollardan biriyle dağıtın:
-
Konsol
Processor Type değerini TensorFlow1.15 olarak ayarlayın. Daha fazla bilgi için bkz. Özel çıkarım hizmeti dağıtma.
-
EASCMD
service.json yapılandırma dosyasında processor değerini tensorflow_cpu_1.15 veya tensorflow_gpu_1.15 olarak ayarlayın. Dağıtım kaynaklarınızla eşleşen kodu seçin. processor ile kaynak türü arasındaki uyumsuzluk dağıtım hatasına neden olur. Örnek:
{ "name": "tf_serving_test", "generate_token": "true", "model_path": "http://xxxxx/savedmodel_example.zip", "processor": "tensorflow_cpu_1.15", "metadata": { "instance": 1, "cpu": 1, "gpu": 0, "memory": 2000 } } -
DSW
EASCMD'yi kullanmaya benzer. Bir service.json yapılandırma dosyası oluşturun. Daha fazla bilgi için bkz. EASCMD kullanarak model hizmetleri dağıtma. Parametre açıklamaları için bkz. Hizmet oluşturma.
TensorFlow 2.3 işlemcisi
EAS TensorFlow 2.3 işlemcisi, SavedModel (önerilir) veya SessionBundle biçimindeki TensorFlow modellerini yükler. Dağıtımdan önce Keras ve Checkpoint modellerini SavedModel biçimine dönüştürün. Daha fazla bilgi için bkz. TensorFlow SSS.
Bu işlemci özel TensorFlow işlemlerini desteklemez.
Bir TensorFlow modelini aşağıdaki yollardan biriyle dağıtın:
-
Konsol
Processor Type değerini TensorFlow2.3 olarak ayarlayın. Daha fazla bilgi için bkz. Konsolu kullanarak bir hizmet dağıtma.
-
EASCMD
service.json yapılandırma dosyasında processor değerini tensorflow_cpu_2.3 Örnek:
{ "name": "tf_serving_test", "generate_token": "true", "model_path": "http://xxxxx/savedmodel_example.zip", "processor": "tensorflow_cpu_2.3", "metadata": { "instance": 1, "cpu": 1, "gpu": 0, "memory": 2000 } } -
DSW
EASCMD'yi kullanmaya benzer. Bir service.json yapılandırma dosyası oluşturun. Daha fazla bilgi için bkz. EASCMD kullanarak model hizmetleri dağıtma.
PyTorch 1.6 işlemcisi (PAI-Blade Agility Edition)
EAS PyTorch 1.6 işlemcisi, TorchScript biçimindeki modelleri yükler. Daha fazla bilgi için bkz. resmi TorchScript belgeleri.
Bu işlemci PyTorch uzantılarını veya tensör olmayan model girişlerini ve çıkışlarını desteklemez.
Bu işlemci, optimize edilmiş PyTorch modellerini dağıtmak için PAI-Blade (Agility Edition) optimizasyon motorunu içerir.
Bir TorchScript modelini aşağıdaki yollardan biriyle dağıtın:
-
Konsol
Processor Type değerini PyTorch 1.6 olarak ayarlayın. Daha fazla bilgi için bkz. Özel çıkarım hizmeti dağıtma.
-
EASCMD istemcisi
service.json yapılandırma dosyasında processor değerini pytorch_cpu_1.6 veya pytorch_gpu_1.6 olarak ayarlayın. Dağıtım kaynaklarına göre bir değer seçin. processor ile kaynak türü arasındaki uyumsuzluk dağıtım hatasına neden olur. Örnek:
{ "name": "pytorch_serving_test", "generate_token": "true", "model_path": "http://xxxxx/torchscript_model.pt", "processor": "pytorch_gpu_1.6", "metadata": { "instance": 1, "cpu": 1, "gpu": 1, "cuda": "10.0", "memory": 2000 } } -
DSW
EASCMD istemcisini kullanmaya benzer. Bir service.json yapılandırma dosyası oluşturun. Daha fazla bilgi için bkz. EASCMD kullanarak model hizmetleri dağıtma. Parametre açıklamaları için bkz. Hizmet oluşturma.
Caffe işlemcisi
EAS Caffe işlemcisi, Caffe ile eğitilmiş derin öğrenme modellerini yükler. Model paketinde model ve ağırlık dosya adlarını belirtin.
Bu işlemci özel veri katmanlarını desteklemez.
Bir Caffe modelini aşağıdaki yollarla dağıtın:
-
Konsol
Processor Type değerini Caffe olarak ayarlayın. Daha fazla bilgi için bkz. Özel çıkarım hizmeti dağıtma.
-
EASCMD istemcisi
service.json yapılandırma dosyasında processor değerini kaynak türüne göre caffe_cpu veya caffe_gpu olarak ayarlayın. processor ile kaynak türü arasındaki uyumsuzluk dağıtım hatasına neden olur. Örnek:
{ "name": "caffe_serving_test", "generate_token": "true", "model_path": "http://xxxxx/caffe_model.zip", "processor": "caffe_cpu", "model_config": { "model": "deploy.prototxt", "weight": "bvlc_reference_caffenet.caffemodel" }, "metadata": { "instance": 1, "cpu": 1, "gpu": 0, "memory": 2000 } } -
DSW
EASCMD istemcisini kullanmaya benzer. Bir service.json yapılandırma dosyası oluşturun. Daha fazla bilgi için bkz. EASCMD kullanarak model hizmetleri dağıtma.
PS işlemcisi
EAS PS işlemcisi, PS biçimindeki modelleri yükler.
Bir PS modeli dağıtın ve hizmete istek gönderin.
-
Bir PS modelini aşağıdaki yollardan biriyle dağıtın:
-
Konsol
Processor Type değerini PS Algorithm olarak ayarlayın. Daha fazla bilgi için bkz. Özel dağıtım.
-
EASCMD istemcisi
service.json yapılandırma dosyasında processor değerini parameter_sever olarak ayarlayın.
{ "name":"ps_smart", "model_path": "oss://examplebucket/xlab_m_pai_ps_smart_b_1058272_v0.tar.gz", "processor": "parameter_sever", "metadata": { "region": "beijing", "cpu": 1, "instance": 1, "memory": 2048 } } -
DSW
EASCMD istemcisini kullanmaya benzer. Bir service.json yapılandırma dosyası oluşturun. Daha fazla bilgi için bkz. EASCMD istemcisini kullanarak model hizmetleri dağıtma.
-
-
İstek biçimi
İşlemci hem tekli hem de toplu tahminleri destekler. İstek biçimi aynıdır: özellik nesnelerinden oluşan bir JSON dizisi.
-
Tekli istek örneği
curl "http://eas.location/api/predict/ps_smart" -d "[ { "f0": 1, "f1": 0.2, "f3": 0.5 } ]" -
Toplu istek örneği
curl "http://eas.location/api/predict/ps_smart" -d "[ { "f0": 1, "f1": 0.2, "f3": 0.5 }, { "f0": 1, "f1": 0.2, "f3": 0.5 } ]" -
Yanıt
Yanıt biçimi tekli ve toplu istekler için aynıdır: yanıt nesnelerinden oluşan bir dizi. Her yanıt nesnesi, aynı konumdaki istek nesnesine karşılık gelir.
[ { "label":"xxxx", "score" : 0.2, "details" : [{"k1":0.3}, {"k2":0.5}] }, { "label":"xxxx", "score" : 0.2, "details" : [{"k1":0.3}, {"k2":0.5}] } ]
-
EasyTransfer işlemcisi
EAS EasyTransfer işlemcisi, EasyTransfer ile eğitilmiş TensorFlow tabanlı NLP modellerini yükler.
Bir EasyTransfer modelini aşağıdaki yollarla dağıtın:
-
Konsol
Processor Type parametresi için EasyTransfer seçeneğini belirleyin. Daha fazla bilgi için bkz. Özel çıkarım hizmeti dağıtma.
-
EASCMD istemcisi
service.json yapılandırma dosyasında processor değerini dağıtım kaynaklarına göre easytransfer_cpu veya easytransfer_gpu olarak ayarlayın. processor ile kaynaklar arasındaki uyumsuzluk dağıtım hatasına neden olur. model_config içinde type değerini eğitim sırasında kullanılan model türüne ayarlayın. Aşağıdaki örnek bir metin sınıflandırma modeli kullanır. Diğer parametreler için bkz. Hizmet oluşturma.
-
GPU dağıtımı için yapılandırma (örnek olarak genel kaynak grubu kullanılmıştır)
{ "name": "et_app_demo", "metadata": { "instance": 1 }, "cloud": { "computing": { "instance_type": "ecs.gn6i-c4g1.xlarge" } }, "model_path": "http://xxxxx/your_model.zip", "processor": "easytransfer_gpu", "model_config": { "type": "text_classify_bert" } } -
CPU dağıtımı için yapılandırma
{ "name": "et_app_demo", "model_path": "http://xxxxx/your_model.zip", "processor": "easytransfer_cpu", "model_config": { "type":"text_classify_bert" }, "metadata": { "instance": 1, "cpu": 1, "memory": 4000 } }
Desteklenen görev türleri:
Görev türü
Tür
Metin eşleştirme
text_match_bert
Metin sınıflandırma
text_classify_bert
Dizi etiketleme
sequence_labeling_bert
Metin vektörleştirme
vectorization_bert -
EasyNLP işlemcisi
EAS EasyNLP işlemcisi, EasyNLP ile eğitilmiş PyTorch tabanlı NLP modellerini yükler.
Bir EasyNLP modelini aşağıdaki yollardan biriyle dağıtın:
-
Konsol
Processor Type değerini EasyNLP olarak ayarlayın. Daha fazla bilgi için bkz. Özel çıkarım hizmeti dağıtma.
-
EASCMD istemcisi
service.json yapılandırma dosyasında processor değerini easynlp olarak ayarlayın. model_config içinde type değerini eğitim görevi türüne ayarlayın. Aşağıdaki örnek tek etiketli metin sınıflandırma modeli kullanır. Diğer parametreler için bkz. Hizmet oluşturma.
{ "name": "easynlp_app_demo", "metadata": { "instance": 1 }, "cloud": { "computing": { "instance_type": "ecs.gn6i-c4g1.xlarge" } }, "model_config": { "app_name": "text_classify", "type": "text_classify" }, "model_path": "http://xxxxx/your_model.tar.gz", "processor": "easynlp" }Desteklenen görev türleri:
Görev türü
Değer
Tek etiketli metin sınıflandırma
text_classify
Çok etiketli metin sınıflandırma
text_classify_multi
Metin eşleştirme
text_match
Dizi etiketleme
sequence_labeling
Metin vektörleştirme
vectorization
Çince metin özetleme (GPU)
sequence_generation_zh
İngilizce metin özetleme (GPU)
sequence_generation_en
Makine okuma anlama (Çince)
machine_reading_comprehension_zh
Makine okuma anlama (İngilizce)
machine_reading_comprehension_en
WUKONG_CLIP (GPU)
wukong_clip
CLIP (GPU)
clip
Dağıtımdan sonra, Elastic Algorithm Service (EAS) sayfasında hedef hizmetin Service Type sütunundaki Invocation Information seçeneğine tıklayarak uç noktayı ve belirteci görüntüleyin. Hizmeti aşağıdaki Python örneğini kullanarak çağırın.
import requests
# Replace with your service endpoint.
url = '<eas-service-url>'
# Replace with your token.
token = '<eas-service-token>'
# Prepare the request data. The following example is for text classification.
request_body = {
"first_sequence": "hello"
}
headers = {"Authorization": token}
resp = requests.post(url=url, headers=headers, json=request_body)
print(resp.content.decode())
EasyCV işlemcisi
EAS EasyCV işlemcisi, EasyCV ile eğitilmiş derin öğrenme modellerini yükler.
Bir EasyCV modelini aşağıdaki yollardan biriyle dağıtın:
-
Konsol
Processor Type değerini EasyCV olarak ayarlayın. Daha fazla bilgi için bkz. Özel çıkarım hizmeti dağıtma.
-
EASCMD istemcisi
service.json yapılandırma dosyasında processor değerini easycv olarak ayarlayın. model_config içinde type değerini eğitim sırasında kullanılan model türüne ayarlayın. Aşağıdaki örnek bir görüntü sınıflandırma modeli kullanır. Diğer parametreler için bkz. Hizmet oluşturma.
{ "name": "easycv_classification_example", "processor": "easycv", "model_path": "oss://examplebucket/epoch_10_export.pt", "model_config": {"type":"TorchClassifier"}, "metadata": { "instance": 1 }, "cloud": { "computing": { "instance_type": "ecs.gn5i-c4g1.xlarge" } } }Desteklenen iş türleri:
İş türü
model_config
Görüntü sınıflandırma
{"type":"TorchClassifier"}
Nesne algılama
{"type":"DetectionPredictor"}
Anlamsal segmentasyon
{"type":"SegmentationPredictor"}
YOLOX
{"type":"YoloXPredictor"}
Video sınıflandırma
{"type":"VideoClassificationPredictor"}
Dağıtımdan sonra Elastic Algorithm Service (EAS) sayfasına gidin. Hizmeti bulun ve Service Type sütununda uç noktayı ve belirteci görüntülemek için Invocation Information seçeneğine tıklayın. Hizmetin nasıl çağrılacağını gösteren aşağıdaki Python örneğine bakın.
import requests
import base64
import json
resp = requests.get('http://examplebucket.oss-cn-zhangjiakou.aliyuncs.com/images/000000123213.jpg')
ENCODING = 'utf-8'
datas = json.dumps( {
"image": base64.b64encode(resp.content).decode(ENCODING)
})
# Replace with your authentication token.
head = {
"Authorization": "NTFmNDJlM2E4OTRjMzc3OWY0NzI3MTg5MzZmNGQ5Yj***"
}
for x in range(0,10):
# Replace with your service endpoint.
resp = requests.post("http://150231884461***.cn-hangzhou.pai-eas.aliyuncs.com/api/predict/easycv_classification_example", data=datas, headers=head)
print(resp.text)
İletim için görüntü veya video verilerini Base64 ile kodlayın. Görüntü verileri için image anahtarını, video verileri için video anahtarını kullanın.
EasyVision işlemcisi
EAS EasyVision işlemcisi, EasyVision ile eğitilmiş derin öğrenme modellerini yükler.
Bir EasyVision modelini aşağıdaki yollardan biriyle dağıtın:
-
Konsol
Processor Type değerini EasyVision olarak ayarlayın. Daha fazla bilgi için bkz. Özel çıkarım hizmeti dağıtma.
-
EASCMD istemcisi
service.json yapılandırma dosyasında processor değerini easy_vision_cpu_tf1.12_torch151 veya easy_vision_gpu_tf1.12_torch151 olarak ayarlayın. Dağıtım kaynaklarınızla eşleşen kodu seçin. processor ile kaynak türü arasındaki uyumsuzluk dağıtım hatasına neden olur. model_config içinde type değerini eğitim için kullanılan model türüne ayarlayın. Örnekler. Diğer parametreler için bkz. Hizmet oluşturma:
-
GPU dağıtımı için yapılandırma
{ "name": "ev_app_demo", "processor": "easy_vision_gpu_tf1.12_torch151", "model_path": "oss://path/to/your/model", "model_config": "{\"type\":\"classifier\"}", "metadata": { "resource": "your_resource_name", "cuda": "9.0", "instance": 1, "memory": 4000, "gpu": 1, "cpu": 4, "rpc.worker_threads" : 5 } } -
CPU dağıtımı için yapılandırma
{ "name": "ev_app_cpu_demo", "processor": "easy_vision_cpu_tf1.12_torch151", "model_path": "oss://path/to/your/model", "model_config": "{\"type\":\"classifier\"}", "metadata": { "resource": "your_resource_name", "instance": 1, "memory": 4000, "gpu": 0, "cpu": 4, "rpc.worker_threads" : 5 } }
-
MediaFlow işlemcisi
EAS MediaFlow işlemcisi, video, ses ve görüntüleri analiz etmek ve işlemek için bir düzenleme motorudur.
Bir MediaFlow modelini aşağıdaki yollardan biriyle dağıtın:
-
Konsol
Processor Type değerini MediaFlow olarak ayarlayın. Daha fazla bilgi için bkz. Özel çıkarım hizmeti dağıtma.
-
EASCMD istemcisi
service.json yapılandırma dosyasında processor değerini mediaflow olarak ayarlayın. Bu işlemci ek yapılandırma alanları gerektirir. Diğer alanlar için bkz. Hizmet oluşturma:
graph_pool_size: Grafik havuzu sayısı.
worker_threads: İş parçacığı sayısı.
Örnekler:
-
Video sınıflandırma modeli dağıtma yapılandırması.
{ "model_entry": "video_classification/video_classification_ext.js", "name": "video_classification", "model_path": "oss://path/to/your/model", "generate_token": "true", "processor": "mediaflow", "model_config" : { "graph_pool_size":8, "worker_threads":16 }, "metadata": { "eas.handlers.disable_failure_handler" :true, "resource": "your_resource_name", "rpc.worker_threads": 30, "rpc.enable_jemalloc": true, "rpc.keepalive": 500000, "cpu": 4, "instance": 1, "cuda": "9.0", "rpc.max_batch_size": 64, "memory": 10000, "gpu": 1 } } -
Otomatik konuşma tanıma (ASR) modeli dağıtma yapılandırması.
{ "model_entry": "asr/video_asr_ext.js", "name": "video_asr", "model_path": "oss://path/to/your/model", "generate_token": "true", "processor": "mediaflow", "model_config" : { "graph_pool_size":8, "worker_threads":16 }, "metadata": { "eas.handlers.disable_failure_handler" :true, "resource": "your_resource_name", "rpc.worker_threads": 30, "rpc.enable_jemalloc": true, "rpc.keepalive": 500000, "cpu": 4, "instance": 1, "cuda": "9.0", "rpc.max_batch_size": 64, "memory": 10000, "gpu": 1 } }
ASR ve video sınıflandırma yapılandırmaları başlıca olarak model_entry, name ve model_path alanlarında farklılık gösterir. Modeliniz için bu alanları değiştirin.
Triton işlemcisi
Triton Inference Server, NVIDIA tarafından sunulan bir çevrimiçi hizmet çerçevesidir. GPU'larda modelleri dağıtmak ve yönetmek için bir arayüz sağlar ve KFServing API standardıyla uyumludur. Temel özellikler:
TensorFlow, PyTorch, ONNX Runtime, TensorRT ve özel arka uçlar gibi çeşitli çerçevelerden modelleri dağıtır.
Kullanımı artırmak için bir GPU üzerinde birden çok modeli eş zamanlı çalıştırır.
HTTP/gRPC protokollerini ve ikili biçim uzantısını destekleyerek istek boyutunu azaltır.
Hizmet aktarım hızını artırmak için Dinamik Toplu İşlemeyi (Dynamic Batching) destekler.
Triton Inference Server, EAS üzerinde yerleşik bir Triton işlemcisi olarak kullanılabilir.
Yalnızca Çin (Şanghay) bölgesinde genel önizleme aşamasında sunulmaktadır.
Tüm modeller OSS'de depolanmalıdır. Önce OSS'i etkinleştirin ve model dosyalarınızı bir OSS paketlerine yükleyin. Daha fazla bilgi için bkz. Basit Yükleme.
Bir Triton işlemcisi hizmetini dağıtın ve çağırın.
-
Triton işlemcisiyle dağıtım
Triton model hizmetlerini yalnızca EASCMD kullanarak dağıtın. Daha fazla bilgi için bkz. Hizmet oluşturma. service.json yapılandırma dosyasında processor değerini triton olarak ayarlayın. Triton modelleri OSS'den aldığından gerekli OSS parametrelerini yapılandırın. Örnek service.json:
{ "name": "triton_test", "processor": "triton", "processor_params": [ "--model-repository=oss://triton-model-repo/models", "--allow-http=true", ], "metadata": { "instance": 1, "cpu": 4, "gpu": 1, "memory": 10000, "resource":"<your resource id>" } }Triton'a özel parametreler aşağıda listelenmiştir. Diğer parametreler için bkz. service.json içindeki parametreler.
Parametre
Açıklama
processor_params
Triton Server başlatılırken aktarılan parametreler. Desteklenmeyen parametreler otomatik olarak filtrelenir. Desteklenen parametreler aşağıdaki Triton sunucusuna aktarılabilen parametre kümesi içinde listelenmiştir. model-repository gereklidir. İsteğe bağlı parametreler için bkz. main.cc.
oss_endpoint
OSS uç noktası. Belirtilmezse sistem, EAS hizmetiyle aynı bölgedeki OSS'i kullanır. Bölge dışı OSS için bunu belirtin. Değerler için bkz. Bölgeler ve Uç Noktalar.
metadata
resource
Model hizmetini dağıtmak için kullanılan EAS özel kaynak grubunun kimliği. Triton işlemcisi bir EAS özel kaynak grubu gerektirir. Daha fazla bilgi için bkz. EAS özel kaynak gruplarını kullanma.
Tablo 1. Triton sunucusu için desteklenen parametreler
Parametre
Gerekli
Açıklama
model-repository
Evet
Yol bir OSS yolu olarak belirtilmelidir. Sistem, Paket kök dizininin doğrudan model-repository olarak kullanılmasını desteklemez. Paket altında bir Paket alt dizini belirtmeniz gerekir.
Örneğin,
oss://triton-model-repo/models; burada triton-model-repo Paket adıdır, models ise Paket altındaki bir Paket alt dizinidir.log-verbose
Hayır
Daha fazla bilgi için bkz. main.cc.
log-info
Hayır
log-warning
Hayır
log-error
Hayır
exit-on-error
Hayır
strict-model-config
Hayır
strict-readiness
Hayır
allow-http
Hayır
http-thread-count
Hayır
pinned-memory-pool-byte-size
Hayır
cuda-memory-pool-byte-size
Hayır
min-supported-compute-capability
Hayır
buffer-manager-thread-count
Hayır
backend-config
Hayır
-
Hizmeti yerel Triton istemcisiyle çağırma
NVIDIA'nın resmi Triton istemcisini yükleyin:
pip3 install nvidia-pyindex pip3 install tritonclient[all]Bir test görüntüsü indirin:
wget http://pai-blade.oss-cn-zhangjiakou.aliyuncs.com/doc-assets/cat.pngPython istemcisini kullanarak Triton işlemcisi hizmetine ikili biçimde bir istek gönderin:
import numpy as np import time from PIL import Image import tritonclient.http as httpclient from tritonclient.utils import InferenceServerException URL = "<service url>" # Replace <service url> with your service endpoint. HEADERS = {"Authorization": "<service token>"} # Replace <service token> with your service access token. input_img = httpclient.InferInput("input", [1, 299, 299, 3], "FP32") img = Image.open('./cat.png').resize((299, 299)) img = np.asarray(img).astype('float32') / 255.0 input_img.set_data_from_numpy(img.reshape([1, 299, 299, 3]), binary_data=True) output = httpclient.InferRequestedOutput( "InceptionV3/Predictions/Softmax", binary_data=True ) triton_client = httpclient.InferenceServerClient(url=URL, verbose=False) start = time.time() for i in range(10): results = triton_client.infer( "inception_graphdef", inputs=[input_img], outputs=[output], headers=HEADERS ) res_body = results.get_response() elapsed_ms = (time.time() - start) * 1000 if i == 0: print("model name: ", res_body["model_name"]) print("model version: ", res_body["model_version"]) print("output name: ", res_body["outputs"][0]["name"]) print("output shape: ", res_body["outputs"][0]["shape"]) print("[{}] Avg rt(ms): {:.2f}".format(i, elapsed_ms)) start = time.time()