Yerleşik Elastic Algorithm Service (EAS) işleyiciler modelinizin gereksinimlerini karşılamadığında, başlatma ve çıkarım mantığını doğrudan kontrol etmek için özel bir Java işleyicisi uygulayın.
İşleyici yaşam döngüsü
Java işleyicisi, EAS'in sırayla çağırdığı üç yaşam döngüsü aşamasından oluşan tek bir sınıftır:
| Aşama | Yöntem | Ne zaman çağrılır | Gerekli |
|---|---|---|---|
| Başlatma | Oluşturucu (Constructor) | Hizmet başlatıldığında bir kez | Evet |
| Yükleme | Load() |
Oluşturmadan sonra bir kez | Evet |
| Çıkarım | Process(byte[] input) |
Gelen her istek için bir kez | Evet |
| Test | main(String[] args) |
Yalnızca yerel makinede | Hayır |
EAS aşamaları aşağıdaki sırayla çağırır:
Constructor → Load() → Process() [per request] → ...
Oluşturucu: Dağıtım sırasında iletilen model dosyası yolunu (
modelEntry) ve hizmet yapılandırması JSON dizesini (modelConfig) alır.Load(): Oluşturucu tarafından alınan yolları kullanarak modeli belleğe yükler.Process(byte[] input): Her istekte çıkarım çalıştırır ve sonucu bayt olarak döndürür.
İşleyici sınıfını uygulama
com.alibaba.eas paketinde tek bir sınıf tanımlayın. Oluşturucu, Load() ve Process() yöntemleri gereklidir. main() yöntemi isteğe bağlıdır ve EAS'e dağıtmadan yerel olarak birim testi yapmak için kullanışlıdır.
package com.alibaba.eas;
import java.util.*;
public class TestProcessor {
// Called once at startup.
// modelEntry: path to the model file (local or HTTP URL).
// modelConfig: the service configuration JSON string passed at deploy time.
public TestProcessor(String modelEntry, String modelConfig) {
}
// Load the model into memory. Called once after construction.
public void Load() {
}
// Run inference. Accepts raw bytes; returns raw bytes.
// Use byte[] instead of String to avoid character encoding issues.
public byte[] Process(byte[] input) {
}
// Optional: test the class locally without deploying to EAS.
public static void main(String[] args) {
}
}
Desteklenen giriş ve çıkış türleri
Process() yöntemi byte[] ve String türlerini destekler. Karakter kodlama sorunlarını önlemek için byte[] kullanın.
Özel durumları yönetme
Process() yakalanmamış bir özel durum oluşturursa EAS bu durumu yakalar ve HTTP durum kodu 400 ile özel durum mesajını istemciye döndürür.
Özel bir hata mesajı döndürmek için özel durumu Process() içinde yakalayın ve istemcinin almasını istediğiniz mesajla bir RuntimeException oluşturun:
try {
// inference logic
} catch (com.alibaba.fastjson.JSONException e) {
throw new RuntimeException("bad json format, " + e.getMessage());
}
Bağımsız modda yerel hata ayıklama
Bağımsız mod, küme üzerinde dağıtım yapmadan işleyicinizi yerel bir makinede geliştirmenize ve test etmenize olanak tanır. Yerel arayüzler çevrimiçi küme ortamıyla tamamen uyumludur; böylece dağıtımdan önce işleyicinizi doğrulayabilirsiniz.
Bağımsız mod Docker gerektirir. Modeliniz GPU gerektiriyorsa yerel makineye CUDA ve Nvidia-Docker da yükleyin.
Ön koşullar
Başlamadan önce şunlara sahip olduğunuzdan emin olun:
Docker EASCMD'yi çalıştırdığınız makinede yüklüdür.
(GPU modelleri için) CUDA ve Nvidia-Docker yüklüdür.
-
İşletim sisteminiz için EASCMD istemcisi indirilmiştir:
Platform İndirme bağlantısı Windows 64-bit http://eas-data.oss-cn-shanghai.aliyuncs.com/tools/eascmdwin64Linux 32-bit http://eas-data.oss-cn-shanghai.aliyuncs.com/tools/eascmd32Linux 64-bit http://eas-data.oss-cn-shanghai.aliyuncs.com/tools/eascmd64macOS 64-bit http://eas-data.oss-cn-shanghai.aliyuncs.com/tools/eascmdmac64
Bağımsız hata ayıklamayı çalıştırma
-
Bir hizmet yapılandırma dosyası oluşturun (örneğin,
service.json):{ "name": "diy_test", "generate_token": "true", "model_path": "http://examplebucket.oss-cn-hangzhou-zmf.aliyuncs.com/scorecard.pmml", "processor_path": "./diy_processor_release.tar.gz", "processor_mainclass": "com.alibaba.eas.TestProcessor", "processor_type": "java", "metadata": { "resource": "eas-r-9lkbl2jvdm0puv****", "instance": 1, "cpu": 1, "memory": 2000 } }Temel parametreler:
Parametre Açıklama model_pathModel dosyasının HTTP URL'si veya yerel yolu. Yerel yollar yalnızca bağımsız modda desteklenir. processor_pathİşleyici paketinin HTTP URL'si veya yerel yolu. Paket, derlenmiş bir JAR dosyasına açılan bir .tar.gzdosyasıdır. Yerel yollar yalnızca bağımsız modda desteklenir.processor_mainclassLoad()veProcess()yöntemlerini uygulayan sınıfın tam nitelikli adı.processor_typeJava işleyicileri için javaolarak ayarlayın.metadata.resourceÖzel kaynak grubu için kaynak grubu kimliği. metadata.instanceHizmet örneklerinin sayısı. metadata.cpuÖrnek başına CPU çekirdek sayısı. metadata.memoryÖrnek başına bellek (MB cinsinden). Tam parametre referansı için bkz. EASCMD istemcisini kullanmak için komutları çalıştırma.
-
Bağımsız testi çalıştırın:
sudo eascmd test service.json