C veya C++ ile yazılan bir özel işlemci, initialize() ve process() işlevlerini tanımlayarak model yükleme ve istek tahmini mantığını yürütür.
Hızlı başlangıç demosu
pai-prediction-example projesini indirin. Bu proje iki özel işlemci içerir:
echo: Kullanıcı girdisini olduğu gibi döndürür ve modele ait dosya listesini sunar.
image_classification: mnist metin sınıflandırması yapar, mnist jpg görüntülerini girdi olarak alır ve görüntü sınıflandırma kategorilerini döndürür.
Derleme yöntemleri projenin README dosyasında açıklanmıştır. Her işlemcinin yerel hata ayıklama yöntemi, ilgili dizindeki README dosyasında belirtilmiştir.
Arayüz tanımı
Bir özel işlemci tam olarak iki C işlevini dışa aktarmalıdır: initialize() ve process(). Her ikisi de gereklidir; EAS bu işlevleri hizmet yaşam döngüsünün farklı aşamalarında çağırır.
| Parametre | Yön | Açıklama |
|---|---|---|
model_entry |
Giriş | Dağıtım yapılandırma dosyasındaki model_entry alanına karşılık gelir; bu alan, model paketinin giriş dosyasını belirtir. Bu alan hakkında daha fazla bilgi için bkz. JSON dağıtımı. Bir dosya adı (örneğin, randomforest.pmml) veya bir dizin (örneğin, ./model) iletebilirsiniz. |
model_config |
Giriş | Dağıtım yapılandırma dosyasındaki model_config alanına karşılık gelir; bu alan, özel model yapılandırma bilgilerini belirtir. Bu alan hakkında daha fazla bilgi için bkz. JSON dağıtımı. |
state |
Çıkış | Model yükleme durumu. Başarı durumunda 0 değerini alır; diğer tüm değerler yükleme hatasını gösterir. |
| Dönüş değeri | Bellekte yüklenen modele işaretçi. EAS, bu işaretçiyi sonraki her process() çağrısında model_buf olarak iletir. |
|
| Parametre | Yön | Açıklama |
|---|---|---|
model_buf |
Giriş | initialize() tarafından döndürülen model bellek adresi. |
input_data |
Giriş | İstek yükü. Dize veya ikili veri olabilir. |
input_size |
Giriş | Giriş verilerinin uzunluğu. |
output_data |
Çıkış | İşlemci tarafından döndürülen veri. Belleği yığın (heap) üzerinde ayırmanız gerekir. Belleğin serbest bırakılması modelin sorumluluğundadır. |
output_size |
Çıkış | Çıkış verilerinin uzunluğu. |
| Dönüş değeri | Yanıt için HTTP durum kodu. Başarı durumunda 0 veya 200 döndürün. |
|
Tanınmayan HTTP durum kodları otomatik olarak HTTP 400'e dönüştürülür. Hata döndürürken her zaman standart bir HTTP durum kodu (örneğin,400veya500) kullanın.
Kullanım örneği
Aşağıda basit bir kullanım örneği verilmiştir. Çevrimiçi tahmin kodu herhangi bir model verisi yüklemez ve kullanıcı girdisini olduğu gibi istemciye döndürür.
-
Tahmin kodunu yazın.
#include <stdio.h> #include <string.h> extern "C" { void *initialize(const char *model_entry, const char *model_config, int *state) { *state = 0; return NULL; } int process(void *model_buf, const void *input_data, int input_size, void **output_data, int *output_size) { if (input_size == 0) { const char *errmsg = "input data should not be empty"; *output_data = strdup(errmsg); *output_size = strlen(errmsg); return 400; } *output_data = strdup((char *)input_data); *output_size = input_size; return 200; } } -
Aşağıdaki Makefile'ı kullanarak kodu .so dosyasına derleyin.
CC=g++ CCFLAGS=-I./ -D_GNU_SOURCE -Wall -g -fPIC LDFLAGS= -shared -Wl,-rpath=./ OBJS=processor.o TARGET=libpredictor.so all: $(TARGET) $(TARGET): $(OBJS) $(CC) -o $(TARGET) $(OBJS) $(LDFLAGS) -L./ %.o: %.cc $(CC) $(CCFLAGS) -c $< -o $@ clean: rm -f $(TARGET) $(OBJS) -
Hizmeti EAS üzerinde dağıtın. JSON dağıtım yapılandırması aşağıdaki işlemciyle ilgili alanları içermelidir.
processor_entryana işlemci dosyasını belirtir; bu, önceki adımda üretilen .so dosyasıdır.{ "name": "test_echo", "model_path": "http://*****.oss-cn-shanghai.aliyuncs.com/****/saved_model.tar.gz", "processor_path": "oss://path/to/echo_processor_release.tar.gz", "processor_entry": "libpredictor.so", "processor_type": "cpp", "metadata": { "instance": 1 } }