Özel bir Python işlemcisi geliştirip hata ayıkladıktan sonra, hizmet dağıtımı için model dosyanızla birlikte OSS'e yükleyin.
İş akışı
Aşağıdaki adımları tamamlayarak özel bir Python işlemcisi geliştirin:
-
1. Adım: Geliştirme ortamını hazırlayın
EAS Python SDK'sı çeşitli Python makine öğrenimi çerçevelerini destekler ve Pandas gibi veri işleme çerçeveleriyle entegre olur. Yerel bir Python ortamı hazırlayın, özel işlemcilerinizi geliştirin, ardından ortamı paketleyip yükleyin.
-
2. Adım: Tahmin mantığını yazın
EAS Python SDK'sı yüksek performanslı bir RPC çerçevesi ve EAS kümesiyle etkileşim kurmak için dahili arabirimler sunar. Tahmin mantığını yazın ve model hizmetinizi EAS üzerinde dağıtmak için basit bir arabirim uygulayın.
-
3. Adım: Hizmeti yerel olarak test edin
Hizmeti yerel olarak test ederek tahmin mantığının doğru olduğunu ve hizmetin dağıtımdan sonra beklendiği gibi çalıştığını doğrulayın.
-
4. Adım: Kodu ve Python ortamını paketleyin
Hizmet dağıtımı için kodu ve ortamı paketleyin.
-
5. Adım: İşlemci paketini ve model dosyasını yükleyin
Paket ve model dosyalarını ayrı ayrı Object Storage Service (OSS) üzerine yükleyin.
-
6. Adım: Hizmeti dağıtın ve test edin
Özel işlemcinizi bir model hizmeti olarak dağıtın ve çalıştığını doğrulayın.
Modeli ince ayar yapıp yeniden dağıttığınızda işlemci paketini yeniden kullanabilmek için model dosyasını işlemciden ayırın. Tahmin mantığında, mantığın modeli yükleyebilmesi için model depolama yolunu almak üzere
get_model_path()yöntemini kullanın.Özel işlemcinizin çok sayıda bağımlılığı veya büyük bir paketi varsa bunun yerine hizmeti dağıtmak için bir görüntü kullanın. İki dağıtım yönteminin karşılaştırması için bkz. Nasıl çalışır (Görüntü dağıtımı).
Ön koşullar
Bir model dosyası hazırlayın.
Model dosyasını ve özel işlemciyi ayrı ayrı geliştirin. Hizmet dağıtımı sırasında bağlanabilmeleri için bunları OSS'e ayrı ayrı yükleyin.
1. Adım: Geliştirme ortamını hazırlayın
Pyenv gibi Python paket yönetimi araçlarını kullanarak bir geliştirme ortamı hazırlayın. EAS tarafından sağlanan EASCMD istemci aracı, Python SDK başlatma sürecini kapsar. Aracı indirdikten sonra tek bir komut çalıştırarak Python SDK ortamını başlatabilir ve dosya şablonları oluşturabilirsiniz. EASCMD yalnızca Linux'u destekler. Örnek:
# Install and initialize EASCMD. This example shows how to install the EASCMD client for Linux.
$ wget https://eas-data.oss-cn-shanghai.aliyuncs.com/tools/eascmd/v2/eascmd64
# After the download is complete, modify the access permissions and configure your Alibaba Cloud AccessKey pair.
$ chmod +x eascmd64
$ ./eascmd64 config -i <access_id> -k <access_key>
# Initialize the environment.
$ ./eascmd64 pysdk init ./pysdk_demo
İstendiğinde bir Python sürümü girin (varsayılan: 3,6). Sistem daha sonra ENV adlı bir Python ortamı dizini, app.py adlı bir tahmin hizmeti kod şablonu ve app.json adlı bir hizmet dağıtım şablonunu ./pysdk_demo dizininde oluşturur.
2. Adım: Tahmin mantığını yazın
ENV ile aynı dizinde, tahmin hizmetinin ana dosyasını app.py adıyla oluşturun. Örnek:
Python ortamını başlatmak için EASCMD kullanırsanız app.py otomatik olarak oluşturulur. Dosya içeriğini gerektiği gibi değiştirin.
# -*- coding: utf-8 -*-
import allspark
class MyProcessor(allspark.BaseProcessor):
""" MyProcessor is an example
you can send mesage like this to predict
curl -v http://127.0.0.1:8080/api/predict/service_name -d '2 105'
"""
def initialize(self):
""" load module, executed once at the start of the service
do service initialization and load models in this function.
"""
self.module = {'w0': 100, 'w1': 2}
# model_dir = self.get_model_path().decode()
# You must implement the load_model function yourself. For example, to load a model.pt file, you can implement it as torch.load(model_dir + "/model.pt").
# self.model = load_model(model_dir)
def pre_process(self, data):
""" data format pre process
"""
x, y = data.split(b' ')
return int(x), int(y)
def post_process(self, data):
""" process after process
"""
return bytes(data, encoding='utf8')
def process(self, data):
""" process the request data
"""
x, y = self.pre_process(data)
w0 = self.module['w0']
w1 = self.module['w1']
y1 = w1 * x + w0
if y1 >= y:
return self.post_process("True"), 200
else:
return self.post_process("False"), 400
if __name__ == '__main__':
# allspark.default_properties().put('rpc.keepalive', '10000')
# Set the service timeout to 10s. The default is 5s.
# The worker_threads parameter indicates the processing concurrency.
runner = MyProcessor(worker_threads=10)
runner.run()
Bu örnekte, EAS tarafından sunulan BaseProcessor temel sınıfından miras alınır ve initialize() ile process() işlevleri uygulanır.
|
Yöntem |
Açıklama |
Kullanım |
|
initialize() |
İşlemci başlatma yöntemi. Hizmet başladığında modeli yükleme gibi başlatma görevlerini yürütür. |
Model dosyası alma işlemini işlemci uygulamasından ayırmak için
|
|
get_model_path() |
Model dosyasının depolama dizinini bayt nesnesi olarak döndürür. |
Dağıtım JSON'unda |
|
process(data) |
İstek işleme yöntemi. Her istek için istek gövdesi process() öğesine iletilir. Dönüş değeri istemciye gönderilir. |
data: BYTES türünde istek gövdesi. Dönüş değerleri BYTES ve INT olup sırasıyla response_data ve status_code değerlerine karşılık gelir. Normal bir istek için status_code değeri 0 veya 200 olabilir. |
|
_init_(worker_threads=5, worker_processes=1,endpoint=None) |
İşlemci yapıcısı. |
|
|
run() |
Hizmeti başlatır. |
Yok. |
3. Adım: Hizmeti yerel olarak test edin
-
app.py dosyasını içeren dizinde uygulamayı başlatmak için aşağıdaki komutu çalıştırın.
./ENV/bin/python app.pyBaşarılı olduğunda beklenen çıktı:
[INFO] waiting for service initialization to complete... [INFO] service initialization complete [INFO] create service [INFO] rpc binds to predefined port 8080 [INFO] install builtin handler call to /api/builtin/call [INFO] install builtin handler eastool to /api/builtin/eastool [INFO] install builtin handler monitor to /api/builtin/monitor [INFO] install builtin handler ping to /api/builtin/ping [INFO] install builtin handler prop to /api/builtin/prop [INFO] install builtin handler realtime_metrics to /api/builtin/realtime_metrics [INFO] install builtin handler tell to /api/builtin/tell [INFO] install builtin handler term to /api/builtin/term [INFO] Service start successfully -
Yeni bir terminal açın ve uygulamayı test etmek için aşağıdaki komutu çalıştırın.
2. Adım içindeki örnek koda dayanarak uygulamaya istek verileri gönderin. Döndürülen sonuç kod mantığını yansıtır.
curl http://127.0.0.1:8080/test -d '10 20'
4. Adım: Kodu ve ortamı paketleyin
EASCMD tek adımlı bir paketleme komutu sağlar. EASCMD kullanmıyorsanız ortamı manuel olarak paketleyin. Her iki yöntem de aşağıda açıklanmıştır.
-
EASCMD paketleme komutu (yalnızca Linux):
$ ./eascmd64 pysdk pack ./pysdk_demoBaşarılı olduğunda beklenen çıktı:
[PYSDK] Creating package: /home/xi****.lwp/code/test/pysdk_demo.tar.gz -
Manuel paketleme
Gereksinim
Ayrıntılar
Paket biçimi
Paket, .zip veya .tar.gz biçiminde sıkıştırılmış bir arşiv olmalıdır.
Paket içeriği
-
Kök dizin /ENV olmalı ve app.py dosyasını içermelidir.
-
Paket örneği: .tar.gz paket örneği.
-
5. Adım: Paket ve model dosyalarını yükleyin
Hizmet dağıtımı sırasında bağlama işlemi için paket dosyasını (.zip veya .tar.gz) ve model dosyasını ayrı ayrı OSS'e yükleyin. Daha fazla bilgi için bkz. ossutil için hızlı başlangıç.
6. Adım: Hizmeti dağıtın ve test edin
Model hizmetini PAI konsolu veya EASCMD kullanarak dağıtın.
-
Hizmeti dağıtın.
PAI konsolu
PAI konsoluna giriş yapın. Sayfanın üst kısmından bir bölge seçin. Ardından istenen çalışma alanını seçin ve Enter Elastic Algorithm Service (EAS) seçeneğine tıklayın.
Deploy Service seçeneğine tıklayın. Custom Model Deployment bölümünde Custom Deployment seçeneğine tıklayın.
-
Custom Deployment sayfasında aşağıdaki parametreleri yapılandırın. Diğer parametreler için bkz. Özel dağıtım.
Parametre
Açıklama
Deployment Method
Processor-based Deployment seçeneğini seçin.
Model Settings
Type için OSS seçeneğini belirleyin ve model dosyasının OSS yolunu seçin.
Processor Type
Custom Processor seçeneğini seçin.
Processor Language
python seçeneğini seçin.
Processor Package
Type için OSS seçeneğini belirleyin ve önceki adımdaki paket dosyasının OSS yolunu seçin.
Processor Main File./app.pydeğerini girin. -
(İsteğe bağlı) Service Configurations bölümünde data_image parametresini ekleyin ve bunu paketleme sırasında yapılandırılan görüntü yoluna ayarlayın.
NotBu parametre yalnızca 4. Adım içinde ortamı paketlemek için bir görüntü kullandıysanız gereklidir.
Deploy seçeneğine tıklayın.
EASCMD
Hizmeti Linux üzerinde dağıtın:
EASCMD'yi indirin ve kimlik doğrulaması yapın. Daha fazla bilgi için bkz. İstemciyi indirin ve kimlik doğrulaması yapın.
-
EASCMD dizininde app.json adlı bir JSON dosyası oluşturun. Örnek:
{ "name": "pysdk_demo", "processor_entry": "./app.py", "processor_type": "python", "processor_path": "oss://examplebucket/exampledirectory/pysdk_demo.tar.gz", "model_path": "oss://examplebucket/exampledirectory/model", "cloud": { "computing": { "instance_type": "ecs.c7.large" } }, "metadata": { "instance": 1, } } -
app.json dosyasını içeren dizinde hizmeti dağıtmak için aşağıdaki komutu çalıştırın.
$ ./eascmd64 create app.jsonBaşarılı olduğunda beklenen çıktı:
[RequestId]: 1202D427-8187-4BCB-8D32-D7096E95B5CA +-------------------+-------------------------------------------------------------------+ | Intranet Endpoint | http://182848887922****.vpc.cn-beijing.pai-eas.aliyuncs.com/api/predict/pysdk_demo | | Token | ZTBhZTY3ZjgwMmMyMTQ5OTgyMTQ5YmM0NjdiMmNiNmJkY2M5ODI0**** | +-------------------+-------------------------------------------------------------------+ [OK] Waiting task server to be ready [OK] Fetching processor from [oss://eas-model-beijing/195557026392****/pysdk_demo.tar.gz] [OK] Building image [registry-vpc.cn-beijing.aliyuncs.com/eas/pysdk_demo_cn-beijing:v0.0.1-20190806082810] [OK] Pushing image [registry-vpc.cn-beijing.aliyuncs.com/eas/pysdk_demo_cn-beijing:v0.0.1-20190806082810] [OK] Waiting [Total: 1, Pending: 1, Running: 0] [OK] Service is running
-
Hizmeti test edin.
PAI konsoluna giriş yapın. Sayfanın üst kısmından bir bölge seçin. Ardından istenen çalışma alanını seçin ve Enter Elastic Algorithm Service (EAS) seçeneğine tıklayın.
Hedef hizmeti bulun ve genel uç noktayı ve Token bilgisini almak için Service Type sütunundaki Invocation Information seçeneğine tıklayın.
-
Bir önceki adımdaki uç noktayı ve belirteci kullanarak hizmeti çağırmak için aşağıdaki komutu çalıştırın.
$ curl <service_url> -H 'Authorization: <token>' -d '10 20'Parametreler:
<service_url>: Önceki adımdaki genel uç nokta. Örnek:
http://182848887922****.vpc.cn-beijing.pai-eas.aliyuncs.com/api/predict/pysdk_demo.<token>: Önceki adımdaki belirteç. Örnek:
ZTBhZTY3ZjgwMmMyMTQ5OTgyMTQ5YmM0NjdiMmNiNmJkY2M5ODI0****.-d: Hizmet için giriş verileri.
İlgili konular
Yaygın geliştirme sorunları: SSS
Java'da özel işlemci geliştirme: Java kullanarak özel bir işlemci geliştirin