Platform For AI:Deploy a model as an online service

PAI-EAS

EAS (Elastic Algorithm Service), PAI'ın model çevrimiçi hizmet platformudur. Modelleri tek tıkla çevrimiçi çıkarım hizmetleri veya AI-Web uygulamaları olarak dağıtmayı destekler; otomatik ölçeklendirme, kaynak grubu yönetimi, sürüm oluşturma ve kaynak izleme özellikleri sunar. Bu sayede, düşük kaynak maliyetiyle yüksek eşzamanlılığa sahip, kararlı çevrimiçi model hizmetleri sunabilirsiniz. Daha fazla bilgi için bkz. EAS'a genel bakış.

Faturalama

Bu konudaki örnekler, kullandıkça öde modeliyle bir EAS hizmeti oluşturmak için genel kaynakları kullanır. Sürekli ücretlendirmeden kaçınmak için hizmete artık ihtiyacınız olmadığında hizmeti durdurun veya silin.

EAS kullanarak bir modeli dağıtma

DSW'de bir model geliştirip bunu EAS'ta dağıtmaya ilişkin eksiksiz bir örnek için bkz. Model hizmetini EAS ile dağıtma .

1. PAI console adresinde oturum açın. Sayfanın üst kısmından hedef bölgeyi ve çalışma alanını seçin. Ardından sol gezinme bölmesinde Elastic Algorithm Service (EAS) > Deploy Service > Custom Deployment seçeneklerini seçin.

2. Aşağıdaki temel parametreleri yapılandırın ve diğer parametreler için varsayılan değerleri koruyun. Yapılandırma parametrelerinin tam listesi için bkz. Özel dağıtım.

   • Deployment Method: Image-based Deployment seçeneğini belirleyin.

   • Image Configuration: Görüntü, modeliniz için çalışma zamanı ortamı sağlar. Resmi bir görüntü veya özel bir görüntü kullanabilir ya da bir görüntü adresi girebilirsiniz.

     Modelinizi DSW'de geliştirdiyseniz Image Address seçeneğini belirleyebilir ve DSW örneğiniz tarafından kullanılan görüntüyü kopyalayabilirsiniz. DSW Instance listesinde hedef örneği bulun ve Image Version sütunundaki görüntü adresinin yanındaki kopyalama simgesine tıklayın.

     Alternatif olarak, DSW'nin görüntü oluşturma özelliğini kullanarak görüntüyü, EAS'in kullanması için Container Registry'e (ACR) aktarabilirsiniz. Daha fazla bilgi için bkz. DSW örnek görüntüsü oluşturma.

   • Mount storage: Uygulama kodu dosyalarınızı OSS'e yükleyebilir ve bir bağlama yolu yapılandırabilirsiniz. Direct Mount yapılandırmasında türü OSS olarak ayarlayın, Uri değerini OSS yoluna (örneğin oss://bucket-name/directory/) ayarlayın, Mount Path değerini /mnt/data/ olarak belirleyin ve ihtiyaca göre Read-only anahtarını yapılandırın.

     Bu örnekte aşağıdaki örnek kod kullanılmaktadır. Kod dosyası OSS'e yüklenmiştir.

     Örnek uygulama kodu: web.py

     from bottle import Bottle, run
     
     # Create a Bottle instance
     app = Bottle()
     
     # Define a route that returns "Hello, World"
     @app.route('/hello', method=['GET', 'POST'])
     def hello():
         # Replace this with actual parameter parsing and model invocation in production
     
         return 'Hello, World!'
     
     # Start the server
     if __name__ == '__main__':
         run(app, host='0.0.0.0', port=9000)

   • Command: Örnek kodu başlatmak için başlangıç komutunu girin. Bu örnekte Command değerini python /mnt/data/web.py ve Port Number değerini 9000 olarak ayarlayın.

   • Port Number: web.py dosyasında kullanılan 9000 bağlantı noktası numarasını girin.

   • Third-party Library Settings: Görüntüde eksik olan üçüncü taraf kitaplıkları ekleyin. Örneğin, Third-party Library List sekmesinde giriş alanına numpy bottle gibi gerekli kitaplık adlarını girin.

   • Resource Type: Public Resources seçeneğini belirleyin. Resource Specification için ecs.gn7i-c16g1.4xlarge seçeneğini belirleyin.

   Deploy düğmesine tıklayın. Hizmet durumu Running olarak değiştiğinde hizmet dağıtılır.

Hizmeti test etme

Model dağıtıldıktan sonra, hizmet API'sini test etmek için EAS hata ayıklama konsolunu kullanın.

1. EAS örnek listesi sayfasında örnek adına tıklayarak örnek ayrıntıları sayfasına gidin ve ardından Online Debugging seçeneğine tıklayın.

2. web.py uygulamasını örnek alarak istek yolunu /api/predict/pai_eas_test/hello olarak, HTTP yöntemini POST olarak ayarlayın, istek URL'sini girin ve ardından Send Request düğmesine tıklayın. "Hello, World!" döndürülürse istek başarılı olur.

3. Hizmeti genel bir uç nokta veya VPC uç noktası kullanarak çağırmak için bkz. Hizmet çağrısı.