Platform For AI：Terapkan model sebagai layanan online

PAI-EAS

Elastic Algorithm Service (EAS) adalah platform PAI untuk layanan model online. Platform ini memungkinkan Anda menyebarkan model sebagai layanan inferensi online atau aplikasi web berbasis AI dengan satu klik. EAS menawarkan fitur seperti skalabilitas elastis, manajemen kelompok sumber daya, pengendalian versi, dan pemantauan sumber daya. Fitur-fitur ini membantu menjalankan layanan model online yang stabil dan hemat biaya secara efisien. Untuk informasi lebih lanjut, lihat Ikhtisar Layanan Model EAS.

Deskripsi penagihan

Contoh dalam topik ini menggunakan sumber daya publik untuk membuat layanan EAS. Metode penagihan adalah bayar sesuai penggunaan. Jika Anda tidak lagi memerlukan layanan tersebut, segera hentikan atau hapus untuk menghindari biaya tambahan.

Gunakan EAS untuk menyebarkan model

Untuk contoh lengkap tentang cara mengembangkan model di DSW dan menyebarkannya dengan EAS, lihat Menyebarkan model sebagai layanan online menggunakan EAS.

1. Masuk ke Konsol PAI. Di bilah navigasi atas, pilih Wilayah tujuan dan ruang kerja. Di panel navigasi kiri, klik Elastic Algorithm Service (EAS) > Deploy Service > Custom Deployment.

2. Konfigurasikan parameter kunci berikut. Biarkan parameter lainnya pada nilai default mereka. Untuk daftar lengkap parameter konfigurasi, lihat Parameter untuk penyebaran kustom di konsol.

   • Untuk Deployment Method, pilih Image-based Deployment.

   • Image Configuration: Citra menyediakan lingkungan runtime untuk model. Anda dapat menggunakan citra resmi, citra kustom, atau citra yang ditentukan oleh alamat.

     Jika Anda mengembangkan model di DSW, Anda dapat memilih URL citra dan menyalin URL citra dari DSW.

     

     Sebagai alternatif, Anda dapat menggunakan fitur pembuatan citra DSW untuk mendorong citra ke Container Registry (ACR) agar digunakan oleh EAS. Untuk informasi lebih lanjut, lihat Buat instance citra DSW.

   • Mount storage: Memungkinkan Anda mengunggah file kode aplikasi ke OSS dan mengonfigurasi alamat mount.

     

     Topik ini menggunakan contoh sederhana untuk pengujian. File kode diunggah ke jalur OSS yang ditunjukkan pada gambar sebelumnya.

     Contoh kode aplikasi: web.py

     from bottle import Bottle, run
     
     # Buat instance
     app = Bottle()
     
     # Tentukan entri rute yang mengembalikan "Hello, World!"
     @app.route('/hello', method=['GET', 'POST'])
     def hello():
         # Dalam aplikasi nyata, ganti ini dengan penguraian parameter dan pemanggilan model
         
         return 'Hello, World!'
     
     # Jalankan server
     if __name__ == '__main__':
         run(app, host='0.0.0.0', port=9000)
     

   • Command: Masukkan perintah untuk memulai kode sampel.

     

   • Port Number: Masukkan 9000 untuk port web.py.

   • Third-party Library Settings: Gunakan bagian ini untuk menambahkan pustaka pihak ketiga yang tidak termasuk dalam citra. Contohnya:

     

   • Untuk Resource Type, pilih Public Resources. Untuk Deployment Resources, pilih ecs.gn7i-c16g1.4xlarge.

   Klik Deploy. Penyebaran berhasil jika status layanan adalah Running.

Uji pemanggilan layanan

Setelah model berhasil disebarkan, Anda dapat menguji titik akhir layanan menggunakan fitur debugging online EAS.

1. Di halaman daftar instans EAS, klik nama instans. Di halaman detail instans, klik Online Debugging.

2. Dalam aplikasi web.py dari contoh sebelumnya, masukkan URL permintaan dan klik Send Request. Tanggapan "hello World!" menunjukkan bahwa permintaan berhasil.

3. Untuk memanggil layanan dari Internet atau VPC, lihat Metode pemanggilan layanan.