Platform For AI：Terapkan model sebagai layanan online

PAI-EAS

Elastic Algorithm Service (EAS) adalah platform dalam PAI untuk layanan model online. Platform ini memungkinkan Anda menerapkan model sebagai layanan inferensi online atau aplikasi web berbasis AI hanya dengan satu klik. EAS menyediakan fitur seperti skalabilitas elastis, manajemen kelompok sumber daya, pengendalian versi, dan pemantauan sumber daya, yang membantu menjalankan layanan model online yang stabil, mendukung konkurensi tinggi, serta hemat biaya. Untuk informasi selengkapnya, lihat Ikhtisar layanan model EAS.

Deskripsi penagihan

Contoh dalam topik ini menggunakan sumber daya publik untuk membuat layanan EAS. Metode penagihan adalah bayar sesuai penggunaan. Jika Anda tidak lagi memerlukan layanan tersebut, segera hentikan atau hapus untuk menghindari biaya tambahan.

Gunakan EAS untuk menyebarkan model

Untuk contoh lengkap tentang cara mengembangkan model di instans DSW dan menerapkannya dengan EAS, lihat Terapkan model sebagai layanan online menggunakan EAS.

1. Masuk ke Konsol PAI. Pada bilah navigasi atas, pilih wilayah tujuan dan ruang kerja. Di panel navigasi sebelah kiri, klik Elastic Algorithm Service (EAS) > Deploy Service > Custom Deployment.

2. Konfigurasikan parameter utama berikut dan gunakan nilai default untuk parameter lainnya. Untuk informasi selengkapnya mengenai semua parameter, lihat Custom deployment.

   • Atur Deployment Method menjadi Image-based Deployment.

   • Image Configuration: Gambar menyediakan lingkungan runtime untuk model. Anda dapat menggunakan Alibaba Cloud Image, custom image, atau memasukkan alamat registri.

     Jika Anda mengembangkan model di instans DSW, pilih Image Address, lalu salin gambar yang digunakan di instans DSW tersebut.

     

     Sebagai alternatif, Anda dapat menggunakan fitur pembuatan gambar DSW untuk mendorong gambar ke Container Registry (ACR) agar dapat digunakan di EAS. Untuk informasi selengkapnya, lihat Create a DSW instance image.

   • Mount storage: Unggah file kode aplikasi Anda ke OSS dan konfigurasikan jalur pemasangan.

     

     Topik ini menggunakan contoh sederhana berikut untuk pengujian. File kode telah diunggah ke jalur OSS yang ditunjukkan pada gambar sebelumnya.

     Contoh kode aplikasi: web.py

     from bottle import Bottle, run
     
     # Buat instans
     app = Bottle()
     
     # Definisikan entri rute yang mengembalikan "Hello, World!"
     @app.route('/hello', method=['GET', 'POST'])
     def hello():
         # Pada aplikasi nyata, ganti bagian ini dengan penguraian parameter permintaan dan pemanggilan model.
         
         return 'Hello, World!'
     
     # Jalankan server
     if __name__ == '__main__':
         run(app, host='0.0.0.0', port=9000)

   • Command: Masukkan perintah start untuk kode contoh.

     

   • Port Number: Masukkan port 9000 yang digunakan dalam web.py.

   • Third-party Library Settings: Pada bagian ini, tambahkan pustaka pihak ketiga yang tidak tersedia dalam gambar. Contohnya:

     

   • Atur Resource Type menjadi Public Resources dan Resource Type menjadi ecs.gn7i-c16g1.4xlarge.

   Klik Deploy. Penerapan berhasil jika status layanan berubah menjadi Running.

Uji pemanggilan layanan

Setelah model berhasil diterapkan, Anda dapat menguji titik akhir layanan menggunakan fitur debugging online EAS. Lakukan langkah-langkah berikut:

1. Pada halaman layanan EAS, klik nama layanan untuk membuka halaman detail layanan. Kemudian, klik tab Online Debugging.

2. Menggunakan aplikasi web.py dari contoh sebelumnya, masukkan jalur permintaan dan klik Send Request. Tanggapan "Hello, World!" menunjukkan bahwa permintaan berhasil.

3. Untuk memanggil layanan dari internet atau VPC, lihat Service invocation.