Platform For AI:Terapkan model sebagai layanan online

PAI-EAS

EAS (Elastic Algorithm Service) adalah platform penyajian model online dari PAI. Layanan ini mendukung penerapan model dalam satu klik sebagai layanan inferensi online atau aplikasi AI-Web, serta menyediakan fitur auto scaling, manajemen kelompok sumber daya, pengendalian versi, dan pemantauan sumber daya. Hal ini membantu Anda menghadirkan penyajian model online yang stabil dan mampu menangani beban tinggi dengan biaya sumber daya yang rendah. Untuk informasi selengkapnya, lihat Ikhtisar EAS.

Penagihan

Contoh dalam topik ini menggunakan sumber daya publik untuk membuat layanan EAS berdasarkan skema bayar sesuai penggunaan. Hentikan atau hapus layanan tersebut jika tidak lagi diperlukan untuk menghindari biaya berkelanjutan.

Terapkan model menggunakan EAS

Untuk contoh lengkap pengembangan model di DSW dan penerapannya di EAS, lihat Terapkan layanan model dengan EAS.

1. Masuk ke Konsol PAI. Pilih wilayah dan ruang kerja yang dituju di bagian atas halaman. Lalu, pada panel navigasi sebelah kiri, pilih Elastic Algorithm Service (EAS) > Deploy Service > Custom Deployment.

2. Konfigurasikan parameter utama berikut dan gunakan nilai default untuk parameter lainnya. Untuk daftar lengkap parameter konfigurasi, lihat Custom deployment.

   • Deployment Method: Pilih Image-based Deployment.

   • Image Configuration: Gambar menyediakan lingkungan runtime untuk model Anda. Anda dapat menggunakan gambar resmi, custom image, atau memasukkan alamat gambar.

     Jika Anda mengembangkan model di DSW, Anda dapat memilih Image Address dan menyalin gambar yang digunakan oleh instans DSW Anda. Pada daftar DSW Instance, temukan instans yang dituju lalu klik ikon salin di samping alamat gambar pada kolom Image Version.

     Sebagai alternatif, gunakan fitur pembuatan gambar DSW untuk mendorong gambar ke Container Service for Registry (ACR) agar dapat digunakan oleh EAS. Untuk informasi selengkapnya, lihat Buat gambar instans DSW.

   • Mount storage: Anda dapat mengunggah file kode aplikasi ke OSS dan mengonfigurasi jalur mount. Pada konfigurasi Direct Mount, atur tipe menjadi OSS, atur Uri ke jalur OSS (misalnya, oss://bucket-name/directory/), atur Mount Path menjadi /mnt/data/, dan sesuaikan sakelar Read-only sesuai kebutuhan.

     Kode contoh berikut digunakan dalam contoh ini. File kode telah diunggah ke OSS.

     Kode aplikasi contoh: web.py

     from bottle import Bottle, run
     
     # Buat instans Bottle
     app = Bottle()
     
     # Definisikan entri rute yang mengembalikan "Hello, World"
     @app.route('/hello', method=['GET', 'POST'])
     def hello():
         # Ganti ini dengan penguraian parameter aktual dan pemanggilan model di lingkungan produksi
     
         return 'Hello, World!'
     
     # Jalankan server
     if __name__ == '__main__':
         run(app, host='0.0.0.0', port=9000)

   • Command: Masukkan perintah startup untuk menjalankan kode contoh. Dalam contoh ini, atur Command menjadi python /mnt/data/web.py dan Port Number menjadi 9000.

   • Port Number: Masukkan nomor port 9000 yang digunakan dalam web.py.

   • Third-party Library Settings: Tambahkan pustaka pihak ketiga yang tidak tersedia dalam gambar. Misalnya, pada tab Third-party Library List, masukkan nama pustaka yang diperlukan seperti numpy bottle pada kolom input.

   • Resource Type: Pilih Public Resources. Untuk Resource Specification, pilih ecs.gn7i-c16g1.4xlarge.

   Klik Deploy. Layanan berhasil diterapkan saat status layanan berubah menjadi Running.

Uji layanan

Setelah model diterapkan, gunakan konsol debugging EAS untuk menguji API layanan.

1. Pada halaman daftar instans EAS, klik nama instans untuk membuka halaman detail instans, lalu klik Online Debugging.

2. Menggunakan aplikasi web.py sebagai contoh, atur path permintaan menjadi /api/predict/pai_eas_test/hello dan metode HTTP menjadi POST, masukkan URL permintaan, lalu klik Send Request. Jika respons "Hello, World!" dikembalikan, permintaan berhasil.

3. Untuk memanggil layanan menggunakan titik akhir publik atau titik akhir VPC, lihat Service invocation.