Terapkan model atau algoritma Anda sebagai layanan inferensi online di EAS. Tersedia tiga metode penerapan untuk berbagai kasus penggunaan.
Cara kerja (penerapan berbasis image)
Setiap layanan EAS berjalan dalam satu atau beberapa instans container yang terisolasi. Penerapan melibatkan komponen inti berikut:
-
Image: Templat read-only yang berisi sistem operasi, pustaka dasar (seperti CUDA), runtime bahasa (seperti Python), dan dependensi yang diperlukan. Gunakan image resmi PAI atau buat custom image untuk kebutuhan spesifik.
-
Kode dan model: Logika bisnis dan file model Anda. Simpan di Object Storage Service (OSS) atau Apsara File Storage NAS. Pendekatan ini memisahkan kode dan model dari lingkungan runtime sehingga Anda dapat memperbaruinya tanpa perlu membangun ulang image.
-
Pemasangan penyimpanan: Saat startup, EAS memasang path penyimpanan eksternal yang Anda tentukan ke direktori lokal dalam container. Kode di dalam container kemudian dapat mengakses file eksternal seolah-olah file tersebut tersimpan secara lokal.
-
Perintah startup: Perintah pertama yang dijalankan setelah container dimulai. Biasanya menjalankan server HTTP untuk menerima permintaan inferensi.
Alur kerja penerapan adalah sebagai berikut:
-
Ambil image yang ditentukan dan buat container.
-
Pasang penyimpanan eksternal ke path yang ditentukan dalam container.
-
Jalankan perintah startup di dalam container.
-
Setelah perintah berhasil dijalankan, dengarkan pada port yang ditentukan dan proses permintaan inferensi.
EAS mendukung penerapan berbasis image maupun berbasis Processor. Penerapan berbasis image direkomendasikan karena menawarkan fleksibilitas dan kemudahan pemeliharaan yang lebih tinggi, sedangkan Menerapkan layanan menggunakan processor memiliki lebih banyak batasan terhadap lingkungan runtime dan framework.
Metode penerapan
Konsol EAS menyediakan tiga metode penerapan. Ketiganya mengirimkan konfigurasi layanan JSON yang sama dan hanya berbeda dalam cara pembuatan konfigurasinya.
|
Metode penerapan |
Deskripsi |
Kasus penggunaan |
Dokumentasi |
|
Penerapan model berbasis skenario |
Menggunakan templat yang telah diisi sebelumnya. Hanya beberapa parameter yang perlu dimodifikasi. |
Penerapan cepat model atau alat populer seperti OpenClaw, LLM, dan RAG. |
|
|
Penerapan Kustom |
Isi formulir konfigurasi di konsol, yang akan menghasilkan JSON. |
Penerapan interaktif layanan individual. Mencakup sebagian besar konfigurasi umum. |
|
|
Penerapan JSON Mandiri |
Edit langsung konfigurasi JSON lengkap. |
Penerapan batch atau berbasis versi, integrasi CI/CD, atau konfigurasi yang tidak tersedia di konsol. |
Konfigurasi JSON juga dapat diterapkan melalui klien eascmd atau PAI Python SDK.
PAI-EAS tidak mendukung penerapan layanan dengan Docker Compose. Docker Compose ditujukan untuk skenario Infrastructure as a Service (IaaS) seperti ECS. PAI-EAS merupakan layanan Platform as a Service (PaaS) untuk layanan model dan mengelola instans container melalui konfigurasi JSON atau formulir konsol. Gunakan salah satu dari tiga metode penerapan yang dijelaskan di atas. Untuk orkestrasi multi-container yang kompleks, gunakan Container Service for Kubernetes (ACK).
Konfigurasi utama
Selain memilih metode penerapan, Anda biasanya juga mengonfigurasi hal-hal berikut saat menerapkan layanan:
-
Sumber daya komputasi: Pilih jenis resource, konfigurasikan sistem disk, dan lainnya. Untuk detailnya, lihat Konfigurasi resource.
-
Pemasangan penyimpanan: Pasang file model dan data dari penyimpanan eksternal seperti OSS dan NAS ke container layanan. Untuk detailnya, lihat Pemasangan penyimpanan.
-
Akses jaringan: Konfigurasikan lingkungan jaringan untuk layanan, seperti VPC dan akses jaringan publik. Untuk detailnya, lihat Akses EAS ke sumber daya publik dan privat.
-
Parameter dinamis: Konfigurasikan pasangan kunci-nilai yang dapat diperbarui saat runtime untuk menyesuaikan perilaku inferensi tanpa harus me-restart layanan. Untuk detailnya, lihat Mengonfigurasi parameter dinamis.
FAQ
T: Bagaimana cara menerapkan model yang dilatih di platform Bailian ke PAI-EAS?
Model yang dilatih di platform Bailian tidak mendukung ekspor langsung ke PAI-EAS untuk penerapan.