Terapkan model atau algoritma Anda sebagai layanan inferensi online di EAS. Tersedia tiga metode penerapan untuk berbagai kasus penggunaan.
Cara kerja (penerapan berbasis image)
Setiap layanan EAS berjalan dalam satu atau beberapa instans container yang terisolasi. Penerapan melibatkan komponen inti berikut:
-
Image: Templat read-only yang berisi sistem operasi, pustaka dasar (seperti CUDA), runtime bahasa (seperti Python), dan dependensi yang diperlukan. Gunakan image resmi PAI atau buat custom image untuk kebutuhan spesifik.
-
Kode dan model: Logika bisnis dan file model Anda. Simpan di Object Storage Service (OSS) atau Apsara File Storage NAS. Pendekatan ini memisahkan kode dan model dari lingkungan runtime, sehingga Anda dapat memperbaruinya tanpa perlu membuat ulang image.
-
Pemasangan storage: Saat startup, EAS memasang path storage eksternal yang Anda tentukan ke direktori lokal dalam container. Kode di dalam container kemudian dapat mengakses file eksternal seolah-olah file tersebut tersimpan secara lokal.
-
Perintah startup: Perintah pertama yang dijalankan setelah container dimulai. Biasanya menjalankan server HTTP untuk menerima permintaan inferensi.
Alur kerja penerapan adalah sebagai berikut:
-
Ambil image yang ditentukan dan buat container.
-
Pasang storage eksternal ke path yang ditentukan dalam container.
-
Jalankan perintah startup di dalam container.
-
Setelah perintah berhasil dijalankan, layanan akan mendengarkan pada port yang ditentukan dan memproses permintaan inferensi.
EAS mendukung penerapan berbasis image maupun berbasis Processor. Penerapan berbasis image direkomendasikan karena menawarkan fleksibilitas dan kemudahan pemeliharaan yang lebih tinggi, sedangkan Menerapkan layanan menggunakan processor memiliki lebih banyak batasan terhadap lingkungan runtime dan framework.
Metode penerapan
Konsol EAS menyediakan tiga metode penerapan. Ketiganya mengirimkan konfigurasi layanan JSON yang sama dan hanya berbeda dalam cara pembuatan konfigurasi tersebut.
|
Metode penerapan |
Deskripsi |
Kasus penggunaan |
Dokumentasi |
|
Penerapan model berbasis skenario |
Menggunakan templat yang telah diisi sebagian. Hanya beberapa parameter yang perlu dimodifikasi. |
Penerapan cepat model atau alat populer seperti OpenClaw, LLM, dan RAG. |
|
|
Custom Deployment |
Isi formulir konfigurasi di konsol, yang akan menghasilkan JSON. |
Penerapan interaktif untuk layanan individual. Mencakup sebagian besar konfigurasi umum. |
|
|
JSON Standalone Deployment |
Edit langsung konfigurasi JSON lengkap. |
Penerapan batch atau berbasis versi, integrasi CI/CD, atau konfigurasi yang tidak tersedia di konsol. |
Konfigurasi JSON juga dapat diterapkan melalui klien eascmd atau PAI Python SDK.
Konfigurasi utama
Selain memilih metode penerapan, Anda biasanya mengonfigurasi hal-hal berikut saat menerapkan layanan:
-
Sumber daya komputasi: Pilih jenis resource, konfigurasikan sistem disk, dan lainnya. Untuk detailnya, lihat Konfigurasi resource.
-
Pemasangan storage: Pasang file model dan data dari storage eksternal seperti OSS dan NAS ke container layanan. Untuk detailnya, lihat Pemasangan storage.
-
Akses jaringan: Konfigurasikan lingkungan jaringan untuk layanan, seperti VPC dan akses jaringan publik. Untuk detailnya, lihat Akses EAS ke sumber daya publik dan privat.
-
Parameter dinamis: Konfigurasikan pasangan kunci-nilai yang dapat diperbarui saat runtime untuk menyesuaikan perilaku inferensi tanpa me-restart layanan. Untuk detailnya, lihat Mengonfigurasi parameter dinamis.
FAQ
T: Bagaimana cara menerapkan model yang dilatih di platform Bailian ke PAI-EAS?
Model yang dilatih di platform Bailian tidak mendukung ekspor langsung ke PAI-EAS untuk penerapan.