buat grup layanan dan konfigurasi distribusi traffic untuk canary release-Platform For AI-Alibaba Cloud - Platform For AI

Kelompok layanan mengelola beberapa layanan yang memproses traffic melalui titik akhir terpadu. Sistem mendistribusikan traffic masuk ke layanan-layanan tersebut berdasarkan kebijakan alokasi yang telah ditentukan. Metode ini ideal untuk rilis canary, skalabilitas elastis, dan penjadwalan resource heterogen. Topik ini menjelaskan cara membuat kelompok layanan, melihat titik akhir traffic-nya, serta mengubah kebijakan alokasi traffic.

Kasus Penggunaan

Canary release

Tambahkan layanan produksi dan layanan canary ke dalam kelompok yang sama. Kemudian, alokasikan sejumlah kecil traffic ke layanan canary. Saat merilis versi baru, perbarui terlebih dahulu layanan canary dan pantau kinerjanya. Jika terjadi masalah, kembalikan (rollback) layanan canary atau hentikan dan alihkan traffic-nya ke layanan produksi. Jika versi baru berjalan sesuai harapan, Anda dapat menerapkannya ke layanan produksi. Setelah pembaruan selesai, Anda dapat menskalakan layanan canary hingga nol replika atau tetap mempertahankannya untuk menangani sejumlah kecil traffic.
Skalabilitas elastis berbasis langganan dan pay-as-you-go

Untuk menangani permintaan garis dasar, terapkan layanan berbasis langganan di kelompok sumber daya khusus dengan jumlah replika tetap. Untuk mengatasi lonjakan lalu lintas dan mengurangi biaya, gunakan layanan pay-as-you-go di kelompok sumber daya publik.
Gunakan resource hardware heterogen

Dalam skenario yang dipercepat GPU, jika model GPU tertentu tidak tersedia di suatu wilayah, hal ini dapat mencegah layanan melakukan scaling out. Kelompok layanan memungkinkan Anda mengatasi masalah ini dengan membuat layanan secara dinamis menggunakan model GPU berbeda yang kompatibel dengan berbagai lingkungan CUDA. Hal ini memungkinkan beberapa layanan menggunakan resource heterogen untuk mendukung skenario bisnis yang sama. Karena titik akhir traffic kelompok layanan tetap tidak berubah, perubahan ini transparan bagi front end.

Buat kelompok layanan

Anda dapat menetapkan layanan ke kelompok layanan saat membuat layanan tersebut.

Catatan

Saat Anda membuat layanan dan menetapkannya ke kelompok, sistem akan membuat kelompok tersebut jika belum ada. Jika kelompok sudah ada, layanan tersebut hanya ditambahkan ke dalamnya. Kelompok akan dihapus secara otomatis ketika layanan anggota terakhirnya dihapus.

Contoh berikut menunjukkan cara membuat kelompok layanan bernama pmml dan menetapkan dua layanan, pmml_prod dan pmml_grey, ke dalamnya.

Masuk ke Konsol PAI. Pilih wilayah di bagian atas halaman. Lalu, pilih ruang kerja yang diinginkan dan klik Elastic Algorithm Service (EAS).
Pada tab Group Service, klik Create Group and Service.
Pada halaman Custom Deployment, konfigurasikan parameter dan klik Deploy.
Parameter utama:
- Service Name: Konfigurasikan nama layanan sesuai petunjuk di layar. Dalam contoh ini, atur menjadi pmml_prod.
- Group: Pilih New Group dan atur nilainya menjadi pmml untuk contoh ini.
Untuk informasi tentang parameter lainnya, lihat Custom deployment.

Ulangi langkah 2 dan 3 untuk membuat layanan pmml_grey dan menetapkannya ke kelompok layanan pmml.

Setelah layanan dibuat, buka tab Group Service dan klik nama kelompok pmml untuk membuka halaman detail kelompok. Halaman ini menampilkan daftar layanan yang termasuk dalam kelompok tersebut.

Penting

Secara default, layanan yang baru ditambahkan tidak menerima traffic dari kelompok. Untuk mengaktifkan traffic, lihat Modify the traffic allocation policy.

Lihat titik akhir traffic

Kelompok layanan memiliki titik akhir traffic terpadu. Setiap layanan dalam kelompok juga memiliki titik akhir individualnya sendiri.

Group Traffic Entry: Traffic ke titik akhir ini didistribusikan ke layanan berbeda berdasarkan kebijakan alokasi. Layanan dalam kelompok layanan dapat dibuat atau dihapus, tetapi alamat titik akhir tetap tidak berubah.
Service-specific Traffic Entry: Titik akhir ini terikat pada siklus hidup layanan tertentu. Traffic selalu dialirkan ke layanan yang ditentukan. Saat layanan dihapus, titik akhir ini juga dihapus. Setelah Anda mengalihkan traffic kelompok, Anda tetap perlu menggunakan alamat titik akhir ini untuk mengakses layanan dan melakukan debugging online.

Cara mendapatkan:

Pada tab Inference Service, klik nama layanan target untuk membuka halaman Overview.
Pada bagian Basic Information, klik View Endpoint Information.

Pada kotak dialog yang muncul, lihat informasi alamat panggilan dan token.

Endpoint	Address format	Contoh
Group Traffic Entry	`<endpoint>/api/predict/<group_name>`	`http://182848887922****.vpc.cn-shanghai.pai-eas.aliyuncs.com/api/predict/pmml`
Service-specific Traffic Entry	`<endpoint>/api/predict/<group_name>.<service_name>`	`http://182848887922****.vpc.cn-shanghai.pai-eas.aliyuncs.com/api/predict/pmml`

Ubah kebijakan alokasi traffic

Pada halaman detail kelompok, Anda dapat mengalihkan metode alokasi traffic di sebelah nama kelompok di bagian atas. EAS saat ini mendukung dua metode alokasi traffic:

Replica Allocation: Traffic dialokasikan secara dinamis berdasarkan jumlah replika setiap layanan. Misalnya, jika Layanan A memiliki 1 replika dan Layanan B memiliki 3 replika, Layanan A menerima 25% traffic dan Layanan B menerima 75%. Setelah Anda menonaktifkan alokasi traffic, layanan tersebut tidak lagi berpartisipasi dalam distribusi traffic kelompok tetapi tetap dapat diakses secara individual.
Custom Allocation: Traffic didistribusikan berdasarkan bobot setiap layanan. Misalnya, jika Layanan A memiliki bobot traffic 100 dan Layanan B memiliki bobot traffic 400, Layanan A menerima 20% traffic dan Layanan B menerima 80%.

Catatan:

Aktifkan sakelar Traffic Allocation untuk layanan agar traffic dapat didistribusikan. Nonaktifkan sakelar untuk menonaktifkan distribusi traffic untuk layanan tersebut.

Penting
Terlepas dari metode alokasi traffic yang digunakan, setelah Anda menonaktifkan sakelar Traffic Allocation, layanan tersebut tidak lagi berpartisipasi dalam distribusi traffic kelompok tetapi tetap dapat diakses secara individual.
Untuk menggunakan Weight for Custom Allocation, klik tombol edit di kolom Traffic Weight untuk mengatur Traffic Weight untuk layanan tersebut.
Anda juga dapat menggunakan Operasi API untuk menyesuaikan bobot traffic dan status traffic layanan. Untuk informasi lebih lanjut, lihat ReleaseService.