Platform For AI:Mengelola rilis, penerapan canary, dan rollback versi

Ikhtisar

Manajemen rilis mencakup proses penerapan perubahan layanan—seperti image baru, parameter, model, dan lainnya—ke lingkungan produksi. Fitur ini mencakup tiga kemampuan:

• Publish changes to production: Kendalikan kecepatan pembaruan dengan strategi rilis (rolling, batched, atau paused) untuk menghindari gangguan permintaan. Secara default, pembaruan rolling secara bertahap mengganti replika sambil melakukan graceful shutdown untuk menyelesaikan permintaan yang sedang berjalan. Untuk layanan dengan puluhan hingga ratusan replika yang memerlukan penerapan bertahap dengan checkpoint, gunakan update plan untuk kontrol lebih detail.

• Validate on production traffic: Tetapkan layanan produksi dan layanan canary ke dalam service group yang sama, bagi traffic riil di antara keduanya berdasarkan rasio, lalu alihkan seluruh traffic ke canary secara bertahap setelah terbukti sehat.

• View history and roll back: Setiap pembaruan membuat snapshot versi. Anda dapat melihat riwayat penerapan, membandingkan versi, dan melakukan rollback ke versi sebelumnya jika terjadi masalah.

Publish changes to production

Pilih strategi rilis berdasarkan tingkat risiko perubahan:

• Rolling update (default): Mekanisme dasar untuk semua pembaruan. Sistem secara bertahap membuat replika baru dan menggantikan yang lama berdasarkan max_surge (jumlah replika tambahan yang diizinkan melebihi jumlah yang diinginkan) dan max_unavailable (jumlah maksimum replika yang tidak tersedia). Replika lama melakukan graceful shutdown setelah menyelesaikan permintaan yang sedang berjalan. Ini merupakan perilaku default untuk restart layanan dan pembaruan parameter. Untuk detail selengkapnya, lihat Rolling updates and graceful shutdown.

• Update plan: Menambahkan kemampuan batching dan pause di atas rolling update. Gunakan update plan ketika layanan memiliki puluhan hingga ratusan replika dan Anda perlu menerapkan perubahan secara bertahap sambil memverifikasi metrik bisnis antar batch. Mode batching manual maupun otomatis didukung, dan Anda dapat menjeda, menyesuaikan, atau melakukan rollback kapan saja. Untuk detail selengkapnya, lihat Update plan.

Validate on production traffic

Rilis canary bekerja melalui service groups: layanan produksi dan layanan canary berbagi satu titik akhir akses yang mendistribusikan traffic berdasarkan jumlah replika atau bobot kustom. Arahkan sebagian kecil traffic ke canary terlebih dahulu, verifikasi bahwa layanan tersebut sehat, lalu tingkatkan rasionya secara bertahap hingga canary menangani seluruh traffic. Untuk detail selengkapnya, lihat Service groups.

View history and roll back

Pada daftar layanan inferensi, temukan layanan target dan klik versi saat ini di kolom Version untuk membuka daftar versi. Daftar versi mendukung:

• View deployment configuration: Lihat parameter penerapan suatu versi, termasuk image, spesifikasi resource, variabel lingkungan, dan perintah startup.

• View the creator: Identifikasi siapa yang melakukan setiap perubahan untuk keperluan audit.

• Compare versions: Pilih dua versi dan bandingkan konfigurasi penerapannya untuk mengidentifikasi perubahan yang terjadi. Hal ini membantu menilai dampak sebelum rollback atau menangani masalah setelah pembaruan.

• Roll back to this version: Kembalikan layanan ke konfigurasi penerapan versi yang dipilih. Tombol ini dinonaktifkan (berwarna abu-abu) untuk versi saat ini.

Ada dua hal yang perlu diperhatikan terkait rollback:

• Cross-version compatibility: Rollback memerlukan ketersediaan image, file model, variabel lingkungan, dan resource lain dari versi target. Jika image telah dihapus atau dependensi eksternal telah berubah, rollback dapat gagal atau menyebabkan gangguan layanan.

• Choosing between two rollback methods:

  • Jika pembaruan telah sepenuhnya selesai dan Anda perlu beralih kembali ke versi lama, gunakan rollback melalui daftar versi. Metode ini mengikuti strategi rolling update dan tidak dipengaruhi oleh update plan.

  • Jika pembaruan masih berlangsung (sebagian replika telah beralih tetapi belum semuanya) dan layanan memiliki update plan yang aktif, gunakan rollback melalui update plan (batching manual dengan jumlah replika target diatur ke 0). Replika yang telah diperbarui akan dikembalikan secara bertahap, sehingga prosesnya lebih cepat.