Platform For AI:Mengelola rilis, penerapan canary, dan rollback versi

Ikhtisar

Manajemen rilis mencakup seluruh proses peluncuran perubahan layanan—seperti image baru, parameter, model, dan lainnya—ke lingkungan produksi. Proses ini terdiri atas tiga kemampuan utama:

• Publish changes to production: Kendalikan kecepatan pembaruan dengan strategi rilis (rolling, batched, atau paused) untuk menghindari gangguan permintaan. Secara default, pembaruan rolling secara bertahap mengganti replika, sementara graceful shutdown menyelesaikan permintaan yang sedang berjalan. Untuk layanan dengan puluhan atau ratusan replika yang memerlukan peluncuran bertahap dengan checkpoint, gunakan update plan untuk kontrol yang lebih detail.

• Validate on production traffic: Gunakan rilis canary untuk mengelompokkan layanan produksi dan layanan canary dalam satu kelompok, membagi traffic nyata di antara keduanya berdasarkan rasio, lalu alihkan seluruh traffic ke canary secara bertahap setelah memastikan kondisinya sehat.

• View history and roll back: Setiap pembaruan membuat snapshot versi. Lihat riwayat penerapan, bandingkan perbedaan antarversi, dan lakukan rollback ke versi tertentu jika muncul masalah.

Publish changes to production

Pilih strategi rilis berdasarkan tingkat risiko perubahan:

• Rolling update (default): Mekanisme dasar untuk semua pembaruan. Sistem secara bertahap membuat replika baru dan menggantikan yang lama berdasarkan max_surge (jumlah replika tambahan yang diizinkan melebihi jumlah yang diinginkan) dan max_unavailable (jumlah maksimum replika yang tidak tersedia). Replika lama melakukan graceful shutdown setelah menyelesaikan permintaan yang sedang berjalan. Ini merupakan perilaku default untuk restart layanan dan pembaruan parameter. Untuk detail selengkapnya, lihat Rolling updates and graceful shutdown.

• Update plan: Menambahkan kemampuan batching dan pause di atas rolling update. Gunakan update plan ketika layanan memiliki puluhan atau ratusan replika dan Anda perlu melanjutkan secara bertahap sambil memverifikasi metrik bisnis antarbatch. Mode batching manual maupun otomatis didukung, dan Anda dapat menjeda, menyesuaikan, atau melakukan rollback kapan saja. Untuk detail selengkapnya, lihat Update plan.

Validate on production traffic

Rilis canary bekerja melalui service groups: layanan produksi dan layanan canary ditempatkan dalam kelompok yang sama, yang menyediakan satu titik akhir akses dan mendistribusikan traffic berdasarkan jumlah replika atau bobot kustom. Arahkan sebagian kecil traffic ke layanan canary terlebih dahulu, verifikasi kondisinya sehat, lalu tingkatkan rasionya secara bertahap hingga canary menangani seluruh traffic. Untuk detail selengkapnya, lihat Canary release.

View history and roll back

Pada daftar layanan inferensi, temukan layanan target dan klik versi saat ini di kolom Version untuk membuka daftar versi. Daftar versi mendukung:

• View deployment configuration: Lihat seluruh parameter penerapan untuk suatu versi, termasuk image, spesifikasi resource, variabel lingkungan, dan perintah startup.

• View the creator: Identifikasi siapa yang melakukan perubahan atau simpan jejak audit.

• Compare versions: Pilih dua versi dan bandingkan konfigurasi penerapannya untuk mengidentifikasi perubahan yang terjadi. Hal ini membantu menilai dampak sebelum rollback atau memecahkan masalah setelah pembaruan.

• Roll back to this version: Kembalikan layanan ke konfigurasi penerapan versi yang dipilih. Tombol ini dinonaktifkan (abu-abu) untuk versi saat ini.

Dua hal yang perlu diperhatikan terkait rollback:

• Cross-version compatibility: Keberhasilan rollback bergantung pada ketersediaan image versi target, file model, variabel lingkungan, dan resource lainnya. Jika image telah dihapus atau dependensi eksternal telah berubah, rollback dapat gagal atau menyebabkan gangguan layanan.

• Choosing between two rollback methods:

  • Jika pembaruan telah sepenuhnya selesai dan Anda perlu beralih kembali ke versi lama, gunakan rollback melalui daftar versi. Metode ini mengikuti strategi rolling update dan tidak dipengaruhi oleh update plan.

  • Jika pembaruan masih berlangsung (sebagian replika telah beralih tetapi belum semuanya) dan layanan memiliki update plan yang aktif, gunakan rollback melalui update plan (batching manual dengan jumlah replika target diatur ke 0). Replika yang telah diperbarui akan dikembalikan secara bertahap, sehingga prosesnya lebih cepat.