Platform For AI：Pembaruan bergulir dan keluar dengan anggun

Pembaruan bergulir

Selama pembaruan, sistem membuat instans baru dan secara bertahap menggantikan yang lama berdasarkan parameter konfigurasi. Jika instans baru gagal memulai, pembaruan dibatalkan. Instans yang gagal tidak menerima lalu lintas, dan instans lama yang tersisa terus menyediakan layanan. Layanan Anda tetap tidak terpengaruh. Anda dapat memilih rollback atau memulai ulang pembaruan. Pembaruan baru pertama-tama menghapus instans yang gagal dari pembaruan sebelumnya yang belum selesai.

Perilaku pembaruan bergulir dikendalikan oleh dua parameter kunci berikut:

• Max Surge Instances (Parameter JSON: rolling_strategy.max_surge)

  • Deskripsi: Jumlah maksimum instans tambahan yang dapat dibuat selama pembaruan. Nilai ini bisa berupa bilangan bulat positif atau persentase. Nilai yang lebih besar menghasilkan pembaruan yang lebih cepat.

  • Contoh: Jika Anda memiliki 100 instans dan menetapkan parameter ini ke 20, sistem akan membuat 20 instans baru saat pembaruan dimulai.

  • Nilai default: 2% dari jumlah total instans. Jika hasilnya kurang dari 1, nilainya diatur menjadi 1.

  Penting

  Jika nilai Max Surge Instances terlalu besar, banyak instans baru akan dibuat sekaligus, menggantikan jumlah instans lama yang sama. Jika instans baru tidak dipra-ambil, peningkatan mendadak dalam lalu lintas dapat memengaruhi stabilitas layanan.

• Max Unavailable Instances (Parameter JSON: rolling_strategy.max_unavailable)

  • Deskripsi: Jumlah maksimum instans yang dapat tidak tersedia selama pembaruan. Ini membantu melepaskan sumber daya dan mencegah proses pembaruan terhambat karena sumber daya yang tidak mencukupi.

  • Contoh: Jika Anda menetapkan parameter ini ke N, sistem segera menghentikan N instans lama saat pembaruan dimulai.

  • Nilai default:

    • Kelompok sumber daya khusus: Untuk layanan yang dibuat sebelum 1 September 2025, nilai default adalah 1. Untuk layanan yang dibuat pada atau setelah 1 September 2025, nilai default adalah 0 jika kolam sumber daya elastis diaktifkan, dan 1 jika tidak diaktifkan.

    • Kelompok sumber daya publik: 0.

    • Kuota Layanan Komputasi AI Lingjun: Untuk layanan yang dibuat sebelum 1 September 2025, nilai default adalah 0. Untuk layanan yang dibuat pada atau setelah 1 September 2025, nilai default adalah 2% dari jumlah total instans. Jika hasilnya kurang dari 1, nilainya diatur menjadi 1.

  Penting

  • Untuk layanan single-instans, jika Anda menetapkan Max Unavailable Instances ke 1, instans lama keluar sebelum yang baru mulai selama pembaruan bergulir. Layanan tersebut tidak akan memiliki instans aktif dan akan sementara tidak tersedia.

  • Jika nilai Max Unavailable Instances terlalu besar, terlalu banyak instans mungkin offline pada saat yang sama. Instans yang tersisa mungkin tidak dapat menangani lalu lintas, yang memengaruhi ketersediaan layanan.

Keluar dengan anggun

Parameter keluar dengan anggun memengaruhi stabilitas penghentian instans selama pembaruan bergulir.

• Graceful Exit Time (Parameter JSON: eas.termination_grace_period)

  • Deskripsi: Waktu, dalam detik, yang ditunggu sistem agar instans keluar dengan anggun. Setelah instans memasuki status Terminating, lalu lintas tidak lagi diarahkan kepadanya. Sistem menunggu periode yang ditentukan untuk memungkinkan instans menyelesaikan permintaan yang sedang berlangsung sebelum offline. Jika waktu pemrosesan permintaan panjang, Anda harus meningkatkan nilai ini.

  • Nilai default: 30.

• Send SIGTERM (Parameter JSON: rpc.enable_sigterm)

  • Deskripsi: SIGTERM adalah sinyal untuk mengakhiri proses. Nilai parameter JSON dapat berupa true atau false.

    • false: Sistem tidak mengirim sinyal SIGTERM saat instans keluar.

    • true: Sistem segera mengirim sinyal SIGTERM saat instans keluar. Proses utama layanan harus mengimplementasikan logika keluar anggun kustom di penangan sinyal. Jika tidak, proses mungkin langsung berhenti, yang menyebabkan prosedur keluar anggun gagal.

  • Nilai default: Tidak mengirim (false).

Secara default, sistem tidak mengirim sinyal SIGTERM. Hal ini karena kontainer aplikasi tidak memblokir sinyal SIGTERM secara default. Jika kontainer aplikasi menerima sinyal SIGTERM, proses aplikasi langsung keluar. Ini menyebabkan prosedur keluar anggun gagal dan dapat mengganggu layanan.

Untuk layanan dengan variasi besar dalam waktu pemrosesan permintaan, aktifkan SIGTERM. Sebagai contoh, jika waktu pemrosesan permintaan berkisar dari beberapa detik hingga 30 menit, menetapkan waktu keluar anggun tetap selama 30 menit memperlambat pembaruan layanan. Dalam hal ini, Anda harus mengonfigurasi kontainer aplikasi untuk keluar hanya setelah menerima sinyal SIGTERM dan menyelesaikan semua permintaan yang sedang berlangsung. Ini memberikan kontrol yang lebih fleksibel atas proses keluar.

Anda tidak perlu mengaktifkan SIGTERM untuk layanan inferensi asinkron. Saat instans keluar, lapisan kontrol EAS secara otomatis merespons sinyal SIGTERM. Ia berhenti menerima permintaan baru dan menunggu permintaan yang sedang berlangsung diproses sebelum instans keluar.