Platform For AI:Terapkan layanan dengan konfigurasi JSON

Parameter

Wajib

Deskripsi

rpc

batching

Tidak

Mengaktifkan batching sisi server untuk mempercepat inferensi model GPU. Fitur ini hanya didukung dalam mode prosesor bawaan. Nilai yang valid:

• false (Default): Menonaktifkan batching sisi server.

• true: Mengaktifkan batching sisi server.

keepalive

Tidak

Waktu pemrosesan maksimum untuk satu permintaan, dalam milidetik. Jika waktu pemrosesan melebihi nilai ini, server mengembalikan error 408 Timeout dan menutup koneksi. Nilai default adalah 600000 untuk gateway khusus. Parameter ini tidak didukung untuk gateway khusus berbasis Application Load Balancer (ALB).

io_threads

Tidak

Jumlah thread yang digunakan untuk memproses permintaan I/O jaringan di setiap instans. Nilai default adalah 4.

max_batch_size

Tidak

Ukuran maksimum setiap batch. Nilai default adalah 16. Parameter ini hanya berlaku saat rpc.batching diatur ke true. Fitur ini hanya didukung dalam mode prosesor bawaan.

max_batch_timeout

Tidak

Periode timeout maksimum untuk setiap batch, dalam milidetik. Nilai default adalah 50. Parameter ini hanya berlaku saat rpc.batching diatur ke true. Fitur ini hanya didukung dalam mode prosesor bawaan.

max_queue_size

Tidak

Panjang maksimum antrian untuk layanan inferensi asinkron. Nilai default adalah 64. Jika antrian penuh, server mengembalikan error 450 dan menutup koneksi. Hal ini memungkinkan klien mencoba ulang pada instans lain dan mencegah overload server. Untuk layanan dengan waktu respons (RT) yang panjang, Anda dapat mengurangi panjang antrian untuk mencegah permintaan menumpuk dan menyebabkan timeout.

worker_threads

Tidak

Jumlah thread di setiap instans yang digunakan untuk memproses permintaan secara konkuren. Nilai default adalah 5. Fitur ini hanya didukung dalam mode prosesor bawaan.

rate_limit

Tidak

Mengaktifkan pembatasan laju QPS dan menentukan QPS maksimum yang dapat diproses oleh sebuah instans. Nilai default adalah 0, yang berarti pembatasan laju QPS dinonaktifkan.

Contohnya, jika Anda mengatur parameter ini ke 2000, permintaan akan ditolak dengan error 429 (Too Many Requests) ketika QPS melebihi 2.000.

enable_sigterm

Tidak

Nilai yang valid:

• false (Default): Sistem tidak mengirim sinyal SIGTERM saat instans memasuki status terminating.

• true: Saat instans layanan memasuki status terminating, sistem segera mengirim sinyal SIGTERM ke proses utama. Proses dalam layanan harus menangani sinyal ini untuk melakukan terminasi graceful kustom. Jika sinyal tidak ditangani, proses utama mungkin langsung keluar, sehingga mencegah terminasi graceful.

rolling_strategy

max_surge

Tidak

Jumlah maksimum instans tambahan yang dibuat melebihi jumlah yang diinginkan selama pembaruan bergulir. Nilainya dapat berupa bilangan bulat positif yang menunjukkan jumlah instans, atau persentase, seperti 2%. Nilai default adalah 2%. Nilai yang lebih besar mempercepat pembaruan layanan.

Contohnya, jika jumlah instans layanan adalah 100 dan Anda mengatur parameter ini ke 20, 20 instans baru akan segera dibuat setelah pembaruan layanan dimulai.

max_unavailable

Tidak

Jumlah maksimum instans yang tidak tersedia selama pembaruan bergulir. Parameter ini dapat membebaskan sumber daya untuk instans baru selama pembaruan dan mencegah pembaruan macet karena sumber daya tidak mencukupi. Nilai default adalah 1 untuk kelompok sumber daya khusus dan 0 untuk kelompok sumber daya publik.

Contohnya, jika Anda mengatur parameter ini ke N, N instans akan segera dihentikan setelah pembaruan layanan dimulai.

eas.termination_grace_period

Tidak

Periode terminasi graceful sebuah instans, dalam detik. Nilai default adalah 30.

Layanan EAS menggunakan strategi pembaruan bergulir. Sebuah instans pertama-tama memasuki status Terminating, dan layanan mengalihkan trafik dari instans yang sedang terminating tersebut. Instans kemudian menunggu selama 30 detik untuk memproses permintaan yang diterima sebelum keluar. Jika permintaan memerlukan waktu lama untuk diproses, Anda dapat menambah nilai ini untuk memastikan semua permintaan yang sedang berlangsung selesai selama pembaruan layanan.

scheduling

spread.policy

Tidak

Kebijakan penyebaran untuk menjadwalkan instans layanan. Kebijakan berikut didukung:

• host: Menyebar instans di berbagai node.

• zone: Menyebar instans di berbagai zona ketersediaan.

• default: Menjadwalkan instans berdasarkan kebijakan default menggunakan strategi penempatan default sistem.

Contoh konfigurasi:

{
  "metadata": {
    "scheduling": {
      "spread": {
        "policy": "host"
      }
    }
}

resource_rebalancing

Tidak

Nilai yang valid:

• false (Default): Fitur ini dinonaktifkan.

• true: EAS secara berkala membuat instans probe pada sumber daya prioritas tinggi. Jika instans probe dijadwalkan berhasil, sistem membuat lebih banyak instans probe secara eksponensial hingga penjadwalan gagal. Saat instans probe yang dijadwalkan berhasil menyelesaikan inisialisasi dan siap, instans tersebut menggantikan instans yang berjalan pada sumber daya prioritas lebih rendah.

Fitur ini membantu menyelesaikan masalah berikut:

• Mencegah instans baru sementara dijadwalkan ke kelompok sumber daya publik selama pembaruan bergulir. Hal ini dapat terjadi saat instans yang dihentikan di kelompok sumber daya khusus belum membebaskan sumber dayanya.

• Saat menggunakan instans spot dan reguler, sistem secara berkala memeriksa ketersediaan instans spot dan memigrasikan instans reguler ke instans spot tersebut.

resource_burstable

Tidak

Mengaktifkan fitur kolam sumber daya elastis untuk layanan EAS yang diterapkan di kelompok sumber daya khusus.

• true: Mengaktifkan fitur.

• false: Menonaktifkan fitur.

shm_size

Tidak

Ukuran memori bersama untuk setiap instans, dalam GB. Memori bersama memungkinkan operasi baca dan tulis langsung, sehingga menghilangkan kebutuhan untuk menyalin atau mentransfer data.