Platform For AI：Penyesuaian Skala Horizontal Otomatis

Deskripsi parameter

• Konfigurasi dasar

  Parameter	Deskripsi	Rekomendasi dan peringatan risiko
  Minimum Replicas	Jumlah minimum replika yang dapat dituju oleh layanan saat melakukan scale-in. Nilai minimum adalah 0.	Rekomendasi lingkungan produksi: Untuk layanan yang memerlukan ketersediaan berkelanjutan, sangat disarankan untuk mengatur nilai ini ke 1 atau lebih tinggi. Penting Mengatur nilai ini ke 0 akan menghapus semua replika layanan saat tidak ada traffic. Permintaan baru kemudian akan mengalami delay cold start penuh, yang bisa berkisar antara puluhan detik hingga beberapa menit. Selama periode tersebut, layanan tidak tersedia. Selain itu, layanan yang menggunakan dedicated gateway tidak mendukung pengaturan nilai ini ke 0.
  Maximum Replicas	Jumlah maksimum replika yang dapat dituju oleh layanan saat melakukan scale-out. Nilai maksimum adalah 1000.	Atur nilai ini berdasarkan perkiraan traffic puncak dan kuota resource akun Anda untuk mencegah lonjakan traffic tak terduga menyebabkan kelebihan biaya anggaran.
  General Scaling Metrics	Metrik performa bawaan yang digunakan untuk memicu penskalaan.	QPS Threshold of Individual Instance: Nilai ini ditentukan melalui uji stres dan biasanya diatur pada 70%–80% dari performa optimal satu replika. Penting Untuk mengatur ambang batas QPS per replika ke nilai desimal, gunakan client (eascmd) dan atur bidang qps1k. CPU Utilization Threshold: Ambang batas yang terlalu rendah dapat memboroskan resource, sedangkan ambang batas yang terlalu tinggi dapat meningkatkan latensi permintaan. Atur nilai ini berdasarkan metrik waktu respons (RT). GPU utilization threshold: Atur ambang batas berdasarkan metrik waktu respons (RT). Asynchronous Queue Length: Parameter ini hanya berlaku untuk asynchronous services. Anda dapat mengatur parameter ini berdasarkan waktu pemrosesan tugas rata-rata dan latensi yang dapat diterima. Untuk informasi selengkapnya, lihat Configure horizontal auto scaling for asynchronous inference services.
  Custom Scaling Metric	Anda dapat melaporkan metrik kustom dan menggunakannya untuk penskalaan otomatis. Untuk informasi selengkapnya, lihat Custom monitoring and scaling metrics.	Cocok untuk skenario kompleks di mana metrik bawaan tidak memenuhi kebutuhan bisnis.

• Konfigurasi lanjutan

  Parameter	Deskripsi	Rekomendasi dan peringatan risiko
  Scale-out Starts in	Jendela pengamatan untuk keputusan scale-out. Setelah scale-out dipicu, sistem mengamati metrik selama periode ini. Jika nilai metrik turun kembali di bawah ambang batas, scale-out dibatalkan. Satuan dalam detik.	Nilai default adalah 0 detik, artinya scale-out terjadi segera. Anda dapat menaikkan nilai ini, misalnya menjadi 60 detik, untuk mencegah penskalaan tidak perlu akibat gangguan traffic sementara.
  Scale-in Starts in	Jendela pengamatan untuk keputusan scale-in. Ini merupakan parameter kunci untuk mencegah jitter layanan. Scale-in hanya terjadi setelah metrik tetap berada di bawah ambang batas selama durasi penuh periode ini. Satuan dalam detik.	Nilai default adalah 300 detik. Nilai ini merupakan perlindungan utama terhadap peristiwa scale-in berulang akibat fluktuasi traffic. Jangan atur nilai ini terlalu rendah karena dapat memengaruhi stabilitas layanan.
  Scale-in to 0 Instance Starts in	Saat Minimum Replicas diatur ke 0, parameter ini menentukan penundaan setelah kondisi scale-in terpenuhi sebelum jumlah replika dikurangi menjadi 0.	Menunda shutdown total layanan. Ini memberikan buffer untuk potensi pemulihan traffic.
  Scale-from-Zero Replica Count	Jumlah replika yang ditambahkan sekaligus saat layanan melakukan scale-out dari 0 replika selama cold start.	Atur ke nilai yang masuk akal untuk menangani lonjakan traffic awal. Hal ini mengurangi ketidaktersediaan layanan selama cold start.

Contoh konfigurasi

Contoh file scaler.json berikut mencakup item konfigurasi umum:

{
    "min": 1,
    "max": 2,
    "behavior": {
        "onZero": {
            "interceptTraffic": false,
            "scaleDownGracePeriodSeconds": 700,
            "scaleUpActivationReplicas": 2
        },
        "scaleDown": {
            "stabilizationWindowSeconds": 20
        },
        "scaleUp": {
            "stabilizationWindowSeconds": 10
        }
    },
    "scaleStrategies": [
        {
            "metricName": "queue[backlog]",
            "threshold": 10
        },
        {
            "metricName": "qps",
            "threshold": 1
        },
        {
            "metricName": "cpu",
            "threshold": 80
        },
        {
            "metricName": "gpu[util]",
            "threshold": 60
        }
    ]
}

Deskripsi parameter