Platform For AI:Penerapan layanan inferensi asinkron

Akses layanan inferensi asinkron

Sistem membuat kelompok layanan dengan nama yang sama. Karena layanan sub-antrian menangani trafik masuk, akses langsung melalui titik akhir berikut. Akses layanan antrian.

Kelola layanan inferensi asinkron

Kelola layanan inferensi asinkron seperti layanan biasa. Sistem mengelola layanan sub secara otomatis: menghapus layanan akan menghapus kedua layanan sub, sedangkan memperbarui layanan sub-inferensi tidak mengubah layanan sub-antrian.

Meskipun hanya mengonfigurasi satu replika, daftar instans menampilkan satu instans layanan sub-antrian tambahan.

Jumlah replika mengacu pada replika layanan sub-inferensi. Replika layanan sub-antrian diskalakan secara otomatis. Sebagai contoh, menaikkan replika inferensi menjadi 3 akan meningkatkan replika antrian menjadi 2.

Aturan penskalaan replika:

• Ketika layanan dihentikan, kedua layanan sub diskalakan ke 0 replika.

• Dengan satu replika inferensi, layanan sub-antrian juga memiliki satu replika (kecuali dikonfigurasi lain).

• Dengan dua atau lebih replika inferensi, layanan sub-antrian mempertahankan dua replika (kecuali dikonfigurasi lain).

• Jika Penyesuaian Skala Otomatis mengizinkan minimum 0 replika, layanan sub-antrian mempertahankan satu replika siaga ketika replika inferensi diskalakan ke 0.

Parameter layanan sub-antrian

Layanan sub-antrian berfungsi dengan konfigurasi default pada sebagian besar kasus. Sesuaikan dalam field tingkat atas queue pada file JSON:

{  
  "queue": {
     "sink": {
        "memory_ratio": 0.3
     },
     "source": {
        "auto_evict": true,
     }
 }

Bagian berikut menjelaskan opsi konfigurasi.

Sumber daya layanan sub-antrian

Secara default, sumber daya layanan sub-antrian diwariskan dari metadata. Konfigurasikan secara terpisah jika diperlukan.

• Deklarasikan kelompok sumber daya untuk layanan sub-antrian menggunakan queue.resource.

  {
    "queue": {
      "resource": "eas-r-slzkbq4tw0p6xd****"  // Secara default, menggunakan kelompok sumber daya layanan sub-inferensi.
    }
  }

  • Default-nya adalah kelompok sumber daya layanan sub-inferensi.

  • Untuk menerapkan layanan sub-antrian di kelompok sumber daya publik, atur resource ke string kosong (""). Ini berguna ketika kelompok sumber daya khusus Anda kekurangan CPU atau memori.

    Catatan

    Terapkan layanan sub-antrian di kelompok sumber daya publik bila memungkinkan.

• Deklarasikan CPU (dalam core) dan memori (dalam MB) untuk setiap replika layanan sub-antrian menggunakan queue.cpu dan queue.memory.

  {
    "queue": {
       "cpu": 2,  // Default: 1.
       "memory": 8000  // Default: 4000.
    }
  }

  Konfigurasi default (1 core CPU, memori 4 GB) cukup untuk sebagian besar skenario.

  Penting

  • Untuk lebih dari 200 subscriber (replika layanan sub-inferensi), konfigurasikan 2 core CPU atau lebih.

  • Jangan kurangi memori layanan sub-antrian di lingkungan produksi.

• Konfigurasikan jumlah minimum replika untuk layanan sub-antrian menggunakan queue.min_replica.

  {
    "queue": {
       "min_replica": 3  // Default: 1.
    }
  }

  Replika layanan sub-antrian diskalakan secara otomatis sesuai dengan replika inferensi yang berjalan. Rentang default adalah [1, min{2, jumlah replika layanan sub-inferensi}]. Jika Penyesuaian Skala Otomatis mengizinkan penskalaan ke 0, satu replika antrian tetap dipertahankan. Gunakan queue.min_replica untuk menyesuaikan nilai minimum ini.

  Catatan

  Lebih banyak replika antrian meningkatkan ketersediaan, bukan performa.

Fitur layanan sub-antrian

Layanan sub-antrian mendukung konfigurasi fitur berikut.

• Konfigurasikan penghapusan data otomatis untuk antrian sink dan antrian input menggunakan queue.sink.auto_evict atau queue.source.auto_evict, masing-masing.

  {
    "queue": {
       "sink": {
          "auto_evict": true  // Mengaktifkan penghapusan otomatis untuk antrian sink. Default: false.
        },
        "source": {
           "auto_evict": true  // Mengaktifkan penghapusan otomatis untuk antrian input. Default: false.
        }
    }
  }

  Penghapusan otomatis dinonaktifkan secara default—ketika antrian penuh, data baru ditolak. Aktifkan penghapusan untuk menghapus data terlama dan memberi ruang bagi entri baru.

• Konfigurasikan jumlah maksimum upaya pengiriman menggunakan queue.max_delivery.

  {
     "queue": {
        "max_delivery": 10  // Jumlah maksimum upaya pengiriman adalah 10. Default: 5. Jika diatur ke 0, fitur ini dinonaktifkan, dan data dapat dikirimkan tanpa batas.
     }
  }

  Ketika upaya pengiriman melebihi ambang batas, pesan ditandai sebagai dead letter. Kebijakan dead-letter.

• Konfigurasikan waktu pemrosesan maksimum untuk sebuah pesan menggunakan queue.max_idle.

  {
      "queue": {
        "max_idle": "1m"  // Mengonfigurasi waktu pemrosesan maksimum untuk satu pesan menjadi 1 menit. Jika waktu ini terlampaui, pesan dikirimkan ke subscriber lain, dan hitungan pengiriman dinaikkan. Nilai default adalah 0, yang berarti tidak ada batas waktu pemrosesan maksimum.
      }
  }

  Unit waktu yang didukung: h (jam), m (menit), dan s (detik). Jika pemrosesan melebihi durasi yang dikonfigurasi:

  • Jika ambang batas queue.max_delivery belum terlampaui, pesan dikirim ulang ke subscriber lain.

  • Jika ambang batas queue.max_delivery terlampaui, kebijakan dead-letter diterapkan.

• Konfigurasikan kebijakan dead-letter menggunakan queue.dead_message_policy.

  {
      "queue": {
        "dead_message_policy":  "Rear"  // Nilainya bisa Rear (default) atau Drop. Rear memindahkan pesan ke akhir antrian. Drop menghapus pesan. 																 
      }
  }

Panjang antrian atau ukuran muatan maksimum

Memori replika antrian bersifat tetap: meningkatkan ukuran muatan maksimum per pesan akan mengurangi panjang antrian maksimum.

• Konfigurasikan panjang maksimum antrian sink dan antrian input menggunakan queue.sink.max_length atau queue.source.max_length, masing-masing.

  {
      "queue": {
         "sink": {
            "max_length": 8000  // Mengonfigurasi panjang maksimum antrian sink menjadi 8.000 pesan.
         },
         "source": {
            "max_length": 2000  // Mengonfigurasi panjang maksimum antrian input menjadi 2.000 pesan.
         }
      }
  }

• Konfigurasikan ukuran muatan maksimum per pesan untuk antrian sink dan antrian input menggunakan queue.sink.max_payload_size_kb atau queue.source.max_payload_size_kb, masing-masing.

  {
      "queue": {
         "sink": {
            "max_payload_size_kb": 10  // Mengonfigurasi ukuran muatan maksimum per pesan untuk antrian sink menjadi 10 KB. Default: 8 KB.
         },
         "source": {
            "max_payload_size_kb": 1024  // Mengonfigurasi ukuran muatan maksimum per pesan untuk antrian input menjadi 1024 KB (1 MB). Default: 8 KB.
         }
      }
  }

Rasio alokasi memori

• Sesuaikan alokasi memori antara antrian input dan antrian sink menggunakan queue.sink.memory_ratio.

  {
      "queue": {
         "sink": {
            "memory_ratio": 0.9  // Mengonfigurasi rasio memori untuk antrian sink. Default: 0.5.
         }
      }
  }

  Catatan

  Secara default, antrian input dan antrian sink berbagi memori secara merata. Tingkatkan queue.sink.memory_ratio jika antrian sink membutuhkan lebih banyak ruang (misalnya, input teks dan output gambar), atau turunkan untuk kondisi sebaliknya.

Penyesuaian skala horizontal otomatis