Platform For AI：Menyebarkan layanan inferensi asinkron

Mengakses layanan inferensi asinkron

Seperti dijelaskan sebelumnya, kelompok layanan dengan nama yang sama dengan layanan inferensi asinkron Anda dibuat secara default. Karena sub-layanan antrian dalam kelompok ini berfungsi sebagai ingress traffic, akses sub-layanan antrian secara langsung menggunakan path berikut. Untuk informasi lebih lanjut, lihat Akses layanan antrian.

Kelola layanan inferensi asinkron

Anda dapat mengelola layanan inferensi asinkron seperti layanan biasa. Sub-layanan-nya dikelola secara otomatis oleh sistem. Misalnya, saat Anda menghapus layanan inferensi asinkron, baik sub-layanan antrian maupun sub-layanan inferensi dihapus. Saat Anda memperbarui sub-layanan inferensi, sub-layanan antrian tetap tidak berubah untuk memastikan ketersediaan maksimum.

Karena arsitektur sub-layanan, bahkan jika Anda mengonfigurasi satu instans untuk layanan inferensi asinkron Anda, daftar instans menampilkan satu instans tambahan untuk sub-layanan antrian.

Jumlah instans untuk layanan inferensi asinkron mengacu pada jumlah instans sub-layanan inferensi. Jumlah instans sub-layanan antrian menyesuaikan secara otomatis berdasarkan jumlah instans sub-layanan inferensi. Misalnya, saat Anda memperluas kapasitas sub-layanan inferensi menjadi tiga instans, sub-layanan antrian memperluas kapasitas menjadi dua instans.

Rasio instans antara kedua sub-layanan mengikuti aturan berikut:

• Saat layanan inferensi asinkron dihentikan, jumlah instans untuk sub-layanan antrian dan sub-layanan inferensi diskalakan turun ke 0. Daftar instans kosong.

• Saat sub-layanan inferensi memiliki 1 instans, sub-layanan antrian juga memiliki 1 instans, kecuali Anda menyesuaikan parameter sub-layanan antrian.

• Saat jumlah instans sub-layanan inferensi melebihi 2, jumlah instans sub-layanan antrian tetap pada 2, kecuali Anda menyesuaikan parameternya.

• Jika Anda mengonfigurasi Penyesuaian Skala Otomatis untuk layanan inferensi asinkron dengan jumlah instans minimum 0, satu instans sub-layanan antrian tetap aktif bahkan saat sub-layanan inferensi diskalakan turun ke 0.

Parameter dan deskripsi sub-layanan antrian

Dalam kebanyakan kasus, konfigurasi default untuk sub-layanan antrian sudah cukup. Jika Anda memiliki persyaratan khusus, Anda dapat mengonfigurasi instans antrian melalui blok queue di tingkat atas file JSON Anda. Kode berikut memberikan contoh:

{  
  "queue": {
     "sink": {
        "memory_ratio": 0.3
     },
     "source": {
        "auto_evict": true,
     }
 }

Bagian berikut menjelaskan opsi konfigurasi secara detail.

Konfigurasikan resource sub-layanan antrian

Secara default, resource untuk sub-layanan antrian dikonfigurasi berdasarkan bidang dalam bagian metadata. Namun, dalam beberapa kasus penggunaan, Anda mungkin perlu mengonfigurasi resource-nya secara terpisah seperti dijelaskan dalam bagian ini.

• Gunakan queue.resource untuk menentukan kelompok resource untuk sub-layanan antrian.

  {
    "queue": {
      "resource": eas-r-slzkbq4tw0p6xd****  # Secara default, kelompok resource sub-layanan inferensi digunakan.
    }
  }

  • Sub-layanan antrian menggunakan kelompok resource yang sama dengan sub-layanan inferensi secara default.

  • Jika Anda ingin menerapkan sub-layanan antrian ke kelompok resource publik, Anda dapat mendeklarasikan resource sebagai string kosong (""). Hal ini berguna ketika kelompok resource khusus Anda memiliki CPU atau memori yang tidak mencukupi.

    Catatan

    Terapkan sub-layanan antrian ke kelompok resource publik.

• Gunakan queue.cpu dan queue.memory untuk menentukan CPU (dalam core) dan memori (dalam MB) untuk setiap instans sub-layanan antrian.

  {
    "queue": {
       "cpu": 2,  # Nilai default: 1.
       "memory": 8000  # Nilai default: 4000.
    }
  }

  Jika Anda tidak mengonfigurasi resource ini, sub-layanan antrian secara default menggunakan 1 core CPU dan memori 4 GB, yang cukup untuk sebagian besar skenario.

  Penting

  • Jika Anda memiliki lebih dari 200 subscriber, seperti instans sub-layanan inferensi, konfigurasikan 2 core CPU atau lebih.

  • Jangan mengurangi alokasi memori untuk sub-layanan antrian di lingkungan produksi.

• Gunakan queue.min_replica untuk mengonfigurasi jumlah minimum instans sub-layanan antrian.

  {
    "queue": {
       "min_replica": 3  # Nilai default: 1.
    }
  }

  Saat Anda menggunakan layanan inferensi asinkron, jumlah instans sub-layanan antrian secara otomatis menyesuaikan berdasarkan jumlah runtime instans sub-layanan inferensi. Rentang penyesuaian default adalah [1, min(2, jumlah instans Sub-layanan Inferensi)]. Dalam kasus khusus di mana Anda mengonfigurasi aturan penskalaan otomatis yang memungkinkan penskalaan turun ke 0 instans, satu instans sub-layanan antrian secara otomatis dipertahankan. Anda dapat menggunakan queue.min_replica untuk menyesuaikan jumlah minimum instans yang dipertahankan ini.

  Catatan

  Menambah jumlah instans sub-layanan antrian meningkatkan ketersediaan tetapi tidak meningkatkan performa.

Konfigurasikan fitur sub-layanan antrian

Sub-layanan antrian memiliki beberapa fitur yang dapat dikonfigurasi.

• Gunakan queue.sink.auto_evict atau queue.source.auto_evict untuk mengaktifkan eviksi data otomatis untuk antrian sink dan antrian input, masing-masing.

  {
    "queue": {
       "sink": {
          "auto_evict": true  # Aktifkan eviksi otomatis untuk antrian output. Nilai default: false.
        },
        "source": {
           "auto_evict": true  # Aktifkan eviksi otomatis untuk antrian input. Nilai default: false.
        }
    }
  }

  Secara default, eviksi data otomatis dinonaktifkan. Jika antrian penuh, Anda tidak dapat menulis data baru ke dalamnya. Dalam skenario di mana overflow data dapat diterima, aktifkan fitur ini. Antrian secara otomatis menghapus data tertua untuk memberi ruang bagi data baru.

• Gunakan queue.max_delivery untuk mengonfigurasi jumlah maksimum upaya pengiriman.

  {
     "queue": {
        "max_delivery": 10  # Atur jumlah maksimum pengiriman data menjadi 10. Nilai default: 5. Jika Anda mengatur nilainya ke 0, data dapat dikirim tanpa batas jumlah kali.
     }
  }

  Saat jumlah upaya pengiriman untuk satu pesan melebihi ambang batas ini, pesan tersebut dianggap tidak dapat diproses dan ditandai sebagai pesan dead-letter. Untuk informasi lebih lanjut, lihat kebijakan dead-letter.

• Gunakan queue.max_idle untuk mengonfigurasi waktu pemrosesan maksimum untuk sebuah pesan.

  {
      "queue": {
        "max_idle": "1m"  # Atur waktu pemrosesan maksimum untuk satu entri data menjadi 1 menit. Jika waktu pemrosesan melebihi batas ini, entri data dikirim ke subscriber lain dan jumlah pengiriman ditambah 1. Nilai default adalah 0, yang berarti tidak ada batas waktu pemrosesan maksimum.
      }
  }

  Nilai waktu dalam contoh adalah 1 menit. Beberapa satuan waktu didukung, seperti h (jam), m (menit), dan s (detik). Jika waktu pemrosesan pesan melebihi durasi yang dikonfigurasi, salah satu dari dua hal berikut terjadi:

  • Jika jumlah pengiriman belum mencapai ambang batas queue.max_delivery, pesan tersebut dikirim ulang ke subscriber lain.

  • Jika ambang batas queue.max_delivery telah tercapai, kebijakan dead-letter dieksekusi untuk pesan tersebut.

• Gunakan queue.dead_message_policy untuk mengonfigurasi kebijakan dead-letter.

  {
      "queue": {
        "dead_message_policy":  "Rear"  # Nilai yang valid adalah Rear (default) dan Drop. Rear memindahkan pesan ke akhir antrian, dan Drop menghapus pesan. 																 
      }
  }

Konfigurasikan panjang antrian maksimum atau volume data maksimum

Panjang maksimum dan ukuran muatan maksimum sub-layanan antrian saling berbanding terbalik. Hubungan ini dihitung sebagai berikut:

Memori instans sub-layanan antrian bersifat tetap. Oleh karena itu, meningkatkan ukuran muatan maksimum per pesan akan mengurangi panjang maksimum antrian.

• Gunakan queue.sink.max_length atau queue.source.max_length untuk mengonfigurasi panjang maksimum antrian sink atau antrian input, masing-masing.

  {
      "queue": {
         "sink": {
            "max_length": 8000  # Atur panjang maksimum antrian output menjadi 8000 entri.
         },
         "source": {
            "max_length": 2000  # Atur panjang maksimum antrian input menjadi 2000 entri.
         }
      }
  }

• Gunakan queue.sink.max_payload_size_kb atau queue.source.max_payload_size_kb untuk mengonfigurasi ukuran muatan maksimum untuk satu pesan di antrian sink atau antrian input, masing-masing.

  {
      "queue": {
         "sink": {
            "max_payload_size_kb": 10  # Atur ukuran maksimum satu entri data di antrian output menjadi 10 KB. Nilai default: 8 KB.
         },
         "source": {
            "max_payload_size_kb": 1024  # Atur ukuran maksimum satu entri data di antrian input menjadi 1024 KB (1 MB). Nilai default: 8 KB.
         }
      }
  }

Mengonfigurasi kemiringan alokasi memori

• Gunakan queue.sink.memory_ratio untuk menyesuaikan alokasi memori antara antrian input dan antrian sink.

  {
      "queue": {
         "sink": {
            "memory_ratio": 0.9  # Tentukan rasio memori antrian output. Nilai default: 0.5.
         }
      }
  }

  Catatan

  Secara default, antrian input dan antrian sink membagi memori instans sub-layanan antrian secara merata. Jika layanan Anda menerima teks sebagai input dan menghasilkan citra sebagai output, dan Anda ingin menyimpan lebih banyak data di antrian sink, Anda dapat meningkatkan queue.sink.memory_ratio. Sebaliknya, jika layanan Anda menerima citra sebagai input dan menghasilkan teks sebagai output, Anda dapat mengurangi queue.sink.memory_ratio.

Konfigurasikan Penyesuaian Skala Horizontal Otomatis