Platform For AI:Terapkan layanan inferensi asinkron

Akses layanan inferensi asinkron

Kelompok layanan dengan nama yang sama dengan layanan inferensi asinkron dibuat secara default. Sub-layanan antrian berfungsi sebagai titik masuk trafik. Akses melalui path berikut. Untuk informasi lebih lanjut, lihat Akses layanan antrian.

Kelola layanan inferensi asinkron

Mengelola layanan inferensi asinkron sama seperti mengelola layanan biasa, karena sistem menangani sub-layanan secara otomatis. Misalnya, menghapus layanan inferensi asinkron akan menghapus kedua sub-layanan—baik antrian maupun inferensi. Memperbarui sub-layanan inferensi tidak mengubah sub-layanan antrian untuk memastikan ketersediaan maksimal.

Karena arsitektur sub-layanan, mengonfigurasi satu instans layanan menghasilkan dua instans yang muncul dalam daftar: satu untuk sub-layanan inferensi dan satu untuk sub-layanan antrian.

Jumlah instans untuk layanan inferensi asinkron mengacu pada jumlah instans sub-layanan inferensi. Jumlah instans sub-layanan antrian berubah secara otomatis sesuai dengan jumlah instans sub-layanan inferensi. Misalnya, saat Anda memperluas kapasitas jumlah instans sub-layanan inferensi menjadi 3, jumlah instans sub-layanan antrian juga diperluas menjadi 2.

Aturan berikut mengatur rasio instans antara kedua sub-layanan tersebut:

• Saat layanan inferensi asinkron dihentikan, jumlah instans baik untuk sub-layanan antrian maupun sub-layanan inferensi diskala-masuk menjadi 0. Daftar instans akan kosong.

• Saat jumlah instans sub-layanan inferensi adalah 1, jumlah instans sub-layanan antrian juga 1, kecuali ditentukan lain dalam konfigurasi sub-layanan antrian.

• Jika terdapat lebih dari dua instans inferensi, jumlah instans antrian tetap pada angka dua, kecuali ditentukan lain dalam konfigurasi sub-layanan antrian.

• Jika Anda mengonfigurasi Penyesuaian Skala Otomatis dengan minimum 0 instans, sub-layanan antrian mempertahankan 1 instans siaga bahkan saat sub-layanan inferensi diskala-masuk ke 0.

Parameter sub-layanan antrian

Sub-layanan antrian berfungsi dengan baik menggunakan konfigurasi default pada sebagian besar kasus. Untuk menyesuaikannya, konfigurasikan bidang queue di tingkat atas file JSON. Contoh:

{  
  "queue": {
     "sink": {
        "memory_ratio": 0.3
     },
     "source": {
        "auto_evict": true
     }
 }

Bagian berikut menjelaskan item konfigurasi secara detail.

Konfigurasikan sumber daya sub-layanan antrian

Secara default, sumber daya sub-layanan antrian dikonfigurasi sesuai dengan bidang dalam metadata. Namun, dalam beberapa kasus penggunaan, Anda mungkin perlu mengonfigurasi sumber daya sub-layanan antrian secara terpisah.

• Gunakan queue.resource untuk menentukan kelompok sumber daya bagi sub-layanan antrian.

  {
    "queue": {
      "resource": "eas-r-slzkbq4tw0p6xd****"  # Secara default, mengikuti kelompok sumber daya sub-layanan inferensi.
    }
  }

  • Secara default, sub-layanan antrian menggunakan kelompok sumber daya yang sama dengan sub-layanan inferensi.

  • Untuk menerapkan sub-layanan antrian dalam kelompok sumber daya publik, atur resource ke string kosong (""). Ini berguna ketika kelompok sumber daya khusus Anda memiliki CPU dan memori yang tidak mencukupi.

    Catatan

    Kami merekomendasikan menerapkan sub-layanan antrian dalam kelompok sumber daya publik.

• Gunakan queue.cpu dan queue.memory untuk menentukan CPU (dalam core) dan memori (dalam MB) untuk setiap instans sub-layanan antrian.

  {
    "queue": {
       "cpu": 2,  # Default: 1.
       "memory": 8000  # Default: 4000.
    }
  }

  Jika Anda tidak mengonfigurasi sumber daya, setiap instans sub-layanan antrian menggunakan 1 core CPU dan memori 4 GB secara default. Konfigurasi ini memenuhi kebutuhan sebagian besar skenario.

  Penting

  • Jika Anda memiliki lebih dari 200 subscriber (misalnya, instans sub-layanan inferensi), kami merekomendasikan mengatur jumlah core CPU menjadi 2 atau lebih.

  • Kami tidak merekomendasikan mengurangi konfigurasi memori sub-layanan antrian di lingkungan produksi.

• Gunakan queue.min_replica untuk mengonfigurasi jumlah minimum instans sub-layanan antrian.

  {
    "queue": {
       "min_replica": 3  # Default: 1.
    }
  }

  Saat menggunakan layanan inferensi asinkron, jumlah instans sub-layanan antrian disesuaikan secara otomatis berdasarkan jumlah instans sub-layanan inferensi yang berjalan. Rentang penyesuaian default adalah [1, min(2, jumlah instans sub-layanan inferensi)]. Dalam kasus khusus, jika Anda mengonfigurasi Penyesuaian Skala Otomatis untuk layanan inferensi asinkron dan mengizinkan jumlah instans diskala-masuk ke 0, satu instans sub-layanan antrian akan dipertahankan secara otomatis. Anda juga dapat menggunakan queue.min_replica untuk menyesuaikan jumlah minimum instans sub-layanan antrian yang dipertahankan.

  Catatan

  Menambah jumlah instans sub-layanan antrian meningkatkan ketersediaan tetapi tidak meningkatkan performa.

Konfigurasikan fitur sub-layanan antrian

Sub-layanan antrian memiliki beberapa fitur yang dapat dikonfigurasi.

• Gunakan queue.sink.auto_evict atau queue.source.auto_evict untuk mengaktifkan penghapusan data otomatis untuk antrian sink atau antrian input, masing-masing.

  {
    "queue": {
       "sink": {
          "auto_evict": true  # Aktifkan penghapusan untuk antrian sink. Default: false.
        },
        "source": {
           "auto_evict": true  # Aktifkan penghapusan untuk antrian input. Default: false.
        }
    }
  }

  Secara default, penghapusan data otomatis dinonaktifkan. Jika antrian penuh, Anda tidak dapat menulis data tambahan. Jika Anda mengizinkan overflow data, aktifkan penghapusan otomatis, yang menyebabkan antrian menghapus pesan terlama untuk memberi ruang bagi pesan baru.

• Gunakan queue.max_delivery untuk mengonfigurasi jumlah maksimum upaya pengiriman.

  {
     "queue": {
        "max_delivery": 10  # Maksimum upaya pengiriman: 10. Default: 5. Jika diatur ke 0, maksimum upaya pengiriman dinonaktifkan dan pesan dapat dikirimkan tanpa batas.
     }
  }

  Jika upaya pengiriman suatu pesan melebihi ambang batas ini, pesan tersebut ditandai sebagai dead letter. Untuk informasi lebih lanjut, lihat kebijakan dead-letter.

• Gunakan queue.max_idle untuk mengonfigurasi waktu pemrosesan maksimum untuk suatu pesan.

  {
      "queue": {
        "max_idle": "1m"  # Atur waktu pemrosesan maksimum untuk satu pesan menjadi 1 menit. Jika waktu ini terlampaui, pesan akan dikirimkan ke subscriber lain. Setelah pengiriman, jumlah pengiriman bertambah 1. Nilai default adalah 0, yang berarti tidak ada batas waktu pemrosesan maksimum.
      }
  }

  Durasi waktu yang dikonfigurasi dalam contoh adalah 1 menit. Beberapa satuan waktu didukung, seperti h (jam), m (menit), dan s (detik). Jika waktu pemrosesan satu pesan melebihi durasi yang dikonfigurasi, salah satu hal berikut terjadi:

  • Jika ambang batas yang ditetapkan oleh queue.max_delivery belum terlampaui, pesan dikirimkan ke subscriber lain.

  • Jika ambang batas yang ditetapkan oleh queue.max_delivery telah terlampaui, kebijakan dead-letter diterapkan pada pesan tersebut.

• Gunakan queue.dead_message_policy untuk mengonfigurasi kebijakan dead-letter.

  {
      "queue": {
        "dead_message_policy":  "Rear"  # Nilai yang valid: Rear (default) atau Drop. Rear memindahkan pesan ke akhir antrian. Drop menghapus pesan. 																 
      }
  }

Konfigurasikan batas antrian

Panjang antrian maksimum dan ukuran muatan maksimum saling berbanding terbalik. Mereka mengikuti rumus berikut:

Memori instans sub-layanan antrian bersifat tetap. Oleh karena itu, jika Anda meningkatkan ukuran muatan maksimum per pesan, panjang antrian maksimum berkurang.

• Gunakan queue.sink.max_length atau queue.source.max_length untuk mengonfigurasi panjang maksimum antrian sink atau antrian input, masing-masing.

  {
      "queue": {
         "sink": {
            "max_length": 8000  # Konfigurasikan panjang maksimum antrian sink menjadi 8.000 pesan.
         },
         "source": {
            "max_length": 2000  # Konfigurasikan panjang maksimum antrian input menjadi 2.000 pesan.
         }
      }
  }

• Gunakan queue.sink.max_payload_size_kb atau queue.source.max_payload_size_kb untuk mengonfigurasi ukuran muatan maksimum per pesan untuk antrian sink atau antrian input, masing-masing.

  {
      "queue": {
         "sink": {
            "max_payload_size_kb": 10  # Konfigurasikan ukuran muatan maksimum per pesan dalam antrian sink menjadi 10 KB. Default: 8 KB.
         },
         "source": {
            "max_payload_size_kb": 1024  # Konfigurasikan ukuran muatan maksimum per pesan dalam antrian input menjadi 1024 KB (1 MB). Default: 8 KB.
         }
      }
  }

Konfigurasikan rasio alokasi memori

• Gunakan queue.sink.memory_ratio untuk menyesuaikan alokasi memori antara antrian input dan antrian sink.

  {
      "queue": {
         "sink": {
            "memory_ratio": 0.9  # Konfigurasikan rasio memori untuk antrian sink. Nilai default: 0.5.
         }
      }
  }

  Catatan

  Secara default, antrian input dan antrian sink membagi memori instans sub-layanan antrian secara merata. Jika data keluaran Anda (misalnya, gambar) lebih besar daripada data masukan Anda (misalnya, teks), Anda dapat meningkatkan queue.sink.memory_ratio untuk mengalokasikan lebih banyak memori ke antrian sink. Sebaliknya, jika layanan Anda menerima gambar sebagai input dan menghasilkan teks, Anda dapat menurunkan queue.sink.memory_ratio.

Penyesuaian Skala Horizontal Otomatis