Bailian menerapkan dynamic rate limiting pada beberapa model. Nilai batas laju TPM disesuaikan setiap bulan berdasarkan tier konsumsi bulanan Anda di Bailian, dan TPM yang tersedia secara aktual tidak lebih rendah dari nilai batas laju tersebut.
Mekanisme dynamic rate limiting
Bailian menerapkan mekanisme dynamic rate limiting pada beberapa model dengan poin-poin utama sebagai berikut:
- Nilai batas laju: Ditentukan berdasarkan tier sesuai jumlah konsumsi bulanan Anda di Bailian. Nilai ini berfungsi sebagai garis dasar throughput yang dijamin dan diperbarui setiap bulan.
- Soft rate limiting: Saat volume panggilan mencapai nilai batas laju, jika platform masih memiliki sumber daya cadangan, pembatasan laju tidak dipicu. Oleh karena itu, TPM yang tersedia secara aktual tidak lebih rendah dari nilai batas laju. Nilai batas laju aktual yang teramati selama pemanggilan dapat lebih tinggi daripada nilai batas laju ini, yang merupakan perilaku yang diharapkan.
- Granularitas pembatasan laju: Berdasarkan akun + model. Volume panggilan dari semua ruang kerja dan API Keys di bawah akun primary digabungkan dan dihitung terhadap kuota TPM akun tersebut untuk model tertentu, sehingga berbagi batas yang sama.
- Ruang kerja: Anda dapat mengatur nilai batas laju terpisah untuk suatu model dalam ruang kerja. Ruang kerja yang tidak memiliki pengaturan terpisah akan berbagi kuota tingkat akun.
- RPM: Di bawah mekanisme dynamic rate limiting, suatu model memiliki batas RPM yang relatif besar. Anda tidak perlu mengaturnya secara terpisah, dan pembatasan laju RPM tidak dipicu selama penggunaan normal.
- Informasi lebih lanjut: Untuk konsep dasar RPM/TPM dan detail berdasarkan dimensi, lihat Rate limiting. Untuk pengaturan batas laju ruang kerja, lihat Permission management.
Model dan tier batas laju
Bailian menetapkan tier batas laju TPM Anda berdasarkan konsumsi historis. Untuk nilai batas laju aktual, rujuk halaman detail model.
CatatanJika nilai batas laju TPM tidak memenuhi kebutuhan bisnis Anda, hubungi manajer bisnis Anda untuk mengajukan peningkatan kuota.
Singapore
Supported models | TPM rate limit tiers | ||
|---|---|---|---|
2.000.000 | 5.000.000 | 10.000.000 | |
qwen3.8-max-0902 | 1.500.000 | 1.500.000 | 1.500.000 |
China (Beijing)
Supported models | TPM rate limit tiers | ||
|---|---|---|---|
5.000.000 | 10.000.000 | 20.000.000 | |
qwen3.8-max-0902 | 1.500.000 | 1.500.000 | 1.500.000 |
Model dan tier batas laju
Nilai batas laju TPM dikelompokkan berdasarkan jumlah konsumsi bulanan di platform Bailian. Tier untuk model yang didukung di berbagai wilayah adalah sebagai berikut (nilai mengikuti tampilan aktual di Konsol):
China (Beijing)
Bailian platform monthly consumption | TPM rate limit value (qwen3.8-max) | TPM rate limit value (qwen3.8-max-0902) |
|---|---|---|
≤ 100.000 | 5.000.000 | 1.500.000 |
(100.000, 1.000.000] | 10.000.000 | 1.500.000 |
(1.000.000, +∞) | 20.000.000 | 1.500.000 |
Singapore
Bailian platform monthly consumption | TPM rate limit value (qwen3.8-max) | TPM rate limit value (qwen3.8-max-0902) |
|---|---|---|
≤ 100.000 | 2.000.000 | 1.500.000 |
(100.000, 1.000.000] | 5.000.000 | 1.500.000 |
(1.000.000, +∞) | 10.000.000 | 1.500.000 |
Sebagai contoh untuk China (Beijing): jika jumlah konsumsi Bailian suatu akun pada bulan kalender sebelumnya adalah 500.000, maka akun tersebut masuk ke tier (100.000, 1.000.000], yang sesuai dengan nilai batas laju TPM sebesar 10.000.000 untuk qwen3.8-max.
Tampilan kuota
Login ke Bailian console. Di panel navigasi sebelah kiri, pilih Quota management untuk membuka halaman manajemen kuota.
Halaman manajemen kuota bersifat read-only dan menampilkan model yang mendukung dynamic rate limiting, nilai batas laju TPM saat ini, serta tier konsumsi Bailian.
CatatanJika nilai batas laju TPM tidak memenuhi kebutuhan bisnis Anda, hubungi account manager Anda untuk mengajukan peningkatan kuota.
Strategi penyesuaian dynamic rate limit
Tier batas laju disesuaikan secara dinamis sesuai aturan berikut:
- Dasar tiering: Jumlah konsumsi di platform Bailian.
- Siklus perhitungan: Dihitung berdasarkan siklus penagihan bulan kalender.
- Notifikasi: Notifikasi dikirimkan kepada pengguna yang terdampak pada tanggal 10 setiap bulan.
- Waktu berlaku: Tier baru mulai berlaku pada tanggal 15 setiap bulan.
- Arah penyesuaian: Tier lebih rendah → tier lebih tinggi (upgrade) atau tetap tidak berubah.