Alibaba Cloud Model Studio:Throughput yang disediakan untuk input panjang dan caching

Dokumen ini mencakup kemampuan input panjang dan prefix caching pada penerapan throughput yang disediakan (PTU), termasuk aturan konsumsi kuota, penggunaan kalkulator kapasitas, serta deskripsi bidang respons API terkait.

Ikhtisar

Penerapan PTU mendukung permintaan input panjang (hingga 200K token untuk beberapa model) dan prefix caching, menggunakan faktor kapasitas bertingkat serta diskon cache untuk manajemen kuota yang fleksibel.

Fitur utama:

• Dukungan input panjang: Beberapa model mendukung input yang melebihi 32K token. Token input yang melebihi batas ini mengonsumsi kuota token per menit (TPM) Anda dengan laju lebih tinggi berdasarkan faktor bertingkat. Untuk informasi selengkapnya, lihat Aturan konsumsi kuota.
• Diskon prefix caching: Beberapa model mendukung prefix caching. Ketika suatu permintaan mengenai cache, token input yang di-cache mengonsumsi kuota dengan laju diskon yang bervariasi tergantung model. Hal ini dapat mengurangi konsumsi kuota untuk kasus penggunaan seperti percakapan multi-putaran dan permintaan dengan awalan berulang.
• Fallback otomatis ke bayar sesuai penggunaan: Jika suatu permintaan melebihi kuota PTU Anda atau panjang input maksimum model (128K untuk model Qwen / 64K untuk DeepSeek), sistem secara otomatis beralih ke metode penagihan bayar sesuai penggunaan. Anda tidak perlu mengubah kode pemanggilan Anda.

Fitur-fitur ini umum digunakan dalam skenario dengan input melebihi 32K token, seperti analisis dokumen panjang (kontrak, ringkasan makalah penelitian) dan percakapan multi-putaran (layanan pelanggan, asisten pemrograman).

Untuk konsep dasar dan informasi pembelian terkait penerapan PTU, lihat Pengenalan penerapan model. Untuk detail cara kerja prefix caching, lihat Context caching.

Aturan konsumsi kuota

Faktor kapasitas bertingkat untuk input panjang dan diskon cache bervariasi tergantung model. Tabel berikut mencantumkan parameter untuk model yang saat ini didukung.

Model	Panjang input maksimum	Diskon Cache	Faktor kapasitas bertingkat
glm-5.1	200K	0,2 (Token yang di-cache mengonsumsi kapasitas pada 20% dari laju normal)	[0, 32K): Input 1,0 / Output 1,0 [32K, 200K]: Input 1,33 / Output 1,17
deepseek-v4-pro	64K	0,08 (Token yang di-cache mengonsumsi kapasitas pada 8% dari laju normal)	Tidak ada tingkatan (1,0)
qwen3.7-plus-2026-05-26	128K	0,2 (Token yang di-cache mengonsumsi kapasitas pada 20% dari laju normal)	Tidak ada tingkatan (1,0)
Model lainnya	Lihat detail di Konsol.	Tidak didukung	Tidak ada tingkatan (1,0)

Contoh perhitungan (glm-5.1)

Skenario 1: Input pendek (10K token, tanpa cache)
  Konsumsi input: 10K × 1,0 = 10K TPM

Skenario 2: Input panjang (50K token, tanpa cache)
  Konsumsi input: 32K × 1,0 + 18K × 1,33 = 55,94K TPM
  Konsumsi output (asumsi 1K token): 1K × 1,17 = 1,17K TPM

Skenario 3: Input panjang dengan hit cache (50K token, 30K pertama mengenai cache)
  Bagian input yang di-cache (30K pertama, semuanya dalam tingkat [0, 32K)):
    30K × 1,0 × 0,2 = 6K TPM
  Bagian input yang tidak di-cache (sisa 20K):
    2K × 1,0 + 18K × 1,33 = 25,94K TPM
  Total konsumsi input = 31,94K TPM (penghematan 43% dibanding tanpa cache)

Perkirakan kuota dengan kalkulator kapasitas

Sebelum memulai, pastikan Anda telah mengaktifkan Model Studio dan memiliki izin yang diperlukan untuk penerapan PTU. Masuk ke konsol Model Studio. Pada halaman model deployment > create deployment (atau dengan mengeklik scale out di halaman detail penerapan yang ada), pilih model PTU yang dapat diterapkan, lalu luaskan capacity calculator.

Kalkulator kapasitas merekomendasikan kuota TPM berdasarkan workload Anda. Setelah Anda memasukkan parameter berikut, kalkulator akan menghasilkan TPM input dan TPM output yang direkomendasikan.

Parameter	Deskripsi	Dampak terhadap hasil
Requests per minute (RPM)	Jumlah permintaan per menit selama trafik puncak.	RPM yang lebih tinggi meningkatkan TPM input dan output yang direkomendasikan secara proporsional.
Average input length (tokens)	Rata-rata jumlah token input per permintaan.	Input yang lebih panjang mungkin masuk ke tingkat yang lebih tinggi dengan faktor kapasitas lebih besar, sehingga meningkatkan TPM input yang direkomendasikan. Batas tingkat bervariasi tergantung model dan ditampilkan di Konsol.
Average output length (tokens)	Rata-rata jumlah token output per permintaan.	Output yang lebih panjang mungkin memiliki faktor kapasitas lebih besar, sehingga meningkatkan TPM output yang direkomendasikan.
Estimated cache hit rate (%)	Persentase awalan berulang dalam permintaan yang diperkirakan mengenai cache. Tingkat hit aktual bergantung pada tingkat pengulangan konten permintaan Anda dan dihitung saat waktu proses.	Tingkat hit yang lebih tinggi memperlambat konsumsi kuota input, sehingga menurunkan TPM input yang direkomendasikan. Ini hanya memengaruhi TPM input, bukan TPM output.

Bidang respons API

Respons API untuk penerapan PTU mencakup bidang terkait kuota berikut untuk mengidentifikasi metode penagihan dan konsumsi kuota.

Bidang	Tipe	Deskripsi
service_tier	String	Bidang tingkat atas dalam badan respons, konsisten di semua format API. Nilai ptu-standard menunjukkan bahwa kuota PTU digunakan. Nilai default atau tidak adanya bidang ini menunjukkan bahwa permintaan ditagih sebagai bayar sesuai penggunaan.
provisioned_tokens	Integer	Jumlah token kuota PTU yang dikonsumsi, disesuaikan dengan faktor kapasitas bertingkat dan diskon cache.
cached_tokens	Integer	Jumlah token yang mengenai prefix cache. Untuk informasi selengkapnya, lihat Context caching.

Jalur JSON untuk bidang-bidang ini berbeda tergantung format API.

Kompatibilitas OpenAI Chat

Bidang	Jalur JSON	Deskripsi
cached_tokens	usage.prompt_tokens_details.cached_tokens	Hit cache untuk input.
provisioned_tokens	usage.prompt_tokens_details.provisioned_tokens	Kuota PTU yang dikonsumsi oleh input.
provisioned_tokens	usage.completion_tokens_details.provisioned_tokens	Kuota PTU yang dikonsumsi oleh output.

Respons OpenAI

Bidang	Jalur JSON	Deskripsi
cached_tokens	usage.input_tokens_details.cached_tokens	Hit cache untuk input.
provisioned_tokens	usage.input_tokens_details.provisioned_tokens	Kuota PTU yang dikonsumsi oleh input.
provisioned_tokens	usage.output_tokens_details.provisioned_tokens	Kuota PTU yang dikonsumsi oleh output.

Kompatibilitas Anthropic

Bidang	Jalur JSON	Deskripsi
provisioned_tokens	usage.prompt_tokens_details.provisioned_tokens	Kuota PTU yang dikonsumsi oleh input.
provisioned_tokens	usage.output_tokens_details.provisioned_tokens	Kuota PTU yang dikonsumsi oleh output.

CatatanFormat kompatibel Anthropic saat ini tidak mengembalikan bidang cached_tokens. Anda dapat menyimpulkan efek caching dengan mengamati nilai provisioned_tokens.

DashScope

Bidang	Jalur JSON	Deskripsi
cached_tokens	usage.prompt_tokens_details.cached_tokens	Hit cache untuk input.
provisioned_tokens	usage.prompt_tokens_details.provisioned_tokens	Kuota PTU yang dikonsumsi oleh input.
provisioned_tokens	usage.completion_tokens_details.provisioned_tokens	Kuota PTU yang dikonsumsi oleh output.

Untuk definisi lengkap dan rentang nilai setiap bidang, lihat Referensi API.

Pemantauan dan verifikasi

Anda dapat memantau penerapan PTU menggunakan fitur pemantauan model di Model Studio. Fitur ini memungkinkan Anda melihat metrik berikut yang terkait input panjang dan caching:

• Pemanfaatan PTU: Mencakup tiga kurva terpisah untuk input, output, dan output mode thought. Dalam skenario input panjang, faktor kapasitas bertingkat dapat menyebabkan pemanfaatan melebihi 100%, yang merupakan perilaku yang diharapkan.
• Penggunaan token dan hit cache: Mencakup deret data cached_tokens, yang menunjukkan rasio token yang di-cache terhadap total token input.
• Panggilan dalam kuota/luar kuota: Menunjukkan persentase permintaan yang beralih ke metode penagihan bayar sesuai penggunaan setelah melebihi kuota PTU.

Untuk informasi selengkapnya tentang metrik dan prosedur pemantauan, lihat Pemantauan model.

FAQ

T: Apa yang terjadi ketika penggunaan melebihi kuota PTU?

Permintaan secara otomatis beralih ke metode penagihan bayar sesuai penggunaan. Dalam respons API, bidang service_tier tidak ada atau diatur ke default, dan header respons berisi x-dashscope-ptu-overflow:true. Layanan Anda tetap berjalan tanpa gangguan.

T: Apa yang terjadi jika satu input melebihi panjang maksimum model?

Panjang input maksimum untuk model seri Qwen adalah 128K token, dan untuk model seri DeepSeek adalah 64K token. Permintaan yang melebihi batas ini juga secara otomatis beralih ke metode penagihan bayar sesuai penggunaan.

T: Bagaimana cara memastikan caching berfungsi?

Periksa bidang cached_tokens dalam respons API. Nilai lebih dari 0 menunjukkan adanya hit prefix cache. Bagian yang di-cache mengonsumsi kuota dengan laju diskon spesifik model (untuk detailnya, lihat Aturan konsumsi kuota). Anda juga dapat melihat trennya di grafik penggunaan token pada halaman pemantauan di Konsol.

T: Mengapa cached_tokens selalu 0, yang menunjukkan caching tidak berfungsi?

Penyebab umum meliputi awalan input yang tidak konsisten antarpermintaan (misalnya System Message yang berubah), interval antarpermintaan melebihi periode kedaluwarsa cache, atau jumlah token input terlalu rendah untuk memicu caching. Untuk langkah troubleshooting dan batasan penggunaan cache, lihat Context caching.

T: Mengapa pemanfaatan melebihi 100%?

Untuk beberapa model, seperti glm-5.1, faktor kapasitas bertingkat untuk input panjang menyebabkan konsumsi kuota aktual lebih tinggi daripada jumlah token aslinya. Pemanfaatan dihitung sebagai (Konsumsi Disesuaikan) ÷ (Kuota yang Dibeli). Nilai di atas 100% berarti laju konsumsi melebihi kuota yang Anda beli. Bagian yang melebihi tersebut secara otomatis beralih ke metode penagihan bayar sesuai penggunaan tanpa memengaruhi ketersediaan layanan.