Metrik EAS - Platform For AI - Alibaba Cloud Documentation Center

Setelah layanan EAS diterapkan, Anda dapat melihat metrik seperti QPS, latensi, tingkat error, dan penggunaan sumber daya pada tab Monitor di halaman detail layanan untuk memahami pemanggilan layanan dan status berjalannya.

Lihat data pemantauan

Akses halaman pemantauan

Masuk ke Konsol PAI. Pilih wilayah di bagian atas halaman, lalu pilih ruang kerja yang diinginkan dan klik Enter Elastic Algorithm Service (EAS).
Klik nama layanan target untuk membuka halaman detail layanan, lalu beralih ke tab Monitor.

Pilih dimensi dan dasbor

Halaman pemantauan menyediakan dua tingkat pemilihan di pojok kiri atas: pertama, pilih dimensi pemantauan (Service atau Instance) dari daftar drop-down, lalu pilih dasbor.

Catatan

Dasbor LLM tersedia untuk layanan inferensi LLM yang menggunakan engine vLLM atau SGLang. Anda harus menggunakan image resmi PAI-EAS atau mengonfigurasi ServiceEngineType menjadi sglang atau vllm dalam label layanan. Untuk informasi lebih lanjut, lihat Metrik pemantauan LLM > Prasyarat.
Dasbor GPU hanya tersedia untuk layanan yang menggunakan GPU.

Dimensi Service: Lihat metrik pemantauan untuk seluruh layanan. Setelah memilih Service dari daftar drop-down, dasbor berikut tersedia:
- Service-<service_name> (di mana <service_name> adalah nama layanan EAS): dasbor pemantauan layanan. Dasbor ini menampilkan metrik pemantauan layanan umum seperti QPS, RT, CPU, dan Memory.
- LLM: Menampilkan metrik pemantauan layanan berdasarkan engine inferensi (SGLang atau vLLM) yang digunakan oleh layanan LLM, seperti throughput permintaan dan penggunaan token.
- GPU: Menampilkan metrik perangkat keras GPU seperti pemanfaatan SM, bandwidth memori, dan error NVSwitch.
Dimensi Instance: Lihat metrik pemantauan untuk instance individual. Setelah memilih Instance dari daftar drop-down, dasbor berikut tersedia:
- Single Instance: Dasbor pemantauan instance tunggal. Anda hanya dapat memilih satu instance sekaligus. Hanya metrik pemantauan tingkat menit yang tersedia.
- Multiple Instance: Dasbor pemantauan multi-instance. Anda dapat memilih beberapa instance untuk perbandingan. Metrik pemantauan tingkat menit dan detik tersedia.
- LLM Instance: Dasbor pemantauan instance LLM. Anda dapat memilih satu atau beberapa instance untuk perbandingan. Dasbor ini menampilkan metrik inferensi LLM tingkat instance.
- GPU Instance: Dasbor pemantauan instance GPU. Anda dapat memilih satu atau beberapa instance untuk perbandingan. Dasbor ini menampilkan metrik perangkat keras GPU detail halus tingkat instance.

Tabel berikut memetakan setiap dasbor ke bagian metrik yang sesuai.

Dasbor	Bagian metrik
`Service-<service_name>`	Metrik pemantauan > Dasbor Pemantauan Layanan
Single Instance	Metrik pemantauan > Dasbor Pemantauan Instance Tunggal (Tingkat Menit)
Multiple Instance	Metrik pemantauan > Dasbor Pemantauan Multi-Instance
GPU / GPU Instance	Metrik pemantauan > Dasbor Pemantauan GPU
LLM / LLM Instance	Metrik pemantauan LLM

Ubah rentang waktu

Klik di sisi kanan area Monitor untuk mengubah rentang waktu dasbor.

Pada panel pemilih waktu yang muncul, Anda dapat menentukan waktu mulai dan akhir kustom (From / To) di bawah Absolute time range di sebelah kiri, atau memilih rentang preset—seperti Last 5 minutes hingga Last 7 days—dari daftar Relative time ranges di sebelah kanan. Rentang waktu yang dipilih ditandai dengan tanda centang (✓).

Penting

Metrik tingkat menit disimpan hingga 1 bulan. Metrik tingkat detik disimpan hingga 1 jam.

Metrik pemantauan

Dasbor Pemantauan Layanan (Tingkat Menit)

Dasbor ini melacak metrik berikut:

Metrik		Deskripsi
QPS		Permintaan per detik, dikelompokkan berdasarkan kode return. Dijumlahkan lintas instance untuk layanan multi-instance. Offset 1d menunjukkan QPS hari sebelumnya untuk perbandingan tren.
Response		Total respons dalam rentang waktu yang dipilih, dikelompokkan berdasarkan kode return. Dijumlahkan lintas instance untuk layanan multi-instance.
RT		Waktu respons permintaan. Avg: Waktu respons rata-rata semua permintaan. TPXX: Waktu respons persentil ke-XX. Misalnya, TP5 adalah waktu respons maksimum persentil ke-5. TP100 adalah maksimum lintas semua permintaan. Untuk layanan multi-instance, TP100 adalah maksimum lintas semua instance. Nilai TPXX lainnya dirata-ratakan lintas instance.
Daily Invoke		Jumlah panggilan harian, dikelompokkan berdasarkan kode return. Dijumlahkan lintas instance untuk layanan multi-instance.

Metrik Lainnya (CPU | Memory | GPU | Network | Resources)

Metrik		Deskripsi
CPU	CPU	Penggunaan CPU rata-rata layanan. Satuan: core CPU. Dirata-ratakan lintas instance untuk layanan multi-instance.
	CPU Utilization	Pemanfaatan CPU rata-rata layanan. Perhitungan: Penggunaan CPU rata-rata ÷ Jumlah maksimum core CPU yang tersedia. Dirata-ratakan lintas instance untuk layanan multi-instance.
	CPU Total	Total core CPU yang tersedia untuk layanan. Perhitungan: Core CPU yang tersedia per instance tunggal × Jumlah instance layanan.
Memory	Memory	Penggunaan memori rata-rata layanan. Dirata-ratakan lintas instance untuk layanan multi-instance. RSS: Ukuran memori fisik resident. Cache: Ukuran cache. Total: Ukuran maksimum memori fisik yang tersedia untuk instance tunggal.
Memory	Memory Utilization	Pemanfaatan memori rata-rata layanan. Perhitungan: Memori RSS ÷ Memori Total. Dirata-ratakan lintas instance untuk layanan multi-instance.
GPU	GPU Utilization	Untuk layanan yang mendukung GPU, pemanfaatan GPU rata-rata. Dirata-ratakan lintas instance untuk layanan multi-instance.
	GPU Memory	Untuk layanan yang mendukung GPU, penggunaan memori GPU. Dirata-ratakan lintas instance untuk layanan multi-instance.
	GPU Total	Untuk layanan yang mendukung GPU, jumlah total GPU. Untuk layanan dengan beberapa instance, metrik ini adalah jumlah GPU lintas semua instance.
	GPU Memory Utilization	Untuk layanan yang mendukung GPU, pemanfaatan memori GPU. Dirata-ratakan lintas instance untuk layanan multi-instance.
Network	Traffic	Traffik yang diterima dan dikirim oleh layanan, dalam bit per detik. Dirata-ratakan lintas instance untuk layanan multi-instance. Di mana: Masuk: Trafik diterima. Out: Traffik yang dikirim.
Network	TCP Connections	Jumlah koneksi TCP.
Resources	Replicas	Jumlah instance layanan dalam berbagai status: Total, Pending, Available.
Resources	Replicas By Resource	Jumlah instance layanan berdasarkan jenis sumber daya: Total, Dedicated (sumber daya khusus), Public (sumber daya publik).

Dasbor Pemantauan Instance Tunggal (Tingkat Menit)

Dasbor ini melacak metrik berikut:

Metrik	Deskripsi
QPS	Permintaan per detik yang diterima instance ini. Dikelompokkan berdasarkan kode return.
RT	Waktu respons permintaan untuk instance ini.
Response	Total respons yang diterima instance ini dalam rentang waktu yang dipilih. Dikelompokkan berdasarkan kode return.

Metrik Lainnya (CPU | Memory | GPU | Network | Resources)

Metrik		Deskripsi
CPU	CPU	Penggunaan CPU instance ini, dalam core CPU.
CPU	CPU Utilization	Pemanfaatan CPU rata-rata instance ini. Perhitungan: Penggunaan CPU rata-rata ÷ Jumlah maksimum core CPU yang tersedia.
Memory	Memory	Penggunaan memori instance ini. RSS: Ukuran memori fisik resident. Cache: Ukuran cache. Total: Ukuran maksimum memori fisik yang tersedia untuk instance tunggal.
Memory	Memory Utilization	Pemanfaatan memori rata-rata instance ini. Perhitungan: Memori RSS ÷ Memori Total.
GPU	GPU Utilization	Pemanfaatan GPU instance ini.
	GPU Memory	Penggunaan memori GPU instance ini.
	GPU Memory Utilization	Pemanfaatan memori GPU instance ini.
Network	Traffic	Traffik yang diterima dan dikirim oleh instance ini, dalam bit per detik. Di mana: Masuk: Trafik diterima. Out: Traffik yang dikirim.
Network	TCP Connections	Jumlah koneksi TCP.

Dasbor Pemantauan Multi-Instance

Metrik tingkat menit dan detik:

Minute Level

Metrik	Deskripsi
Instance QPS	Permintaan per detik untuk setiap instance. Dikelompokkan berdasarkan kode return.
Instance RT	Waktu respons rata-rata untuk setiap instance.
Instance CPU	Penggunaan CPU untuk setiap instance, dalam core CPU.
Instance Memory -- RSS	Ukuran memori fisik resident untuk setiap instance.
Instance Memory -- Cache	Ukuran cache untuk setiap instance.
Instance GPU	Pemanfaatan GPU untuk setiap instance.
Instance GPU Memory	Penggunaan memori GPU untuk setiap instance.
Instance TCP Connections	Jumlah koneksi TCP untuk setiap instance.

Tingkat Kedua

Penting

Granularitas data adalah 5 detik. Hanya data 1 jam terakhir yang disimpan.

Metrik	Deskripsi
Instance QPS Fine	Permintaan per detik yang diterima setiap instance. Dikelompokkan berdasarkan kode return.
Instance RT Fine	Waktu respons rata-rata untuk permintaan yang diterima setiap instance.

Dasbor Pemantauan GPU

Metrik GPU tingkat layanan dan instance. Nilai tingkat layanan dirata-ratakan lintas semua instance.

Metrik	Deskripsi
GPU Utilization	Pemanfaatan GPU layanan.
GPU Memory	Penggunaan memori GPU dan total memori GPU layanan. Used: Penggunaan memori GPU. Total: Total memori GPU.
Memory Copy Utilization	Pemanfaatan copy memori GPU layanan.
GPU Memory Utilization	Pemanfaatan memori GPU layanan. Perhitungan: Penggunaan memori ÷ Total memori.
PCIe	Laju PCIe (Peripheral Component Interconnect Express) layanan, diukur oleh DCGM. PCIe adalah standar bus ekspansi komputer serial berkecepatan tinggi. PCIe Transmit: Laju transmisi PCIe. PCIe Receive: Laju penerimaan PCIe.
Memory Bandwidth	Metrik bandwidth memori GPU layanan.
SM Utilization and Occupancy	Metrik terkait SM (Streaming Multiprocessor) layanan. SM adalah komponen inti GPU, bertanggung jawab untuk menjalankan dan menjadwalkan tugas komputasi paralel. SM Utilization: Pemanfaatan SM. SM Occupancy: Rasio thread Warp yang berada di SM.
Graphics Engine Utilization	Pemanfaatan engine grafis GPU layanan.
Pipe Active Ratio	Laju aktivitas pipeline komputasi GPU layanan. Pipe Fp32 Active Ratio: Laju aktivitas pipeline FP32. Pipe Fp16 Active Ratio: Laju aktivitas pipeline FP16. Pipe Tensor Active Ratio: Laju aktivitas pipeline Tensor.
Tflops Usage	Volume komputasi Tflops (Tera floating-point operations per second) pipeline komputasi GPU layanan. FP32 Tflops Used: Volume komputasi Tflops pipeline FP32. FP16 Tflops Used: Volume komputasi Tflops pipeline FP16. Tensor Tflops Used: Volume komputasi Tflops pipeline Tensor.
DRAM Active Ratio	Laju aktivitas antarmuka memori perangkat GPU yang mengirim atau menerima data.
SM Clock	Frekuensi clock SM layanan.
GPU Temperature	Metrik terkait suhu GPU layanan. GPU Temperature: Suhu GPU. GPU Slowdown Temperature: Ambang batas suhu throttling GPU. Ketika suhu GPU mencapai nilai ini, GPU secara otomatis mengurangi frekuensi operasinya untuk mencegah overheating. GPU Shutdown Temperature: Ambang batas suhu shutdown GPU. Ketika suhu GPU mencapai nilai ini, sistem memaksa perangkat GPU dimatikan. Ini mencegah kerusakan perangkat keras atau kegagalan sistem yang lebih parah akibat overheating GPU.
Power Usage	Konsumsi daya GPU layanan.

Berikut adalah metrik status kesehatan dan informasi anomali GPU:

Metrik	Deskripsi
GPU Health Count	Jumlah kartu GPU sehat untuk layanan.
GPU Lost Card Num	Jumlah kartu GPU yang hilang untuk layanan.
ECC Error Count	Jumlah error ECC untuk layanan. ECC (Error Correction Code) mendeteksi dan mengoreksi error selama transmisi atau penyimpanan data memori GPU. Volatile SBE ECC Error: Jumlah error ECC volatile single-bit untuk layanan. Volatile DBE ECC Error: Jumlah error ECC volatile double-bit untuk layanan. Aggregate SBE ECC Error: Jumlah error ECC persisten single-bit untuk layanan. Aggregate DBE ECC Error: Jumlah error ECC persisten double-bit untuk layanan. Uncorrectable ECC Error: Jumlah error ECC yang tidak dapat dikoreksi untuk layanan.
NVSwitch Error Count	Jumlah error NVSwitch untuk layanan. NVSwitch menyediakan saluran komunikasi berbandwidth tinggi dan latensi rendah untuk komunikasi berkecepatan tinggi antara beberapa GPU. NVSwitch Fatal Error: Jumlah error fatal NVSwitch untuk layanan. NVSwitch Non-Fatal Error: Jumlah error non-fatal NVSwitch untuk layanan.
Xid Error Count	Jumlah error Xid untuk layanan. Error Xid adalah kode error yang dilaporkan oleh driver GPU. Mereka menunjukkan masalah yang dihadapi GPU selama operasi. Error ini biasanya dicatat dalam log sistem (seperti dmesg Linux atau Windows Event Viewer) dan direpresentasikan sebagai kode Xid. Xid Error: Jumlah error Xid non-fatal untuk layanan. Fatal Xid Error: Jumlah error Xid fatal untuk layanan.
Kernel Error Count	Jumlah error non-Xid untuk layanan. Error non-Xid mengacu pada jenis error lain yang dilaporkan dalam log kernel, selain error Xid.
Driver Hang	Jumlah hang driver GPU untuk layanan.
Remap Status	Status layanan ketika GPU mencoba melakukan remap baris memori GPU.

Metrik pemantauan LLM

Metrik pemantauan LLM ditampilkan di dasbor LLM atau LLM Instance, terlepas dari apakah layanan menggunakan engine vLLM atau SGLang. Lihat metrik pemantauan yang sesuai berdasarkan engine yang digunakan.

Prasyarat

Dasbor LLM ditampilkan ketika salah satu kondisi berikut terpenuhi:

Image resmi PAI-EAS digunakan.
ServiceEngineType diatur ke sglang atau vllm dalam label layanan. Contoh:
```
{
  "labels": {
    "ServiceEngineType": "sglang"
  }
}
```

Catatan:

Backend EAS memanggil endpoint /metrics engine setiap 10 hingga 15 detik untuk mengumpulkan metrik Prometheus. Oleh karena itu, entri /metrics 200 muncul secara rutin dalam log layanan.
Metrik tingkat menit disimpan hingga 1 bulan.

Aturan agregasi multi-instance

Untuk layanan multi-instance, metrik throughput, jumlah, dan kapasitas dijumlahkan lintas semua instance. Metrik rasio, pemanfaatan, dan latensi rata-rata dirata-ratakan lintas semua instance.

Dasbor Pemantauan SGLang

Permintaan

Metrik	Deskripsi	Metrik Prometheus
Running & Waiting Reqs	Jumlah permintaan pada titik waktu ini. Running: Jumlah permintaan yang sedang berjalan di GPU (konkurensi real-time). Waiting: Jumlah permintaan yang antri di antrian waiting. Nilai yang konsisten lebih besar dari 0 menunjukkan overload. Untuk layanan multi-instance, metrik ini dijumlahkan lintas semua instance.	`sglang:num_running_reqs` `sglang:num_queue_reqs`
Request Rate (success/abort/fail)	Laju permintaan pada titik waktu ini, dalam permintaan per detik. requests: Laju permintaan yang selesai. aborted: Laju permintaan yang dibatalkan karena disconnection klien, timeout, atau pembatalan eksplisit. transfer_failed: Laju permintaan dengan kegagalan transfer cache KV dalam mode disagregasi PD. failed_session_recoveries: Laju pemulihan sesi transport Mooncake (dihapus dari blocklist) dalam mode disagregasi PD. Untuk layanan multi-instance, metrik ini dijumlahkan lintas semua instance.	`sglang:num_requests_total` `sglang:num_aborted_requests_total` `sglang:num_transfer_failed_reqs_total` `sglang:failed_session_recoveries_total`
Prompt & Generation Token Rate	Laju token input dan output pada titik waktu ini. TPS_IN: Jumlah token input (Prefill) yang diproses per detik. TPS_OUT: Jumlah token output (Decode) yang dihasilkan per detik. Untuk layanan multi-instance, metrik ini dijumlahkan lintas semua instance.	`sglang:prompt_tokens_total` `sglang:generation_tokens_total`

Latensi

Metrik	Deskripsi	Metrik Prometheus
Queue Time	Latensi antrian waiting untuk semua permintaan pada titik waktu ini, dari saat permintaan masuk ke antrian waiting hingga dijadwalkan oleh penjadwal untuk komputasi. Avg: Latensi antrian rata-rata tertimbang lintas semua permintaan. P50/P95/P99: Nilai persentil latensi antrian lintas semua permintaan.	`sglang:queue_time_seconds`
Time To First Token	Latensi waktu hingga token pertama (TTFT) untuk semua permintaan pada titik waktu ini, dari saat permintaan diterima hingga token pertama dihasilkan. Avg: TTFT rata-rata tertimbang lintas semua permintaan. P50/P95/P99: Nilai persentil TTFT lintas semua permintaan.	`sglang:time_to_first_token_seconds`
Time Per Output Token	Latensi waktu per token output (TPOT/ITL) untuk semua permintaan pada titik waktu ini, waktu yang diperlukan untuk setiap token output berikutnya setelah token pertama dihasilkan. Avg: TPOT rata-rata tertimbang lintas semua permintaan. P50/P95/P99: Nilai persentil TPOT lintas semua permintaan.	`sglang:inter_token_latency_seconds`
E2E Request Latency	Latensi end-to-end untuk semua permintaan pada titik waktu ini, dari saat permintaan diterima hingga semua token dikembalikan. Avg: Latensi end-to-end rata-rata tertimbang lintas semua permintaan. P50/P95/P99: Nilai persentil latensi end-to-end lintas semua permintaan. Catatan Metrik ini disediakan oleh engine SGLang. Metrik RT di dasbor pemantauan layanan disediakan oleh engine EAS (easworker). Untuk skenario LLM, metrik ini direkomendasikan.	`sglang:e2e_request_latency_seconds`
Latency by PD Stage (Avg)	Waktu rata-rata yang dihabiskan di setiap tahap pemrosesan pada titik waktu ini, diplot sebagai kurva terpisah berdasarkan label `stage`. Gunakan metrik ini untuk mengidentifikasi tahap mana yang paling banyak mengonsumsi latensi. Tahap umum meliputi: `tokenize` (Tokenisasi), `api_server_dispatch` (dispatch API Server), `dpc_dispatch` (dispatch controller DP), `request_process` (penjadwal menerima dan memproses) `prefill_waiting`/`decode_waiting` (antrian waiting) `prefill_forward`/`prefill_chunked_forward`/`decode_forward`/`decode_loop` (komputasi forward) `mm_encode` (encoding multimodal) `spec_draft`/`spec_verify` (draft dan verifikasi speculative decoding) Tahap disagregasi PD: `prefill_bootstrap`/`prefill_transfer_kv_cache`/`decode_prealloc`/`decode_bootstrap`/`decode_transferred`	`sglang:per_stage_req_latency_seconds`

Distribusi Panjang Token

Metrik	Deskripsi	Metrik Prometheus
Prompt Tokens Length	Distribusi panjang token input untuk semua permintaan pada titik waktu ini. Avg: Panjang token input rata-rata tertimbang. P50/P95/P99: Nilai persentil panjang token input.	`sglang:prompt_tokens_histogram`
Uncached Prompt Tokens Length	Distribusi panjang token input yang miss cache dan memerlukan komputasi aktual pada titik waktu ini (sama dengan panjang token input dikurangi panjang token hit cache awalan). Metrik ini merepresentasikan beban komputasi aktual tahap Prefill. Avg: Panjang token input uncached rata-rata tertimbang. P50/P95/P99: Nilai persentil panjang token input uncached.	`sglang:uncached_prompt_tokens_histogram`
Generation Tokens Length	Distribusi panjang token output untuk semua permintaan pada titik waktu ini. Avg: Panjang token output rata-rata tertimbang. P50/P95/P99: Nilai persentil panjang token output.	`sglang:generation_tokens_histogram`

Throughput Token

Metrik

Deskripsi

Metrik Prometheus

Token Rate by Phase (Prefill/Decode)

Laju pemrosesan token berdasarkan fase pada titik waktu ini, diplot sebagai kurva terpisah berdasarkan label mode.

prefill_compute: Laju token yang benar-benar dihitung selama tahap Prefill.
prefill_cache: Laju token yang dilayani dari hit cache awalan selama tahap Prefill (tidak memerlukan komputasi).
decode: Laju token yang dihasilkan selama tahap Decode.

Untuk layanan multi-instance, metrik ini dijumlahkan lintas semua instance.

sglang:realtime_tokens_total

Decode Sum Seq Lens

Jumlah semua panjang sekuens dalam batch Decode pada titik waktu ini. Ini mencerminkan skala baca aktual komputasi Attention di tahap Decode.

Untuk layanan multi-instance, metrik ini dijumlahkan lintas semua instance.

sglang:decode_sum_seq_lens

Hierarki Cache

Metrik	Deskripsi	Metrik Prometheus
Prefix Cache Hit Rate	Laju hit cache awalan rata-rata untuk semua permintaan pada titik waktu ini. Untuk layanan multi-instance, metrik ini dirata-ratakan lintas semua instance.	`sglang:cache_hit_rate`
Cached Prompt Tokens by Source	Laju token input yang di-cache pada titik waktu ini, diplot sebagai kurva terpisah berdasarkan label `cache_source` untuk menunjukkan level hierarki cache. device: Hit cache awalan di memori GPU (L1). host: Hit cache memori host HiCache (L2). storage_<backend>: Hit backend penyimpanan eksternal HiCache (L3), diakhiri dengan nama backend. Untuk layanan multi-instance, metrik ini dijumlahkan lintas semua instance.	`sglang:cached_tokens_total`
Cache Hit Ratio by Source	Rasio hit cache berdasarkan level hierarki pada titik waktu ini. Perhitungan: laju token untuk setiap level ÷ laju token input total. Nilai dinormalisasi ke 0–1. <cache_source> ratio: Rasio hit untuk setiap level (device/host/storage_<backend>). uncached: Rasio token input yang miss semua level cache dan memerlukan komputasi aktual.	`sglang:cached_tokens_total` `sglang:prompt_tokens_total`
HiCache Host Tokens	Tingkat token cache memori Host (L2) HiCache saat ini. Hanya ditampilkan ketika HiCache diaktifkan. used: Jumlah token yang digunakan dalam cache host. total: Kapasitas token total cache host. Untuk layanan multi-instance, metrik ini dijumlahkan lintas semua instance.	`sglang:hicache_host_used_tokens` `sglang:hicache_host_total_tokens`
Eviction Duration (GPU→CPU)	Waktu untuk mengeluarkan cache KV dari GPU ke memori host pada titik waktu ini. Avg: Durasi eviction rata-rata tertimbang. P99: Durasi eviction persentil ke-99.	`sglang:eviction_duration_seconds`
Load Back Duration (CPU→GPU)	Waktu untuk memuat kembali cache KV dari memori host ke GPU pada titik waktu ini. Durasi ini langsung ditambahkan ke TTFT permintaan yang hit cache L2. Avg: Durasi load rata-rata tertimbang. P99: Durasi load persentil ke-99.	`sglang:load_back_duration_seconds`
Cache Tokens Flow (L1↔L2↔L3)	Laju aliran token cache KV antara tiga tier penyimpanan pada titik waktu ini. Gunakan metrik ini untuk menentukan arah dan tekanan pergerakan data HiCache. L3→L2 prefetched (storage→host): Laju token yang diprefetch dari penyimpanan eksternal ke memori host. L2→L1 load_back (host→GPU): Laju token yang dimuat dari memori host kembali ke GPU. L2→L3 backuped (host→storage): Laju token yang dibackup dari memori host ke penyimpanan eksternal. L1→L2 evicted (GPU→host): Laju token yang dikeluarkan dari GPU ke memori host. Untuk layanan multi-instance, metrik ini dijumlahkan lintas semua instance.	`sglang:prefetched_tokens_total` `sglang:load_back_tokens_total` `sglang:backuped_tokens_total` `sglang:evicted_tokens_total`

KV Cache Pool

Panel berikut menunjukkan komposisi dan tekanan setiap pool memori berdasarkan dimensi slot dan dimensi pemanfaatan. Untuk layanan multi-instance, metrik slot dijumlahkan lintas semua instance, sedangkan metrik pemanfaatan dan rasio dirata-ratakan lintas semua instance.

Metrik	Deskripsi	Metrik Prometheus
KV Cache Tokens Pool	Komposisi slot pool cache KV utama pada titik waktu ini. available: Jumlah slot token yang sepenuhnya idle dan dapat dialokasikan langsung. evictable: Jumlah slot token yang ditempati oleh cache awalan Radix yang dapat dikeluarkan dan digunakan kembali saat diperlukan. used: Jumlah slot token yang saat ini ditempati oleh permintaan yang berjalan. Catatan Adalah normal jika `available` bernilai 0 sementara `evictable` besar. Ini menunjukkan bahwa memori GPU sepenuhnya dimanfaatkan oleh cache awalan. Hanya ketika `available` dan `evictable` keduanya mendekati 0, baru menunjukkan kekurangan memori GPU yang sebenarnya.	`sglang:kv_available_tokens` `sglang:kv_evictable_tokens` `sglang:kv_used_tokens`
SWA Tokens Pool	Komposisi slot pool sliding window attention (SWA) pada titik waktu ini, dengan kurva available/evictable/used. Maknanya sama seperti di atas. Ditampilkan hanya untuk model SWA hibrida.	`sglang:swa_available_tokens` `sglang:swa_evictable_tokens` `sglang:swa_used_tokens`
Mamba SSM Pool	Komposisi slot pool state Mamba SSM pada titik waktu ini, dengan kurva available/evictable/used. Maknanya sama seperti di atas. Ditampilkan hanya untuk model SSM hibrida (Mamba/GDN/KDA). Catatan Slot dalam pool ini dialokasikan per permintaan bukan per token. Ini adalah batasan keras umum untuk konkurensi dalam model hibrida.	`sglang:mamba_available_tokens` `sglang:mamba_evictable_tokens` `sglang:mamba_used_tokens`
KV Cache Used Tokens	Jumlah token cache KV yang digunakan pada titik waktu ini. Untuk layanan multi-instance, metrik ini dijumlahkan lintas semua instance.	`sglang:num_used_tokens`
KV Cache Usage Ratio	Pemanfaatan token cache KV rata-rata pada titik waktu ini. Nilai yang konsisten mendekati 1 menunjukkan bahwa pool memori GPU telah menjadi bottleneck throughput, yang memicu antrian atau retraction permintaan. Untuk layanan multi-instance, metrik ini dirata-ratakan lintas semua instance.	`sglang:token_usage`
KV Usage by Pool (Full/SWA/Mamba)	Pemanfaatan rata-rata setiap pool memori pada titik waktu ini. Gunakan metrik ini untuk model attention hibrida untuk mengidentifikasi pool mana yang jenuh terlebih dahulu. full: Pemanfaatan pool KV layer attention penuh. swa: Pemanfaatan pool KV layer sliding window attention (SWA). Ditampilkan hanya untuk model SWA hibrida. mamba: Pemanfaatan pool state layer Mamba/linear attention. Ditampilkan hanya untuk model SSM hibrida. pending_prealloc: Rasio token yang telah dipesan tetapi belum dialokasikan dalam mode disagregasi PD. Untuk layanan multi-instance, metrik ini dirata-ratakan lintas semua instance.	`sglang:full_token_usage` `sglang:swa_token_usage` `sglang:mamba_usage` `sglang:pending_prealloc_token_usage`

Transfer KV

Panel berikut hanya memiliki data ketika layanan diterapkan dalam mode disagregasi PD (Prefill/Decode Disaggregation). Untuk layanan multi-instance, metrik latensi merupakan rata-rata tertimbang lintas semua instance.

Metrik	Deskripsi	Metrik Prometheus
KV Transfer Latency	Waktu untuk mentransfer cache KV dari instance Prefill ke instance Decode pada titik waktu ini, dalam milidetik. Avg: Durasi transfer rata-rata tertimbang. P50/P95/P99: Nilai persentil durasi transfer.	`sglang:kv_transfer_latency_ms`
KV Transfer Total MB	Ukuran data transfer KV tunggal pada titik waktu ini, dalam MB. Avg: Ukuran data rata-rata tertimbang per transfer. P99: Ukuran data persentil ke-99 per transfer.	`sglang:kv_transfer_total_mb`
KV Transfer Speed	Bandwidth transfer KV pada titik waktu ini. Avg: Bandwidth transfer rata-rata tertimbang. P99: Bandwidth transfer persentil ke-99.	`sglang:kv_transfer_speed_gb_s`
KV Transfer Bootstrap	Waktu untuk pembentukan koneksi handshake (bootstrap) transfer KV pada titik waktu ini, dalam milidetik. Nilai tinggi biasanya menunjukkan pertukaran metadata atau masalah koneksi jaringan antara instance Prefill dan Decode, bukan masalah bandwidth. Avg: Durasi pembentukan koneksi rata-rata tertimbang. P50/P95/P99: Nilai persentil durasi pembentukan koneksi.	`sglang:kv_transfer_bootstrap_ms`
KV Transfer Alloc Wait	Waktu yang dihabiskan instance Decode menunggu alokasi memori GPU untuk menerima cache KV pada titik waktu ini, dalam milidetik. Nilai tinggi menunjukkan kontensi memori GPU di sisi Decode, yang menandakan ketidakseimbangan rasio kluster PD. Avg: Durasi tunggu rata-rata tertimbang. P99: Durasi tunggu persentil ke-99.	`sglang:kv_transfer_alloc_ms`

Speculative Decoding

Panel berikut hanya memiliki data ketika speculative decoding diaktifkan. Panel diplot sebagai kurva terpisah berdasarkan pp_rank/moe_ep_rank (format legenda: pp{pp_rank}/ep{moe_ep_rank}). Setiap kurva dirata-ratakan lintas semua instance.

Metrik	Deskripsi	Metrik Prometheus
Spec Accept Length (draft→target)	Panjang penerimaan rata-rata speculative decoding pada titik waktu ini (τ dalam paper), yaitu jumlah token yang benar-benar dihasilkan per langkah verifikasi, termasuk token bonus yang selalu dihasilkan oleh model target. Nilai 1 berarti speculative decoding tidak berpengaruh (hanya token bonus yang dihasilkan per langkah). Nilai yang lebih tinggi menunjukkan percepatan yang lebih besar.	`sglang:spec_accept_length`
Spec Accept Rate	Laju penerimaan draft speculative decoding pada titik waktu ini (α dalam paper). Perhitungan: token draft yang diterima ÷ token draft yang diajukan, tidak termasuk token bonus. Ini mencerminkan seberapa dekat distribusi model draft dengan model target.	`sglang:spec_accept_rate`
Spec Steps & Draft Tokens	Parameter konfigurasi speculative decoding aktif pada titik waktu ini. steps: Langkah speculative saat ini (`speculative_num_steps`). draft_tokens: Jumlah token draft saat ini (`speculative_num_draft_tokens`). Ketika `topk > 1`, nilai ini tidak terikat dengan jumlah langkah. Catatan Ketika speculative decoding adaptif diaktifkan, konfigurasi ini berubah secara dinamis dengan beban kerja. Bandingkan ini dengan kurva Accept Length untuk menentukan apakah strategi adaptif sesuai.	`sglang:spec_num_steps` `sglang:spec_num_draft_tokens`

Penjadwalan

Metrik	Deskripsi	Metrik Prometheus
Queue Reqs by PD Stage	Jumlah permintaan di setiap antrian disagregasi PD pada titik waktu ini. Gunakan metrik ini untuk mengidentifikasi di mana permintaan menumpuk di pipeline PD. prefill_bootstrap: Permintaan yang menunggu koneksi handshake di sisi Prefill. prefill_inflight: Permintaan dengan cache KV sedang dalam perjalanan di sisi Prefill. decode_prealloc: Permintaan yang menunggu pre-alokasi memori GPU di sisi Decode. decode_transfer: Permintaan yang menunggu penyelesaian transfer cache KV di sisi Decode. Untuk layanan multi-instance, metrik ini dijumlahkan lintas semua instance.	`sglang:num_prefill_bootstrap_queue_reqs` `sglang:num_prefill_inflight_queue_reqs` `sglang:num_decode_prealloc_queue_reqs` `sglang:num_decode_transfer_queue_reqs`
SLO Utilization	Tingkat beban relatif terhadap kapasitas SLO pada titik waktu ini. Perhitungan: `max(running requests ÷ max concurrency under SLO, KV cache utilization ÷ 0.9)`. Metrik ini dapat digunakan sebagai referensi untuk auto scaling. Untuk layanan multi-instance, metrik ini dirata-ratakan lintas semua instance.	`sglang:utilization`
CUDA Graph Passes	Laju forward pass yang diklasifikasikan berdasarkan status hit CUDA Graph pada titik waktu ini, diplot sebagai kurva terpisah berdasarkan label `mode`. decode_cuda_graph/decode_none: Laju forward pass Decode dengan/tanpa hit CUDA Graph. prefill_cuda_graph/prefill_none: Laju forward pass Prefill dengan/tanpa hit CUDA Graph. Catatan Rasio `*_none` yang tinggi menunjukkan bahwa bentuk batch sering kali berada di luar Graph yang ditangkap. Anda dapat mengoptimalkan ini dengan menyesuaikan daftar ukuran batch untuk penangkapan CUDA Graph. Untuk layanan multi-instance, metrik ini dijumlahkan lintas semua instance.	`sglang:cuda_graph_passes_total`
Forward Occupancy	Pemanfaatan GPU oleh komputasi forward pada titik waktu ini. Perhitungan: Waktu eksekusi forward GPU ÷ waktu wall clock dalam jendela statistik. Rentang nilai: 0 hingga 100. Nilai rendah menunjukkan overhead penjadwalan CPU atau waktu idle GPU. Ini adalah metrik pertama yang harus diperiksa ketika throughput tidak memenuhi ekspektasi. Catatan Data hanya tersedia ketika timer perangkat di sisi engine diaktifkan. Setelah layanan menjadi idle, nilai ini diatur ke NaN untuk menghindari polusi statistik. Untuk layanan multi-instance, metrik ini dirata-ratakan lintas semua instance.	`sglang:fwd_occupancy`
New Token Ratio	Rasio kuota token baru penjadwal pada titik waktu ini. Nilai ini merupakan koefisien konservatisme adaptif untuk tekanan memori GPU: menurun ketika memori GPU sempit untuk mengurangi penerimaan permintaan baru dan menghindari retraction, serta secara bertahap pulih ke 1 ketika tekanan mereda. Untuk layanan multi-instance, metrik ini dirata-ratakan lintas semua instance.	`sglang:new_token_ratio`
CUDA Graph Active	Apakah batch berjalan pada CUDA Graph pada titik waktu ini. 1 berarti diaktifkan, 0 berarti fallback ke mode eager. Untuk layanan multi-instance, metrik ini dirata-ratakan lintas semua instance (yang dapat dipahami sebagai rasio instance dengan CUDA Graph diaktifkan).	`sglang:is_cuda_graph`

HTTP

Metrik	Deskripsi	Metrik Prometheus
HTTP Requests Rate	Laju permintaan dikelompokkan berdasarkan metode dan path permintaan pada titik waktu ini, dalam permintaan per detik. Untuk layanan multi-instance, metrik ini dijumlahkan lintas semua instance.	`sglang:http_requests_total`
HTTP Responses Rate by Status	Laju respons dikelompokkan berdasarkan path dan kode status respons pada titik waktu ini, dalam permintaan per detik. Gunakan metrik ini untuk membedakan error klien (4xx) dari error server (5xx). Untuk layanan multi-instance, metrik ini dijumlahkan lintas semua instance.	`sglang:http_responses_total`
HTTP Active Requests	Jumlah permintaan in-flight (belum dikembalikan) dikelompokkan berdasarkan metode dan path permintaan pada titik waktu ini. Metrik ini menghitung permintaan in-flight tingkat HTTP, termasuk yang masih dalam antrian dan belum memasuki engine. Oleh karena itu, nilai ini biasanya lebih besar daripada Running Reqs. Untuk layanan multi-instance, metrik ini dijumlahkan lintas semua instance.	`sglang:http_requests_active`

Sistem & Engine

Metrik	Deskripsi	Metrik Prometheus
Disaggregation Routing Keys	Jumlah routing key pada titik waktu ini. Gunakan metrik ini untuk mengamati distribusi disagregasi PD atau routing afinitas multi-instance. routing_keys_active: Jumlah routing key unik dengan permintaan in-flight di lapisan HTTP. unique_running_routing_keys: Jumlah routing key unik dalam batch running saat ini. Untuk layanan multi-instance, metrik ini dijumlahkan lintas semua instance.	`sglang:routing_keys_active` `sglang:num_unique_running_routing_keys`
Process CPU by Component	Core CPU (user + kernel) yang dikonsumsi oleh setiap proses engine pada titik waktu ini, diplot sebagai kurva terpisah berdasarkan label `component` (`tokenizer`, `detokenizer`, `data_parallel_controller`). Gunakan metrik ini untuk mengidentifikasi bottleneck sisi CPU. Misalnya, jika tokenizer menjenuhkan satu core, throughput keseluruhan langsung terbatas. Untuk layanan multi-instance, metrik ini dijumlahkan lintas semua instance.	`sglang:process_cpu_seconds_total`
Engine Meta	Konfigurasi engine statis dan informasi startup layanan. Gunakan metrik ini untuk memverifikasi apakah parameter aktual sesuai ekspektasi. max_total_num_tokens: Kapasitas token maksimum pool cache KV. num_pages: Jumlah halaman cache KV. page_size: Ukuran halaman cache KV (jumlah token). context_len: Panjang konteks maksimum model. startup_available_gpu_memory_gb: Memori GPU yang tersedia saat startup (GB), dijumlahkan lintas semua instance. engine_startup_time: Durasi startup engine end-to-end (detik). engine_load_weights_time: Durasi pemuatan bobot model (detik). Kecuali untuk item memori, semua metrik mengambil nilai maksimum lintas semua instance.	`sglang:max_total_num_tokens` `sglang:num_pages` `sglang:page_size` `sglang:context_len` `sglang:startup_available_gpu_memory_gb` `sglang:startup_time_seconds`
Request State (retracted/paused)	Jumlah permintaan dalam status eksekusi abnormal pada titik waktu ini. retracted: Jumlah permintaan yang ditarik kembali ke antrian waiting karena kekurangan memori GPU dan perlu diprefill ulang. Nilai yang konsisten lebih besar dari 0 berarti sumber daya komputasi terbuang untuk komputasi redundan. Pertimbangkan untuk mengurangi konkurensi atau scaling up. paused: Jumlah permintaan yang dijeda karena sinkronisasi bobot asinkron (misalnya, pembaruan bobot dalam skenario RLHF). Untuk layanan multi-instance, metrik ini dijumlahkan lintas semua instance.	`sglang:num_retracted_reqs` `sglang:num_paused_reqs`

Jalur troubleshooting umum

Gejala	Urutan pemeriksaan yang direkomendasikan
TTFT tinggi	Queue Time → Waiting Reqs → Uncached Prompt Tokens Length → Prefix Cache Hit Rate → Load Back Duration
TPOT tinggi	Running Reqs (konkurensi berlebihan) → Decode Sum Seq Lens → KV Cache Usage Ratio → Forward Occupancy → rasio `decode_none` dalam CUDA Graph Passes
Throughput rendah tetapi pemanfaatan GPU tidak tinggi	Forward Occupancy → Process CPU by Component → CUDA Graph Passes → New Token Ratio
Kekurangan memori GPU / permintaan diretract	retracted dalam Request State → KV Cache Tokens Pool (periksa apakah `available` dan `evictable` keduanya turun ke nol) → KV Usage by Pool → New Token Ratio
Model attention hibrida tidak dapat meningkatkan konkurensi	KV Usage by Pool (bandingkan full/swa/mamba) → Mamba SSM Pool
Pipeline disagregasi PD lambat	Queue Reqs by PD Stage → KV Transfer Bootstrap → KV Transfer Latency/Speed → KV Transfer Alloc Wait
Speculative decoding tidak memberikan percepatan	Spec Accept Length (mendekati 1?) → Spec Accept Rate → Spec Steps & Draft Tokens
Temukan konkurensi maksimum terbaru	Ubah rentang waktu lalu temukan puncak kurva Running dalam Running & Waiting Reqs

Dasbor Pemantauan VLLM

Untuk layanan multi-instance, metrik throughput dijumlahkan dan metrik latensi dirata-ratakan lintas instance.

Metrik	Deskripsi
Requests Status	Total permintaan untuk layanan. Running: Jumlah permintaan yang berjalan di GPU. Waiting: Jumlah permintaan yang menunggu pemrosesan. Swapped: Jumlah permintaan yang di-swap ke CPU.
Token Throughput	Jumlah token input dan token yang dihasilkan untuk semua permintaan layanan. TPS_IN: Jumlah token input. TPS_OUT: Jumlah token output.
Request Completion Status	Statistik status penyelesaian untuk semua permintaan layanan. preemptions: Permintaan yang dipreempt. stop: Permintaan yang berhasil diselesaikan karena terminasi alami (model menghasilkan token stop, seperti <EOS>). length: Permintaan mencapai panjang token output maksimum. abort: Permintaan yang dihentikan paksa.
Time To First Token	Latensi waktu hingga token pertama untuk semua permintaan layanan (waktu dari menerima permintaan hingga menghasilkan token pertama). Avg: Latensi waktu hingga token pertama rata-rata untuk semua permintaan. TPXX: Nilai persentil untuk latensi waktu hingga token pertama untuk semua permintaan.
Time Per Output Token	Latensi waktu per token output untuk semua permintaan layanan (waktu rata-rata yang diperlukan untuk setiap token output setelah token pertama dihasilkan). Avg: Latensi waktu per token rata-rata untuk semua permintaan. TPXX: Nilai persentil untuk latensi waktu per token untuk semua permintaan.
E2E Request Latency	Latensi end-to-end untuk semua permintaan layanan (waktu dari menerima permintaan hingga mengembalikan semua token). Avg: Latensi end-to-end rata-rata untuk semua permintaan. TPXX: Nilai persentil untuk latensi end-to-end untuk semua permintaan.
Queue Time	Latensi antrian waiting untuk semua permintaan layanan (waktu permintaan menunggu di antrian untuk pemrosesan engine). Avg: Latensi antrian waiting rata-rata untuk semua permintaan. TPXX: Nilai persentil untuk latensi antrian waiting untuk semua permintaan.
Inference Time	Latensi inferensi untuk semua permintaan layanan (waktu permintaan diproses oleh engine). Avg: Latensi inferensi rata-rata untuk semua permintaan. TPXX: Nilai persentil untuk latensi inferensi untuk semua permintaan.
Prefill Time	Latensi tahap prefill untuk semua permintaan layanan (waktu engine memproses token input permintaan). Avg: Latensi prefill rata-rata untuk semua permintaan. TPXX: Nilai persentil untuk latensi prefill untuk semua permintaan.
Decode Time	Latensi tahap decode untuk semua permintaan layanan (waktu engine menghasilkan token output). Avg: Latensi decode rata-rata untuk semua permintaan. TPXX: Nilai persentil untuk latensi decode untuk semua permintaan.
Input Token Length	Jumlah token input yang diproses oleh layanan. Avg: Panjang token input rata-rata untuk semua permintaan. TPXX: Nilai persentil untuk panjang token input untuk semua permintaan.
Output Token Length	Jumlah token output yang dihasilkan oleh layanan. Avg: Panjang token output rata-rata untuk semua permintaan. TPXX: Nilai persentil untuk panjang token output untuk semua permintaan.
Request Parameters(params_n & max_tokens)	Parameter N dan parameter max_tokens untuk semua permintaan layanan. Params_n: Nilai rata-rata parameter N untuk semua permintaan. Params_max_tokens: Nilai rata-rata parameter max_tokens untuk semua permintaan.
GPU KV Cache Usage	Pemanfaatan cache KV GPU rata-rata layanan.
CPU KV Cache Usage	Pemanfaatan cache KV CPU rata-rata layanan.
Prefix Cache Hit Rate	Laju hit cache awalan rata-rata untuk semua permintaan layanan. GPU: Laju hit cache awalan GPU rata-rata untuk semua permintaan. CPU: Laju hit cache awalan CPU rata-rata untuk semua permintaan.
HTTP Requests by Endpoint	Jumlah permintaan untuk layanan, dikelompokkan berdasarkan metode permintaan, path, dan kode status respons.
HTTP Request Latency	Latensi rata-rata untuk path permintaan berbeda layanan.
Speculative Decoding Throughput	Jumlah speculative decoding untuk layanan. Dirata-ratakan lintas instance untuk layanan multi-instance. Drafts: Jumlah Token Draft yang dihasilkan. Draft Tokens: Jumlah Token Draft yang diproses. Accepted Tokens: Jumlah Token Draft yang diterima. Emitted Tokens: Jumlah Token Draft yang dipancarkan.
Speculative Decoding Efficiency	Kinerja speculative decoding layanan. Draft Acceptance Rate: Rasio rata-rata Token Draft yang diterima. Efficiency: Efisiensi rata-rata speculative decoding.
Token Acceptance by Position	Jumlah Token Draft yang diterima pada posisi generasi berbeda untuk layanan. Dirata-ratakan lintas instance untuk layanan multi-instance.

FAQ

Dasbor pemantauan LLM tidak ditampilkan

Masalah: Setelah deployment EAS kustom, halaman pemantauan hanya menampilkan dasbor Service dan GPU. Pemantauan LLM tidak muncul.

Penyebab: Konfigurasi layanan tidak memiliki tag ServiceEngineType, yang mendeklarasikan jenis engine inferensi.

Catatan

Hanya tag ServiceEngineType yang memengaruhi pemantauan LLM. Parameter deployment Model Gallery lainnya tidak berdampak.

Solusi: Perbarui konfigurasi layanan untuk menambahkan tag ServiceEngineType dan atur nilainya berdasarkan engine inferensi yang digunakan (hanya vllm atau sglang yang didukung). Contoh:

{
  "labels": {
    "ServiceEngineType": "vllm"
  }
}

T: Mengapa /metrics 200 sering muncul di log?

Setelah tag ServiceEngineType berlaku, backend EAS melakukan polling endpoint /metrics framework inferensi setiap 10–15 detik di semua pod. Endpoint ini mengembalikan metrik real-time dalam format Prometheus untuk dasbor pemantauan LLM.

T: Bagaimana cara memeriksa konkurensi maksimum di pemantauan?

Pemantauan EAS tidak menyediakan metrik "konkurensi maksimum" secara langsung. Anda dapat menentukan konkurensi berdasarkan jenis layanan:

Layanan inferensi LLM (engine vllm atau sglang): Beralih ke Dasbor Pemantauan VLLM atau Dasbor Pemantauan SGLang, lalu periksa metrik Running di bawah Requests Status atau Requests Num. Metrik ini menunjukkan jumlah permintaan yang sedang berjalan di GPU, yang merepresentasikan konkurensi real-time. Dengan mengubah rentang waktu (misalnya, memilih Last 1 hours atau Last 6 hours), Anda dapat menemukan nilai puncak kurva Running, yang merupakan konkurensi maksimum dalam periode tersebut.
Layanan umum: Anda dapat memperkirakan konkurensi menggunakan metrik QPS (queries per second) dan RT (response time) dari dasbor pemantauan layanan. Berdasarkan Hukum Little: Konkurensi ≈ QPS × RT Rata-rata (detik). Misalnya, jika QPS adalah 10 dan RT rata-rata adalah 2 detik, maka konkurensinya sekitar 20. Terapkan rumus ini selama periode puncak untuk memperkirakan konkurensi maksimum.

T: Apa perbedaan antara E2E Request Latency dan RT?

E2E Request Latency disediakan oleh engine inferensi LLM, sedangkan RT disediakan oleh engine EAS (easworker). Untuk skenario LLM, E2E Request Latency direkomendasikan.

Referensi

Setelah mengaktifkan peringatan pemantauan layanan, Anda akan menerima pemberitahuan peringatan ketika layanan memicu aturan peringatan.
Lihat event Cloud Monitor EAS melalui Konsol Cloud Monitor atau Operasi API untuk melakukan O&M, auditing, atau pengaturan peringatan untuk event tersebut.
Atur metrik pemantauan kustom untuk Auto Scaling berdasarkan logika bisnis. Metrik Pemantauan dan Scaling Kustom.