Metrik EAS - Platform For AI - Alibaba Cloud Documentation Center

Setelah menerapkan layanan EAS, gunakan halaman pemantauan untuk melacak volume permintaan, latensi, dan penggunaan sumber daya.

Lihat data pemantauan

Masuk ke Konsol PAI. Pilih wilayah di bagian atas halaman, lalu pilih ruang kerja yang diinginkan dan klik Elastic Algorithm Service (EAS).
Klik nama layanan untuk membuka detailnya, lalu beralih ke tab Monitoring.
Lihat dasbor dan metrik pemantauan.
Beralih Dasbor

Di pojok kiri atas halaman Monitoring, klik daftar drop-down Service untuk mengganti dimensi.
- Service: Dimensi layanan. Format nama dasbor pemantauan layanan default adalah Service-<service_name>, dengan <service_name> sebagai nama layanan EAS.
- Instance: Dasbor tingkat instans dengan tampilan instans tunggal dan multi-instans.
  - Single Instance: Metrik untuk satu instans dalam satu waktu. Beralih antar instans untuk membandingkan.
    
    Pilih instans dari daftar drop-down Instance di sebelah kanan untuk melihat metrik pemantauannya, seperti QPS dan RT.
  - Multiple Instance: Metrik untuk beberapa instans secara berdampingan.
Beralih Rentang Waktu

Klik di area Monitoring untuk mengubah rentang waktu dasbor.

Pada panel pemilih waktu yang terbuka, Anda dapat menentukan waktu mulai dan akhir kustom di bawah Absolute time range di sebelah kiri, atau memilih rentang waktu preset—seperti Last 5 minutes hingga Last 7 days—dari daftar Relative time ranges di sebelah kanan. Rentang waktu yang dipilih ditandai dengan tanda centang (✓).

Penting
Metrik tingkat menit disimpan hingga 1 bulan. Metrik tingkat detik disimpan hingga 1 jam.
Penting
Metrik pemantauan LLM hanya muncul jika tag layanan berisi "ServiceEngineType": "vllm" atau "ServiceEngineType" : "sglang".

Metrik pemantauan

Dasbor Pemantauan Layanan (Tingkat Menit)

Dasbor ini melacak metrik berikut:

Metric		Description
QPS		Permintaan per detik, dikelompokkan berdasarkan kode respons. Dijumlahkan di seluruh instans untuk layanan multi-instans. Offset 1d menunjukkan QPS hari sebelumnya untuk perbandingan tren.
Response		Total respons dalam rentang waktu yang dipilih, dikelompokkan berdasarkan kode respons. Dijumlahkan di seluruh instans untuk layanan multi-instans.
RT		Waktu respons permintaan. Avg: Waktu respons rata-rata semua permintaan. TPXX: Waktu respons persentil ke-XX. Contohnya, TP5 adalah waktu respons maksimum pada persentil ke-5. TP100 adalah nilai maksimum di seluruh permintaan. Untuk layanan multi-instans, TP100 adalah nilai maksimum di seluruh instans. Nilai TPXX lainnya dirata-ratakan di seluruh instans.
Daily Invoke		Jumlah panggilan harian, dikelompokkan berdasarkan kode respons. Dijumlahkan di seluruh instans untuk layanan multi-instans.

Metrik Lainnya (CPU | Memory | GPU | Network | Resources)

Metric		Description
CPU	CPU	Penggunaan CPU rata-rata layanan. Satuan: core CPU. Dirata-ratakan di seluruh instans untuk layanan multi-instans.
	CPU Utilization	Pemanfaatan CPU rata-rata layanan. Perhitungan: Penggunaan CPU rata-rata ÷ Jumlah maksimum core CPU yang tersedia. Dirata-ratakan di seluruh instans untuk layanan multi-instans.
	CPU Total	Jumlah total core CPU yang tersedia untuk layanan. Perhitungan: Core CPU yang tersedia per instans × Jumlah instans layanan.
Memory	Memory	Penggunaan memori rata-rata layanan. Dirata-ratakan di seluruh instans untuk layanan multi-instans. RSS: Ukuran memori fisik resident. Cache: Ukuran cache. Total: Ukuran maksimum memori fisik yang tersedia untuk satu instans.
Memory	Memory Utilization	Pemanfaatan memori rata-rata layanan. Perhitungan: Memori RSS ÷ Memori Total. Dirata-ratakan di seluruh instans untuk layanan multi-instans.
GPU	GPU Utilization	Untuk layanan yang mendukung GPU, pemanfaatan GPU rata-rata. Dirata-ratakan di seluruh instans untuk layanan multi-instans.
	GPU Memory	Untuk layanan yang mendukung GPU, penggunaan memori GPU. Dirata-ratakan di seluruh instans untuk layanan multi-instans.
	GPU Total	Untuk layanan yang mendukung GPU, jumlah total GPU. Untuk layanan dengan beberapa instans, metrik ini merupakan jumlah GPU di seluruh instans.
	GPU Memory Utilization	Untuk layanan yang mendukung GPU, pemanfaatan memori GPU. Dirata-ratakan di seluruh instans untuk layanan multi-instans.
Network	Traffic	Lalu lintas yang diterima dan dikirim oleh layanan, dalam bit per detik. Dirata-ratakan di seluruh instans untuk layanan multi-instans. Di mana: In: Lalu lintas yang diterima. Keluar: Lalu lintas dikirimkan.
Network	TCP Connections	Jumlah koneksi TCP.
Resources	Replicas	Jumlah instans layanan dalam berbagai status: Total, Pending, Available.
Resources	Replicas By Resource	Jumlah instans layanan berdasarkan jenis sumber daya: Total, Dedicated (sumber daya khusus), Public (sumber daya publik).

Dasbor Pemantauan Instans Tunggal (Tingkat Menit)

Dasbor ini melacak metrik berikut:

Metric	Description
QPS	Permintaan per detik yang diterima oleh instans ini. Dikelompokkan berdasarkan kode respons.
RT	Waktu respons permintaan untuk instans ini.
Response	Total respons yang diterima oleh instans ini dalam rentang waktu yang dipilih. Dikelompokkan berdasarkan kode respons.

Metrik Lainnya (CPU | Memori | GPU | Jaringan | Sumber Daya)

Metric		Description
CPU	CPU	Penggunaan CPU instans ini, dalam core CPU.
CPU	CPU Utilization	Pemanfaatan CPU rata-rata instans ini. Perhitungan: Penggunaan CPU rata-rata ÷ Jumlah maksimum core CPU yang tersedia.
Memory	Memory	Penggunaan memori instans ini. RSS: Ukuran memori fisik resident. Cache: Ukuran cache. Total: Ukuran maksimum memori fisik yang tersedia untuk satu instans.
Memory	Memory Utilization	Pemanfaatan memori rata-rata instans ini. Perhitungan: Memori RSS ÷ Memori Total.
GPU	GPU Utilization	Pemanfaatan GPU instans ini.
	GPU Memory	Penggunaan memori GPU instans ini.
	GPU Memory Utilization	Pemanfaatan memori GPU instans ini.
Network	Traffic	Lalu lintas yang diterima dan dikirim oleh instans ini, dalam bit per detik. Di mana: In: Lalu lintas yang diterima. Out: Lalu lintas yang dikirim.
Network	TCP Connections	Jumlah koneksi TCP.

Dasbor Pemantauan Multi-Instans

Metrik tingkat menit dan tingkat detik:

Tingkat Menit

Metric	Description
Instance QPS	Permintaan per detik untuk setiap instans. Dikelompokkan berdasarkan kode respons.
Instance RT	Waktu respons rata-rata untuk setiap instans.
Instance CPU	Penggunaan CPU untuk setiap instans, dalam core CPU.
Instance Memory -- RSS	Ukuran memori fisik resident untuk setiap instans.
Instance Memory -- Cache	Ukuran cache untuk setiap instans.
Instance GPU	Pemanfaatan GPU untuk setiap instans.
Instance GPU Memory	Penggunaan memori GPU untuk setiap instans.
Instance TCP Connections	Jumlah koneksi TCP untuk setiap instans.

Tingkat Kedua

Penting

Granularitas data adalah 5 detik. Hanya data 1 jam terakhir yang disimpan.

Metric	Description
Instance QPS Fine	Permintaan per detik yang diterima oleh setiap instans. Dikelompokkan berdasarkan kode respons.
Instance RT Fine	Waktu respons rata-rata untuk permintaan yang diterima oleh setiap instans.

Dasbor Pemantauan GPU

Metrik GPU pada tingkat layanan dan instans. Nilai tingkat layanan dirata-ratakan di seluruh instans.

Metric	Description
GPU Utilization	Pemanfaatan GPU layanan.
GPU Memory	Penggunaan memori GPU dan total memori GPU layanan. Used: Penggunaan memori GPU. Total: Total memori GPU.
Memory Copy Utilization	Pemanfaatan salinan memori GPU layanan.
GPU Memory Utilization	Pemanfaatan memori GPU layanan. Perhitungan: Penggunaan memori ÷ Total memori.
PCIe	Laju PCIe (Peripheral Component Interconnect Express) layanan, diukur oleh DCGM. PCIe adalah standar bus ekspansi komputer serial berkecepatan tinggi. PCIe Transmit: Laju transmisi PCIe. PCIe Receive: Laju penerimaan PCIe.
Memory Bandwidth	Metrik bandwidth memori GPU layanan.
SM Utilization and Occupancy	Metrik terkait SM (Streaming Multiprocessor) layanan. SM adalah komponen inti GPU yang bertanggung jawab menjalankan dan menjadwalkan tugas komputasi paralel. SM Utilization: Pemanfaatan SM. SM Occupancy: Rasio thread Warp yang berada di SM.
Graphics Engine Utilization	Pemanfaatan engine grafis GPU layanan.
Pipe Active Ratio	Laju aktivitas pipeline komputasi GPU layanan. Pipe Fp32 Active Ratio: Laju aktivitas pipeline FP32. Pipe Fp16 Active Ratio: Laju aktivitas pipeline FP16. Pipe Tensor Active Ratio: Laju aktivitas pipeline Tensor.
Tflops Usage	Volume komputasi Tflops (Tera floating-point operations per second) pipeline komputasi GPU layanan. FP32 Tflops Used: Volume komputasi Tflops pipeline FP32. FP16 Tflops Used: Volume komputasi Tflops pipeline FP16. Tensor Tflops Used: Volume komputasi Tflops pipeline Tensor.
DRAM Active Ratio	Laju aktivitas antarmuka memori perangkat GPU saat mengirim atau menerima data.
SM Clock	Frekuensi clock SM layanan.
GPU Temperature	Metrik terkait suhu GPU layanan. GPU Temperature: Suhu GPU. GPU Slowdown Temperature: Ambang batas suhu pembatasan kecepatan GPU. Saat suhu GPU mencapai nilai ini, GPU secara otomatis mengurangi frekuensi operasinya untuk mencegah kepanasan. GPU Shutdown Temperature: Ambang batas suhu shutdown GPU. Saat suhu GPU mencapai nilai ini, sistem memaksa perangkat GPU dimatikan. Hal ini mencegah kerusakan perangkat keras atau kegagalan sistem yang lebih parah akibat kepanasan GPU.
Power Usage	Konsumsi daya GPU layanan.

Berikut adalah metrik status kesehatan dan informasi anomali GPU:

Metric	Description
GPU Health Count	Jumlah kartu GPU sehat untuk layanan.
GPU Lost Card Num	Jumlah kartu GPU yang hilang untuk layanan.
ECC Error Count	Jumlah kesalahan ECC untuk layanan. ECC (Error Correction Code) mendeteksi dan mengoreksi kesalahan selama transmisi atau penyimpanan data memori GPU. Volatile SBE ECC Error: Jumlah kesalahan ECC volatile single-bit untuk layanan. Volatile DBE ECC Error: Jumlah kesalahan ECC volatile double-bit untuk layanan. Aggregate SBE ECC Error: Jumlah kesalahan ECC persisten single-bit untuk layanan. Aggregate DBE ECC Error: Jumlah kesalahan ECC persisten double-bit untuk layanan. Uncorrectable ECC Error: Jumlah kesalahan ECC yang tidak dapat dikoreksi untuk layanan.
NVSwitch Error Count	Jumlah kesalahan NVSwitch untuk layanan. NVSwitch menyediakan saluran komunikasi berbandwidth tinggi dan latensi rendah untuk komunikasi berkecepatan tinggi antara beberapa GPU. NVSwitch Fatal Error: Jumlah kesalahan fatal NVSwitch untuk layanan. NVSwitch Non-Fatal Error: Jumlah kesalahan non-fatal NVSwitch untuk layanan.
Xid Error Count	Jumlah kesalahan Xid untuk layanan. Kesalahan Xid adalah kode kesalahan yang dilaporkan oleh driver GPU. Kode ini menunjukkan masalah yang dihadapi GPU selama operasi. Kesalahan ini biasanya dicatat dalam log sistem (seperti dmesg Linux atau Windows Event Viewer) dan direpresentasikan sebagai kode Xid. Xid Error: Jumlah kesalahan Xid non-fatal untuk layanan. Fatal Xid Error: Jumlah kesalahan Xid fatal untuk layanan.
Kernel Error Count	Jumlah kesalahan non-Xid untuk layanan. Kesalahan non-Xid mengacu pada jenis kesalahan lain yang dilaporkan dalam log kernel, selain kesalahan Xid.
Driver Hang	Jumlah hang driver GPU untuk layanan.
Remap Status	Status layanan saat GPU mencoba melakukan remap baris memori GPU.

Dasbor Pemantauan VLLM

Untuk layanan multi-instans, metrik throughput dijumlahkan dan metrik latensi dirata-ratakan di seluruh instans.

Metric	Description
Requests Status	Total permintaan untuk layanan. Running: Jumlah permintaan yang sedang berjalan di GPU. Waiting: Jumlah permintaan yang menunggu pemrosesan. Swapped: Jumlah permintaan yang dialihkan ke CPU.
Token Throughput	Jumlah token input dan token yang dihasilkan untuk semua permintaan layanan. TPS_IN: Jumlah token input. TPS_OUT: Jumlah token output.
Request Completion Status	Statistik status penyelesaian untuk semua permintaan layanan. preemptions: Permintaan yang dipreempt. stop: Permintaan berhasil diselesaikan karena terminasi alami (model mengeluarkan token stop, seperti <EOS>). length: Permintaan mencapai panjang maksimum token output. abort: Permintaan dihentikan secara paksa.
Time To First Token	Latensi waktu hingga token pertama untuk semua permintaan layanan (waktu dari menerima permintaan hingga menghasilkan token pertama). Avg: Latensi rata-rata waktu hingga token pertama untuk semua permintaan. TPXX: Nilai persentil untuk latensi waktu hingga token pertama untuk semua permintaan.
Time Per Output Token	Latensi waktu per token output untuk semua permintaan layanan (waktu rata-rata yang dibutuhkan untuk setiap token output setelah token pertama dihasilkan). Avg: Latensi rata-rata waktu per token untuk semua permintaan. TPXX: Nilai persentil untuk latensi waktu per token untuk semua permintaan.
E2E Request Latency	Latensi end-to-end untuk semua permintaan layanan (waktu dari menerima permintaan hingga mengembalikan semua token). Avg: Latensi end-to-end rata-rata untuk semua permintaan. TPXX: Nilai persentil untuk latensi end-to-end untuk semua permintaan.
Queue Time	Latensi antrian untuk semua permintaan layanan (waktu permintaan menunggu di antrian untuk diproses oleh engine). Avg: Latensi antrian rata-rata untuk semua permintaan. TPXX: Nilai persentil untuk latensi antrian untuk semua permintaan.
Inference Time	Latensi inferensi untuk semua permintaan layanan (waktu permintaan diproses oleh engine). Avg: Latensi inferensi rata-rata untuk semua permintaan. TPXX: Nilai persentil untuk latensi inferensi untuk semua permintaan.
Prefill Time	Latensi tahap prefill untuk semua permintaan layanan (waktu engine memproses token input permintaan). Avg: Latensi prefill rata-rata untuk semua permintaan. TPXX: Nilai persentil untuk latensi prefill untuk semua permintaan.
Decode Time	Latensi tahap decode untuk semua permintaan layanan (waktu engine menghasilkan token output). Avg: Latensi decode rata-rata untuk semua permintaan. TPXX: Nilai persentil untuk latensi decode untuk semua permintaan.
Input Token Length	Jumlah token input yang diproses oleh layanan. Avg: Panjang token input rata-rata untuk semua permintaan. TPXX: Nilai persentil untuk panjang token input untuk semua permintaan.
Output Token Length	Jumlah token output yang dihasilkan oleh layanan. Avg: Panjang token output rata-rata untuk semua permintaan. TPXX: Nilai persentil untuk panjang token output untuk semua permintaan.
Request Parameters(params_n & max_tokens)	Parameter N dan parameter max_tokens untuk semua permintaan layanan. Params_n: Nilai rata-rata parameter N untuk semua permintaan. Params_max_tokens: Nilai rata-rata parameter max_tokens untuk semua permintaan.
GPU KV Cache Usage	Pemanfaatan cache KV GPU rata-rata layanan.
CPU KV Cache Usage	Pemanfaatan cache KV CPU rata-rata layanan.
Prefix Cache Hit Rate	Tingkat hit cache awalan rata-rata untuk semua permintaan layanan. GPU: Tingkat hit cache awalan GPU rata-rata untuk semua permintaan. CPU: Tingkat hit cache awalan CPU rata-rata untuk semua permintaan.
HTTP Requests by Endpoint	Jumlah permintaan untuk layanan, dikelompokkan berdasarkan metode permintaan, path, dan kode status respons.
HTTP Request Latency	Latensi rata-rata untuk path permintaan berbeda layanan.
Speculative Decoding Throughput	Jumlah speculative decoding untuk layanan. Dirata-ratakan di seluruh instans untuk layanan multi-instans. Drafts: Jumlah token Draft yang dihasilkan. Draft Tokens: Jumlah token Draft yang diproses. Accepted Tokens: Jumlah token Draft yang diterima. Emitted Tokens: Jumlah token Draft yang dipancarkan.
Speculative Decoding Efficiency	Kinerja speculative decoding layanan. Draft Acceptance Rate: Rasio rata-rata token Draft yang diterima. Efficiency: Efisiensi rata-rata speculative decoding.
Token Acceptance by Position	Jumlah token Draft yang diterima pada posisi generasi berbeda untuk layanan. Dirata-ratakan di seluruh instans untuk layanan multi-instans.

Dasbor Pemantauan SGLang

Untuk layanan multi-instans, metrik throughput dijumlahkan dan metrik latensi dirata-ratakan di seluruh instans.

Metric	Description
Requests Num	Total permintaan untuk layanan. Running: Jumlah permintaan yang sedang berjalan di GPU. Waiting: Jumlah permintaan yang menunggu pemrosesan.
Token Throughput	Jumlah token input dan token yang dihasilkan untuk semua permintaan layanan. TPS_IN: Jumlah token input. TPS_OUT: Jumlah token output.
Time To First Token	Latensi waktu hingga token pertama untuk semua permintaan layanan. Latensi waktu hingga token pertama adalah waktu dari menerima permintaan hingga menghasilkan token pertama. Avg: Latensi rata-rata waktu hingga token pertama untuk semua permintaan. TPXX: Nilai persentil untuk latensi waktu hingga token pertama untuk semua permintaan.
Time Per Output Token	Latensi waktu per token output untuk semua permintaan layanan. Latensi waktu per token adalah waktu rata-rata yang dibutuhkan untuk setiap token output berikutnya setelah token pertama dihasilkan. Avg: Latensi rata-rata waktu per token untuk semua permintaan. TPXX: Nilai persentil untuk latensi waktu per token untuk semua permintaan.
E2E Request Latency	Latensi end-to-end untuk semua permintaan layanan. Latensi end-to-end adalah waktu dari menerima permintaan hingga mengembalikan semua token. Avg: Latensi end-to-end rata-rata untuk semua permintaan. TPXX: Nilai persentil untuk latensi end-to-end untuk semua permintaan.
Cache Hit Rate	Tingkat hit cache awalan rata-rata untuk semua permintaan layanan.
Used Tokens Num	Jumlah token cache KV yang digunakan oleh layanan. Dirata-ratakan di seluruh instans untuk layanan multi-instans.
Token Usage	Pemanfaatan token cache KV rata-rata layanan. Dirata-ratakan di seluruh instans untuk layanan multi-instans.

FAQ

Dasbor pemantauan LLM tidak ditampilkan

Masalah: Setelah penerapan EAS kustom, halaman pemantauan hanya menampilkan dasbor Service dan GPU. Pemantauan LLM tidak muncul.

Penyebab: Konfigurasi layanan tidak memiliki tag ServiceEngineType, yang mendeklarasikan jenis engine inferensi.

Catatan

Hanya tag ServiceEngineType yang memengaruhi pemantauan LLM. Parameter penerapan Model Gallery lainnya tidak berdampak.

Solusi: Perbarui konfigurasi layanan untuk menambahkan tag ServiceEngineType dan atur nilainya berdasarkan engine inferensi yang digunakan (hanya vllm atau sglang yang didukung). Contohnya:

{
  "labels": {
    "ServiceEngineType": "vllm"
  }
}

T: Mengapa /metrics 200 sering muncul di log?

Setelah tag ServiceEngineType berlaku, backend EAS melakukan polling endpoint /metrics framework inferensi setiap 10–15 detik di seluruh pod. Endpoint ini mengembalikan metrik real-time dalam format Prometheus untuk dasbor pemantauan LLM.

T: Bagaimana cara memeriksa konkurensi maksimum di pemantauan?

Pemantauan EAS tidak menyediakan metrik langsung "konkurensi maksimum". Anda dapat menentukan konkurensi berdasarkan jenis layanan:

Layanan inferensi LLM (engine vllm atau sglang): Beralih ke VLLM Monitoring Dashboard atau SGLang Monitoring Dashboard, lalu periksa metrik Running di bawah Requests Status atau Requests Num. Metrik ini menunjukkan jumlah permintaan yang sedang berjalan di GPU, yang merepresentasikan konkurensi real-time. Dengan mengubah rentang waktu (misalnya, memilih Last 1 hours atau Last 6 hours), Anda dapat menemukan nilai puncak kurva Running, yang merupakan konkurensi maksimum dalam periode tersebut.
Layanan umum: Anda dapat memperkirakan konkurensi menggunakan metrik QPS (permintaan per detik) dan RT (waktu respons) dari dasbor pemantauan layanan. Berdasarkan Hukum Little: Konkurensi ≈ QPS × RT rata-rata (detik). Misalnya, jika QPS adalah 10 dan RT rata-rata adalah 2 detik, maka konkurensinya sekitar 20. Terapkan rumus ini selama periode puncak untuk memperkirakan konkurensi maksimum.

T: Apa perbedaan antara E2E Request Latency dan RT?

E2E Request Latency disediakan oleh engine inferensi LLM, sedangkan RT disediakan oleh engine EAS (easworker). Untuk skenario LLM, disarankan menggunakan E2E Request Latency.

Referensi

Setelah mengaktifkan peringatan pemantauan layanan, Anda akan menerima pemberitahuan peringatan ketika layanan memicu aturan peringatan.
Lihat event Cloud Monitor EAS melalui Konsol Cloud Monitor atau operasi API untuk melakukan O&M, audit, atau pengaturan peringatan untuk event tersebut.
Tetapkan metrik pemantauan kustom untuk Auto Scaling berdasarkan logika bisnis. Metrik Pemantauan dan Penskalaan Kustom.