Topik ini menjelaskan metrik utama model bahasa besar (LLM) yang dapat digunakan untuk menyesuaikan Dasbor Grafana.
Label umum
Deskripsi dimensi | Kunci dimensi | Contoh |
Nama layanan | service | llm-rag-demo |
PID Layanan | pid | ggxw4lnjuz@0cb8619bb54**** |
Alamat IP server | serverIp | 127.0.0.1 |
Antarmuka | rpc | query |
Sumber aplikasi | source |
|
Metrik permintaan
Secara desain, metrik permintaan mencakup protokol dan jenis pemanggilan yang didukung oleh instrumentasi, seperti layanan yang disediakan dan bergantung. Untuk informasi lebih lanjut, lihat Metrik pemantauan aplikasi.
Deskripsi metrik | Nama metrik | Pengukuran | Interval pengumpulan (Satuan: detik) | Satuan | Dimensi |
Total permintaan | arms_$callType_requests_count | Gauge | 15 | Tidak ada | Dimensi berbeda berlaku untuk tipe akses layanan yang berbeda. Untuk informasi lebih lanjut, lihat Metrik pemantauan aplikasi. |
Jumlah permintaan error | arms_$callType_requests_error_count | Gauge | 15 | Tidak ada | |
Total durasi permintaan | arms_$callType_requests_seconds | Gauge | 15 | Detik | |
Jumlah permintaan lambat | arms_$callType_requests_slow_count | Gauge | 15 | Tidak ada |
Metrik LLM
Selain label umum, label berikut mungkin juga digunakan: modelName, spanKind, usageType.
Deskripsi dimensi | Kunci dimensi | Contoh | Catatan |
Nama model | modelName |
| Tidak ada |
Tipe operasi | spanKind | LLM, CHAIN, atau EMBEDDING Untuk informasi lebih lanjut, lihat Bidang jejak untuk aplikasi LLM. | Tidak ada |
Tipe penggunaan | usageType |
| Hanya tersedia untuk metrik terkait token |
Tipe operasi
Deskripsi metrik | Nama metrik | Pengukuran | Interval pengumpulan (Satuan: menit) | Satuan | Dimensi |
Jumlah permintaan untuk memanggil LLM | genai_calls_count | Gauge | 1 | Tidak ada |
|
Durasi respons untuk memanggil LLM | genai_calls_duration_seconds | Gauge | 1 | Detik |
|
Jumlah kesalahan pemanggilan LLM | genai_calls_error_count | Gauge | 1 | Tidak ada |
|
Jumlah pemanggilan LLM yang lambat | genai_calls_slow_count | Gauge | 1 | Tidak ada |
|
Kinerja LLM
Deskripsi metrik | Nama metrik | Pengukuran | Interval pengumpulan (Satuan: menit) | Satuan | Dimensi |
Waktu hingga token pertama (TTFT) untuk LLM | genai_llm_first_token_seconds | Gauge | 1 | Detik |
|
Penggunaan LLM
Deskripsi metrik | Nama metrik | Pengukuran | Interval pengumpulan (Satuan: menit) | Satuan | Dimensi |
Jumlah token yang digunakan | genai_llm_usage_tokens | Gauge | 1 | Tidak ada |
|