このトピックでは、Grafana ダッシュボードのカスタマイズに利用できる主要な大規模言語モデル (LLM) メトリックについて説明します。
共通ラベル
ディメンションの説明 | ディメンションキー | 例 |
サービス名 | service | llm-rag-demo |
サービス PID | pid | ggxw4lnjuz@0cb8619bb54**** |
サーバー IP アドレス | serverIp | 127.0.0.1 |
インターフェース | rpc | query |
アプリケーションソース | source |
|
リクエストメトリック
設計上、リクエストメトリックは、提供されたサービスや依存サービスなど、イベントトラッキングでサポートされているプロトコルと呼び出しタイプをカバーします。詳細については、「アプリケーション監視メトリック」をご参照ください。
メトリックの説明 | メトリック名 | 測定 | 収集間隔（単位：秒） | 単位 | ディメンション |
リクエストの合計 | arms_$callType_requests_count | Gauge | 15 | なし | サービスアクセスタイプによって適用されるディメンションが異なります。詳細については、「アプリケーション監視メトリック」をご参照ください。 |
エラーリクエストの数 | arms_$callType_requests_error_count | Gauge | 15 | なし | |
リクエスト合計時間 | arms_$callType_requests_seconds | Gauge | 15 | 秒 | |
低速リクエストの数 | arms_$callType_requests_slow_count | Gauge | 15 | なし |
LLM メトリック
共通ラベルに加えて、次のラベルも使用できます： modelName、spanKind、usageType。
ディメンションの説明 | ディメンションキー | 例 | 備考 |
モデル名 | modelName |
| なし |
操作タイプ | spanKind | LLM、CHAIN、または EMBEDDING 詳細については、「LLM アプリケーションのトレースフィールド」をご参照ください。 | なし |
使用タイプ | usageType |
| トークン関連のメトリックのみに使用可能 |
操作タイプ
メトリックの説明 | メトリック名 | 測定 | 収集間隔（単位：分） | 単位 | ディメンション |
LLM を呼び出すリクエストの数 | genai_calls_count | Gauge | 1 | なし |
|
LLM を呼び出すレスポンスタイム | genai_calls_duration_seconds | Gauge | 1 | 秒 |
|
LLM 呼び出しエラーの数 | genai_calls_error_count | Gauge | 1 | なし |
|
低速な LLM 呼び出しの数 | genai_calls_slow_count | Gauge | 1 | なし |
|
LLM パフォーマンス
メトリックの説明 | メトリック名 | 測定 | 収集間隔（単位：分） | 単位 | ディメンション |
LLM の最初のトークンまでの時間 (TTFT) | genai_llm_first_token_seconds | Gauge | 1 | 秒 |
|
LLM 使用量
メトリックの説明 | メトリック名 | 測定 | 収集間隔（単位：分） | 単位 | ディメンション |
使用済みトークンの数 | genai_llm_usage_tokens | Gauge | 1 | なし |
|