Application Real-Time Monitoring Service:概要

パネル

説明

モデル呼び出し数

指定された期間内にアプリケーションの大規模言語モデルが呼び出された回数。

トークン使用量

指定された期間内にアプリケーションのトークンが使用された回数。

トレース数

指定された期間内にアプリケーションによって生成された呼び出しチェーンの数。

スパン数

指定された期間内にアプリケーションによって生成されたスパンの数。

セッション数

指定された期間内にアプリケーションによって生成されたセッションの数。

ユーザー数

指定された期間内のアプリケーションのユーザー数。

操作タイプの分布

• CHAIN：LLM と他の複数のコンポーネントを接続して複雑なタスクを実現するツール。 取得、埋め込み、LLM 呼び出しを含み、チェーンをネストすることもできます。

• EMBEDDING：テキストの大規模モデルを埋め込むための操作など、埋め込み処理。 類似性に基づいて課題をクエリおよび最適化できます。

• RETRIEVER：一般的に、ベクターストレージまたはデータベースにアクセスしてデータを取得することを指します。 通常は、コンテキストコンテンツを補足して LLM 応答の精度と効率を向上させるために使用されます。

• RERANKER：入力と質問の内容に基づいて複数のドキュメントを並べ替え、処理して関連性を判断します。 上位 K 件のドキュメントを LLM として返す場合があります。

• LLM：SDK または OpenAPI に基づいて異なる大規模モデルへの推論またはテキスト生成リクエストなど、大規模モデルへの呼び出しを識別します。

• TOOL：電卓の呼び出しや天気 API をリクエストして最新の気象条件を取得するなど、外部ツールへの呼び出しを識別します。

• AGENT：インテリジェントエージェントシナリオ。大規模モデルの推論結果に基づいて次のステップを実行するための意思決定を必要とする複雑なチェーン。 最終的な回答に段階的に到達するために、LLM およびツールへの複数の呼び出しが伴う場合があります。

• TASK：ローカル関数を呼び出してカスタムロジックを適用するなど、内部カスタムメソッドを識別します。

リクエストごとの平均 LLM 呼び出し数

1 分あたりのリクエストごとの大規模言語モデルの平均呼び出し数。

リクエストトレンド

LLM アプリケーションの 1 分あたりのリクエスト数のトレンドグラフ。

モデル呼び出しランキング

LLM アプリケーションで最も頻繁に呼び出される上位 5 つの言語モデル。

リクエストユーザーランキング

LLM アプリケーションで最も多くのリクエストを開始した上位 5 人のユーザー。

セッションのトレンド

LLM アプリケーションの 1 分あたりのセッション数のトレンドグラフ。