Application Real-Time Monitoring Service:概要

パネル

説明

モデル呼び出し数

選択した時間範囲内にアプリケーションが LLM を呼び出した回数です。

トークン使用量

選択した時間範囲内にアプリケーションが消費したトークン数です。

トレース数

選択した時間範囲内にアプリケーションが生成したトレース数です。

スパン数

選択した時間範囲内にアプリケーションが生成したスパン数です。

セッション数

選択した時間範囲内にアプリケーションが開始したセッション数です。

ユーザー数

選択した時間範囲内にアプリケーションと対話したユニークユーザーの総数です。

オペレーションタイプ分布

• チェーン：LLM を他のコンポーネントと接続して複雑なタスクを実行するツールです。チェーンには、リトリーブ、埋め込み、LLM 呼び出し、さらにはネストされた他のチェーンが含まれる場合があります。

• 埋め込み：埋め込みモデルを使用してテキストをベクトル表現に変換するなどのプロセスです。これにより、類似性検索で関連コンテキストを見つけることができます。

• リトリーバー：ベクトルストレージまたはデータベースにアクセスしてデータを取得する操作です。これは通常、LLM に提供されるコンテキストを補足して、応答の精度と関連性を向上させるために使用します。

• リランカー：特定のクエリに対する関連性に基づいて一連の入力ドキュメントを並べ替える操作です。LLM のコンテキストとして使用するために、最も関連性の高い上位 K 件のドキュメントを返す場合があります。

• LLM：大規模言語モデルの呼び出しです。たとえば、SDK または API 経由で LLM を呼び出し、推論またはテキスト生成を実行します。

• ツール：計算機や天気 API などの外部ツールを呼び出して、現在の天気などの特定の情報を取得する操作です。

• エージェント：インテリジェントエージェントであり、LLM の推論を使用して次のアクションを決定する複雑なチェーンです。最終的な回答に段階的に到達するために、LLM とツールへの複数回の呼び出しが含まれる場合があります。

• タスク：アプリケーション内のカスタムのユーザー定義メソッドです。たとえば、ローカル関数を呼び出して特定のロジックを適用します。

リクエストあたりの平均 LLM 呼び出し数

1 分間隔で計算した、リクエストあたりの平均 LLM 呼び出し数です。

リクエスト数の傾向

LLM アプリケーションへのリクエスト数を分単位で追跡します。

モデル呼び出しランキング

アプリケーションで最も頻繁に呼び出される LLM のトップ 5 をリスト表示します。

リクエスト数によるユーザーランキング

アプリケーションで最も多くのリクエストを行ったユーザーのトップ 5 をリスト表示します。

セッション数の傾向

LLM アプリケーションのセッション数を分単位で追跡します。