ご利用の大規模言語モデル (LLM) アプリケーションに Python エージェントをインストールすると、Application Real-Time Monitoring Service (ARMS) がそのモニタリングを開始します。 [会話分析] ページには、指定した期間の会話が一覧表示され、各会話の詳細を確認できます。
前提条件
LLM アプリケーションにエージェントがインストール済みであること。 詳細については、「ARMS との LLM アプリケーションまたは推論サービスの統合」をご参照ください。
操作手順
-
ARMS コンソールにログインします。 左側のナビゲーションウィンドウで、を選択します。
-
アプリケーションリストページで、ページ上部でリージョンを選択し、対象アプリケーションの名前をクリックします。
-
上部のナビゲーションバーで、[会話分析] をクリックします。
-
検索ボックスをクリックします。 ドロップダウンリストから、セッション ID、ユーザー、セッション期間、トレース数、合計トークン数、入力トークン、出力トークンなどの条件で会話をフィルターします。
-
会話リストには、各会話の期間、トークン (入力トークンと出力トークンを含む)、トレース数、ユーザー、開始時刻などの情報が表示されます。
会話名または [操作] 列の [詳細] をクリックして、会話の詳細を表示します。
トレース ID をクリックすると、トレース詳細が表示されます。 詳細については、「LLM トレース分析」をご参照ください。
会話詳細ページの上部には、セッション ID、合計期間、合計トークン、トレース数などのサマリーメトリックが表示されます。 [基本情報] セクションには、開始時刻、ユーザー ID、モデル名などのフィールドが表示されます。 ページ中央のガントチャートは、各トレースの実行時間の分布を可視化します。 チャートの下には、各トレースのトレース ID、トークン数、およびモデルごとのトークン使用量の内訳を示す詳細カードが表示されます。