大規模言語モデル (LLM) アプリケーションに Python エージェントをインストールすると、Application Real-Time Monitoring Service (ARMS) はアプリケーションのモニタリングを開始します。[シナリオベースの分析] ページには、指定した時間範囲内における LLM アプリケーションの会話リストとモデル使用量が表示されます。
前提条件
LLM アプリケーション用のエージェントがインストールされている必要があります。手順については、「LLM アプリケーションまたは推論サービスを ARMS に接続」をご参照ください。
会話分析
-
検索ボックスをクリックして、会話 ID、ユーザー、会話の持続時間、トレース数、合計トークン数、入力トークン数、出力トークン数などの基準で会話をフィルターします。
-
会話の詳細を表示するには、[操作] 列で会話名または [詳細] をクリックします。
トレース ID をクリックすると、トレースの詳細が表示されます。詳細については、「LLM トレース分析」をご参照ください。
会話詳細パネルには、会話 ID、会話の持続時間、合計トークン数、トレース数、開始時間、ユーザー ID、モデル などの基本情報が表示されます。メインエリアには、すべてのトレースのタイムラインを可視化するガントチャートが表示されます。チャートの下には、個々のトレースのリストが表示され、それぞれの入出力コンテンツ、トレース ID、トークン消費量、および使用されたモデルが示されます。
モデル分析
タブの上部でモデルを選択します。メトリックの詳細については、「LLM メトリックリファレンス」をご参照ください。
