Application Real-Time Monitoring Service (ARMS) は、Python 用の ARMS エージェントをインストールした後、大規模言語モデル (LLM) アプリケーションを監視できます。[シナリオベースの分析] ページで、指定した期間内のアプリケーションのセッションリストとモデルの使用状況を表示できます。
前提条件
LLM アプリケーションに ARMS エージェントがインストールされています。詳細については、「ARMS で LLM アプリケーションを監視する」をご参照ください。
セッション分析
上部の検索ボックスをクリックします。ドロップダウンメニューで、セッション ID、ユーザー、セッション時間、トレース数、合計トークン、入力トークン、出力トークンなどのフィルター条件に基づいてセッションをフィルターします。
セッション名または [アクション] 列の [詳細] をクリックして、セッションの詳細を表示します。
表示されたページで、トレース ID をクリックしてトレースの詳細を表示します。詳細については、「LLM トレースエクスプローラー」をご参照ください。
モデル分析
タブページの左上隅で、分析するモデルを選択します。LLM アプリケーションのメトリックについては、「LLM メトリック」をご参照ください。
