ご利用の大規模言語モデル (LLM) アプリケーションに Python エージェントをインストールすると、ARMS はそのモニタリングを開始します。[パフォーマンス分析] ページには、モデル呼び出し、平均モデル呼び出し時間、モデル呼び出しエラーなどの主要なメトリックが表示されます。
前提条件
LLM アプリケーションにエージェントがインストール済みであること。詳細については、「LLM アプリケーションまたは推論サービスを ARMS に接続」をご参照ください。
パフォーマンス分析の表示
ARMS コンソールにログインします。左側のナビゲーションウィンドウで、を選択します。
[アプリケーションリスト] ページで、リージョンを選択し、対象アプリケーションの名前をクリックします。
上部のナビゲーションバーで、[パフォーマンス分析] をクリックします。
パネル
説明
モデル呼び出し
選択した期間内の合計モデル呼び出し数。
平均モデル呼び出し時間
選択した期間における、モデル呼び出しあたりの平均時間。
モデル呼び出しエラー
選択した期間内の失敗したモデル呼び出しの合計数。
モデル呼び出し数/分
1 分あたりのモデル呼び出し数。
平均モデル呼び出し時間/分
1 分あたりの平均モデル呼び出し時間。
モデル呼び出しエラー数/分
1 分あたりの失敗したモデル呼び出し数。
モデル呼び出し時間の分位数 (P99)/分
1 分あたりのモデル呼び出し時間の P99 分位数。これは、呼び出しの 99% がこの値よりも速かったことを意味します。
最初のパケットまでの平均時間/分
1 分あたりの、モデル呼び出しから最初のデータパケットを受信するまでの平均時間。
最初のパケットまでの時間の分位数 (P99)/分
1 分あたりの、モデル呼び出しから最初のパケットまでの時間 (TTFP) の P99 分位数。
呼び出し数別のトップ 5 モデル
呼び出し数が最も多い上位 5 モデル (降順)。
平均呼び出し時間による上位 5 モデル
平均呼び出し時間が最も長い上位 5 モデル (降順)。
呼び出しエラー数による上位 5 モデル
呼び出しエラー数が最も多い上位 5 モデル (降順)。