ご利用の大規模言語モデル (LLM) アプリケーションに Python エージェントをインストールすると、Application Real-Time Monitoring Service (ARMS) はアプリケーションのモニタリングを開始します。[トークン分析] ページでトークン使用量を確認できます。
LLM アプリケーションにおいて、トークンはテキスト処理の基本単位です。これは、モデルが使用するトークナイザーに応じて、単語、サブワード、または文字といった、モデルの入力と出力における最小の意味単位を表します。
前提条件
LLM アプリケーションにエージェントがインストール済みであること。詳細については、「ARMS との LLM アプリケーションまたは推論サービスの統合」をご参照ください。
トークン分析の表示
ARMS コンソールにログインし、左側のナビゲーションバーで を選択します。
[アプリケーションリスト] ページで、上部のナビゲーションバーからリージョンを選択し、対象のアプリケーション名をクリックします。
上部のナビゲーションバーで、[トークン分析] をクリックします。
パネル
説明
トークン使用量
指定した時間範囲内に、すべての LLM 呼び出しで消費されたトークンの総数。
LLM 呼び出しあたりの平均トークン数
LLM 呼び出し 1 回あたりに消費された平均トークン数。
リクエストあたりの平均トークン数
ユーザーリクエスト 1 件あたりに消費された平均トークン数。
1分あたりのトークン使用量
1分あたりにすべての LLM 呼び出しで消費されたトークンの総数。
1分あたりの LLM 呼び出しあたりの平均トークン数
1分あたりの LLM 呼び出し 1 回あたりに消費された平均トークン数。
1分あたりのリクエストあたりの平均トークン数
1分あたりのユーザーリクエスト 1 件あたりに消費された平均トークン数。
トークン使用量モデルランキング (トップ5)
トークン使用量が多い上位 5 つのモデルを降順で表示します。
トークン使用量会話ランキング (トップ5)
トークン使用量が多い上位 5 つの会話を降順で表示します。
トークン使用量ユーザーランキング (トップ5)
トークン使用量が多い上位 5 つのユーザーを降順で表示します。