大規模言語モデル (LLM) アプリケーションに Python エージェントをインストールすると、Application Real-Time Monitoring Service (ARMS) による監視が開始されます。トークン分析 ページを使用して、LLM アプリケーションにおけるトークン使用量を把握できます。
LLM アプリケーションでは、トークンはテキストを処理するための基本単位です。トークンは、モデルの入力と出力の最小意味単位を表します。トークンは、モデルのトークナイザーに応じて、単語、サブワード、または文字になります。
前提条件
LLM アプリケーションのエージェントがインストールされました。詳細については、「LLM アプリケーションまたは推論サービスを ARMS に接続する」をご参照ください。
トークン分析の表示
-
ARMS コンソールにログインします。左側のナビゲーションペインで、 を選択します。
-
アプリケーションリスト ページで、リージョンを選択し、アプリケーション名をクリックします。
-
上部メニューで、[トークン分析] をクリックします。
パネル
説明
トークン使用量
選択した時間範囲内に LLM 呼び出しで消費されたトークンの合計数です。
LLM 呼び出しあたりの平均トークン数
LLM 呼び出しあたりに消費されたトークンの平均数です。
リクエストあたりの平均トークン数
ユーザーリクエストあたりに消費されたトークンの平均数です。
毎分のトークン消費量
毎分、LLM 呼び出しで消費されたトークンの合計数です。
毎分の LLM 呼び出しあたりの平均トークン数
毎分、LLM 呼び出しあたりに消費されたトークンの平均数です。
毎分のリクエストあたりの平均トークン数
毎分、ユーザーリクエストあたりに消費されたトークンの平均数です。
トークン使用量モデルランキング (Top 5)
トークン消費量が最も多い上位 5 つのモデルを降順で表示します。
トークン使用量セッションランキング (Top 5)
トークン消費量が最も多い上位 5 つのセッションを降順で表示します。
トークン使用量ユーザーランキング (Top 5)
トークン消費量が最も多い上位 5 人のユーザーを降順で表示します。