大規模言語モデル (LLM) アプリケーションに Python agent をインストールすると、Trace Explorer がそのトレースを分析します。Trace Explorer ページでは、trace 内の各スパンの持続時間と、それに関連する入出力および token 消費量を確認できます。
LLM Trace Explorer 機能はベータ版です。ご利用になるには、DingTalk グループ (ID: 67690017432) に参加してアクセス権をご申請ください。
前提条件
LLM アプリケーション用の agent をインストール済みである必要があります。手順については、「LLM アプリケーションまたは推論サービスを ARMS に接続する」をご参照ください。
トレースのフィルター
ARMS コンソールにログインします。
-
左側のナビゲーションウィンドウで、 を選択します。
-
トレース分析 ページの右上隅で、期間を選択します。
説明デフォルトでは、LLM アプリケーションは大規模モデルビュー (
アイコン) を表示します。マイクロサービスビューを表示するには、
アイコンをクリックして切り替えます。 -
トレースをフィルターします。
-
左側の クイックフィルター エリアで、ステータス、持続時間、スパンタイプ、API 名、またはモデル名でトレースをフィルターできます。
フィルター条件はページ上部の検索ボックスに表示されます。
-
ページ上部の検索ボックスをクリックして、既存のフィルターを変更したり、新しいフィルターを追加したりできます。
-
検索ボックスに直接クエリを入力することも可能です。クエリ構文の詳細については、「Trace Explorer のクエリ構文」をご参照ください。
説明-
検索ボックスの右側にある保存アイコン (
) をクリックして、現在のフィルター条件を保存できます。 -
検索ボックスの右側にある 保存済みビュー をクリックすると、保存済みのフィルターが表示されます。フィルターをクリックすると、その条件が適用され、一致するトレースが表示されます。
-
集約ディメンションを選択して、フィルター後のデータをグループ化できます。
-
-
トレースリスト
フィルターを適用すると、トレース分析 ページに、一致するトレースの主要な metrics（リクエスト数、token 使用量、duration パーセンタイルなど）および詳細な trace list が表示されます。
trace list の各エントリには、trace ID、入出力、API 名、span タイプ、duration、合計 tokens、アプリケーション名、ユーザー ID、session ID、開始時刻が含まれます。トレースリストでは、以下の操作が可能です。
-
特定の
traceの アクション 列で、詳細 をクリックして、そのtrace detailsを表示します。詳細については、「トレースの詳細」をご参照ください。 -
特定のトレースの アクション 列で、Log をクリックして、そのトレースに関連付けられたログを表示します。
-
右上隅の設定アイコン (
) をクリックして、リストに表示する列をカスタマイズします。 -
リスト内のパラメーターにマウスを合わせ、表示されるフィルターアイコン (
) をクリックして、その値をフィルター条件として追加します。
トレースの詳細
trace details パネルには、trace のタイムライン、開始時刻、合計 duration が表示されます。また、各 span の名前、タイプ、アプリケーション、token 数、duration、入出力コンテンツなどの詳細情報も提供されます。
トレースの詳細パネルでは、以下の操作が可能です。
-
トークンタグにマウスを合わせて、詳細なトークンデータを表示します。
-
スパン名をクリックして、その持続時間、開始時刻、追加情報、メトリック、ログを表示します。表示される情報は操作タイプによって異なります。
-
追加情報には、モデル名、入力質問、プロンプトテンプレート、呼び出しパラメーター、返された結果が含まれます。
-
Attribute フィールドの説明については、「LLM トレースフィールド定義」をご参照ください。
-
関連トピック
Trace Explorer の他の機能については、「Trace Explorer」をご参照ください。