大規模言語モデル (LLM) アプリケーション用の Python エージェントをインストールすると、LLM トレースエクスプローラー機能がアプリケーションのトレース情報を分析します。[LLM Trace Explorer] ページでは、トレース内のさまざまなタイプのスパンの期間と、入力、出力、トークン数などの関連するスパン情報を確認できます。
LLM トレースエクスプローラー機能は現在ベータ版です。この機能をお試しになる場合は、DingTalk グループ (ID: 67690017432) にご参加いただき、サポートを受けてください。
前提条件
LLM アプリケーション用のエージェントをインストール済みであること。手順については、「Integrate LLM applications and inference services with ARMS」をご参照ください。
トレースのフィルタリング
にログインします。 ARMSコンソールを使用します。
左側のナビゲーションウィンドウで、[LLM アプリケーションモニタリング] > トレース分析 を選択します。
トレース分析 ページで、右上隅にあるタイムピッカーを使用して、クエリの時間範囲を設定します。
説明デフォルトでは、LLM アプリケーションは Large Language Model ビュー (
アイコン) で表示されます。マイクロサービスビューに切り替えるには、
アイコンをクリックします。トレースをフィルタリングします。
左側の [Quick Filter] エリアで、ステータス、期間、スパンタイプ、インターフェイス名、またはモデル名でトレースをフィルタリングします。
フィルター条件は、ページ上部のテキストボックスに表示されます。
上部のテキストボックスをクリックして、既存のフィルター条件を変更するか、ドロップダウンパネルで他のディメンションの条件を設定します。
一般的なクエリ条件には、[serviceName] (アプリケーション名)、[spanName] (インターフェイス名)、[ip] (ホストアドレス)、[traceId] (トレース ID)、および [duration] があります。[Only show traces with code hotspots]、[Only show root spans]、[Only show slow spans]、または [Only show error spans] を選択して結果をフィルタリングできます。高度なクエリでは、[kind] (エンドポイントタイプ) および [statusCode] (ステータス) でフィルタリングできます。また、[Add query condition] をクリックして、属性またはリソースに基づいて条件を追加することもできます。フィルターを適用するには、[Query] をクリックします。
上部のテキストボックスに直接クエリ条件を入力します。クエリ構文の詳細については、「Query syntax for Trace Explorer」をご参照ください。
説明テキストボックスの右側にある
アイコンをクリックして、現在のフィルター条件を保存します。テキストボックスの右側にある [Saved View] をクリックして、保存したフィルター条件を表示します。フィルター条件をクリックすると、対応するトレース情報をすばやく表示できます。
集約ディメンションを選択して、フィルタリングされたデータをグループ化します。
トレースリスト
フィルターを設定すると、トレース分析 ページに、呼び出し数、トークン数、期間パーセンタイル、期間分布、トレースリストなどのフィルターされた LLM トレース情報が表示されます。
トレースリストの上部では、[List]、[scatter plot]、[cross-trace aggregation]、[cross-trace topology]、[slow and error traces] などのタブをクリックして、さまざまなビューを切り替えられます。右側の [slow trace analysis] パネルには、最も時間のかかったトレースへの寄与要因が、spanName、serviceName、ip などのディメンション別にランク付けされて表示されます。
トレースリストには、各トレースのトレース ID、入出力コンテンツ、インターフェイス名、スパンタイプ、期間、トークン数、アプリケーション名、ユーザー ID、セッション ID、開始時刻が表示されます。トレースリストでは、次の操作を実行できます。
トレースのアクション 列で 詳細 をクリックすると、その完全な詳細が表示されます。詳細については、「トレースの詳細」をご参照ください。
トレースの アクション 列で Log をクリックすると、対応するログが表示されます。
右上隅の
アイコンをクリックして、リスト内の列を追加または非表示にします。トレースパラメーターにカーソルを合わせ、右側の
アイコンをクリックして、現在のパラメーター値をフィルター条件として追加します。
トレースの詳細
トレースの詳細パネルでは、トレースのタイムライン、開始時刻、合計期間のほか、入出力コンテンツ、スパン名、タイプ、アプリケーション名、トークン数、期間といった情報を確認できます。
トレースの詳細パネルでは、次の操作を実行できます。
トークン数タグにカーソルを合わせると、詳細なトークンデータが表示されます。
スパン名をクリックすると、期間、開始時刻、追加情報、メトリクス、ログが表示されます。表示される情報は、操作タイプによって異なります。
追加情報には、モデル名、入力クエリ、プロンプトテンプレート、呼び出しパラメーター、結果が含まれます。
属性フィールドの説明については、「LLM トレースのフィールド定義」をご参照ください。
関連ドキュメント
LLM トレースエクスプローラーのその他の機能については、「LLM Trace Explorer」をご参照ください。