トレース - Cloud Monitor - Alibaba Cloud ドキュメントセンター

トレース機能は、AI エージェントリクエストのエンドツーエンドのトレースと分析を提供します。この機能は、パフォーマンスボトルネックの迅速な特定、異常なリクエストのトラブルシューティング、およびエージェントの運用状態を包括的に把握するのに役立ちます。

前提条件

Cloud Monitor 2.0 を有効化し、ワークスペースを作成済みであること。
AI エージェントアプリケーションのデータインジェストを設定済みであること。

操作手順

Cloud Monitor 2.0 コンソールにログインし、ワークスペースを選択します。左側のナビゲーションペインで AI エージェントオブザーバビリティ を選択し、[トレース] タブをクリックします。

機能

検索とフィルター

ページ上部の検索バーにクエリ条件を入力し、Enter キーを押します。

説明

Shift+Enter キーを押すと、複数行のクエリを入力して、より正確な検索ができます。

検索バーの右側にある [集約] ボタンと集約ディメンションセレクターを使用すると、検索結果に対して集約分析を実行し、統計的な概要をすばやく確認できます。

概要チャート

検索エリアの下には、3 つのトレンドチャートが並べて表示され、AI エージェント呼び出しの全体的な運用状況が一目でわかります。

名称	説明
トレース数	選択した期間におけるトレース数のトレンドを表示し、リクエスト量の変動を反映します。
平均レイテンシー	リクエストの平均所要時間のトレンドを表示し、パフォーマンスの低下や異常な遅延の特定に役立ちます。
トークン消費量	合計トークン消費量 (total_tokens) のトレンドを表示し、モデルリソースの使用状況を監視します。

表示モード

右上隅のビュー切り替え機能を使用して、次の 3 つの表示モードから選択できます。

表示モード	説明
リストビュー (デフォルト)	トレースを表形式で表示します。すばやい閲覧や一括フィルタリングに適しています。
カードビュー	トレース情報をカードとして表示し、より豊富なコンテンツプレビューを提供します。
トレースビュー	トレースをタイムラインまたはウォーターフォールチャートとして表示します。呼び出しチェーン内のタイミング関係や期間分布の分析に最適です。

リストフィールド

リストビューでは、各トレースレコードに次のフィールドが含まれます。

フィールド	説明
トレース ID	呼び出しチェーンの一意の識別子。特定のリクエストを正確に取得するために使用します。
入力	ユーザーが AI エージェントに入力した元の内容。
出力	AI エージェントからユーザーへの応答。
期間	リクエストのエンドツーエンドの合計期間 (ミリ秒、ms)。
合計トークン数	リクエストで消費されたトークンの総数。入力トークンと出力トークンの合計が含まれます。
エントリアプリケーション名	リクエストを開始したアプリケーションの名前。異なるエージェントアプリケーションのソースを区別するために使用します。
ユーザー ID	リクエストを開始したユーザーの識別子。
セッション ID	セッションの識別子。同じセッション内の複数のリクエストは、同じセッション ID を共有します。
開始時刻	リクエストの開始時刻。ミリ秒単位の精度です。
操作	[詳細] ボタンをクリックすると、各スパンの実行情報を含む完全なトレース詳細が表示されます。

ページネーション

リストの下部には、検索に一致するトレースの総数が表示され、より多くの結果を閲覧するためのページネーションコントロールが用意されています。

トレース詳細

トレースリストで対象のトレースを見つけ、[アクション] 列の [詳細] をクリックしてトレース詳細ページを開きます。

説明

また、[セッション分析] ページから特定のセッションの詳細に移動し、[トレースリスト] でトレース ID をクリックしてトレースの詳細にアクセスすることもできます。

情報バー

ページの上部には、現在のトレースのコアメタデータが表示され、すばやく識別して共有できます。

フィールド	説明
トレース ID	現在の呼び出しチェーンの一意の識別子。
開始時刻	リクエストが開始された時刻。ミリ秒単位の精度です。
期間	エンドツーエンドの期間 (ミリ秒、ms)。
エージェント	このトレースに関与する AI エージェントの数。
合計トークン消費量	このリクエストで消費されたトークンの総数。
セッション ID	セッションの識別子。同じセッション内の他のリクエストを関連付けます。
ユーザー ID	リクエストを開始したユーザーの識別子。
LLM 呼び出し	このトレース内の LLM 呼び出しの数。
ツール呼び出し	このトレース内のツール呼び出しの数。

ページの右上隅には、[新しいページで開く]、[パスワードなしの共有]、[旧バージョンに切り替える] などのオプションがあり、さまざまなシナリオでトレース情報を表示および共有できます。

上部の情報バーの下には、リクエストの[入力]と[出力]の概要が表示され、個々のスパンの詳細を掘り下げることなく、リクエストの意味をすばやく理解できます。

表示モード

トレース詳細ページには 5 つの表示モードがあります。上部のタブを使用して切り替えます。

ビュー	説明
[呼び出しツリー]	スパン階層をツリー構造で表示します。各ノードには、タイプ (ENTRY、AGENT、LLM、Tool など)、スパン名、主要な属性 (合計トークン数やモデル名など)、および期間を示すガントチャートが表示されます。このビューは、全体的な呼び出し構造と期間分布をすばやく理解するのに最適です。
[トレースグラフ]	トポロジーグラフで Span ノードとその呼び出し関係を表示します。各ノードには、期間、呼び出し数、ステータスなどの主要なメトリクスが表示されます。このビューでは [軌跡ビュー] と [集計ビュー] を切り替えることができるため、呼び出しトポロジーとノードの依存関係の分析に適しています。
[タイムライン]	左側にはスパンリストがウォーターフォールチャート (期間バーを含む) として表示され、右側には選択したスパンの完全な詳細 (情報、属性、リソース、詳細、イベント、リンクなどのサブタブを含む) が表示されます。これは、詳細な分析に最も一般的に使用されるビューです。
[推論軌跡]	エージェントごとに会話の軌跡をグループ化し、色付きのバブルを使用してシステム、ユーザー、アシスタント、ツールのメッセージを区別します。このビューは、推論プロセス中のエンドツーエンドの対話コンテンツを再構築し、LLM の推論ロジックの分析に最適です。
[トレース分析]	現在のトレースの主要なパフォーマンスメトリクスを集約し、複数の視覚化を通じてパフォーマンスと呼び出しの分布を表示します。このビューを使用して、トレースの健全性を高レベルで評価します。

説明

右上隅の [マイクロサービスビュー] リンクをクリックすると、Microservices Observability の対応するトレースビューに移動し、基盤となるインフラストラクチャと連携したトラブルシューティングを行うことができます。

呼び出しツリー

このビューは、スパン階層をインデントされたツリー構造で表示します。各ノードには以下が含まれます：

スパンタイプのラベル (ENTRY、AGENT、LLM、Tool など)。
スパン名 (enter_ai_application_system、invoke_agent xxx、generate_content xxx など)。
主要な属性 (total tokens: 2 や model: cosyvoice-v1 など)。
右側に期間を示すガントチャートバーと期間の値。

[検索ボックス]、[ハイライトのみ] スイッチ、[展開/折りたたみ] ボタン、[表示設定] などのコントロールを使用すると、大規模なトレース内の主要な Span をすばやく見つけるのに役立ちます。

トレースグラフ

このビューは、スパン間の呼び出し関係をノードリンク形式のトポロジグラフで表示します。各ノードカードには以下が表示されます：

スパン名
期間
呼び出し
ステータス (OK や Error などの実行ステータス)
主要な属性 (モデル名や合計トークン数など)

右上隅では、[軌跡ビュー] と [集計ビュー] を切り替えることができます。[軌跡ビュー] は元の呼び出し順を保持して完全なトレースを表示するのに対し、[集計ビュー] は同一の Span をマージすることで、ホットノードや呼び出しパターンを特定しやすくします。

タイムライン

このビューは、最も詳細な単一スパンの分析機能を提供します。

左側のスパンリスト：すべてのスパンを時系列のウォーターフォールチャートとして表示します。各スパンには、タイプのラベル、名前、期間、およびガントチャートバーが表示され、スパン間のタイミングと期間の関係を直感的に示します。
右側のスパン詳細：左側でいずれかのスパンをクリックすると、その完全な詳細が右側に表示されます。これには、次のサブタブが含まれます：

サブタブ	説明
[情報]	スパンのコアメタデータ (開始時刻、終了時刻、期間、ステータスなど) とその入力および出力コンテンツを表示します。入力と出力はロール (ユーザー、アシスタント、ツール) 別にグループ化され、[整形] と [Raw] のデータ形式を切り替えることができます。
[属性]	標準の OpenTelemetry 属性と、GenAI セマンティック規約からの拡張属性を表示します。括弧内の数字は属性数を示します。
[リソース]	リソースのメタデータ (サービス、ホスト、SDK バージョンなど) を表示して、スパンの発生元を特定します。
[詳細]	スパンに関する拡張詳細情報を表示します。
[イベント]	スパンに関連付けられたイベントのリストを表示します。
[リンク]	スパンに関連付けられたリンクのリストを表示します。トレース間の相関分析に使用します。

説明

詳細パネルの右上隅には、関連ログやイベントビューにすばやく移動するための[ログのクエリ] や [イベントの設定] などのショートカットが用意されています。

推論軌跡

このビューは、エージェントごとに会話フローを整理し、色付きのバブルを使用して 4 種類のメッセージタイプを区別し、LLM の推論プロセスを再構築します。

メッセージロール	説明
システム	システムプロンプトまたはセッションコンテキストの設定。
ユーザー	ユーザー入力またはアップストリームリクエスト。
アシスタント	モデルの応答またはエージェントの決定。
ツール	ツール呼び出しの入力パラメーターまたは戻り結果。

各メッセージはバブルとして表示され、全文または JSON コンテンツ (mime_type、modality、uri などの構造化フィールド) が表示されます。右上隅にはメッセージの期間が表示されます。

トレース分析

このビューは、現在のトレースのパフォーマンスと呼び出しメトリクスを集約して表示します。

コアメトリクス

ページの上部には 6 つのコアメトリクスカードが表示されます。

メトリクス	説明
合計期間	このトレースの合計実行期間。
TT	トレースで消費されたトークンの総数。
トークン消費量	トレースの時間枠内でのトークン消費量のトレンド。
LLI	トレース内の LLM 呼び出しの数。
TO	トレース内のツール呼び出しの数。
SK	トレース内のスキルロードの数。

パフォーマンス分析

LLM とツール呼び出しの期間の割合：円グラフで、このトレースにおける LLM とツール呼び出しの期間の割合を示します。
期間別トップ LLM 呼び出し：実行時間が最も長い LLM 呼び出しスパンを一覧表示するテーブル。spanName、spanId、期間、TTFT、入力トークンなどのフィールドが含まれます。
期間別トップツール呼び出し：実行時間が最も長いツール呼び出しスパンを一覧表示するテーブル。

LLM 呼び出し分析

4 つのトレンドチャートで、LLM 呼び出しの詳細なパフォーマンスを表示します。

LLM ターンの期間トレンド (ttft / total_duration)
LLM ターンのトークントレンド (input_tokens / output_tokens)
LLM ターンのトークン出力レート (output_tokens/s)
LLM キャッシュヒット率 (cache_hit)

ツール呼び出し分析

3 つのチャートで、ツール呼び出しの運用パフォーマンスを表示します。

ツール呼び出し期間のトレンド
ツール呼び出しの入出力サイズ
ツールごとの呼び出し数

スキルロード分析

スキルロードの記録を表示し、エージェントが実行中にロードしたスキルとその期間の分析に役立ちます。

ユースケース

パフォーマンスボトルネックの特定：呼び出しツリーまたはタイムラインビューで期間によってソートし、最も長いスパンをすばやく特定します。トレース分析ビューで、期間の割合と上位の LLM/ツール呼び出しを確認し、最適な最適化ターゲットを見つけます。
異常なリクエストのトラブルシューティング：呼び出しツリービューで、エラーステータスのスパンを見つけます。次に、タイムラインビューを使用して、エラースタックや詳細を含む属性とイベントを検査し、根本原因を特定します。
推論プロセスの監査：推論軌跡ビューを使用して、ユーザー、アシスタント、ツールの完全な対話フローを再生し、モデルの決定パスとツールの使用状況を評価します。
トークン使用量の分析：トレース分析ビューで、トークン消費量の分布とキャッシュヒット率を確認し、消費量の多いノードを特定してプロンプト設計を最適化します。