鏈路追蹤 - Cloud Monitor

鏈路追蹤功能為您提供對 AI Agent 請求的端到端調用鏈追蹤與分析能力，協助您快速定位效能瓶頸、排查異常請求，並全面瞭解 Agent 的健全狀態。

前提條件

已開通CloudMonitor2.0服務並建立工作空間。
已完成 AI Agent 應用的資料接入配置。

操作路徑

登入CloudMonitor2.0控制台，選擇目標工作空間，在左側導覽列選擇AI Agent可觀測，單擊鏈路追蹤頁簽。

功能說明

搜尋與篩選

頁面頂部提供搜尋方塊，您可以輸入查詢條件後按 Enter 鍵執行搜尋。

說明

支援按 Shift+Enter 換行輸入多行查詢條件，以構建更精確的搜尋運算式。

搜尋方塊右側提供彙總按鈕及彙總維度選取器，您可以按指定維度對搜尋結果進行彙總分析，快速擷取統計概覽。

概覽圖表

搜尋地區下方展示三個並列的趨勢圖，協助您直觀掌握 AI Agent 調用的整體運行態勢：

圖表名稱	說明
Trace 數	展示所選時間段內 Trace 數量的變化趨勢，反映請求量的波動情況。
平均耗時	展示請求平均耗時的變化趨勢，協助您識別效能劣化或異常延遲。
Token 消耗	展示總 Token 消耗（total_tokens）的變化趨勢，便於您監控模型資源用量。

視圖模式

頁面右上方提供視圖切換控制項，支援以下三種視圖模式：

視圖模式	說明
列表視圖（預設）	以表格形式展示 Trace 列表，適合快速探索和批量篩選。
卡片視圖	以卡片形式展示 Trace 資訊，提供更豐富的內容預覽。
軌跡視圖	以時間軸/瀑布圖形式展示 Trace 軌跡，適合分析調用鏈的時序關係與耗時分布。

Trace 列表欄位

在列表視圖下，每條 Trace 記錄包含以下欄位：

欄位	說明
Trace ID	調用鏈的唯一標識，可用於精確檢索特定請求。
輸入	請求的輸入內容，即使用者發送給 AI Agent 的原始資訊。
輸出	請求的輸出內容，即 AI Agent 返回給使用者的響應結果。
耗時	請求的端到端總耗時，單位為毫秒（ms）。
Total tokens	本次請求消耗的總 Token 數，包含輸入和輸出 Token 的總和。
入口應用程式名稱	發起請求的應用程式名稱，用於區分不同的 Agent 應用來源。
使用者識別碼	發起請求的使用者標識。
會話 ID	所屬會話的標識，同一會話中的多次請求共用相同的會話 ID。
開始時間	請求的開始時間，精確到毫秒。
操作	提供詳情按鈕，單擊可查看完整的調用鏈詳情，包括各 Span 的執行資訊。

分頁

列表底部顯示搜尋匹配的 Trace 總數，並提供分頁控制項，您可以翻頁查看更多結果。

Trace詳情

在 Trace 列表中找到目標 Trace 記錄，單擊右側操作列的詳情進入 Trace 詳情頁面。

說明

也可以從會話分析頁面進入對應會話詳情後，單擊鏈路列表中的鏈路 ID 進入 Trace 詳情。

頂部資訊列

頁面頂部展示當前 Trace 的核心中繼資料，便於快速定位與共用。

欄位	說明
Trace ID	當前調用鏈的唯一標識。
開始時間	請求發起的時間，精確到毫秒。
耗時	端到端總耗時，單位為毫秒（ms）。
Agents數	本次鏈路中涉及的 AI Agent 數量。
總Token消耗	本次請求消耗的全部 Token 數量。
會話ID	所屬會話的標識，可用於關聯同一會話下的其他請求。
使用者ID	發起請求的使用者標識。
LLM調用	本次鏈路中的大模型調用次數。
工具調用	本次鏈路中的工具調用次數。

頁面右上方提供新頁面開啟、免密分享、切換舊版等操作入口，便於在不同情境下查看與分享 Trace 資訊。

頂部資訊列下方同時展示本次請求的輸入與輸出內容摘要，用於快速瞭解請求語義而無需進入子 Span 查看詳情。

視圖模式

Trace詳情頁面提供 5 種視圖模式，可通過頂部頁簽切換：

視圖	說明
調用樹	以樹形結構展示 Span 層級關係，每個節點展示類型（ENTRY/AGENT/LLM/TOOL 等）、Span 名稱、關鍵屬性（如 total tokens、model 名稱等）及耗時甘特圖，適合快速瞭解整體調用結構與耗時分布。
鏈路圖	以拓撲圖形式展示 Span 節點及調用關係，每個節點顯示 duration、calls、status 等核心指標，支援軌跡視圖 / 彙總檢視切換，適合分析調用拓撲與節點依賴。
時序線	左側以瀑布圖形式展示 Span 列表（含耗時間長度條），右側展示選中 Span 的完整詳情（Info / Attributes / Resources / Details / Events / Links 等子標籤），是最常用的精細分析視圖。
推理軌跡	按 Agent 維度分組展示對話軌跡，以彩色氣泡區分 System / User / Assistant / Tool 四類訊息，完整呈現推理過程中的輸入輸出對話內容，適合分析 LLM 推理邏輯。
鏈路分析	彙總本次 Trace 的關鍵效能指標，並通過多個可視化圖表展示效能與調用分布，適合從整體維度評估鏈路健康度。

說明

右上方的微服務視圖連結可跳轉到微服務可觀測體系下的對應鏈路視圖，便於與底層基礎設施排障聯動。

調用樹視圖

以縮排樹形結構展示 Span 層級關係，每個節點包含：

Span 類型標籤（如 ENTRY、AGENT、LLM、TOOL）。
Span 名稱（如 enter_ai_application_system、invoke_agent xxx、generate_content xxx）。
關鍵屬性（如 total tokens: 2、model: cosyvoice-v1）。
右側的耗時甘特圖條與耗時數值。

頁面提供搜尋方塊、僅高亮開關、展開/摺疊、視圖配置等輔助操作，便於在大型鏈路中快速定位關鍵 Span。

鏈路圖視圖

以節點-連線的拓撲圖展示 Span 間的調用關係。每個節點卡片顯示：

Span 名稱
duration（耗時）
calls（調用次數）
status（執行狀態，如 OK / Error）
關鍵屬性（如 model 名稱、total tokens 等）

右上方提供軌跡視圖與彙總檢視切換：軌跡視圖保留原始調用順序展示完整鏈路；彙總檢視將相同 Span 合并展示，便於識別熱點節點與調用模式。

時序線視圖

提供最精細的單 Span 分析能力。

左側 Span 列表：以瀑布圖形式按時間順序展示所有 Span，每個 Span 顯示類型標籤、Span 名稱、耗時及甘特圖條，直觀體現 Span 間的時序與耗時關係。
右側 Span 詳情：單擊左側任意 Span 可在右側查看完整詳情，包含以下子標籤：

子標籤	說明
Info	展示 Span 的核心中繼資料（開始時間、結束時間、耗時、狀態等）以及輸入（Input）與輸出（Output）內容。輸入輸出按角色（USER / ASSISTANT / TOOL）分組展示，支援格式化（Pretty）與未經處理資料切換。
Attributes	展示 OpenTelemetry 標準屬性以及 GenAI 語義約定的擴充屬性，括弧中數字表示屬性數量。
Resources	展示資源中繼資料（如服務、主機、SDK 版本等），用於定位 Span 來源。
Details	展示 Span 的擴充詳細資料。
Events	展示與 Span 關聯的事件（Event）列表。
Links	展示與 Span 關聯的連結（Link）列表，用於跨 Trace 關聯分析。

說明

詳情面板右上方提供日誌查詢、事件配置等聯動操作入口，便於快速跳轉至關聯的日誌或事件檢視。

推理軌跡視圖

按 Agent 維度組織對話流，以彩色氣泡區分四類訊息，便於還原 LLM 推理過程。

訊息角色	說明
System	系統提示詞或會話上下文設定。
User	使用者輸入或上遊請求。
Assistant	模型回複或 Agent 決策內容。
Tool	工具調用的輸入參數或返回結果。

每條訊息以氣泡形式展示完整 Text 或 JSON 內容（如 mime_type、modality、uri 等結構化欄位），右上方顯示該訊息的耗時。

鏈路分析視圖

彙總展示本次 Trace 的效能與調用指標。

核心指標

頁面頂部提供 6 個核心指標卡片：

指標	說明
總耗時	本次鏈路的總執行耗時。
TT	總 Token 數。
Token消耗	鏈路時間視窗內的 Token 消耗趨勢。
LLI	LLM 調用次數。
TO	工具調用次數。
SK	Skill 載入次數。

效能分析

LLM與工具調用耗時佔比：餅圖展示 LLM 與 TOOL 在本次鏈路中的耗時佔比。
LLM調用耗時TOP：表格列出耗時最長的 LLM 調用 Span，欄位包含 spanName、spanId、耗時、TTFT、輸入 Tokens 等。
TOOL調用耗時TOP：表格列出耗時最長的工具調用 Span。

LLM調用分析

通過 4 張趨勢圖展示 LLM 調用的細粒度效能表現：

LLM 單輪耗時趨勢（ttft / total_duration）
LLM 單輪 Token 趨勢（input_tokens / output_tokens）
LLM 單輪 Token 輸出速率（output_tokens / s）
LLM 快取命中率（cache_hit）

TOOL調用分析

通過 3 張圖表展示工具調用的運行表現：

TOOL 調用耗時趨勢
TOOL 調用輸入輸出大小
各工具調用次數

SKILL載入分析

展示 Skill 載入記錄，便於分析 Agent 在執行過程中載入的 Skill 及其耗時。

常見使用情境

效能瓶頸定位：通過調用樹或時序線視圖按耗時排序，快速識別耗時最長的 Span，並在鏈路分析視圖中查看 LLM/TOOL 的耗時佔比與 TOP 調用，定位最佳化方向。
異常請求排查：在調用樹中尋找狀態為 Error 的 Span，進入時序線視圖查看其 Attributes、Events 中的錯誤堆棧與詳細資料，快速定位失敗原因。
推理過程審計：通過推理軌跡視圖回放完整的 User-Assistant-Tool 對話流，分析模型決策路徑與工具調用合理性。
Token 用量分析：通過鏈路分析視圖查看 Token 消耗分布與快取命中率，識別高消耗節點並最佳化 Prompt 設計。