AgentLoop：AgentLoop QuickStart 全流程實踐

建立步驟

1. 登入 AgentLoop 控制台。

2. 在控制台首頁智能體空間列表地區，單擊右上方建立空間。

3. 在建立智能體空間對話方塊中，配置參數。

   參數	說明
   所在地區	選擇 cn-hangzhou、cn-shanghai 或 cn-hongkong。建立後不可更換。
   智能體空間（AgentSpace）	空間名稱。3–63 個字元，支援小寫字母、數字、連字號（-）和底線（_），所有使用者全域唯一。建立後不可更換。
   空間描述	空間用途簡要說明（可選）。
   CloudMonitor 2.0 工作空間	自動建立：系統建立命名為 agentloop-<32位編碼> 的新工作空間。 選擇已有：從下拉式清單中選擇當前帳號下、同地區的 CMS 2.0 工作空間複用，便於與已有應用監控統一視圖。 建立後綁定關係不可更換。
   MSE 命名空間	系統自動建立（命名 agentloop-<32 位編碼>），承載 Prompts、Skills 等 Agent 資產。
   SLS Project	系統自動建立（命名 agentloop-<32 位編碼>），承載審計與評估等日誌。

4. 單擊建立空間。系統自動執行 AgentLoop 資源及關聯雲產品資源建立與映射關係綁定。如某一步失敗，已建立的資源不會復原，未建立資源可在空間管理頁面進行重建。

驗證

進入系統管理 > 空間管理，在基礎資訊與資源綁定區塊確認 AgentSpace 名稱、地區、關聯的 CMS 2.0 工作空間、MSE 命名空間、SLS Project 均已就緒。

1. 選擇接入方式

進入接入中心，根據 Agent 技術棧選擇接入方式。

AgentTeams 和 AgentRun 預設通過CloudMonitor 2.0 接入可觀測資料，無需在接入中心單獨配置接入方式，也無需安裝探針。按步驟一建立智能體空間時綁定CloudMonitor 2.0 工作空間即完成整合，可直接從本步驟的 3. 驗證接入 開始查看資料。

2. 完成 SDK 接入

以 LangChain/LangGraph 應用為例：

# 安裝阿里雲探針
pip install aliyun-bootstrap
aliyun-bootstrap -a install

# 配置環境變數
export ARMS_APP_NAME=my-agent-app
export ARMS_REGION_ID=cn-hangzhou
export ARMS_LICENSE_KEY=<從接入中心擷取>
export ARMS_WORKSPACE=<AgentSpace 關聯的 CMS 2.0 工作空間名稱>

# 使用探針啟動應用
aliyun-instrument python app.py

業務代碼無需改造，探針會自動採集 LLM 調用、工具調用、Retriever、LangGraph-節點等鏈路資料。

3. 驗證接入

進入AI Agent 可觀測，在鏈路追蹤 標籤頁中查看：

• Trace 數、平均耗時、Token 數折線圖隨接入流量上漲。

• Trace 列表列出最新 Trace 記錄，單擊 Trace ID 進入調用鏈詳情，可逐 Span 查看模型輸入輸出、工具參數、耗時與 Token 消耗。

4. 在 Agent 總覽中查看核心指標

進入 Agent 總覽，可在 Agent 洞察頁面查看會話數、對話數、使用者數、Token 用量、平均耗時等核心指標，並在趨勢圖與 Agent 列表中按 Agent 維度查看每個 Agent 的關鍵計量。

1. 使用預置評估器

進入評估 > 評估器，左側分組列出 AgentLoop 內建評估器：

單擊評估器名稱進入詳情頁，在 Prompt & 能力標籤頁中查看評估器的 Prompt 和能力掛載（如 Skills、MCP）。預置評估器開箱即用，無需額外配置。

2. 建立自訂評估器

業務專屬評估情境（如複雜任務規劃合理性、多輪對話連貫性）可通過建立自訂評估器進行精準評估。

1. 在評估器列表頁右上方，單擊建立評估器。

2. 輸入評估器基本資料，如名稱、描述、標籤等。

3. 配置 Prompt：編寫評估指令，明確評定目標、評估維度、打分尺度。例如 Skill 完整度評估器：

   你是一個嚴謹、嚴格的 AI Agent 評測專家，針對待評測的 Agent
   Trace（即 Agent 完整執行軌跡），從以下維度進行打分（0–1）：
   1. 任務理解準確性
   2. 工具調用合理性
   3. 多步推理正確性
   4. 最終輸出完整性

4. 查看已提取變數：例如 input、output、agent_trajectory、tool_context、rag_context，由評估任務運行時自動綁定到對應映射欄位。

5. 配置能力擴充（可選）：為評估器 Agent 綁定 Skills 或 MCP，使其在評估過程中可調用外部檢索、規則校正、知識庫查詢等能力，實現 Agent-as-a-Judge 評估範式。

6. 查看輸出定義，確認是否開啟評估過程軌跡。

7. 點擊右上方進行儲存。

建立評估任務

1. 進入評估 > 評估任務，單擊右上方建立任務，按資料配置 → 選擇評估器兩步嚮導配置。

2. 參考下表進行資料配置：

   配置項	說明
   任務名稱	評估任務的業務標識。
   任務描述	用途簡述（可選）。
   資料來源	鏈路（Trace）、日誌、資料集 三選一。
   Agent 智能體	選擇目標 Agent 應用，例如 ai-coding-agent-claude-code。
   運行策略	基於新資料持續評估：對未來上報的資料即時打分； 基於歷史資料評估：對指定時間視窗內的歷史資料進行回測。
   時間範圍	歷史資料評估的時間範圍配置（如最近 24 小時）。
   採樣比例	控制評估資料採樣率（1%–100%），結合最大評估條數控制單次評估任務執行的條數。

3. 選擇評估器：

   • 左側勾選預置或自訂評估器，支援多選並行運行。

   • 右側配置資訊區按評估器要求綁定變數映射欄位：常見映射如 input ← trace.input、output ← trace.output、agent_trajectory ← trace.agent_trajectory。

   • 配置完成後單擊更新並運行立即儲存任務並觸發執行，或點擊運行測試進行調試。

解讀評估結果

任務運行後，在評估任務詳情頁查看評估結果明細與分布。

1. 匯入 Trace 資料

進入資料中心 > 資料集，單擊建立資料集：

1. 輸入資料集名稱和描述。

2. 資料來源選擇從 Trace 資料處理。

3. 資料篩選中下拉選擇 Agent 應用。

4. 資料處理中選擇需要的處理模板，比如 ot_trace_qa_extract（Trace QA 問答對提取）以及時間範圍。

5. 資料預覽點擊右側產生預覽查看預覽資料。

6. 確認無誤後，點擊右下角建立資料集，系統將在後台建立資料集及關聯的 Pipeline 任務完成資料處理與匯入。

2. 人工標註

進入資料集詳情頁，點擊標註頁簽建立標註模板：

• 在左側配置資料標註介面和標註控制項。右側可預覽效果。

• 配置完成後點擊右上方開始標註，進行逐項標註，可以選擇跳過。

• 已標註內容可以在資料集 agentloop_annotations 欄位中查看標註結果。

3. 沉澱 Golden Set 與 BadCase Set

基於評估結果與人工標註審核，可將資料集拆分為：

1. 建立 Prompt 資產

進入Agent 資產 > Prompts，單擊建立 Prompt：

1. 填寫基礎資訊：名稱（如 my-prompt）和描述。

2. 在 Prompt 編輯區編寫 Prompt 內容，使用 {{input}} 等預留位置聲明變數。

3. 單擊儲存草稿或發布版本。每次編輯發布將自動遞增版本號碼（v0.0.1、v0.0.2、v0.0.3 …）。

2. 版本管理

資產詳情頁右側版本資訊展示歷史版本：

• 每個版本顯示版本號碼、提交人、變更說明與時間戳記。

• 單擊版本對比可對比目前的版本與目標版本的差異。

• 單擊使用說明可查看 Agent 引用該資產的用戶端接入方式。

3. 灰階發布與協同

Agent 資產可配合 MSE AI 治理中心進行流量切分；多人編輯時通過版本鎖與提交說明避免衝突。Skills 資產管理流程與 Prompts 類似。