全部產品
Search
文件中心

Application Real-Time Monitoring Service:LLM調用鏈分析

更新時間:Feb 15, 2025

為LLM(Large Language Model)應用安裝Python探針後,調用鏈分析功能將會對大模型應用的調用鏈資訊進行分析,您可以在調用鏈分析頁面查看大模型調用鏈中不同類型的Span耗時、以及Span的關聯資訊,例如Input、Output、Token消耗等。

重要

LLM調用鏈分析功能正在內測中,如需體驗該功能,請加入DingTalk群(群號:67690017432)擷取協助。

前提條件

已為LLM應用安裝探針,具體操作,請參見LLM 大語言模型應用接入 ARMS

篩選調用鏈

  1. 登入ARMS控制台

  2. 在左側導覽列選擇LLM 應用監控 > 調用鏈分析

  3. 調用鏈分析頁面右上方的時間選擇框設定需要查詢的時間段。

    說明

    LLM應用預設展示大模型視圖(image表徵圖),如需查看微服務視圖,請單擊image表徵圖切換。

  4. 篩選調用鏈。

    • 在左側快捷篩選地區,通過狀態、耗時、Span類型、介面名稱和模型名稱維度快速篩選調用鏈。

      篩選條件將會顯示在頁面頂部文字框內。

    • 單擊頂部文字框,在下拉彈窗中修改篩選條件或設定其他維度篩選條件。

      image

    • 在頂部文字框直接輸入查詢條件。查詢文法說明,請參見調用鏈分析查詢用法說明

      說明
      • 單擊文字框右側的儲存表徵圖可以儲存當前篩選條件。

      • 單擊文字框右側的已儲存視圖可以查看已儲存的篩選條件,單擊目標的篩選條件可以快速查看對應篩選條件下的調用鏈資訊。

      • 選擇彙總維度,可以將篩選後的資料按照指定維度彙總。

調用鏈列表

篩選設定完成後,調用鏈分析頁面將會顯示篩選過濾後的LLM調用鏈資訊,包括調用次數、Tokens、耗時百分位和耗時分布,以及調用鏈列表。

2025-02-10_11-08-32

調用鏈列表顯示了調用鏈的Trace ID、Input/Output內容、介面名稱、Span類型、耗時、Total tokens、應用程式名稱、使用者ID、會話ID、開始時間。在調用鏈列表地區,您可以執行以下操作:

  • 單擊目標Trace右側操作列的詳情,可以查看完整的調用鏈資訊。更多資訊,請參見調用鏈詳情

  • 單擊目標Trace右側操作列的日誌,可以查看調用鏈對應的日誌資訊。

  • 單擊右上方的設定表徵圖可以增加或隱藏列表顯示的參數。

  • 將滑鼠懸浮於Trace參數上,單擊右側的過濾表徵圖,可以將當前參數值添加為篩選條件。

調用鏈詳情

在調用鏈詳情面板可以查看調用鏈的時間軸、開始時間、總耗時,以及Input/Output內容、Span名稱、類型、應用程式名稱、Token數、耗時等資訊。

2025-02-10_11-12-30

在鏈路詳情面板,您可以執行以下操作:

  • 將滑鼠懸浮於Tokens標籤上,可以查看Token資料詳情。

  • 單擊Span名稱,可以查看該Span的時間長度、開始時間、附加資訊、指標、日誌等資訊。不同的操作類型展示資訊略有不同。

    • 附加資訊展示了模型名稱、輸入問題、Prompt模板、調用參數和返回結果。

    • Attribute欄位說明,請參見LLM Trace欄位定義說明

相關文檔

調用鏈分析更多功能說明,請參見調用鏈分析