為LLM(Large Language Model)應用安裝Python探針後,ARMS即可開始監控LLM應用,您可以在會話分析頁面瞭解LLM應用在指定時間段內的會話列表,以及會話的詳細內容。
前提條件
已為LLM應用安裝探針,具體操作,請參見LLM 大語言模型應用/推理服務接入 ARMS。
查看LLM應用會話分析
-
登入ARMS控制台,在左側導覽列選擇。
-
在应用列表頁面頂部選擇目標地區,然後單擊目標應用程式名稱。
-
在上方導覽列單擊會話分析。
-
單擊頁面搜尋方塊,在下拉彈窗中可以按照會話ID、使用者、會話時間長度、Trace數、Token總數、輸入Token數、輸出Token數等條件式篩選會話。
-
會話分析列表頁展示各會話的耗時、Tokens數(含input Tokens和output Tokens)、調用鏈數、使用者及開始時間等資訊。
單擊會話名稱或操作列的詳情,查看會話詳細資料。
單擊調用鏈ID,可以查看調用鏈詳情,更多資訊,請參見LLM調用鏈分析。
會話詳情頁頂部展示Session ID、總耗時、Total tokens、調用鏈數等匯總指標,基本資料區包含開始時間、使用者ID、模型名稱等欄位,中部以甘特圖式時間軸展示各調用鏈的執行時間分布,下方列出各調用鏈詳情卡片,包含調用鏈ID、Token數及各模型的Token消耗明細。