為LLM(Large Language Model)應用安裝Python探針後,ARMS即可開始監控LLM應用,您可以在情境化分析頁面查看LLM應用在指定時間段內的會話列表和模型使用方式。
前提條件
已為LLM應用安裝探針,具體操作,請參見LLM 大語言模型應用/推理服務接入 ARMS。
會話分析
-
單擊頁面搜尋方塊,在下拉彈窗中可以按照會話ID、使用者、會話時間長度、Trace數、Token總數、輸入Token數、輸出Token數等條件式篩選會話。
-
單擊會話名稱或操作列的詳情,查看會話詳細資料。
單擊調用鏈ID,可以查看調用鏈詳情,更多資訊,請參見LLM調用鏈分析。
會話詳情面板展示 Session ID、總耗時、Total tokens、調用鏈數、開始時間、使用者ID及模型名稱等基本資料,中部以時間軸甘特圖展示各調用鏈的時序分布,下方列出每條調用鏈的 Input/Output 內容、調用鏈 ID(可單擊跳轉)、Token 消耗及所用模型。
模型分析
在頁簽頂部可以選擇需要查看的模型名稱。指標的詳細資料請參見LLM指標說明。
