LLM(Large Language Model)應用是指基於大語言模型所開發的各種應用,大語言模型通過大量的資料和參數訓練,能夠回答類似人類自然語言的問題,因此在自然語言處理、文本產生和智能對話等領域有廣泛應用。
由於LLM的輸出結果往往很難準確預測,同時面臨訓練和生產效果可能出現偏差、資料分布漂移導致效能下降、資料品質不保鮮、依賴外部資料不可靠等若干因素的不可控情況,這往往會影響LLM應用的整體表現,當模型輸出品質下降時能夠及時識別就顯得非常重要。
ARMS支援對LLM應用通過Python探針自動埋點,將LLM應用接入ARMS後,您即可查看LLM應用的調用鏈視圖,更直觀地分析不同操作類型的輸入輸出、Token消耗等資訊。
監控視圖請參見:
指標和欄位說明請參見: