LLM操作 - Application Real-Time Monitoring Service

為LLM（Large Language Model）應用安裝Python探針後，ARMS即可開始監控LLM應用，您可以在LLM操作頁面瞭解LLM應用中嵌入分析、檢索增強、工具調用和方法調用的操作次數、耗時和錯誤次數等資訊。

前提條件

已為LLM應用安裝探針，具體操作，請參見LLM 大語言模型應用接入 ARMS。

在上方導覽列單擊LLM操作下拉框，選擇需要查看的操作類型。

在大模型應用中，Embedding（嵌入）是一種將文本、映像或其他類型的資料轉換為低維向量的技術。這些向量能夠捕捉資料的語義資訊，並用於相似性計算、檢索、分類等任務。

通過嵌入分析（Embedding Analysis），您可以全面監控 Embedding 功能的效能、穩定性和效果，為大模型應用的最佳化和營運提供資料支援。

面板	說明
Embedding次數	指定時間段內所有 Embedding 調用的總次數。
Embedding平均耗時	指定時間段內所有 Embedding 調用的平均耗時。
Embedding錯誤次數	指定時間段內所有 Embedding 調用失敗的次數。
Embedding次數/1m	每分鐘內 Embedding 調用的總次數。
Embedding耗時/1m	每分鐘內所有 Embedding 調用的平均耗時。
Embedding錯誤/1m	每分鐘內 Embedding 調用失敗的次數。
Embedding次數排行（Top5）	按調用次數從高到低排序，展示調用量最高的前5個 Embedding 功能或模型。
Embedding耗時排行（Top5）	按平均耗時從高到低排序，展示耗時最長的前5個 Embedding 功能或模型。
Embedding錯誤排行（Top5）	按調用錯誤次數從高到低排序，展示錯誤率最高的前5個 Embedding 功能或模型。

在大模型應用中，檢索增強（Retrieval-Augmented Generation, RAG）是一種結合檢索（Retrieval）和重排序（Rerank）的技術，用於提升大模型產生內容的相關性和準確性。

通過監控 Retrieval 和 Rerank 的相關指標，您可以全面評估檢索增強功能的效能、穩定性和效果，為最佳化大模型應用提供資料支援。

在大模型應用中，工具調用（Tool Calling）是指大模型在執行任務時，調用外部工具或 API 來完成特定功能的過程。這些工具可以是計算機、資料庫查詢介面、搜尋引擎、翻譯服務等，用於擴充大模型的能力，使其能夠處理更複雜或更具體的任務。

通過工具調用的監控資料，您可以全面評估大模型應用與外部工具的互動情況，為最佳化和營運提供資料支援。

面板	說明
調用次數	指定時間段內所有工具的調用總次數。
調用平均耗時	指定時間段內所有工具調用的平均耗時。
錯誤次數	指定時間段內所有工具調用失敗的次數。
調用次數/1m	每分鐘內工具調用的總次數。
調用耗時/1m	每分鐘內所有工具調用的平均耗時。
錯誤次數/1m	每分鐘內工具調用失敗的次數。
調用排行（Top5）	按調用次數從高到低排序，展示調用量最高的前5個工具。
調用耗時排行（Top5）	按平均耗時從高到低排序，展示耗時最長的前5個工具。
錯誤排行（Top5）	按調用錯誤次數從高到低排序，展示錯誤率最高的前5個工具。

在大模型應用中，方法調用（TASK）是指內部自訂方法，例如應用執行的本地方法調用，或者某類重要的任務操作。

通過方法調用的監控資料，您可以全面評估大模型應用內部方法的調用情況，為最佳化和營運提供資料支援。

面板	說明
調用次數	指定時間段內所有方法的調用總次數。
調用平均耗時	指定時間段內所有方法調用的平均耗時。
錯誤次數	指定時間段內所有方法調用失敗的次數。
調用次數/1m	每分鐘內方法調用的總次數。
調用耗時/1m	每分鐘內所有方法調用的平均耗時。
錯誤次數/1m	每分鐘內方法調用失敗的次數。
調用排行（Top5）	按調用次數從高到低排序，展示調用量最高的前5個方法。
調用耗時排行（Top5）	按平均耗時從高到低排序，展示耗時最長的前5個方法。
錯誤排行（Top5）	按調用錯誤次數從高到低排序，展示錯誤率最高的前5個方法。