Application Real-Time Monitoring Service：概覽

面板

說明

模型調用次數

應用的大語言模型在指定時間段內被調用的次數。

Token使用

應用的Token在指定時間段內被使用的次數。

Trace數

應用在指定時間段產生的調用鏈數量。

Span數

應用在指定時間段產生的Span數量。

會話數

應用在指定時間段產生的會話數量。

使用者數

應用在指定時間段內的使用者數量。

操作類型分布

• CHAIN：一種將LLM和其他多個元件連線在一起以實現複雜任務的工具，可能包含Retrieval、Embedding、LLM調用，還可以嵌套Chain等。

• EMBEDDING：嵌入處理，例如針對文本嵌入大模型的操作，可以根據相似性查詢並最佳化問題。

• RETRIEVER：一般表示訪問向量儲存或者資料庫擷取資料，通常用於補充上下文內容，以提升LLM的響應準確性以及效率。

• RERANKER：針對輸入的多個文檔，結合提問內容判斷相關性進行排序處理，可能返回TopK的文檔作為LLM。

• LLM：標識對大模型的調用，例如基於SDK或OpenAPI請求不同的大模型進行推理或者文本產生等。

• TOOL：標識對外部工具的調用，例如可能調用計算機或者請求天氣API擷取最新的天氣情況。

• AGENT：智能體情境，一種複雜的CHAIN，需要基於大模型的推理結果決策執行下一步，例如可能涉及到LLM以及Tool的多次調用，一步步決策得出最終答案。

• TASK：標識內部自訂方法，例如可能調用本地的某個Function應用自訂的邏輯。

Avg LLM call per request

1分鐘內平均1次請求調用的大語言模型次數。

Request數趨勢

LLM應用每分鐘的請求數趨勢圖。

模型調用排行

LLM應用中被調用次數最多的大語言模型Top 5。

Request數使用者排行

LLM應用中發起請求最多的使用者Top 5。

會話數趨勢

LLM應用每分鐘的會話數趨勢圖。