將Dify應用接入ARMS後,您即可查看LLM應用的調用鏈視圖,更直觀地分析不同操作類型的輸入輸出、Token消耗等資訊。
本文介紹如何通過Dify原生方式接入阿里雲可觀測,您還可以通過Python探針為Dify應用自動埋點。Python探針是阿里雲可觀測產品自研的Python語言的可觀測採集探針,其基於OpenTelemetry標準實現了自動化埋點能力。更多資訊,請參見LLM 大語言模型應用/推理服務接入 ARMS。
前提條件
Dify版本≥1.6.0
步驟一:擷取阿里雲 Endpoint 和 License Key
登入ARMS控制台,在左側導覽列單擊接入中心。
在服務端應用地區單擊OpenTelemetry卡片。
-
在彈出的OpenTelemetry面板中選擇資料上報地區為河源,上報方式為gRPC。
選擇串連方式為公網方式。擷取公網存取點為
http://tracing-cn-heyuan.arms.aliyuncs.com:8090,並複製鑒權 Token 的值。若使用 Golang 語言,需刪除存取點中的http://首碼。 -
儲存公網存取點(Endpoint)和鑒權Token(License Key)。
說明Endpoint 不帶連接埠號碼,如http://tracing-cn-heyuan.arms.aliyuncs.com。
步驟二:配置應用效能追蹤
-
登入Dify控制台,並進入需要監控的Dify應用。
-
在左側導覽列單擊監測。
-
單擊追蹤應用效能,然後在CloudMonitor地區單擊配置。
在彈出的 配置 大模型可觀測 對話方塊中,填寫 License Key(必填)、Endpoint(預設值為
https://tracing.arms.aliyuncs.com)和 App Name,然後單擊 儲存並啟用。 -
在彈出的對話方塊中輸入步驟一擷取的License Key 和 Endpoint,並自訂App Name(ARMS控制台顯示的應用程式名稱),然後單擊儲存並啟用。
步驟三:查看Dify應用監控資料
-
方式一:從Dify應用跳轉ARMS控制台
在Dify控制台選擇已開啟應用追蹤的應用,進入追蹤配置,在CloudMonitor地區單擊查看。
-
方式二:直接在ARMS控制台查看
在ARMS控制台的頁面進入對應的Dify應用。
詳細的監控資料說明,請參見LLM應用詳情。