Dify uygulamanızı ARMS ile entegre ettikten sonra büyük dil modeli (LLM) uygulamanız için izlemeleri görüntüleyebilirsiniz. Bu sayede çeşitli işlem türlerine ilişkin girdileri, çıktıları, belirteç tüketimini ve diğer bilgileri sezgisel olarak analiz edebilirsiniz.
Bu konu, yerel özelliklerini kullanarak Dify'ı Alibaba Cloud gözlemlenebilirliği ile nasıl entegre edeceğinizi açıklar. Dify uygulamanızı otomatik olarak enstrümante etmek için Python aracısını da kullanabilirsiniz. Alibaba Cloud tarafından geliştirilen Python aracısı, OpenTelemetry standardına dayalı Python uygulamaları için otomatik enstrümantasyon sağlar. Daha fazla bilgi için bkz. LLM uygulamalarını veya çıkarım hizmetlerini ARMS ile entegre etme.
Ön koşullar
Dify sürüm 1.6.0 veya üzeri
1. Adım: Uç nokta ve lisans anahtarını alma
-
Log on to the Application Real-Time Monitoring Service (ARMS) console. In the left-side navigation pane, click Integration Center.
-
On the Integration Center page, click the OpenTelemetry card in the Server-side Applications section.
-
Açılan OpenTelemetry panelinde veri raporlama bölgesini China (Heyuan) olarak, Reporting Method seçeneğini ise gRPC olarak ayarlayın.
Connection Method seçeneğini Public Network olarak ayarlayın. Genel uç nokta
http://tracing-cn-heyuan.arms.aliyuncs.com:8090değeridir. authentication token değerini kopyalayın. Go kullanıyorsanız uç noktadanhttp://ön ekini kaldırın. -
public endpoint (Uç Nokta) ve authentication token (Lisans Anahtarı) değerlerini kaydedin.
NotDify'daki Endpoint alanı için bağlantı noktası numarası olmayan URL'yi kullanın. Örneğin:
http://tracing-cn-heyuan.arms.aliyuncs.com.
2. Adım: Performans izlemeyi yapılandırma
Dify konsolunda oturum açın ve izlemek istediğiniz Dify uygulamasına gidin.
Sol gezinme bölmesinde Monitoring öğesini tıklayın.
-
Trace Application Performance seçeneğini tıklayın, ardından Cloud Monitoring bölümünde Configure öğesini tıklayın.
License Key, Endpoint ve App Name alanlarını içeren Configure LLM Observability iletişim kutusu görünür.
İletişim kutusunda, 1. Adım bölümünde aldığınız License Key ve Endpoint değerlerini girin. ARMS konsolunda görüntülenecek uygulama adı olacak özel bir App Name belirtin ve ardından Save and Enable öğesini tıklayın.
3. Adım: İzleme verilerini görüntüleme
-
Yöntem 1: Dify uygulamanızdan ARMS konsoluna erişim
Dify konsolunda entegre ettiğiniz uygulamayı seçin ve izleme ayarlarına gidin. Cloud Monitoring bölümünde View öğesini tıklayın.
-
Yöntem 2: ARMS konsolunda doğrudan görüntüleme
ARMS konsolu içinde, sayfasına gidin ve Dify uygulamanızı seçin.
İzleme verilerinin ayrıntılı açıklaması için bkz. LLM Uygulama Ayrıntıları.