Application Real-Time Monitoring Service:Intégrer les applications Dify à la surveillance des applications ARMS

Consulter les données de surveillance des applications workflow

Exemple de détails d'application :

La page de détails de l'application propose plusieurs onglets, notamment Overview, Performance Analysis, Token Analysis, LLM Operations, Provided Services, Dependent Services, Trace Analysis, Exception Analysis et Session Analysis. La page Overview affiche les métriques de surveillance suivantes :

• Cartes statistiques : Model Call Count, Token Usage, Trace Count, Span Count, Session Count, User Count avec les variations par rapport à la veille.

• Graphique circulaire Operation Type Distribution incluant les types TASK, TOOL, CHAIN, LLM et RETRIEVER.

• Graphiques linéaires pour Avg LLM call per request et Request Count Trend.

• Model Call Ranking (Top 5) et Request Count User Ranking (Top 5).

• Graphique linéaire Session Count Trend.

Exemple de détails de trace : La trace collecte des informations détaillées sur les nœuds tels que les appels LLM, la récupération de données et les appels d'outils.

La page de détails de la trace affiche un graphique en cascade Trace sur la gauche. Chaque span y est annoté avec son type (TASK, TOOL, LLM, RETRIEVER), sa durée et le nombre de tokens. La section supérieure résume l'ID de trace, la durée totale, le nombre d'applications, le nombre d'interfaces et le total des tokens. Lorsque vous cliquez sur un span, le panneau de détails de droite affiche ses métadonnées (Application Name, Interface Name, Hostname, spanId, heure de début et de fin, etc.). Les spans de type LLM affichent également le contenu du Prompt d'entrée et des Messages de sortie.

1. Modifiez le Dockerfile et reconstruisez l'image. L'exemple suivant montre les modifications apportées à local.dockerfile :

   FROM golang:1.23-alpine AS builder
   
   ARG VERSION=unknown
   
   # copy project
   COPY . /app
   
   # set working directory
   WORKDIR /app
   
   # using goproxy if you have network issues
   # ENV GOPROXY=https://goproxy.cn,direct
   
   # download arms instgo
   RUN wget "http://arms-apm-cn-hangzhou.oss-cn-hangzhou.aliyuncs.com/instgo/instgo-linux-amd64" -O instgo
   
   RUN chmod 777 instgo
   
   # instgo build
   RUN INSTGO_EXTRA_RULES="dify_python" ./instgo go build \
       -ldflags "\
       -X 'github.com/langgenius/dify-plugin-daemon/internal/manifest.VersionX=${VERSION}' \
       -X 'github.com/langgenius/dify-plugin-daemon/internal/manifest.BuildTimeX=$(date -u +%Y-%m-%dT%H:%M:%S%z)'" \
       -o /app/main cmd/server/main.go
   
   # copy entrypoint.sh
   COPY entrypoint.sh /app/entrypoint.sh
   RUN chmod +x /app/entrypoint.sh
   
   FROM ubuntu:24.04
   
   WORKDIR /app
   
   # check build args
   ARG PLATFORM=local
   
   # Install python3.12 if PLATFORM is local
   RUN apt-get update && DEBIAN_FRONTEND=noninteractive apt-get install -y curl python3.12 python3.12-venv python3.12-dev python3-pip ffmpeg build-essential \
       && apt-get clean \
       && rm -rf /var/lib/apt/lists/* \
       && update-alternatives --install /usr/bin/python3 python3 /usr/bin/python3.12 1;
   
   # preload tiktoken
   ENV TIKTOKEN_CACHE_DIR=/app/.tiktoken
   
   # Install dify_plugin to speedup the environment setup, test uv and preload tiktoken
   RUN mv /usr/lib/python3.12/EXTERNALLY-MANAGED /usr/lib/python3.12/EXTERNALLY-MANAGED.bk \
       && python3 -m pip install uv \
       && uv pip install --system dify_plugin \
       && python3 -c "from uv._find_uv import find_uv_bin;print(find_uv_bin());" \
       && python3 -c "import tiktoken; encodings = ['o200k_base', 'cl100k_base', 'p50k_base', 'r50k_base', 'p50k_edit', 'gpt2']; [tiktoken.get_encoding(encoding).special_tokens_set for encoding in encodings]"
   
   ENV UV_PATH=/usr/local/bin/uv
   ENV PLATFORM=$PLATFORM
   ENV GIN_MODE=release
   
   COPY --from=builder /app/main /app/entrypoint.sh /app/
   
   # run the server, using sh as the entrypoint to avoid process being the root process
   # and using bash to recycle resources
   CMD ["/bin/bash", "-c", "/app/entrypoint.sh"]

   Remarque

   L'option INSTGO_EXTRA_RULES active la surveillance automatique de l'environnement d'exécution du plugin. Si vous ne souhaitez pas que l'agent du plugin se lance au démarrage du plugin-daemon, supprimez INSTGO_EXTRA_RULES="dify_python" du fichier de construction.

2. Configurez les variables d'environnement :

   • Environnement ECS

     Paramètre	Valeur d'exemple	Description
     ARMS_LICENSE_KEY	xxx@xxx	Clé de licence.
     ARMS_REGION_ID	cn-heyuan	Région.
     ARMS_ENABLE	true	Active ou désactive l'agent.
     ARMS_APP_NAME	dify-plugin-daemon	Nom de l'application.

   • Environnement conteneurisé ack-onepilot : Dans le fichier de configuration YAML de l'application dify-plugin-daemon, ajoutez les libellés suivants sous spec.template.metadata.

     labels:
       aliyun.com/app-language: golang
       armsPilotAutoEnable: 'on'
       armsPilotCreateAppName: "dify-daemon-plugin"

3. Déployez et consultez les données de surveillance de dify-plugin-daemon. Sur la page Application List, accédez à l'application dify-plugin-daemon.

   Après une intégration réussie, vous pouvez consulter les données de surveillance suivantes sur la page Application Overview de la console ARMS :

   • Cartes de métriques synthétiques : Request Count, Error Count, Average Latency, Instance Count avec les variations journalières et hebdomadaires.

   • Graphiques temporels : Request Count/1m, Error Count/1m, Latency/1m (incluant P99, P90, P75, Average), CPU Usage Peak.

   • Classements Top 5 : classement Request Count, classement Error Count, classement Average Latency, classement CPU Usage Peak Instance.

   Les onglets de navigation supérieurs incluent Application Overview, Application Topology, Provided Services, Dependent Services, Trace Analysis, Instance Monitoring, Application Diagnostics, Scenario Analysis, Event Analysis et Application Configuration.

   Détails de la trace :

   Sélectionnez insight-agent-plugin-daemon dans le filtre serviceName pour afficher la trace distribuée complète des appels de requêtes LLM du plugin. Le graphique en cascade Trace affiche plusieurs spans, notamment :

   • Requête d'entrée GET

   • connect (connexions redis/sqlalchemy)

   • SELECT dify (requêtes base de données)

   • /v1/sandbox/run (POST 200, exécution sandbox, avec appels multicouches httpx/go)

   • UPDATE dify (mises à jour base de données)

   Les durées des spans varient de 131µs à 34,95ms. Le panneau de détails Span de droite affiche le nom d'hôte, l'heure de début et de fin, le statut et les attributs, y compris net.protocol.name=HTTP, component.name et endpoint=/plugin/tenant_id/dispatch/llm/inv....

4. Consultez les données de surveillance des plugins. Une fois l'agent attaché, le plugin-daemon démarre automatiquement l'agent pour l'environnement d'exécution du plugin. Chaque environnement d'exécution de plugin correspond à une application observable nommée {plugin_daemon_name}_plugin_{plugin_name}_{plugin_version}. Par exemple, si le nom de l'application pour le plugin-daemon est local-dify-plugin-daemon et que la version 0.0.53 du plugin tongyi est installée, une application nommée local-dify-plugin-daemon_plugin_tongyi_0.0.53 est automatiquement créée.

1. Modifiez le Dockerfile et reconstruisez l'image correspondante. Modifiez le fichier ./build/build_[amd64|arm64].sh.

   1. Ajoutez la commande pour télécharger instgo. Voici un exemple de commande. Pour les commandes de téléchargement destinées à d'autres régions et architectures, consultez Télécharger instgo.

      wget "http://arms-apm-cn-hangzhou.oss-cn-hangzhou.aliyuncs.com/instgo/instgo-linux-amd64" -O instgo
      chmod 777 instgo

   2. Ajoutez la commande instgo avant la commande go build. Voici un exemple pour amd64 :

      rm -f internal/core/runner/python/python.so
      rm -f internal/core/runner/nodejs/nodejs.so
      rm -f /tmp/sandbox-python/python.so
      rm -f /tmp/sandbox-nodejs/nodejs.so
      wget "http://arms-apm-cn-hangzhou.oss-cn-hangzhou.aliyuncs.com/instgo/instgo-linux-amd64" -O instgo
      chmod 777 instgo
      echo "Building Python lib"
      CGO_ENABLED=1 GOOS=linux GOARCH=amd64 ./instgo go build -o internal/core/runner/python/python.so -buildmode=c-shared -ldflags="-s -w" cmd/lib/python/main.go &&
      echo "Building Nodejs lib" &&
      CGO_ENABLED=1 GOOS=linux GOARCH=amd64 ./instgo go build -o internal/core/runner/nodejs/nodejs.so -buildmode=c-shared -ldflags="-s -w" cmd/lib/nodejs/main.go &&
      echo "Building main" &&
      GOOS=linux GOARCH=amd64 ./instgo go build -o main -ldflags="-s -w" cmd/server/main.go
      echo "Building env"
      GOOS=linux GOARCH=amd64 ./instgo go build -o env -ldflags="-s -w" cmd/dependencies/init.go
      

2. Configurez les variables d'environnement.

   • Intégration via des conteneurs Kubernetes : Dans le fichier de configuration YAML de l'application dify-plugin-daemon, ajoutez les libellés suivants sous spec.template.metadata.

     labels:
       aliyun.com/app-language: golang
       armsPilotAutoEnable: 'on'
       armsPilotCreateAppName: "dify-daemon-plugin"
     

   • Intégration manuelle :

     Paramètre	Valeur d'exemple	Description
     ARMS_LICENSE_KEY	xxx	Clé de licence.
     ARMS_REGION_ID	cn-heyuan	Région.
     ARMS_ENABLE	true	Active ou désactive l'agent.
     ARMS_APP_NAME	dify-plugin-daemon	Nom de l'application.

3. Déployez et consultez les données de surveillance du sandbox. Sur la page Application List, accédez à l'application dify-sandbox. Les détails de la surveillance sont les suivants :

   Détails de la trace :

   Cette trace a une durée totale de 8,7 s et implique 5 applications ainsi que 1039 interfaces. La page indique Exception Detected. Les appels de composants incluent redis (575 fois), sqlalchemy (337 fois) et httpx (14 fois). Le chemin principal dans le graphique en cascade Span montre des requêtes SELECT dify suivies d'appels multicouches /v1/sandbox/run (POST httpx 35,96ms → SERVER go 28,39ms → appels INTERNAL go à plusieurs niveaux). Les détails du span affichent le nom de l'application insight-agent-sandbox, l'interface /v1/sandbox/run et le nom d'hôte sandbox-7489d68cd5-xcqv8, avec un code de statut normal.