AgentLoop:Instrumentar una aplicación de Dify

Consultar los datos de monitoreo del flujo de trabajo

La página de detalles de la aplicación contiene las siguientes pestañas: Overview, Performance Analysis, Token Analysis, LLM Operations, Provided Services, Dependent Services, Trace Analysis, Exception Analysis y Session Analysis. La pestaña Overview muestra la siguiente información de monitoreo:

• Tarjetas de métricas clave: Model Calls, Token Usage (con comparación respecto al día anterior), Traces, Spans, Sessions y Users

• Gráfica circular de distribución por tipo de operación (TASK, TOOL, CHAIN, LLM, RETRIEVER)

• Gráficas de líneas para el promedio de llamadas LLM por solicitud, la tendencia de cantidad de solicitudes y la tendencia de cantidad de sesiones

• Gráfica de barras Model Call Ranking (Top 5) y tabla Request Count User Ranking (Top 5)

Ejemplo de detalles de traza: Los detalles de la traza incluyen información de nodos, como llamadas LLM, recuperación e invocación de herramientas.

La página de detalles de la traza muestra una gráfica de cascada a la izquierda que presenta los nodos de paso (los tipos incluyen CHAIN, TOOL, TASK, LLM y RETRIEVER), cada uno con una barra de tiempo en la gráfica de Gantt. El panel derecho muestra información detallada del nodo seleccionado, incluido el nombre de la aplicación, el endpoint, el hostname, el spanId, el parentSpanId y el código de estado. La sección Additional Information en la parte inferior le permite consultar el contenido de los mensajes de entrada y salida del nodo, como la entrada JSON para el análisis de alertas y los resultados del análisis de causa raíz.

1. Modifique el Dockerfile y recompile la imagen correspondiente. A continuación se muestra un ejemplo de un archivo local.dockerfile modificado:

   FROM golang:1.23-alpine AS builder
   
   ARG VERSION=unknown
   
   # copy project
   COPY . /app
   
   # set working directory
   WORKDIR /app
   
   # using goproxy if you have network issues
   # ENV GOPROXY=https://goproxy.cn,direct
   
   # download arms instgo
   RUN wget "http://arms-apm-cn-hangzhou.oss-cn-hangzhou.aliyuncs.com/instgo/instgo-linux-amd64" -O instgo
   
   RUN chmod 777 instgo
   
   # instgo build
   RUN INSTGO_EXTRA_RULES="dify_python" ./instgo go build \
       -ldflags "\
       -X 'github.com/langgenius/dify-plugin-daemon/internal/manifest.VersionX=${VERSION}' \
       -X 'github.com/langgenius/dify-plugin-daemon/internal/manifest.BuildTimeX=$(date -u +%Y-%m-%dT%H:%M:%S%z)'" \
       -o /app/main cmd/server/main.go
   
   # copy entrypoint.sh
   COPY entrypoint.sh /app/entrypoint.sh
   RUN chmod +x /app/entrypoint.sh
   
   FROM ubuntu:24.04
   
   WORKDIR /app
   
   # check build args
   ARG PLATFORM=local
   
   # Install python3.12 if PLATFORM is local
   RUN apt-get update && DEBIAN_FRONTEND=noninteractive apt-get install -y curl python3.12 python3.12-venv python3.12-dev python3-pip ffmpeg build-essential \
       && apt-get clean \
       && rm -rf /var/lib/apt/lists/* \
       && update-alternatives --install /usr/bin/python3 python3 /usr/bin/python3.12 1;
   
   # preload tiktoken
   ENV TIKTOKEN_CACHE_DIR=/app/.tiktoken
   
   # Install dify_plugin to speedup the environment setup, test uv and preload tiktoken
   RUN mv /usr/lib/python3.12/EXTERNALLY-MANAGED /usr/lib/python3.12/EXTERNALLY-MANAGED.bk \
       && python3 -m pip install uv \
       && uv pip install --system dify_plugin \
       && python3 -c "from uv._find_uv import find_uv_bin;print(find_uv_bin());" \
       && python3 -c "import tiktoken; encodings = ['o200k_base', 'cl100k_base', 'p50k_base', 'r50k_base', 'p50k_edit', 'gpt2']; [tiktoken.get_encoding(encoding).special_tokens_set for encoding in encodings]"
   
   ENV UV_PATH=/usr/local/bin/uv
   ENV PLATFORM=$PLATFORM
   ENV GIN_MODE=release
   
   COPY --from=builder /app/main /app/entrypoint.sh /app/
   
   # run the server, using sh as the entrypoint to avoid process being the root process
   # and using bash to recycle resources
   CMD ["/bin/bash", "-c", "/app/entrypoint.sh"]

   Nota

   La opción INSTGO_EXTRA_RULES habilita el monitoreo automático del entorno de ejecución del plugin. Para evitar que el agente del plugin se inicie junto con plugin-daemon, elimine INSTGO_EXTRA_RULES="dify_python" del archivo de compilación.

2. Configure las variables de entorno:

   • Para entornos de ECS:

     Parámetro	Valor	Descripción
     ARMS_LICENSE_KEY	xxx@xxx	Su License Key.
     ARMS_REGION_ID	cn-heyuan	El ID de su región.
     ARMS_ENABLE	true	Habilita o deshabilita el agente.
     ARMS_APP_NAME	dify-plugin-daemon	El nombre de la aplicación.

   • Para entornos containerizados con ack-onepilot: En la configuración YAML de la aplicación dify-plugin-daemon, agregue las siguientes etiquetas bajo spec.template.metadata.

     labels:
       aliyun.com/app-language: golang
       armsPilotAutoEnable: 'on'
       armsPilotCreateAppName: "dify-daemon-plugin"

3. Despliegue y consulte los datos de monitoreo de dify-plugin-daemon. En la página de lista de aplicaciones, vaya a la aplicación dify-plugin-daemon. La página de descripción general de la aplicación muestra la siguiente información de monitoreo:

   • Tarjetas de métricas: Requests, Errors, Average Latency e Instances, con variaciones respecto al día anterior y a la semana anterior

   • Gráficas de tendencias: gráfica de barras Requests/1m, gráfica de líneas Errors/1m, gráfica de líneas Latency/1m (con los percentiles P99, P90 y P75) y gráfica de anillo Peak CPU Utilization

   • Paneles de clasificación de los 5 principales: Request Count, Error Count, Average Latency y Peak CPU Utilization by Instance

   La gráfica de cascada de la traza muestra los detalles de la cadena de llamadas de insight-agent-plugin-daemon. Los spans clave incluyen:

   • GET (python/redis, 1.95 ms)

   • connect (python/sqlalchemy)

   • SELECT dify (sqlalchemy, 34.95 ms)

   • Llamadas de varias capas de /v1/sandbox/run (POST httpx → SERVER go net_http_server → INTERNAL, aproximadamente 28–30 ms)

   • UPDATE dify (sqlalchemy, 2.38 ms)

   El panel de detalles a la derecha muestra el hostname, la hora de inicio, la hora de finalización, el spanId, el parentSpanId, el código de estado y una lista Attributes (como net.protocol.name, component.name y endpoint) para el span seleccionado.

4. Consulte los datos de monitoreo de los plugins. Después de instalar el agente, plugin-daemon inicia automáticamente el agente para el entorno de ejecución del plugin. Cada entorno de ejecución de plugin corresponde a una aplicación observable independiente, nombrada con el formato {plugin_daemon_name}_plugin_{plugin_name}_{plugin_version}. Por ejemplo, si su aplicación plugin-daemon se llama local-dify-plugin-daemon y usted instaló la versión 0.0.53 del plugin tongyi, se crea automáticamente una aplicación llamada local-dify-plugin-daemon_plugin_tongyi_0.0.53. La página de descripción general del monitoreo de plugins muestra la siguiente información:

   • Pestañas superiores: Application Overview, Application Topology, Provided Services, Dependent Services, Trace Analysis, Instance Monitoring, Scenario Analysis y Application Configuration

   • Tarjetas de métricas clave: solicitudes, errores, latencia promedio e instancias (con variaciones respecto al día anterior y a la semana anterior)

   • Gráficas de series temporales: tendencias de cantidad de solicitudes, cantidad de errores, latencia y utilización máxima de CPU

   • Clasificaciones de los 5 principales: cantidad de solicitudes, cantidad de errores y latencia promedio, que muestran las llamadas a nivel de endpoint del plugin (como invoke_llm, get_ai_model_schemas y invoke_rerank)

1. Modifique el archivo build/build_[amd64|arm64].sh y recompile la imagen correspondiente.

   1. Agregue el comando para descargar instgo. A continuación se muestra un ejemplo. Para ver los comandos de descarga de otras regiones y arquitecturas, consulte Download instgo.

      wget "http://arms-apm-cn-hangzhou.oss-cn-hangzhou.aliyuncs.com/instgo/instgo-linux-amd64" -O instgo
      chmod 777 instgo

   2. Agregue el comando instgo antes de go build. A continuación se muestra un ejemplo para la arquitectura amd64:

      rm -f internal/core/runner/python/python.so
      rm -f internal/core/runner/nodejs/nodejs.so
      rm -f /tmp/sandbox-python/python.so
      rm -f /tmp/sandbox-nodejs/nodejs.so
      wget "http://arms-apm-cn-hangzhou.oss-cn-hangzhou.aliyuncs.com/instgo/instgo-linux-amd64" -O instgo
      chmod 777 instgo
      echo "Building Python lib"
      CGO_ENABLED=1 GOOS=linux GOARCH=amd64 ./instgo go build -o internal/core/runner/python/python.so -buildmode=c-shared -ldflags="-s -w" cmd/lib/python/main.go &&
      echo "Building Nodejs lib" &&
      CGO_ENABLED=1 GOOS=linux GOARCH=amd64 ./instgo go build -o internal/core/runner/nodejs/nodejs.so -buildmode=c-shared -ldflags="-s -w" cmd/lib/nodejs/main.go &&
      echo "Building main" &&
      GOOS=linux GOARCH=amd64 ./instgo go build -o main -ldflags="-s -w" cmd/server/main.go
      echo "Building env"
      GOOS=linux GOARCH=amd64 ./instgo go build -o env -ldflags="-s -w" cmd/dependencies/init.go
      

2. Configure las variables de entorno.

   • Para despliegues en contenedores de K8s: En la configuración YAML de la aplicación dify-plugin-daemon, agregue las siguientes etiquetas bajo spec.template.metadata.

     labels:
       aliyun.com/app-language: golang
       armsPilotAutoEnable: 'on'
       armsPilotCreateAppName: "dify-daemon-plugin"
     

   • Para la integración manual:

     Parámetro	Valor	Descripción
     ARMS_LICENSE_KEY	xxx	Su License Key.
     ARMS_REGION_ID	cn-heyuan	El ID de su región.
     ARMS_ENABLE	true	Habilita o deshabilita el agente.
     ARMS_APP_NAME	dify-plugin-daemon	El nombre de la aplicación.

3. Despliegue y consulte los datos de monitoreo del sandbox. En la página de lista de aplicaciones, vaya a la aplicación dify-sandbox. La pestaña Application Overview muestra las siguientes métricas resumidas:

   • Requests: 3,051.00 (1.60 % respecto al día anterior)

   • Errors: 0.00 (0 % respecto al día anterior)

   • Average Latency: 47.7 ms (1.36 % respecto al día anterior)

   • Instances: 9 (0 % respecto a la semana anterior)

   Las gráficas de series temporales muestran Requests/1m, Errors/1m, Latency/1m (con las curvas P99, P90 y P75) y la utilización de CPU. La clasificación Top 5 Provided Services muestra la ruta principal de solicitudes como /v1/sandbox/run con 3,051 solicitudes, 0 errores y una latencia promedio de 47.7 ms.

   La página de detalles de traza de ARMS muestra una traza con una duración total de 8.7 segundos, que abarca 5 aplicaciones y 1,039 endpoints, con anomalías detectadas. Las etiquetas de componentes incluyen redis (575), sqlalchemy (337), net_http_server (16) y httpx (14). La gráfica de cascada de spans muestra la cadena de llamadas de varias capas desde SELECT dify hasta /v1/sandbox/run POST 200, lo que ilustra la ruta completa de la llamada de Dify al sandbox. El panel de detalles del span muestra el nombre de la aplicación insight-agent-sandbox, el endpoint /v1/sandbox/run y el hostname sandbox-7489d68cd5-xcqv8, con un código de estado normal. La sección Attributes muestra campos como net.protocol.name, component.name y otra información detallada.