应用实时监控服务ARMS：将Dify应用接入ARMS应用监控

查看workflow应用监控数据

应用详情示例：

应用详情页顶部提供概览、性能分析、Token 分析、LLM 操作、提供服务、依赖服务、调用链分析、异常分析、会话分析等 Tab 页签。概览页展示以下监控指标：

• 统计卡片：模型调用次数、Token 使用、Trace 数、Span 数、会话数、用户数及日同比变化

• 操作类型分布饼图，包含 TASK、TOOL、CHAIN、LLM、RETRIEVER 等类型

• Avg LLM call per request 和 Request 数趋势折线图

• 模型调用排行(Top5)和Request 数用户排行(Top5)

• 会话数趋势折线图

调用链详情示例：链路中会采集LLM调用，召回，工具调用等节点的详细信息。

调用链详情页面左侧为 Trace 瀑布图，各 span 标注类型（TASK、TOOL、LLM、RETRIEVER）、耗时及 token 数；顶部汇总 Trace ID、总耗时、应用数、接口数和 Total tokens。单击某个 span 后，右侧详情面板展示该 span 的元信息（应用名、接口名、主机名、spanId、起止时间等），LLM 类型 span 还展示输入 Prompt 和 Output Messages 内容。

1. 修改Dockerfile文件重新编译对应镜像，local.dockerfile 修改示例：

   FROM golang:1.23-alpine AS builder
   
   ARG VERSION=unknown
   
   # copy project
   COPY . /app
   
   # set working directory
   WORKDIR /app
   
   # using goproxy if you have network issues
   # ENV GOPROXY=https://goproxy.cn,direct
   
   # download arms instgo
   RUN wget "http://arms-apm-cn-hangzhou.oss-cn-hangzhou.aliyuncs.com/instgo/instgo-linux-amd64" -O instgo
   
   RUN chmod 777 instgo
   
   # instgo build
   RUN INSTGO_EXTRA_RULES="dify_python" ./instgo go build \
       -ldflags "\
       -X 'github.com/langgenius/dify-plugin-daemon/internal/manifest.VersionX=${VERSION}' \
       -X 'github.com/langgenius/dify-plugin-daemon/internal/manifest.BuildTimeX=$(date -u +%Y-%m-%dT%H:%M:%S%z)'" \
       -o /app/main cmd/server/main.go
   
   # copy entrypoint.sh
   COPY entrypoint.sh /app/entrypoint.sh
   RUN chmod +x /app/entrypoint.sh
   
   FROM ubuntu:24.04
   
   WORKDIR /app
   
   # check build args
   ARG PLATFORM=local
   
   # Install python3.12 if PLATFORM is local
   RUN apt-get update && DEBIAN_FRONTEND=noninteractive apt-get install -y curl python3.12 python3.12-venv python3.12-dev python3-pip ffmpeg build-essential \
       && apt-get clean \
       && rm -rf /var/lib/apt/lists/* \
       && update-alternatives --install /usr/bin/python3 python3 /usr/bin/python3.12 1;
   
   # preload tiktoken
   ENV TIKTOKEN_CACHE_DIR=/app/.tiktoken
   
   # Install dify_plugin to speedup the environment setup, test uv and preload tiktoken
   RUN mv /usr/lib/python3.12/EXTERNALLY-MANAGED /usr/lib/python3.12/EXTERNALLY-MANAGED.bk \
       && python3 -m pip install uv \
       && uv pip install --system dify_plugin \
       && python3 -c "from uv._find_uv import find_uv_bin;print(find_uv_bin());" \
       && python3 -c "import tiktoken; encodings = ['o200k_base', 'cl100k_base', 'p50k_base', 'r50k_base', 'p50k_edit', 'gpt2']; [tiktoken.get_encoding(encoding).special_tokens_set for encoding in encodings]"
   
   ENV UV_PATH=/usr/local/bin/uv
   ENV PLATFORM=$PLATFORM
   ENV GIN_MODE=release
   
   COPY --from=builder /app/main /app/entrypoint.sh /app/
   
   # run the server, using sh as the entrypoint to avoid process being the root process
   # and using bash to recycle resources
   CMD ["/bin/bash", "-c", "/app/entrypoint.sh"]

   说明

   注意 INSTGO_EXTRA_RULES 选项会开启 Plugin 运行时自动监测功能，如果不需要在 Plugin-Daemon 启动时拉起对 Plugin 探针，可以去除编译文件中的INSTGO_EXTRA_RULES="dify_python"

2. 配置环境变量：

   • ECS 环境：

     变量名	示例值	说明
     ARMS_LICENSE_KEY	xxx@xxx	License Key[1]
     ARMS_REGION_ID	cn-heyuan	地域
     ARMS_ENABLE	true	探针开关
     ARMS_APP_NAME	dify-plugin-daemon	应用名

   • 容器化 ack-onepilot 环境：在 dify-plugin-daemon 应用的 YAML 配置中将以下 labels 添加到 spec.template.metadata 层级下。

     labels:
       aliyun.com/app-language: golang
       armsPilotAutoEnable: 'on'
       armsPilotCreateAppName: "dify-daemon-plugin"

3. 部署并查看 dify-plugin-daemon 监控：在应用列表页面进入dify-plugin-daemon应用，监控详情如下。

   成功接入后，在 ARMS 控制台的应用概览页面可查看以下监控数据：

   • 汇总指标卡片：请求数、错误数、平均耗时、实例数及其日同比/周同比变化

   • 时序图表：请求数/1m、错误数/1m、耗时/1m（含 P99、P90、P75、平均值）、CPU 使用率峰值

   • Top5 排行：请求数排行、错误数排行、平均耗时排行、CPU 使用率峰值实例排行

   页面顶部导航 Tab 页签包括应用概览、应用拓扑、提供服务、依赖服务、调用链分析、实例监控、应用诊断、场景化分析、事件分析、应用配置。

   调用链详情：

   在 serviceName 过滤器中选择 insight-agent-plugin-daemon，可查看插件调用 LLM 请求的完整分布式链路。Trace 瀑布图展示多个 span，包括：

   • GET 入口请求

   • connect（redis/sqlalchemy 连接）

   • SELECT dify（数据库查询）

   • /v1/sandbox/run（POST 200，sandbox 执行，含 httpx/go 多层调用）

   • UPDATE dify（数据库更新）

   各 span 耗时从 131µs 到 34.95ms 不等。右侧 Span 详情面板展示主机名、起止时间、状态及 Attributes，包括 net.protocol.name=HTTP、component.name、endpoint=/plugin/tenant_id/dispatch/llm/inv... 等属性。

4. 查看 Plugin 监控：挂载探针后，Plugin-Daemon 会自动拉起插件运行时的探针。每个插件运行时对应一个可观测应用，应用名为 {plugin_daemon_name}_plugin_{plugin_name}_{plugin_version}。例如，Plugin-Daemon 配置的应用名为 local-dify-plugin-daemon，安装了 tongyi 的 version 0.0.53 插件时，会自动生成应用 local-dify-plugin-daemon_plugin_tongyi_0.0.53。

1. 修改Dockerfile文件重新编译对应镜像，修改./build/build_[amd64|arm64].sh文件。

   1. 添加instgo下载命令。下载命令示例如下，其他地域和架构的下载命令请参见下载 instgo。

      wget "http://arms-apm-cn-hangzhou.oss-cn-hangzhou.aliyuncs.com/instgo/instgo-linux-amd64" -O instgo
      chmod 777 instgo

   2. 在 go build 前添加instgo 命令。以amd64为例，修改示例如下：

      rm -f internal/core/runner/python/python.so
      rm -f internal/core/runner/nodejs/nodejs.so
      rm -f /tmp/sandbox-python/python.so
      rm -f /tmp/sandbox-nodejs/nodejs.so
      wget "http://arms-apm-cn-hangzhou.oss-cn-hangzhou.aliyuncs.com/instgo/instgo-linux-amd64" -O instgo
      chmod 777 instgo
      echo "Building Python lib"
      CGO_ENABLED=1 GOOS=linux GOARCH=amd64 ./instgo go build -o internal/core/runner/python/python.so -buildmode=c-shared -ldflags="-s -w" cmd/lib/python/main.go &&
      echo "Building Nodejs lib" &&
      CGO_ENABLED=1 GOOS=linux GOARCH=amd64 ./instgo go build -o internal/core/runner/nodejs/nodejs.so -buildmode=c-shared -ldflags="-s -w" cmd/lib/nodejs/main.go &&
      echo "Building main" &&
      GOOS=linux GOARCH=amd64 ./instgo go build -o main -ldflags="-s -w" cmd/server/main.go
      echo "Building env"
      GOOS=linux GOARCH=amd64 ./instgo go build -o env -ldflags="-s -w" cmd/dependencies/init.go
      

2. 配置环境变量。

   • K8s容器方式接入：在 dify-plugin-daemon 应用的 YAML 配置中将以下 labels 添加到 spec.template.metadata 层级下。

     labels:
       aliyun.com/app-language: golang
       armsPilotAutoEnable: 'on'
       armsPilotCreateAppName: "dify-daemon-plugin"
     

   • 手动接入：

     变量名	示例值	说明
     ARMS_LICENSE_KEY	xxx	License Key
     ARMS_REGION_ID	cn-heyuan	地域
     ARMS_ENABLE	true	探针开关
     ARMS_APP_NAME	dify-plugin-daemon	应用名

3. 部署并查看 sandbox 监控，在应用列表页面进入dify-sandbox应用，监控详情如下：

   调用链详情：

   该 Trace 总耗时 8.7s，涉及 5 个应用、1039 个接口，页面提示检测到异常。组件调用包括 redis 575 次、sqlalchemy 337 次、httpx 14 次等。Span 瀑布图中核心链路为 SELECT dify 查询后发起多层 /v1/sandbox/run 调用（POST httpx 35.96ms → SERVER go 28.39ms → 多级 INTERNAL go 调用）。Span 详情显示应用名 insight-agent-sandbox，接口 /v1/sandbox/run，主机名 sandbox-7489d68cd5-xcqv8，状态码正常。