Application Real-Time Monitoring Service:Integrar aplicações Dify ao monitoramento de aplicações do ARMS

Visualizar dados de monitoramento de aplicações de workflow

Exemplo de detalhes da aplicação:

A página de detalhes da aplicação oferece abas que incluem Overview, Performance Analysis, Token Analysis, LLM Operations, Provided Services, Dependent Services, Trace Analysis, Exception Analysis e Session Analysis. A página Overview exibe as seguintes métricas de monitoramento:

• Cartões de estatísticas: Model Call Count, Token Usage, Trace Count, Span Count, Session Count, User Count com variações diárias

• Gráfico de pizza Operation Type Distribution incluindo os tipos TASK, TOOL, CHAIN, LLM, RETRIEVER

• Gráficos de linha para Avg LLM call per request e Request Count Trend

• Model Call Ranking (Top 5) e Request Count User Ranking (Top 5)

• Gráfico de linha Session Count Trend

Exemplo de detalhes do trace: O trace coleta informações detalhadas sobre nós, como chamadas de LLM, recuperação e chamadas de ferramentas.

A página de detalhes do trace mostra um gráfico Trace waterfall à esquerda, com cada span anotado com tipo (TASK, TOOL, LLM, RETRIEVER), duração e contagem de tokens. A seção superior resume Trace ID, duração total, contagem de aplicações, contagem de interfaces e Total tokens. Ao clicar em um span, o painel de detalhes à direita exibe os metadados do span (Application Name, Interface Name, Hostname, spanId, hora de início/fim, etc.). Spans do tipo LLM também exibem o conteúdo do Prompt de entrada e das Mensagens de saída.

1. Modifique o Dockerfile e reconstrua a imagem. O exemplo a seguir mostra modificações no local.dockerfile:

   FROM golang:1.23-alpine AS builder
   
   ARG VERSION=unknown
   
   # copy project
   COPY . /app
   
   # set working directory
   WORKDIR /app
   
   # using goproxy if you have network issues
   # ENV GOPROXY=https://goproxy.cn,direct
   
   # download arms instgo
   RUN wget "http://arms-apm-cn-hangzhou.oss-cn-hangzhou.aliyuncs.com/instgo/instgo-linux-amd64" -O instgo
   
   RUN chmod 777 instgo
   
   # instgo build
   RUN INSTGO_EXTRA_RULES="dify_python" ./instgo go build \
       -ldflags "\
       -X 'github.com/langgenius/dify-plugin-daemon/internal/manifest.VersionX=${VERSION}' \
       -X 'github.com/langgenius/dify-plugin-daemon/internal/manifest.BuildTimeX=$(date -u +%Y-%m-%dT%H:%M:%S%z)'" \
       -o /app/main cmd/server/main.go
   
   # copy entrypoint.sh
   COPY entrypoint.sh /app/entrypoint.sh
   RUN chmod +x /app/entrypoint.sh
   
   FROM ubuntu:24.04
   
   WORKDIR /app
   
   # check build args
   ARG PLATFORM=local
   
   # Install python3.12 if PLATFORM is local
   RUN apt-get update && DEBIAN_FRONTEND=noninteractive apt-get install -y curl python3.12 python3.12-venv python3.12-dev python3-pip ffmpeg build-essential \
       && apt-get clean \
       && rm -rf /var/lib/apt/lists/* \
       && update-alternatives --install /usr/bin/python3 python3 /usr/bin/python3.12 1;
   
   # preload tiktoken
   ENV TIKTOKEN_CACHE_DIR=/app/.tiktoken
   
   # Install dify_plugin to speedup the environment setup, test uv and preload tiktoken
   RUN mv /usr/lib/python3.12/EXTERNALLY-MANAGED /usr/lib/python3.12/EXTERNALLY-MANAGED.bk \
       && python3 -m pip install uv \
       && uv pip install --system dify_plugin \
       && python3 -c "from uv._find_uv import find_uv_bin;print(find_uv_bin());" \
       && python3 -c "import tiktoken; encodings = ['o200k_base', 'cl100k_base', 'p50k_base', 'r50k_base', 'p50k_edit', 'gpt2']; [tiktoken.get_encoding(encoding).special_tokens_set for encoding in encodings]"
   
   ENV UV_PATH=/usr/local/bin/uv
   ENV PLATFORM=$PLATFORM
   ENV GIN_MODE=release
   
   COPY --from=builder /app/main /app/entrypoint.sh /app/
   
   # run the server, using sh as the entrypoint to avoid process being the root process
   # and using bash to recycle resources
   CMD ["/bin/bash", "-c", "/app/entrypoint.sh"]

   Nota

   A opção INSTGO_EXTRA_RULES ativa o monitoramento automático do runtime do plugin. Caso não deseje que o agente do plugin seja iniciado quando o plugin-daemon for executado, remova INSTGO_EXTRA_RULES="dify_python" do arquivo de build.

2. Configure as variáveis de ambiente:

   • Ambiente ECS

     Parâmetro	Valor de exemplo	Descrição
     ARMS_LICENSE_KEY	xxx@xxx	A License Key.
     ARMS_REGION_ID	cn-heyuan	A região.
     ARMS_ENABLE	true	Ativa ou desativa o agente.
     ARMS_APP_NAME	dify-plugin-daemon	Nome da aplicação.

   • Ambiente containerizado com ack-onepilot: No arquivo de configuração YAML da aplicação dify-plugin-daemon, adicione os seguintes rótulos em spec.template.metadata.

     labels:
       aliyun.com/app-language: golang
       armsPilotAutoEnable: 'on'
       armsPilotCreateAppName: "dify-daemon-plugin"

3. Implante e visualize os dados de monitoramento do dify-plugin-daemon. Na página Application List, acesse a aplicação dify-plugin-daemon.

   Após a integração bem-sucedida, visualize os seguintes dados de monitoramento na página Application Overview do console ARMS:

   • Cartões de métricas resumidas: Request Count, Error Count, Average Latency, Instance Count com variações diárias/semanais

   • Gráficos de séries temporais: Request Count/1m, Error Count/1m, Latency/1m (incluindo P99, P90, P75, Average), CPU Usage Peak

   • Rankings Top 5: Request Count ranking, Error Count ranking, Average Latency ranking, CPU Usage Peak Instance ranking

   As abas de navegação superior incluem Application Overview, Application Topology, Provided Services, Dependent Services, Trace Analysis, Instance Monitoring, Application Diagnostics, Scenario Analysis, Event Analysis, Application Configuration.

   Detalhes do trace:

   Selecione insight-agent-plugin-daemon no filtro serviceName para visualizar o trace distribuído completo das chamadas de requisição LLM do plugin. O gráfico Trace waterfall mostra múltiplos spans, incluindo:

   • Requisição de entrada GET

   • connect (conexões redis/sqlalchemy)

   • SELECT dify (consultas ao banco de dados)

   • /v1/sandbox/run (POST 200, execução sandbox, com chamadas multicamada httpx/go)

   • UPDATE dify (atualizações no banco de dados)

   As durações dos spans variam de 131µs a 34,95ms. O painel de detalhes do Span à direita mostra hostname, hora de início/fim, status e Attributes, incluindo net.protocol.name=HTTP, component.name, endpoint=/plugin/tenant_id/dispatch/llm/inv....

4. Visualize os dados de monitoramento do plugin. Após a anexação do agente, o plugin-daemon inicia automaticamente o agente para o runtime do plugin. Cada runtime de plugin corresponde a uma aplicação observável com o nome {plugin_daemon_name}_plugin_{plugin_name}_{plugin_version}. Por exemplo, se o nome da aplicação do plugin-daemon for local-dify-plugin-daemon e a versão 0.0.53 do plugin tongyi estiver instalada, uma aplicação chamada local-dify-plugin-daemon_plugin_tongyi_0.0.53 será criada automaticamente.

1. Modifique o Dockerfile e reconstrua a imagem correspondente. Edite o arquivo ./build/build_[amd64|arm64].sh.

   1. Adicione o comando para baixar o instgo. Abaixo está um comando de exemplo. Para comandos de download de outras regiões e arquiteturas, consulte Download instgo.

      wget "http://arms-apm-cn-hangzhou.oss-cn-hangzhou.aliyuncs.com/instgo/instgo-linux-amd64" -O instgo
      chmod 777 instgo

   2. Adicione o comando instgo antes do comando go build. Segue um exemplo para amd64:

      rm -f internal/core/runner/python/python.so
      rm -f internal/core/runner/nodejs/nodejs.so
      rm -f /tmp/sandbox-python/python.so
      rm -f /tmp/sandbox-nodejs/nodejs.so
      wget "http://arms-apm-cn-hangzhou.oss-cn-hangzhou.aliyuncs.com/instgo/instgo-linux-amd64" -O instgo
      chmod 777 instgo
      echo "Building Python lib"
      CGO_ENABLED=1 GOOS=linux GOARCH=amd64 ./instgo go build -o internal/core/runner/python/python.so -buildmode=c-shared -ldflags="-s -w" cmd/lib/python/main.go &&
      echo "Building Nodejs lib" &&
      CGO_ENABLED=1 GOOS=linux GOARCH=amd64 ./instgo go build -o internal/core/runner/nodejs/nodejs.so -buildmode=c-shared -ldflags="-s -w" cmd/lib/nodejs/main.go &&
      echo "Building main" &&
      GOOS=linux GOARCH=amd64 ./instgo go build -o main -ldflags="-s -w" cmd/server/main.go
      echo "Building env"
      GOOS=linux GOARCH=amd64 ./instgo go build -o env -ldflags="-s -w" cmd/dependencies/init.go
      

2. Configure as variáveis de ambiente.

   • Integração via containers Kubernetes: No arquivo de configuração YAML da aplicação dify-plugin-daemon, adicione os seguintes rótulos em spec.template.metadata.

     labels:
       aliyun.com/app-language: golang
       armsPilotAutoEnable: 'on'
       armsPilotCreateAppName: "dify-daemon-plugin"
     

   • Integração manual:

     Parâmetro	Valor de exemplo	Descrição
     ARMS_LICENSE_KEY	xxx	A License Key.
     ARMS_REGION_ID	cn-heyuan	A região.
     ARMS_ENABLE	true	Ativa ou desativa o agente.
     ARMS_APP_NAME	dify-plugin-daemon	Nome da aplicação.

3. Implante e visualize os dados de monitoramento do sandbox. Na página Application List, acesse a aplicação dify-sandbox. Os detalhes do monitoramento são os seguintes:

   Detalhes do trace:

   Este Trace tem uma duração total de 8,7s, envolvendo 5 aplicações e 1039 interfaces. A página indica Exception Detected. As chamadas de componentes incluem redis 575 vezes, sqlalchemy 337 vezes, httpx 14 vezes, etc. O caminho principal no gráfico Span waterfall mostra consultas SELECT dify seguidas por chamadas multicamada /v1/sandbox/run (POST httpx 35,96ms → SERVER go 28,39ms → chamadas INTERNAL go multinível). Os detalhes do span mostram o nome da aplicação insight-agent-sandbox, interface /v1/sandbox/run, hostname sandbox-7489d68cd5-xcqv8, com código de status normal.