Application Real-Time Monitoring Service:Dify アプリケーションと ARMS アプリケーションモニタリングの統合

ワークフローアプリケーションの監視データの表示

アプリケーション詳細の例：

アプリケーション詳細ページには、[概要]、[パフォーマンス分析]、[トークン分析]、[LLM オペレーション]、[提供サービス]、[依存サービス]、[トレース分析]、[例外分析]、[セッション分析] などのタブがあります。[概要] ページには、次のモニタリングメトリックが表示されます。

• 統計カード: [モデル呼び出し数]、[トークン使用量]、[トレース数]、[スパン数]、[セッション数]、[ユーザー数] (前日比の変動を含む)

• TASK、TOOL、CHAIN、LLM、RETRIEVER タイプを含む[操作タイプの分布]の円グラフ

• [リクエストあたりの平均 LLM 呼び出し] と [リクエスト数の推移] の折れ線グラフ

• [モデル呼び出しランキング (上位 5)] と [リクエスト数ユーザーランキング (上位 5)]

• [セッション数の推移] 折れ線グラフ

トレース詳細の例： トレースは、LLM 呼び出し、リトリーバル、ツール呼び出しなどのノードに関する詳細情報を収集します。

トレース詳細ページには、左側にトレースウォーターフォールチャートが表示され、各スパンにはタイプ (TASK、TOOL、LLM、RETRIEVER)、期間、トークン数が表示されます。上部セクションには、トレース ID、合計期間、アプリケーション数、インターフェイス数、合計トークンが表示されます。スパンをクリックすると、右側の詳細パネルにスパンのメタデータ ([アプリケーション名]、[インターフェイス名]、[ホスト名]、[spanId]、開始/終了時刻など) が表示されます。LLM タイプのスパンには、入力プロンプトと出力メッセージの内容も表示されます。

1. Dockerfile を変更し、イメージを再ビルドします。次の例は、local.dockerfile の変更を示しています。

   FROM golang:1.23-alpine AS builder
   
   ARG VERSION=unknown
   
   # プロジェクトをコピー
   COPY . /app
   
   # 作業ディレクトリを設定
   WORKDIR /app
   
   # ネットワークの問題がある場合は goproxy を使用
   # ENV GOPROXY=https://goproxy.cn,direct
   
   # arms instgo をダウンロード
   RUN wget "http://arms-apm-cn-hangzhou.oss-cn-hangzhou.aliyuncs.com/instgo/instgo-linux-amd64" -O instgo
   
   RUN chmod 777 instgo
   
   # instgo でビルド
   RUN INSTGO_EXTRA_RULES="dify_python" ./instgo go build \
       -ldflags "\
       -X 'github.com/langgenius/dify-plugin-daemon/internal/manifest.VersionX=${VERSION}' \
       -X 'github.com/langgenius/dify-plugin-daemon/internal/manifest.BuildTimeX=$(date -u +%Y-%m-%dT%H:%M:%S%z)'" \
       -o /app/main cmd/server/main.go
   
   # entrypoint.sh をコピー
   COPY entrypoint.sh /app/entrypoint.sh
   RUN chmod +x /app/entrypoint.sh
   
   FROM ubuntu:24.04
   
   WORKDIR /app
   
   # ビルド引数を確認
   ARG PLATFORM=local
   
   # PLATFORM が local の場合は python3.12 をインストール
   RUN apt-get update && DEBIAN_FRONTEND=noninteractive apt-get install -y curl python3.12 python3.12-venv python3.12-dev python3-pip ffmpeg build-essential \
       && apt-get clean \
       && rm -rf /var/lib/apt/lists/* \
       && update-alternatives --install /usr/bin/python3 python3 /usr/bin/python3.12 1;
   
   # tiktoken を事前読み込み
   ENV TIKTOKEN_CACHE_DIR=/app/.tiktoken
   
   # 環境セットアップを高速化するため dify_plugin をインストール、uv をテストし tiktoken を事前読み込み
   RUN mv /usr/lib/python3.12/EXTERNALLY-MANAGED /usr/lib/python3.12/EXTERNALLY-MANAGED.bk \
       && python3 -m pip install uv \
       && uv pip install --system dify_plugin \
       && python3 -c "from uv._find_uv import find_uv_bin;print(find_uv_bin());" \
       && python3 -c "import tiktoken; encodings = ['o200k_base', 'cl100k_base', 'p50k_base', 'r50k_base', 'p50k_edit', 'gpt2']; [tiktoken.get_encoding(encoding).special_tokens_set for encoding in encodings]"
   
   ENV UV_PATH=/usr/local/bin/uv
   ENV PLATFORM=$PLATFORM
   ENV GIN_MODE=release
   
   COPY --from=builder /app/main /app/entrypoint.sh /app/
   
   # サーバーを実行、プロセスがルートプロセスにならないように sh をエントリポイントとして使用
   # リソースをリサイクルするために bash を使用
   CMD ["/bin/bash", "-c", "/app/entrypoint.sh"]

   説明

   INSTGO_EXTRA_RULES オプションは、プラグインランタイムの自動モニタリングを有効にします。plugin-daemon の起動時にプラグインエージェントを起動したくない場合は、ビルドファイルから INSTGO_EXTRA_RULES="dify_python" を削除します。

2. 環境変数を設定します。

   • ECS 環境

     パラメータ	値の例	説明
     ARMS_LICENSE_KEY	xxx@xxx	ライセンスキー。
     ARMS_REGION_ID	cn-heyuan	リージョン。
     ARMS_ENABLE	true	エージェントを有効または無効にします。
     ARMS_APP_NAME	dify-plugin-daemon	アプリケーション名。

   • コンテナ化された ack-onepilot 環境： dify-plugin-daemon アプリケーションの YAML 設定ファイルで、spec.template.metadata に次のラベルを追加します。

     labels:
       aliyun.com/app-language: golang
       armsPilotAutoEnable: 'on'
       armsPilotCreateAppName: "dify-daemon-plugin"

3. dify-plugin-daemon をデプロイし、監視データを表示します。[Application List] ページで、dify-plugin-daemon アプリケーションに移動します。

   統合が成功すると、ARMS コンソールの [アプリケーション概要] ページで以下のモニタリングデータを表示できます。

   • サマリーメトリックカード: [リクエスト数]、[エラー数]、[平均レイテンシー]、[インスタンス数] (前日比/前週比の増減)

   • 時系列チャート: リクエスト数/1m、エラー数/1m、レイテンシ/1m (P99、P90、P75、平均を含む)、CPU 使用率ピーク

   • 上位 5 ランキング: リクエスト数ランキング、エラー数ランキング、平均レイテンシランキング、インスタンス別 CPU 使用率ピークランキング

   上部のナビゲーションタブには、[アプリケーション概要]、[アプリケーショントポロジー]、[提供サービス]、[依存サービス]、[トレース分析]、[インスタンスモニタリング]、[アプリケーション診断]、[シナリオ分析]、[イベント分析]、[アプリケーション設定] が含まれます。

   トレース詳細：

   [サービス名] フィルターで insight-agent-plugin-daemon を選択すると、プラグイン LLM リクエストコールの完全な分散トレースを表示できます。 トレースウォーターフォールチャートには、次のような複数のスパンが表示されます。

   • GET エントリのリクエスト

   • 接続 (redis/sqlalchemy 接続)

   • SELECT dify (データベースクエリ)

   • /v1/sandbox/run (POST 200、サンドボックス実行、httpx/go によるマルチレイヤー呼び出し)

   • UPDATE dify (データベース更新)

   スパン期間は 131µs から 34.95ms の範囲です。右側のスパン詳細パネルには、ホスト名、開始/終了時刻、ステータス、および net.protocol.name=HTTP、component.name、endpoint=/plugin/tenant_id/dispatch/llm/inv... などの属性が表示されます。

4. プラグインの監視データを表示します。エージェントがアタッチされると、plugin-daemon はプラグインランタイムのエージェントを自動的に起動します。各プラグインランタイムは、{plugin_daemon_name}_plugin_{plugin_name}_{plugin_version} という名前の観測可能なアプリケーションに対応します。たとえば、plugin-daemon のアプリケーション名が local-dify-plugin-daemon で、tongyi プラグインのバージョン 0.0.53 がインストールされている場合、local-dify-plugin-daemon_plugin_tongyi_0.0.53 という名前のアプリケーションが自動的に作成されます。

1. Dockerfile を変更し、対応するイメージを再ビルドします。./build/build_[amd64|arm64].sh ファイルを変更します。

   1. instgo をダウンロードするコマンドを追加します。次にサンプルコマンドを示します。他のリージョンおよびアーキテクチャのダウンロードコマンドについては、「instgo のダウンロード」をご参照ください。

      wget "http://arms-apm-cn-hangzhou.oss-cn-hangzhou.aliyuncs.com/instgo/instgo-linux-amd64" -O instgo
      chmod 777 instgo

   2. go build コマンドの前に instgo コマンドを追加します。以下に amd64 の例を示します：

      rm -f internal/core/runner/python/python.so
      rm -f internal/core/runner/nodejs/nodejs.so
      rm -f /tmp/sandbox-python/python.so
      rm -f /tmp/sandbox-nodejs/nodejs.so
      wget "http://arms-apm-cn-hangzhou.oss-cn-hangzhou.aliyuncs.com/instgo/instgo-linux-amd64" -O instgo
      chmod 777 instgo
      echo "Building Python lib"
      CGO_ENABLED=1 GOOS=linux GOARCH=amd64 ./instgo go build -o internal/core/runner/python/python.so -buildmode=c-shared -ldflags="-s -w" cmd/lib/python/main.go &&
      echo "Building Nodejs lib" &&
      CGO_ENABLED=1 GOOS=linux GOARCH=amd64 ./instgo go build -o internal/core/runner/nodejs/nodejs.so -buildmode=c-shared -ldflags="-s -w" cmd/lib/nodejs/main.go &&
      echo "Building main" &&
      GOOS=linux GOARCH=amd64 ./instgo go build -o main -ldflags="-s -w" cmd/server/main.go
      echo "Building env"
      GOOS=linux GOARCH=amd64 ./instgo go build -o env -ldflags="-s -w" cmd/dependencies/init.go
      

2. 環境変数を設定します。

   • Kubernetes コンテナによる統合： dify-plugin-daemon アプリケーションの YAML 設定ファイルで、spec.template.metadata に次のラベルを追加します。

     labels:
       aliyun.com/app-language: golang
       armsPilotAutoEnable: 'on'
       armsPilotCreateAppName: "dify-daemon-plugin"
     

   • 手動統合：

     パラメータ	値の例	説明
     ARMS_LICENSE_KEY	xxx	ライセンスキー。
     ARMS_REGION_ID	cn-heyuan	リージョン。
     ARMS_ENABLE	true	エージェントを有効または無効にします。
     ARMS_APP_NAME	dify-plugin-daemon	アプリケーション名。

3. サンドボックスの監視データをデプロイして表示します。[Application List] ページで、dify-sandbox アプリケーションに移動します。監視の詳細は次のとおりです。

   トレース詳細：

   このトレースの合計期間は 8.7s で、5 つのアプリケーションと 1039 のインターフェイスが関与しています。ページには [例外検出] と表示されています。コンポーネント呼び出しには、redis 575 回、sqlalchemy 337 回、httpx 14 回などが含まれます。スパンウォーターフォールチャートのコアパスには、SELECT dify クエリと、それに続く多階層の /v1/sandbox/run 呼び出し (POST httpx 35.96ms → SERVER go 28.39ms → 多階層 INTERNAL go 呼び出し) が表示されます。スパン詳細には、アプリケーション名 insight-agent-sandbox、インターフェイス /v1/sandbox/run、ホスト名 sandbox-7489d68cd5-xcqv8 が表示され、ステータスコードは正常です。