SchedulerX:エージェント接続 (スクリプトまたは HTTP ジョブ)

ユースケース

エージェントを使用して SchedulerX に接続する一般的なユースケースは次のとおりです。

• シェルスクリプトを使用した、すべてのマシン上のログの定期的なクリーンアップやサービスの開始

• Python スクリプトを使用した、データベース内の履歴データの定期的なクリーンアップ

• HTTP API を使用した、注文の定期的なスキャン

環境要件

バージョン 1.8 以降の Java Runtime Environment (JRE) が必要です。

エージェントの手動デプロイ

1. エージェントパッケージをダウンロードして解凍します。

   お使いのマシンにパブリック IP アドレスがある場合は、次のコマンドを実行してパッケージをダウンロードできます。

   説明

   X.X.X を必要なバージョン番号 (例：1.13.5) に置き換えてください。バージョンによっては、ファイル拡張子が .tar の場合もあります。

   wget https://schedulerx2.oss-cn-hangzhou.aliyuncs.com/agent/schedulerxAgent-X.X.X.tar.gz

   バージョン	ダウンロード URL	説明
   Agent 1.13.5	https://schedulerx2.oss-cn-hangzhou.aliyuncs.com/agent/schedulerxAgent-1.13.5.tar.gz	新機能： 秒レベルのジョブはグレースフルシャットダウンをサポートします。 スクリプトジョブは、ワークフローでのアップストリーム/ダウンストリームのデータ受け渡しをサポートします。 cgroup v2 によるシステムパフォーマンスメトリクスの収集をサポートします。
   Agent 1.13.2	https://schedulerx2.oss-cn-hangzhou.aliyuncs.com/agent/schedulerxAgent-1.13.2.tar.gz	新機能： cgroup v2 環境における CPU メトリクス収集をサポートします。 ジョブ実行スレッドプールのサイズをカスタマイズできます。パラメーターキーは share.pool.size です。
   Agent 1.12.5	https://schedulerx2.oss-cn-hangzhou.aliyuncs.com/agent/schedulerxAgent-1.12.5.tar	新機能： プレースホルダーを使用したジョブシステム変数の取得をサポートします。 HTTP ジョブ用のカスタムスレッドプールサイズをサポートします。 スクリプトジョブは、標準出力の最終行を実行結果として返すことができます。
   Agent 1.11.5	https://schedulerx2.oss-cn-hangzhou.aliyuncs.com/agent/schedulerxAgent-1.11.5.tar	修正点： Netty と Logback のセキュリティ脆弱性を修正。 Kubernetes ジョブの「too old resource version」問題を修正。
   Agent 1.10.13	https://schedulerx2.oss-cn-hangzhou.aliyuncs.com/agent/schedulerxAgent-1.10.13.tar	新機能： 単一のマシンへの複数のエージェントのデプロイをサポートします。 HTTP エージェントジョブは 1,000 バイトを超えるレスポンスをサポートします。 履歴ログのストレージを削減するためにロギングを最適化します。
   Agent 1.10.5	https://schedulerx2.oss-cn-hangzhou.aliyuncs.com/agent/schedulerxAgent-1.10.5.tar	新機能： グレースフルシャットダウンをサポートします。 ログサービスは、アプリケーション・グループによる分離をサポートします。
   Agent 1.9.8	https://schedulerx2.oss-cn-hangzhou.aliyuncs.com/agent/schedulerxAgent-1.9.8.tar	新機能： エージェントモードでの HTTP ジョブをサポートします。 スクリプトジョブが失敗した場合に、最後のログエントリを結果として返すことをサポートします。 Kubernetes ジョブをサポートします。
   Agent 1.7.10	https://schedulerx2.oss-cn-hangzhou.aliyuncs.com/agent/schedulerxAgent-1.7.10.tar.gz	修正点： 秒レベルのジョブの実行が遅い問題を修正。 ログサービスがメモリ不足 (OOM) エラーを引き起こす可能性がある問題を修正。
   Agent 1.4.2	https://schedulerx2.oss-cn-hangzhou.aliyuncs.com/agent/schedulerxAgent-1.4.2.tar.gz	新機能：ログサービスをサポートします。

   重要

   wget コマンドを使用してエージェントをダウンロードする際に接続がタイムアウトした場合は、マシンにパブリック IP アドレスを有効にするか、「Linux インスタンスでファイルをアップロードまたはダウンロードする」をご参照ください。

2. schedulerxAgent/conf ディレクトリに移動し、agent.properties ファイルを設定します。

   endpoint=addr-hz-internal.edas.aliyun.com
   namespace=fd2965c4-****-****-af52-bb62aa4*****
   groupId=hxm.test
   appKey=1234*****

   • エンドポイントは、エンドポイントを指定します。 詳細については、「エンドポイントリスト」をご参照ください。

   • namespace は名前空間 ID です。ID はNamespace ページで取得できます。

   • アプリケーション ID と アプリケーションキーは、アプリケーションの一意の識別子と認証情報です。 これらは Application Management ページで取得できます。

3. schedulerxAgent/bin ディレクトリに移動し、start.sh スクリプトを実行してエージェントを起動します。

   説明

   エージェントの起動メモリーを設定するには、start-200m.sh、start-500m.sh、または start-1g.sh を実行できます。

   エージェントを管理するには、次のコマンドを使用します。

   • エージェントを停止するには、schedulerxAgent/bin ディレクトリに移動し、stop.sh スクリプトを実行します。

   • ログは ${user.home}/logs/schedulerx/worker.log で確認できます。

     user.home ディレクトリは、ps aux | grep java コマンドを実行して確認できます。 プロセスが admin ユーザーによって開始された場合、ログパスは /home/admin/logs/schedulerx/worker.log です。 プロセスが root ユーザーによって開始された場合、ログパスは /root/logs/schedulerx/worker.log です。

   返されたメッセージに Schedulerx Worker started が含まれている場合、デプロイは成功です。

   説明

   ランタイム環境には JDK 1.8 から 14 が必要です。14 を超える JDK バージョンを使用する場合は、Agent のインストールディレクトリにある schedulerxAgent/bin/start.sh ファイルから -XX:+UseConcMarkSweepGC を削除してください。

   

Docker イメージを使用したエージェントのデプロイ

1. ネットワーク環境と CPU アーキテクチャに基づいてイメージを選択します。

   ネットワーク	x86_64	arm64
   (パブリックネットワーク) 中国 (杭州)	schedulerx-registry.cn-hangzhou.cr.aliyuncs.com/schedulerx2/agent:latest-amd64	schedulerx-registry.cn-hangzhou.cr.aliyuncs.com/schedulerx2/agent:latest-arm64
   (パブリックネットワーク) シンガポール	schedulerx-registry.ap-southeast-1.cr.aliyuncs.com/schedulerx2/agent:latest-amd64	schedulerx-registry.ap-southeast-1.cr.aliyuncs.com/schedulerx2/agent:latest-arm64

2. エージェントをデプロイします。

   環境変数：

   docker run  --env SCHEDULERX_ENDPOINT="addr-hz-internal.edas.aliyun.com" \
      --env SCHEDULERX_NAMESPACE="fd2965c4-****-****-af52-bb62aa4*****" \
      --env SCHEDULERX_GROUPID="hxm.test" \
      --env SCHEDULERX_APPKEY="1234*****" \
      -d {image id}

   • SCHEDULERX_ENDPOINT はエンドポイントです。

   • SCHEDULERX_NAMESPACE は名前空間 ID で、コンソールの Namespace または ページから取得できます。

   • SCHEDULERX_GROUPID はアプリケーション ID、SCHEDULERX_APPKEY はアプリケーションキーです。 コンソールの Application Management ページで取得できます。

   デプロイタスクを開始した後、docker logs コマンドを使用してログを表示できます。

Kubernetes デプロイメントを使用したエージェントのデプロイ

k8s 環境がすでにある場合は、schedulerx-agent.yaml を直接デプロイするのが最も便利です。

apiVersion: apps/v1
kind: Deployment
metadata:
  name: schedulerx-agent
  labels:
    app: schedulerx-agent
spec:
  replicas: 1
  selector:
    matchLabels:
      app: schedulerx-agent
  template:
    metadata:
      labels:
        app: schedulerx-agent
    spec:
      containers:
      - name: schedulerx-agent
        image: schedulerx-registry.cn-hangzhou.cr.aliyuncs.com/schedulerx2/agent:latest-amd64
        imagePullPolicy: Always
        resources:
          requests:
            cpu: 500m
        env:
          - name: "SCHEDULERX_ENDPOINT"
            value: "${SCHEDULERX_ENDPOINT}"
          - name: "SCHEDULERX_NAMESPACE"
            value: "${SCHEDULERX_NAMESPACE}"
          - name: "SCHEDULERX_GROUPID"
            value: "${SCHEDULERX_GROUPID}"
          - name: "SCHEDULERX_APPKEY"
            value: "${SCHEDULERX_APPKEY}"
          - name: "SCHEDULERX_STARTER_MODE"
            value: "pod"
        livenessProbe: 
          exec: 
            command: ["/bin/bash","/root/health.sh"]
          timeoutSeconds: 30
          initialDelaySeconds: 30