部署MSE-XXLJOB代理以調度指令碼和SQL任務 - 微服務引擎

本文介紹如何在ECS或者Container Service中安裝Agent並接入MSE-XXLJOB。

方案概述

使用者可在MSE控制台動態編寫或修改指令碼及SQL，以實現定時任務的調度與執行。

操作步驟

建立普通應用

登入XXL-JOB控制台，並在頂部功能表列選擇地區。
單擊目標執行個體，進入執行個體詳情頁。
在左側導覽列，選擇應用管理，單擊建立應用。
應用類型選擇普通應用，其它參數根據實際情況填寫，然後單擊確定。

通過Agent接入執行器

支援通過安裝包部署、通過Docker啟動以及通過Kubernetes啟動。

安裝包部署

部署前提

已安裝JDK17及以上版本。

下載安裝包

wget https://schedulerx3.oss-cn-hangzhou.aliyuncs.com/xxljob/schedulerx3-agent-1.0.0-bin.tar.gz

解壓與配置：

# 解壓
tar -zxvf schedulerx3-agent-1.0.0-bin.tar.gz
cd schedulerx3-agent-1.0.0-bin

解壓後的目錄結構：

schedulerx3-worker-2.4.2-jdk17-bin/
├── bin/              # 啟動指令碼目錄
├── conf/             # 設定檔目錄
│   ├── application.yml      # 應用配置
│   └── logback-spring.xml   # 日誌配置
├── lib/              # 依賴 jar 包目錄
└── logs/             # 日誌目錄（運行時自動建立）
    ├── stdout.log    # 標準輸出日誌
    ├── stderr.log    # 標準錯誤日誌
    ├── worker.log    # 應用日誌
    ├── error.log     # 錯誤記錄檔
    ├── gc.log        # GC 日誌
    └── archive/      # 歸檔日誌目錄

編輯設定檔conf/application.yml，根據XXL-JOB執行個體配置如下參數：

xxl:
  job:
    admin-addresses: {服務接入地址}
    access-token: {應用AccessToken}
    executor:
      appname: {應用AppName}

啟動服務

Linux/Mac

# 後台啟動
./bin/start.sh

# 前台啟動（調試）
./bin/start.sh -f

# 停止
./bin/stop.sh

# 重啟
./bin/restart.sh

# 查看狀態
./bin/status.sh

# 查看日誌
tail -f logs/worker.log

Windows

REM 後台啟動
.\bin\start.cmd

REM 前台啟動（調試）
.\bin\start.cmd -f

REM 停止
.\bin\stop.cmd

REM 重啟
.\bin\restart.cmd

REM 查看狀態
.\bin\status.cmd

REM 查看日誌
type logs\worker.log

（可選）日誌配置

主要記錄檔位於logs/目錄，任務執行日誌預設位於${user.home}/applogs/xxl-job/jobhandler。

記錄檔	說明	滾動策略
`stdout.log`	標準輸出日誌（開機記錄）	指令碼重新導向
`stderr.log`	標準錯誤日誌（異常堆棧）	指令碼重新導向
`worker.log`	應用日誌（INFO 及以上）	100MB/檔案，保留 30 天
`error.log`	錯誤記錄檔（ERROR 層級）	50MB/檔案，保留 60 天
`gc.log`	GC 日誌	JVM 參數配置
`heap_dump.hprof`	堆轉儲檔案（OOM 時產生）	-
`archive/`	歸檔日誌目錄（自動壓縮 .gz）	-

編輯conf/logback-spring.xml可調整日誌的列印輸出。

<!-- 修改根記錄層級 -->
<root level="INFO">
    <appender-ref ref="STDOUT" />
    <appender-ref ref="FILE" />
</root>
<!-- 修改特定包的記錄層級 -->
<logger name="com.aliyun.schedulerx" level="DEBUG" />
<logger name="com.xxl.job" level="DEBUG" />

（可選）JVM參數配置，根據實際負載調整 JVM 記憶體大小。

# Linux/Mac - 臨時指定
JAVA_OPTS="-Xms2g -Xmx4g" ./bin/start.sh

# Linux/Mac - 永久修改
vim bin/start.sh  # 編輯 JAVA_OPTS 變數

# Windows - 臨時指定
set JAVA_OPTS=-Xms2g -Xmx4g
.\bin\start.cmd

# Windows - 永久修改
notepad bin\start.cmd  # 編輯 JAVA_OPTS 變數

通過Docker啟動

方式一：使用公開鏡像部署

公用鏡像提供了常規指令碼的運行能力，系統預裝了python、nodejs、go環境。可直接從鏡像倉庫拉取並運行，無需構建。

# 拉取鏡像
docker pull schedulerx-registry.cn-hangzhou.cr.aliyuncs.com/schedulerx3/schedulerx3-agent:1.0.0

# 自訂配置運行
docker run -d \
  --name schedulerx3-agent \
  -p 9999:9999 \
  // 按需配置JVM參數
  -e JAVA_OPTS="-Xms1g -Xmx2g" \
  -e SCHEDULERX3_ADMIN_ADDRESSES="{服務接入地址}" \
  -e SCHEDULERX3_EXECUTOR_APPNAME="{應用AppName}" \
  -e SCHEDULERX3_ACCESS_TOKEN="{應用AccessToken}" \
  -v $(pwd)/logs:/opt/schedulerx3-agent/logs \
  --restart unless-stopped \
  schedulerx-registry.cn-hangzhou.cr.aliyuncs.com/schedulerx3/schedulerx3-agent:1.0.0

方式二：基於tar包自行構建鏡像

業務有額外的外部組件依賴或自訂基礎鏡像，可基於下載的 tar 包自行構建鏡像，並發布到自有的鏡像倉庫。

# 下載安裝包
wget https://schedulerx3.oss-cn-hangzhou.aliyuncs.com/xxljob/schedulerx3-agent-1.0.0-bin.tar.gz
# Docker 鏡像構建
docker build -t schedulerx3-agent:1.0.0 -f Dockerfile .

對應Dockerfile參考如下：

############################################
### 當前Dockerfile根據各自業務需要安裝所需的組件
############################################

# 自行配置基礎鏡像
FROM hub.docker.xxx.com/library/openjdk:17.0.1-jdk-bullseye

LABEL maintainer="SchedulerX Team"
LABEL description="SchedulerX3 Agent - XXL-Job Executor"
LABEL version="2.4.2"

# 配置阿里雲鏡像源
RUN sed -i 's/deb.debian.org/mirrors.aliyun.com/g' /etc/apt/sources.list && \
    sed -i 's|security.debian.org/debian-security|mirrors.aliyun.com/debian-security|g' /etc/apt/sources.list

# 安裝基礎工具、Python3、Node.js 和 Go
RUN apt-get update && \
    apt-get install -y python3 python3-distutils curl wget ca-certificates nodejs npm golang-go && \
    apt-get clean && \
    rm -rf /var/lib/apt/lists/*

# 使用官方指令碼安裝 pip
RUN curl https://bootstrap.pypa.io/get-pip.py -o /tmp/get-pip.py && \
    python3 /tmp/get-pip.py && \
    rm -f /tmp/get-pip.py && \
    ln -sf /usr/bin/python3 /usr/bin/python

# 設定 Go 環境變數
ENV GOPATH=/root/go
ENV PATH=$GOPATH/bin:$PATH
ENV GO111MODULE=on

# 複製 tar 包到鏡像
COPY schedulerx3-agent-*-bin.tar.gz /tmp/schedulerx3-agent.tar.gz

# 解壓 tar 包到指定目錄（去掉頂層目錄）
RUN mkdir -p /opt/schedulerx3-agent && \
    tar -xzf /tmp/schedulerx3-agent.tar.gz --strip-components=1 -C /opt/schedulerx3-worker && \
    chmod +x /opt/schedulerx3-agent/bin/*.sh && \
    mkdir -p /opt/schedulerx3-agent/logs && \
    rm -f /tmp/schedulerx3-agent.tar.gz

# 設定工作目錄
WORKDIR /opt/schedulerx3-agent

# 暴露連接埠
EXPOSE 9999

# 啟動命令（使用 start.sh 的前台模式）
CMD ["bin/start.sh", "-f"]

通過Kubernetes啟動

建立 schedulerx3-agent.yaml 檔案通過Deployment部署。

apiVersion: apps/v1
kind: Deployment
metadata:
  name: schedulerx3-agent
  labels:
    app: schedulerx3-agent
spec:
  replicas: 1
  selector:
    matchLabels:
      app: schedulerx3-agent
  template:
    metadata:
      labels:
        app: schedulerx3-agent
    spec:
      containers:
        - name: schedulerx3-agent
          image: schedulerx-registry.cn-hangzhou.cr.aliyuncs.com/schedulerx3/schedulerx3-agent:1.0.0
          imagePullPolicy: Always
          ports:
            - containerPort: 9999
          env:
            - name: "SCHEDULERX3_ADMIN_ADDRESSES"
              value: "{服務接入地址}"
            - name: "SCHEDULERX3_EXECUTOR_APPNAME"
              value: "{應用AppName}"
            - name: "SCHEDULERX3_ACCESS_TOKEN"
              value: "{應用AccessToken}"
          livenessProbe:
            tcpSocket:
              port: 9999
            timeoutSeconds: 30
            initialDelaySeconds: 30

部署至Kubernetes。

# 部署
kubectl apply -f schedulerx3-agent.yaml

建立任務

指令碼任務

在執行個體詳情頁左側導覽列選擇任務 > 任務管理。
單擊建立任務，以Shell指令碼為例完成以下配置，其它參數根據實際需求填寫或保持預設：
說明
若Agent部署在Unix/Linux系統上，檔案格式應選擇Unix。
- 關聯應用選擇步驟一建立的應用。
- 任務類型選擇Shell。
在任務管理頁面，單擊已建立任務操作列運行一次，進行測試。
在左側功能表列選擇任務執行個體，查看任務執行記錄，單擊日誌可查看該指令碼執行的詳細情況。