全部產品
Search
文件中心

SchedulerX:K8s任務

更新時間:Apr 25, 2025

本文介紹如何在kubernetes環境中安裝schedulerx-agent,實現對K8s原生Pod/Job的定時調度,並進行狀態監控、警示、日誌採集及問題診斷。

簡介

K8s任務調度原理如下:

image

K8s任務和指令碼任務情境對比如下表:

情境

指令碼任務

K8s任務

指令碼調度不頻繁,且運行資源消耗高。

不推薦。每次fock一個子進程運行指令碼,佔用Agent所在機器的資源,機器負載有打滿風險。

推薦。通過K8s的負載平衡策略,每次彈一個Pod運行指令碼,穩定性高。

指令碼頻繁執行,資源消耗少。

推薦。fock子進程運行指令碼,速度快,資源使用率高。

不推薦。每次拉鏡像起Pod,速度比較慢。且頻繁調用API Server調度Pod/Job,可能會導致API Server限流。

依賴如何構建。

將依賴提前手動部署到ECS上。

構建基礎鏡像,如果依賴修改,需要重新構建基礎鏡像。

前提條件

接入SchedulerX,具體操作,請參見在Kubernetes叢集中部署SchedulerX

建立K8s任務

Shell指令碼

如果想通過Pod運行Shell指令碼,不需要自己構建鏡像,只需要在任務管理建立一個K8s任務,資源類型選擇Shell-Script,鏡像預設是busybox(也可以替換為自己的鏡像)。

1

單擊運行一次,在Kubernetes叢集中可以看到Pod啟動,Pod名稱為schedulerx-shell-{JobId}。7

在SchedulerX控制台的任務管理頁面可以查詢歷史執行記錄,也可以看到Pod啟動並執行日誌。7

Python指令碼

如果想通過Pod運行Python指令碼,不需要自己構建鏡像,只需要在任務管理建立一個K8s任務,資源類型選擇Python-Script,鏡像預設是Python(也可以替換為自己的鏡像)。

2

單擊運行一次,在Kubernetes叢集中可以看到Pod啟動,Pod名稱為schedulerx-python-{JobId}。7

在SchedulerX控制台任務管理頁面可以查詢歷史執行記錄,也可以看到Pod啟動並執行日誌。8

PHP指令碼

如果想通過Pod運行PHP指令碼,不需要自己構建鏡像,只需要在任務管理建立一個K8s任務,資源類型選擇Php-Script,鏡像預設是php:7.4-cli(也可以替換為自己的鏡像)。

3

單擊運行一次,在Kubernetes叢集中可以看到Pod啟動,Pod名稱為schedulerx-php-{JobId}。12

在SchedulerX控制台任務管理頁面可以查詢歷史執行記錄,也可以看到Pod啟動並執行日誌8

Node.js指令碼

如果想通過Pod運行Node.js指令碼,不需要自己構建鏡像,只需要在任務管理建立一個K8s任務,資源類型選擇Node.js-Script,鏡像預設是node:16(也可以替換自己的鏡像)。

4

單擊運行一次,在Kubernetes叢集中可以看到Pod啟動,Pod名稱為schedulerx-node-{JobId}。8

在SchedulerX控制台任務管理頁面可以查詢歷史執行記錄,也可以看到Pod啟動並執行日誌。8

Job-YAML

通過SchedulerX也可以運行K8s原生的Job,任務類型選擇K8s,資源類型選擇Job-YAML。

5

單擊運行一次,在Kubernetes叢集中可以看到Job和Pod啟動成功。8

在SchedulerX控制台任務管理頁面可以查詢歷史執行記錄,也可以看到Pod啟動並執行日誌。8

重要

通過SchedulerX運行K8s Job,不建議使用CronJob,定時調度需要使用SchedulerX來配置,否則無法收集每次Pod的執行歷史和日誌。

Pod-YAML

通過SchedulerX也可以運行K8s原生的Pod,任務類型選擇K8s,資源類型選擇Pod-YAML。

6

單擊運行一次,在Kubernetes叢集中可以看到Pod啟動成功。9

在SchedulerX控制台的任務管理頁面可以查詢歷史執行記錄,也可以看到Pod啟動並執行日誌。9

重要

通過SchedulerX運行K8s Pod,建議不要運行長周期的Pod(比如Web應用,一旦啟動永遠不會結束),重啟策略需要設定成Never(否則Pod會不斷重啟)。

通過環境變數擷取任務參數

SchedulerX系統支援將任務參數預先配置到環境變數中,這樣無論是指令碼任務、Pod還是Job,都可以便捷地通過讀取環境變數來擷取所需的各項參數資訊。

說明

Schedulerx-Agent 版本需要大於等於1.10.14。

key

描述

SCHEDULERX_JOB_NAME

任務名稱。

SCHEDULERX_SCHEDULE_TIMESTAMP

調度時間的時間戳記。

SCHEDULERX_DATA_TIMESTAMP

資料時間的時間戳記。

SCHEDULERX_WORKFLOW_INSTANCE_ID

如果有配置工作流程,可以擷取工作流程執行個體ID。

SCHEDULERX_JOB_PARAMETERS

任務參數。

SCHEDULERX_INSTANCE_PARAMETERS

任務執行個體參數。

SCHEDULERX_JOB_SHARDING_PARAMETER

如果是分區任務,可以擷取到分區參數。

如下所示,擷取SchedulerX任務參數值:

image

優勢

相較於K8s原生的Job功能,採用SchedulerX調度K8s Job具有以下顯著優勢:

可線上編輯的指令碼Pod

K8s Job常用情境是用來做資料處理和營運,一般以指令碼實現居多。原生的使用方式需要把指令碼打包到鏡像裡,在YAML檔案中配置指令碼命令。每當需要修改指令碼時,研發人員不得不經歷重新構建鏡像並再次發布的繁瑣過程。比如:

apiVersion: batch/v1
kind: Job
metadata:
  name: hello
spec:
  template:
    spec:
      containers:
      - name: hello
        image: busybox
        command: ["sh",  "/root/hello.sh"]
      restartPolicy: Never
  backoffLimit: 4

運用SchedulerX進行K8s任務管理時,您無需構建鏡像或編寫YAML配置指令碼。只需在控制台直接編輯支援Shell、Python、PHP和Node.js等多種語言的指令碼內容,系統便會自動將其以Pod方式運行。若需對指令碼進行更新,僅需在控制台重新編輯並儲存,下次調度時新版本指令碼將自動生效,顯著提升開發和管理K8s Job的工作效率。同時,藉助SchedulerX的K8s任務功能,完全屏蔽了容器相關的細節,對於不熟悉Container Service的研發人員而言,這項改進無疑顯著提升了開發效率,為他們帶來了極大的便利。

如下:

image

可視化任務編排

當前在K8s生態系統中,Argo作為一種主流的工作流程編排解決方案被廣泛應用。例如:

# The following workflow executes a diamond workflow
# 
#   A
#  / \
# B   C
#  \ /
#   D
apiVersion: argoproj.io/v1alpha1
kind: Workflow
metadata:
  generateName: dag-diamond-
spec:
  entrypoint: diamond
  templates:
  - name: diamond
    dag:
      tasks:
      - name: A
        template: echo
        arguments:
          parameters: [{name: message, value: A}]
      - name: B
        depends: "A"
        template: echo
        arguments:
          parameters: [{name: message, value: B}]
      - name: C
        depends: "A"
        template: echo
        arguments:
          parameters: [{name: message, value: C}]
      - name: D
        depends: "B && C"
        template: echo
        arguments:
          parameters: [{name: message, value: D}]

  - name: echo
    inputs:
      parameters:
      - name: message
    container:
      image: alpine:3.7
      command: [echo, "{{inputs.parameters.message}}"]

藉助SchedulerX的工作流程功能,您能夠通過直觀的可視化介面,採用簡單的滑鼠拖拽操作來高效編排K8s任務流程,如下圖所示。

image在使用體驗上,相較於Argo,SchedulerX更為便捷易用,尤其是在運行時,它提供了可視化的工作流程圖展示,能夠清晰地追蹤任務進度,方便快速識別和定位任務受阻的具體環節,如下圖所示顯示出具體的任務失敗:

image

警示監控

通過SchedulerX對您的Pod和Job進行調度,能夠充分利用其內建的監控警示機制,實現高效的任務狀態跟蹤與異常預警。

  • 支援的警示通道:簡訊、電話、郵件、WebHook(DingTalk/企業微信/飛書)。

  • 支援的警示策略:失敗警示、執行逾時警示。

Log Service

使用SchedulerX調度您的Pod和Job時,無需額外開通Log Service,系統將自動收集Pod運行期間產生的日誌。一旦Pod執行失敗,您可直接在SchedulerX控制台查看到詳細的失敗原因並分析,實現高效便捷的問題定位與調試。

image

監控大盤

通過SchedulerX來調度您的Pod和Job,無需另行開通Prometheus服務,即可查看內建的任務監控功能。

image

離線上混布

對於諸如訂單處理等對即時性要求較高的線上定時任務,可在同一進程內直接調用方法進行高效處理,與線上業務無縫整合。而對於即時性要求較低但資源消耗較大的離線定時任務,如報表定時匯出,可通過編寫指令碼並以啟動獨立Pod的方式運行。SchedulerX平台支援Java和Kubernetes任務類型,能夠實現離線與線上定時任務的混布調度,靈活滿足不同需求。