全部產品
Search
文件中心

SchedulerX:DataWorks任務

更新時間:Mar 11, 2025

SchedulerX可支援定時調度DataWorks任務,並將DataWorks任務與其他任務在SchedulerX上進行混合依賴編排,完成相應的定期任務資料處理。

前提條件

用戶端接入步驟

SDK依賴接入

採用SchedulerX SDK用戶端依賴。

  1. SchedulerX用戶端需升級至1.3.4及以上版本。

  2. 在接入用戶端時,請將具備DataWorks(需開通企業版)操作許可權的AccessKey ID和AccessKey Secret配置資訊寫入啟動配置中。

    # dataworks訪問的賬戶資訊配置
    spring.schedulerx2.aliyunAccessKey=阿里雲帳號AK
    spring.schedulerx2.aliyunSecretKey=阿里雲帳號SK

Agent模式接入

採用Agent模式接入,Agent部署及接入步驟,請參見Agent接入。需採用如下版本:

  • 下載安裝包

    agent.properties啟動參數配置需要具備DataWorks操作許可權的AK/SK資訊。

    # dataworks訪問的賬戶資訊配置
    aliyunAccessKey={ALIYUN_ACCESS_KEY}
    aliyunSecretKey={ALIYUN_SECRET_KEY}
  • Docker鏡像

    1. 根據您的網路環境和CPU架構選擇鏡像。

    網路

    x86_64

    arm64

    公網

    registry.cn-hangzhou.aliyuncs.com/schedulerx/agent:1.10.13-dataworks-amd64

    registry.cn-hangzhou.aliyuncs.com/schedulerx/agent:1.10.13-dataworks-arm64

    華東1(杭州)VPC

    registry-vpc.cn-hangzhou.aliyuncs.com/schedulerx/agent:1.10.13-dataworks-amd64

    registry-vpc.cn-hangzhou.aliyuncs.com/schedulerx/agent:1.10.13-dataworks-arm64

    1. 通過Docker鏡像啟動,則需配置啟動環境變數 ALIYUN_ACCESS_KEYALIYUN_SECRET_KEY

任務建立

  1. 在DataWorks控制台上執行如下操作:

    1. 建立手動商務程序,請參見建立手動商務程序

    2. 建立節點(不需配置依賴關係),請參見建立節點並配置依賴關係

    3. 提交商務程序,請參見提交商務程序

  2. 在SchedulerX控制台上執行如下操作:

    1. 建立相應工作流程並綁定DataWorks任務節點,請參見建立工作流程

      data

    2. 任務添加完畢後,按住並拖動任務兩側的端點到其他任務的端點串連調度任務,形成依賴關係,組成完整的工作流程。

    3. 對建立的商務程序設定定時觸發,具體操作,請參見Cron

執行結果

建立的定時任務觸發後,可在流程執行個體列表中查看流程執行狀態以及各個節點狀態,滑鼠右鍵單擊節點可查詢對應節點的執行結果的詳細資料。

後續步驟

  • 在SchedulerX任務執行個體列表,您可查看對應任務節點的執行詳情,進行任務停止、重跑等操作。

  • 在DataWorks的營運中心,您可查詢本次調度的執行執行個體資訊。