SchedulerX可支援定時調度DataWorks任務,並將DataWorks任務與其他任務在SchedulerX上進行混合依賴編排,完成相應的定期任務資料處理。
前提條件
登入DataWorks管理主控台,開通DataWorks(需開通企業版)。
用戶端接入步驟
SDK依賴接入
採用SchedulerX SDK用戶端依賴。
SchedulerX用戶端需升級至1.3.4及以上版本。
在接入用戶端時,請將具備DataWorks(需開通企業版)操作許可權的AccessKey ID和AccessKey Secret配置資訊寫入啟動配置中。
# dataworks訪問的賬戶資訊配置 spring.schedulerx2.aliyunAccessKey=阿里雲帳號AK spring.schedulerx2.aliyunSecretKey=阿里雲帳號SK
Agent模式接入
採用Agent模式接入,Agent部署及接入步驟,請參見Agent接入。需採用如下版本:
下載安裝包
agent.properties啟動參數配置需要具備DataWorks操作許可權的AK/SK資訊。
# dataworks訪問的賬戶資訊配置 aliyunAccessKey={ALIYUN_ACCESS_KEY} aliyunSecretKey={ALIYUN_SECRET_KEY}Docker鏡像
根據您的網路環境和CPU架構選擇鏡像。
網路
x86_64
arm64
公網
registry.cn-hangzhou.aliyuncs.com/schedulerx/agent:1.10.13-dataworks-amd64
registry.cn-hangzhou.aliyuncs.com/schedulerx/agent:1.10.13-dataworks-arm64
華東1(杭州)VPC
registry-vpc.cn-hangzhou.aliyuncs.com/schedulerx/agent:1.10.13-dataworks-amd64
registry-vpc.cn-hangzhou.aliyuncs.com/schedulerx/agent:1.10.13-dataworks-arm64
通過Docker鏡像啟動,則需配置啟動環境變數
ALIYUN_ACCESS_KEY和ALIYUN_SECRET_KEY。
任務建立
在DataWorks控制台上執行如下操作:
建立手動商務程序,請參見建立手動商務程序。
建立節點(不需配置依賴關係),請參見建立節點並配置依賴關係。
提交商務程序,請參見提交商務程序。
在SchedulerX控制台上執行如下操作:
執行結果
建立的定時任務觸發後,可在流程執行個體列表中查看流程執行狀態以及各個節點狀態,滑鼠右鍵單擊節點可查詢對應節點的執行結果的詳細資料。
後續步驟
在SchedulerX任務執行個體列表,您可查看對應任務節點的執行詳情,進行任務停止、重跑等操作。
在DataWorks的營運中心,您可查詢本次調度的執行執行個體資訊。
