全部產品
Search
文件中心

DataWorks:節點調度配置

更新時間:Oct 24, 2026

為DataWorks中的任務(節點)配置調度屬性,包括調度周期、依賴關係、運行策略和參數,以確保任務按預期自動、可靠地執行。

核心概念

配置調度屬性前,需理解以下核心概念:

  • 任務與執行個體:任務(或稱節點)是在DataWorks中開發的商務邏輯代碼。當任務依據其調度配置運行時,會產生一個或多個運行執行個體。在运维中心,管理和監控的是任務的運行執行個體,例如查看日誌、重跑執行個體等。

  • 周期執行個體:對於周期性調度的任務,調度系統會根據其調度週期(如天、小時)產生對應的周期執行個體。例如,一個按小時調度的任務,每天會產生24個待啟動並執行小時執行個體。

  • 業務時間:執行個體所處理的資料對應的時間,通常為T-1(昨天)。例如,一個在2023-01-02淩晨啟動並執行執行個體,其業務時間是2023-01-01,代表該執行個體正在處理1月1日的資料。調度參數的替換通常基於業務時間進行。

前提條件

  • 已建立節點。DataWorks基於節點進行任務開發,不同類型的引擎任務在DataWorks上被封裝為不同類型的節點,您可根據業務需要,選擇合適的節點使用。詳情請參見節點開發概述。

  • 已在工作空間的調度設置頁面開啟啟用調度周期開關。開啟後,該工作空間下的所有任務才能根據其配置自動調度運行。詳情參見配置工作空間調度屬性。

配置調度屬性

在節點編輯頁面右側的調度配置面板中,設定各項屬性以定義任務的自動化行為。

1. 進入調度配置頁面

  1. 進入DataWorks工作空間列表頁,在頂部切換至目標地區,找到目標工作空間,單擊操作列的快速進入> Data Studio,進入Data Studio。

  2. 在資料開發(Data Studio)介面,雙擊開啟目標節點,進入其編輯頁面。

  3. 單擊節點編輯頁面右側的調度配置,開啟配置面板。

2. 配置各項調度屬性

調度配置面板包含調度時間、調度依賴、調度策略、調度參數、節點輸出參數和關聯角色等頁簽,根據業務需求進行配置。

調度時間:定義任務何時運行

定義任務何時、以何種頻率自動執行。

說明

如果節點位於工作流程內,其調度時間由工作流程統一配置,此處不可修改。如果節點是獨立節點,則需在此處單獨配置。

參數

說明

調度週期

定義任務在生產環境多久自動執行一次。支援分鐘、小時、日、周、月、年等多種周期。

  • 分鐘調度:在每日指定時間段內,按設定的時間間隔(N分鐘)重複運行,最小粒度為1分鐘。

  • 小時調度:在每日指定時間段內,按設定的時間間隔(N小時)重複運行。

  • 日調度:每日在指定的定時時間運行一次。

  • 周調度:每周在指定的某幾天、特定時間點運行一次。

  • 月調度:每月在指定的某幾天、特定時間點運行一次。

  • 年調度:每年在指定的某幾天、特定時間點運行一次。

生效日期

設定任務自動調度的起止日期。超過有效期間後,任務將不再產生新的周期執行個體。

Cron表達式

該運算式根據介面上的時間屬性配置自動產生,無需手動設定。

說明
  • 調度時間 vs. 實際已耗用時間:此處配置的調度時間為任務的預期開始時間。任務的實際啟動時間還受上遊任務完成情況、資源群組資源是否充足等多種因素影響。

  • 非調度日的空跑機制:對於周、月、年調度的任務,在非指定的調度日期,系統會為其產生一個空跑執行個體。該執行個體會立即運行成功並觸發下遊任務,但自身不執行任何代碼,也不消耗計算資源。

  • 調度頻率的獨立性:任務的調度頻率僅由其自身的調度週期決定,與上遊任務的周期無關。DataWorks支援不同調度周期的任務(如小時任務依賴天任務)之間建立依賴關係。

調度依賴:定義任務的執行前提

定義當前任務必須等待哪些上遊任務成功完成後才能開始執行。正確配置依賴是保障資料加工順序和產出準確性的關鍵。

DataWorks基於代碼中的表血緣關係,自動解析並推薦上遊依賴以確保資料完整性。也可根據業務需要手動添加或修改依賴。

配置上遊依賴
  1. 在調度依賴頁簽,查看系統根據代碼解析出的上遊依賴節點列表。

  2. 為每個上遊節點選擇依賴方式:

    • 依賴同周期:下遊今天(T)的執行個體,依賴上遊今天(T)的執行個體。這是最常見的依賴關係。例如,日任務B讀取日任務A產出的表,則B應依賴A的同周期。

    • 依賴上一周期:下遊今天(T)的執行個體,依賴上遊昨天(T-1)的執行個體。例如,今天的任務需要讀取昨天產出的摘要資料。詳情參見跨周期依賴。

  3. (可選)如果系統未能自動解析出依賴,或需要依賴一個非資料產出節點(如虛擬節點),可單擊添加上遊節點手動設定。

說明
  • 工作流程依賴:工作流程內的節點依賴關係由工作流程統一管理。此處僅介紹單個節點的依賴配置。工作流程的調度配置參見配置工作流程調度屬性。

  • 複雜依賴情境:DataWorks支援多種複雜的依賴情境。配置前,建議通過複雜依賴配置文檔瞭解預設的依賴規則。

  • 不支援依賴的情境:對於非DataWorks周期調度產出的資料(如即時同步的表、手動上傳的表、維表),系統無法感知其資料更新狀態,因此無法配置調度依賴。在此類情境下,可將任務依賴工作空間根節點或虛擬節點,以實現統一的調度編排。

調度策略:定義任務的運行行為和資源

定義任務執行個體的產生方式、運行行為(如逾時、重跑)和所需資源。

參數

說明

实例生成方式

定義任務發布後,周期執行個體何時開始產生。

  • T+1次日生成:(推薦)發布後的第二天開始自動調度。如需當天執行,需手動執行補資料操作。

  • 發布後即時生成:發布後當天即開始自動調度。詳情參見發布後即時產生執行個體。

調度類型

  • 正常調度:任務正常執行,會運行代碼並消耗資源。

  • 暫停調度:任務執行個體產生後狀態置為“凍結”,不會執行,並會阻塞所有下遊任務的執行。

  • 空跑調度:任務執行個體產生後立即成功,不執行代碼,不消耗資源,但會正常觸發下遊任務執行。

超時定義

設定任務啟動並執行最長時間長度。超過該時間後,任務將自動終止共置為失敗。預設值為3~7天,手動設定最大可為168小時(7天)。

重跑屬性

定義任務在何種狀態下允許被手動重跑。

  • 運行成功或失敗後均可重跑:適用於可重複執行且不影響結果的任務(等冪任務)。

  • 運行成功後不可重跑,運行失敗後可重跑:適用於成功後重跑會產生副作用(如重複插入資料)的任務。

  • 運行成功或失敗後均不可重跑:適用於任何重跑都會影響結果的敏感任務(如某些資料同步)。

    說明

    選擇此項後,系統故障恢複後也不會自動重跑該任務,且無法開啟失敗自動重跑。

失敗自動重跑

開啟後,當任務因臨時性問題(如網路抖動)運行失敗時,系統會自動嘗試重跑,以提升調度穩定性。

  • 重跑次數:可配置1-10次。

  • 重跑間隔:每次重跑的間隔時間,可配置1-30分鐘。

說明

因逾時而失敗的任務不會觸發自動重跑。

最大並行實例數

限制同一任務同時可啟動並執行最大執行個體數,用於並發控制。取值範圍為1-10000。開啟後,超出數量的執行個體會排隊等待,直到已有執行個體運行結束。

資源組

配置任務運行時使用的調度資源群組。

計算資源/計算配額

配置任務運行所需的計算引擎資源(如MaxCompute Quota)。

資料集

為特定節點類型(如Shell)掛載資料集(如Object Storage Service或Apsara File Storage NAS),使其可以在代碼中像本地檔案一樣訪問。可配置挂载路径、高級配置(如讀取方法)和只讀許可權。

智能值守:配置生產環境異常監控

為周期節點開啟智能值守後,當節點在生產環境發生執行個體失敗、等待資源過久或運行變慢時,系統自動產生工作項目並匹配 Agent 分析異常原因、提供診斷證據和處理建議。

  1. 在調度配置面板右上方,單擊啟用智能值守。已儲存開啟配置時,入口顯示智能值守中。

  2. 在彈窗中開啟值守開關,按需添加 Webhook 地址並單擊发送测试消息驗證訊息通道。

  3. 單擊确定儲存。取消或關閉彈窗不會儲存本次編輯。

  4. 按工作空間流程提交、發布節點,使編輯態配置進入生產環境。發布後到營運中心核對節點的值守狀態。

說明
  • 資料開發中儲存的配置僅為編輯態;發布到生產環境後才開始值守。開發環境執行個體失敗不會觸發節點值守。

  • 僅支援該能力的周期節點展示入口;組合節點、ForEach/DoWhile 類型及 PAI 工作流程等不展示該入口。

  • 也可在營運中心的周期任务列表為發行的節點配置值守。完整說明參見AI值守。

參數配置:實現任務間動態傳值

通過參數化配置,可以使任務代碼更加靈活,實現任務間的動態傳值和上下文傳遞。

調度參數(輸入參數)

如果節點代碼中使用了變數(例如 ${pt_time}),則需要在此處為其賦值。值可以是固定的常量,也可以是使用DataWorks內建參數(如 $bizdate)的動態運算式。

可通過添加參數手動定義,或通過加載代碼中的參數自動識別。此外,還支援通過image表徵圖將參數值與上遊節點的輸出參數進行綁定。

說明

調度參數的最終取值,由執行個體的業務時間以及配置的調度參數運算式共同決定。

最佳實務:任務發布後,建議在生產環境的运维中心 > 周期任務介面,檢查並確認生產任務的調度參數配置符合預期。

節點輸出參數(輸出參數)

定義當前節點的輸出,以索引值對(Key-Value)的形式供下遊節點引用。下遊節點可在其調度參數配置中,通過绑定上游节点的输出参数來消費這些值。

輸出參數的參數值可以是常量(固定字串),也可以是變量(引用系統或自訂的輸入參數)。

說明
  • 支援的節點類型:EMR Hive、EMR Spark SQL、ODPS Script、Hologres SQL、AnalyticDB for PostgreSQL和MySQL。

  • 傳遞查詢結果:節點輸出參數只能傳遞字串值。如需將上遊節點的SQL查詢結果集傳遞給下遊,請使用賦值節點。

關聯角色:安全訪問其他雲資源

通過為任務指定一個RAM角色,使其在運行時能通過阿里雲STS(Security Token Service)安全地擷取臨時訪問憑證,從而訪問其他雲資源(如OSS),避免在代碼中寫入程式碼AccessKey,提升安全性。

重要

功能限制

  • 資源群組限制:僅支援運行在Serverless 資源群組的節點。

  • 節點類型限制:僅支援Python、Shell、Notebook、PyODPS 2、PyODPS 3和PAI DLC節點。

1. 在節點中配置關聯角色
  1. 在節點編輯介面的右側,找到並單擊回合組態。

  2. 在調度配置面板中,切換到關聯角色頁簽。

  3. 在RAM角色下拉框中,選擇您準備好的 RAM 角色。

    重要

    如果下拉框為空白,或找不到所需的角色,請參考配置關聯角色(使用STS方式)訪問其他雲產品完成RAM角色配置。

  4. 配置完成後,提交節點。此配置僅對調試運行生效。

2. 運行與驗證
重要

PyODPS:訪問其他雲產品(如OSS)時,使用您設定的 RAM 角色身份;但訪問 MaxCompute 資料時,仍然自動使用計算資源(專案層級)配置的訪問身份。

配置調度屬性

節點完成調試後,需將回合組態中的關聯角色同步至調度配置的關聯角色 > RAM角色。發布後,任務將以該角色的身份運行。

若在回合組態中配置自訂鏡像,需同步設定到調度配置中。

在營運中心查看執行角色

任務運行結束後,在运维中心查看任務執行個體的詳細資料,以確認是否成功使用指定的角色。

  1. 進入运维中心 > 周期任务运维 > 周期实例。

  2. 找到您啟動並執行節點執行個體,單擊進入詳情頁。

  3. 在詳情頁中,查看執行身份欄位,確認任務是否成功使用了指定的RAM角色。

3.(可選)查看或在代碼中使用臨時憑證

配置關聯角色後,任務運行時會自動以該RAM角色身份訪問其他雲資源,通常無需在代碼中顯式擷取憑證即可運行任務。

如果您需要在代碼中顯式使用臨時憑證,或需要查看系統注入的臨時憑證,可通過以下方式擷取。DataWorks會在任務運行時自動擷取臨時憑證,並將其作為環境變數注入到運行環境中。

重要

PAI DLC節點不支援通過本節所述方式擷取臨時憑證。

方式一:讀取環境變數(推薦 Shell, Python)

系統會自動化佈建以下三個環境變數,您可以直接在代碼中讀取。

  • LINKED_ROLE_ACCESS_KEY_ID:臨時存取金鑰 ID。

  • LINKED_ROLE_ACCESS_KEY_SECRET:臨時存取金鑰 Secret。

  • LINKED_ROLE_SECURITY_TOKEN:臨時安全性權杖。

程式碼範例 (Python):

重要

此案例在運行中需選擇安裝oss2的Python自訂鏡像,相關操作請參見自訂鏡像。

import os
import oss2

# 1. 從環境變數擷取臨時憑證
access_key_id = os.environ.get('LINKED_ROLE_ACCESS_KEY_ID')
access_key_secret = os.environ.get('LINKED_ROLE_ACCESS_KEY_SECRET')
security_token = os.environ.get('LINKED_ROLE_SECURITY_TOKEN')

# 檢查是否成功擷取
if not all([access_key_id, access_key_secret, security_token]):
    raise Exception("Failed to get linked role credentials from environment variables.")

# 2. 使用臨時憑證初始化 OSS 用戶端
# 假設您已為角色授予了訪問 'your-bucket-name' 的許可權
auth = oss2.StsAuth(access_key_id, access_key_secret, security_token)
bucket = oss2.Bucket(auth, 'http://oss-<regionID>-internal.aliyuncs.com', 'your-bucket-name')

# 3. 使用用戶端訪問 OSS 資源
try:
    # 列出 bucket 中的檔案
    for obj in oss2.ObjectIterator(bucket):
        print('object name: ' + obj.key)
    print("Successfully accessed OSS with linked role.")
except oss2.exceptions.OssError as e:
    print(f"Error accessing OSS: {e}")

程式碼範例 (Shell):

#!/bin/bash
access_key_id=${LINKED_ROLE_ACCESS_KEY_ID}
access_key_secret=${LINKED_ROLE_ACCESS_KEY_SECRET}
security_token=${LINKED_ROLE_SECURITY_TOKEN}

# 訪問OSS,需替換regionID、bucket_name和file_name為真實資訊
echo "ID:"$access_key_id
echo "token:"$security_token
ls -al /home/admin/usertools/tools/

# 樣本為通過ossutil從OSS指定路徑下載檔案到本地test_dw.py,並輸出檔案內容。
/home/admin/usertools/tools/ossutil64 cp --access-key-id $access_key_id --access-key-secret $access_key_secret --sts-token $security_token --endpoint http://oss-<regionID>-internal.aliyuncs.com oss://<bucket_name>/<file_name> test_dw.py
echo "************************ 擷取成功 ************************,列印結果"
cat test_dw.py
方式二:使用 Credentials Client (推薦 Python)

程式碼範例 (Python):

重要

此案例在運行中需選擇安裝oss2、alibabacloud_credentials的Python自訂鏡像,相關操作請參見自訂鏡像。

from alibabacloud_credentials.client import Client as CredentialClient
import oss2

# 1. 使用 SDK 自動擷取憑證
# 它會自動尋找環境變數中的 LINKED_ROLE_* 等憑證資訊
cred_client = CredentialClient()
credential = cred_client.get_credential()

access_key_id = credential.get_access_key_id()
access_key_secret = credential.get_access_key_secret()
security_token = credential.get_security_token()

if not all([access_key_id, access_key_secret, security_token]):
    raise Exception("Failed to get linked role credentials via SDK.")

# 2. 使用憑證初始化 OSS 用戶端
auth = oss2.StsAuth(access_key_id, access_key_secret, security_token)
bucket = oss2.Bucket(auth, 'http://oss-cn-hangzhou.aliyuncs.com', 'your-bucket-name')

# 3. 訪問 OSS
print("Listing objects in bucket...")
for obj in oss2.ObjectIterator(bucket):
    print(' - ' + obj.key)
print("Successfully accessed OSS with linked role via SDK.")

後續步驟:提交與發布

調度配置在開發環境設定完成後並不會立即生效。必須將節點提交並發布到生產環境,調度系統才會根據最新配置,在生產環境中組建循環執行個體並自動執行任務。

相關文檔