DataWorks提供代碼模板功能以便快速標記和管理節點,支援通過開啟調度功能配置周期任務的調度屬性及重跑規則,並通過安全隔離、代碼對比和強制煙霧測試 (Smoke Test)確保任務正確性與安全性。本文將為您介紹這些功能的配置方法。
使用限制
僅空間管理員可進行系統配置,如需操作,可授予使用者空間管理員角色許可權,詳情請參見增加空間成員並管理成員角色許可權。
配置模板僅對建立的周期任務生效。
調度設定的預設調度屬性僅對建立的周期任務生效。
安全設定與其他僅在當前工作空間生效。
功能入口
進入DataWorks工作空間列表頁,在頂部切換至目標地區,找到目標工作空間,單擊操作列的,進入Data Studio。
在左側導覽列底部單擊,進入設定頁面。
配置代碼模板
代碼模板是在建立節點後,預設展示的內容,包括節點類型、節點的建立使用者、節點的建立時間等資訊,協助您快速標記該節點。通常用於業務層進行節點管理。
設定代碼模板
在調度設定頁簽,找到目標代碼類型,單擊其對應的編輯按鈕,即可根據需求修改該類型節點的代碼模板。
DataWorks支援修改的節點類型,請參見支援配置模板的節點列表。
編輯完成後,儲存並確認修改。
您可以通過建立相應節點來查看代碼模板修改後的效果。
模板配置可用變數
在定義代碼模板時,您可使用相關變數來記錄建立該類型任務時的相關資訊,目前支援在模板中定義的變數有:
${author}:記錄節點建立人。在建立節點時,該變數會自動填滿為當前登入帳號。
${createTime}:記錄節點建立時間。在建立節點時,該變數會自動填滿為當前系統時間。
支援配置模板的節點列表
DataWorks支援配置自訂代碼模板的節點類型如下:
引擎類型 | 節點類型 |
MaxCompute | |
Hologres | |
EMR | |
CDH | |
ClickHouse | |
通用 | |
設定周期任務的預設調度配置
若建立的周期任務需周期性運行,需先開啟調度功能,任務的調度配置才會生效。您還可以設定預設資源群組、重跑屬性、重跑次數和時間間隔等資訊。
當前設定僅對建立的周期任務生效。
在調度設定頁簽,單擊修改設定調度任務相關功能的預設配置。
功能項
描述
啟用調度周期
開啟該功能後,當前工作空間下的周期任務才會自動調度運行。
說明關閉調度後,操作當天已產生的任務仍會正常執行,但當晚不會產生第二天待啟動並執行周期執行個體。
調度時區
DataWorks工作空間所在地區對應的時區即為調度時區(即任務定時調度時間所使用的時區),DataWorks部分地區支援修改調度時區,詳情請參見支援修改調度時區的地區、如何切換時區。
定時調度時間
預設定時調度時間在
00:00~00:30隨機產生,您可根據業務需求自訂。調度資源群組
任務調度運行時預設使用的資源群組。
Data Integration資源群組
Data Integration任務運行時預設使用的整合資源群組。
重跑屬性
周期任務運行時預設的重跑策略。
說明當重跑屬性配置為可重跑時,應盡量保證任務的等冪性,避免多次重跑出現資料品質問題。
自動重跑次數
周期任務調度執行失敗情況下,預設自動重跑的次數。
重跑次數最少配置為1(即任務出錯後自動重跑1次),最多配置為10(即任務出錯後會自動重跑10次)。您可以根據業務需求進行修改。
重跑間隔
周期任務重跑時預設的重跑時間間隔。
時間間隔最小支援設定為1分鐘,最大支援設定為30分鐘。
單擊儲存配置預設調度配置資訊。
調度設定配置完成後,建立的周期任務將會使用相關功能的預設配置。
安全設定與其他
DataWorks提供安全隔離功能,支援代碼與日誌隔離、代碼對比及強制煙霧測試 (Smoke Test),確保任務正確性與代碼可靠性,您可根據業務需求在安全設定與其他頁簽進行靈活配置。
開啟安全隔離代碼和日誌
開啟安全隔離代碼和日誌後,非本工作空間中的成員將無許可權查看本工作空間的任務代碼及作業記錄。如需查看,請聯絡管理員將您添加為空白間成員,詳情請參見增加空間成員並管理成員角色許可權。
啟用任務提交展示基準
啟用強制煙霧測試 (Smoke Test)
開啟該功能後,發布任務時需確保煙霧測試 (Smoke Test)運行通過,任務才能正常發布。更多詳情請參見煙霧測試 (Smoke Test)。

啟用代碼對比功能
開啟該功能後,發布任務時需完成對比發布內容查看,任務才能正常發布。

啟用依賴檢查功能
開啟該功能後,發布任務時系統會自動檢查當前節點配置的上遊依賴是否與代碼血緣分析結果一致,只有當兩者匹配時,任務才能被成功發布。更多詳情請參見調度依賴。