DataWorks的資料開發(DataStudio)模組提供多種節點,包括Data Integration節點、計算資源節點(如ODPS SQL、Hologres SQL、EMR Hive)和通用節點(如虛擬節點、Check節點),以滿足您不同的資料處理需求。
如果您在資料開發中無法建立某個計算資源節點(如ODPS SQL、Hologres SQL、EMR Hive),請在左側導覽列單擊計算資源,查看是否綁定了對應計算資源,如果已綁定了計算資源,但仍無法建立,請重新整理當前頁面更新快取資料或嘗試啟用瀏覽器無痕模式查看。
資料同步類節點
Data Integration節點 | 使用介紹 | 節點編碼 | TaskType |
用於離線(批量)資料周期性同步情境,並且支援複雜情境下多種異構資料來源間資料同步。離線同步支援的資料來源詳情,請參見支援的資料來源及同步方案。 | 23 | DI | |
用於增量資料即時同步情境。即時同步包括即時讀取、轉換和寫入三種基礎外掛程式,各外掛程式之間通過內部定義的中間資料格式進行互動。即時同步支援的資料來源詳情,請參見支援的資料來源及同步方案。 | 900 | RI |
除在資料開發(DataStudio)介面直接建立的節點外,Data Integration主站還支援多種類型同步方案。例如,全增量資料即時同步,整庫離線同步等,詳情請參見Data Integration側同步任務能力說明。Data Integration主站的任務,通常Code為24。
引擎計算類節點
您可在具體商務程序,選擇在某引擎下建立對應類型的引擎節點,基於該節點進行資料開發,並將引擎代碼下發至對應的資料清洗引擎上執行。
DataWorks整合的引擎 | DataWorks對引擎能力的封裝 | 節點編碼 | TaskType |
MaxCompute | 10 | ODPS_SQL | |
225 | ODPS_SPARK | ||
221 | PY_ODPS | ||
1221 | PYODPS3 | ||
24 | ODPS_SQL_SCRIPT | ||
11 | ODPS_MR | ||
1010 | COMPONENT_SQL | ||
E-MapReduce | 227 | EMR_HIVE | |
230 | EMR_MR | ||
229 | EMR_SPARK_SQL | ||
228 | EMR_SPARK | ||
257 | EMR_SHELL | ||
259 | EMR_PRESTO | ||
264 | EMR_SPARK_STREAMING | ||
268 | EMR_KYUUBI | ||
267 | EMR_TRINO | ||
CDH | 270 | CDH_HIVE | |
271 | CDH_SPARK | ||
273 | CDH_MR | ||
278 | CDH_PRESTO | ||
279 | CDH_IMPALA | ||
272 | CDH_SPARK_SQL | ||
AnalyticDB For PostgreSQL | - | - | |
AnalyticDB For MySQL | 1000126 | - | |
Hologres | 1093 | HOLOGRES_SQL | |
1094 | HOLOGRES_SYNC_DDL | ||
1095 | HOLOGRES_SYNC_DATA | ||
ClickHouse | 1301 | CLICK_SQL | |
StarRocks | - | - | |
演算法(機器學習) | 1117 | PAI_STUDIO | |
1119 | PAI_DLC | ||
資料庫 | 1000125 | - | |
10001 | - | ||
10002 | - | ||
10003 | - | ||
10005 | - | ||
10006 | - | ||
10007 | - | ||
10008 | - | ||
10009 | - | ||
10011 | - | ||
10012 | - | ||
10013 | - | ||
10014 | - | ||
10015 | - | ||
10016 | - | ||
10017 | - | ||
10018 | - | ||
其他 | 1000023 | - |
通用類節點
引擎節點可結合通用節點進行複雜邏輯處理。在具體商務程序下,您可在通用節點分組下建立所需節點,結合引擎節點實現複雜邏輯處理。
業務情境 | 節點類型 | 使用說明 | 節點編碼 | TaskType |
業務管理 | 虛擬節點屬於控制類型節點,它是不產生任何資料的空跑節點,通常作為商務程序統籌節點的根節點,方便您管理節點及商務程序。 | 99 | VIRTUAL | |
事件觸發 | 如果您希望其他調度系統的任務完成後觸發DataWorks上的任務運行,可以使用此節點。 說明 DataWorks已不再支援建立跨租戶節點,如果您使用了跨租戶節點,建議更換為HTTP觸發器節點,該節點與跨租戶節點能力相同。 | 1114 | SCHEDULER_TRIGGER | |
通過監控OSS對象產生來觸發下遊節點執行。 | 239 | OSS_INSPECT | ||
通過監控FTP檔案產生來觸發下遊節點執行。 說明 DataWorks官方建議使用Check節點代替FTP Check節點作為檢查節點。 | 1320 | FTP_CHECK | ||
用於檢查目標對象是否可用,當Check節點滿足檢查策略後會返回運行成功狀態,若存在下遊依賴,會觸發下遊任務執行。支援檢查的目標對象:
| 241 | CHECK_NODE | ||
資料品質 | 對比節點可在工作流程中實現對不同表資料進行多種方式的對比。 | 1331 | DATA_SYNCHRONIZATION_QUALITY_CHECK | |
參數賦值與傳遞 | 用於參數傳遞,通過內建的output輸出將賦值節點最後一條查詢或輸出結果通過節點上下文功能傳遞到下遊,實現參數跨節點傳遞。 | 1100 | CONTROLLER_ASSIGNMENT | |
用於上遊節點將參數匯總並分發向下傳遞。 | 1115 | PARAM_HUB | ||
控制類 | 用於遍曆賦值節點傳遞的結果集。 | 1106 | CONTROLLER_TRAVERSE | |
用於迴圈執行部分節點邏輯,同時您也可結合賦值節點來迴圈輸出賦值節點傳遞的結果。 | 1103 | CONTROLLER_CYCLE | ||
用於對上遊結果進行判斷,決定不同結果走不同的分支邏輯,您可結合賦值節點一起使用。 | 1101 | CONTROLLER_BRANCH | ||
用於對上遊節點的運行狀態進行歸併,解決分支節點下遊節點的依賴掛載和運行觸發問題。 | 1102 | CONTROLLER_JOIN | ||
其他 | Shell節點支援標準Shell文法,但不支援互動性文法。 | 6 | DIDE_SHELL | |
用於周期性調度處理事件函數,並完成與其它類型節點的整合和聯合調度。 | 1330 | FUNCTION_COMPUTE | ||
用於將商務程序中的查詢資料推送至,DingTalk群、飛書群、企業微信群以及Teams內,便於團隊成員及時接收和關注最新資料情況。 | 1332 | DATA_PUSH |