全部產品
Search
文件中心

DataWorks:資料開發流程引導

更新時間:Oct 29, 2025

本文為您介紹新版資料開發的基本開發流程。

前提條件

  • 已建立DataWorks工作空間並開通新版資料開發。

    本指南適用於新版資料開發,如需使用,請確保您的工作空間已開通新版資料開發。開通方式如下:

    • 建立工作空間時,選擇使用新版資料開發(Data Studio)

    • 將已有舊版資料開發升級為新版資料開發,在舊版資料開發介面頂部單擊升級按鈕,根據頁面提示完成升級。

    • 2025年02月18日後,主帳號在如下地區首次開通DataWorks並建立工作空間時,預設啟用新版資料開發。

      華東1(杭州)、華東2(上海)、華北2(北京)、華北3(張家口)、華北6(烏蘭察布)、華南1(深圳)、西南1(成都)、中國香港、日本(東京)、新加坡、馬來西亞(吉隆坡)、印尼(雅加達)、泰國(曼穀)、德國(法蘭克福)、英國(倫敦)、美國(矽谷)、美國(維吉尼亞)

  • 已綁定計算資源至DataWorks工作空間。您可根據實際情況選擇計算資源,詳情請參見綁定計算資源

進入Data Studio介面

進入DataWorks工作空間列表頁,在頂部切換至目標地區,找到目標工作空間,單擊操作列的快速進入 > Data Studio,進入Data Studio。

開發目錄規劃

Data Studio支援您在不同目錄下進行資料開發,各目錄的差異如下,您可以按需選擇。

目錄類型

許可權範圍

功能特性

適用情境

個人目錄

個人帳號級

  • 僅當前可見。

  • 支援代碼調試。

  • 不支援建立調度任務。

  • 可建立的檔案類型較少,如.ipynb(Notebook檔案)、.sh檔案、.py檔案和.sql檔案等。

  • 個人目錄的檔案可提交至專案目錄。

個人開發測試

專案目錄

工作空間級

  • 支援小組協作開發。

  • 可建立多種類型節點及周期工作流程。

需要周期調度的生產任務

手動目錄

工作空間級

  • 支援手動任務及手動工作流程。

  • 獨立於周期調度系統,發布生產後,需在營運中心手動執行。

臨時性手動執行任務

資料開發

通過準備階段瞭解不同使用情境對應的目錄差異後,您可以根據實際業務需要建立開發目錄。

個人目錄開發(適用於個人測試、臨時查詢、跨專案空間同步代碼)

個人目錄下的檔案僅當前帳號可見,不可配置調度和發布到生產,可用於個人測試或臨時查詢。個人目錄下的檔案在不同工作空間下均可見,也可用於跨空間同步,您可以將個人目錄下的檔案提交至不同空間的專案目錄中,後續在對應空間的專案目錄中為其配置調度及發布。詳情請參見個人目錄

  1. 在Data Studio左側導覽列單擊image,進入資料開發目錄。

  2. 個人目錄地區,單擊image建立目錄,然後在目錄中按需建立檔案。

  3. 個人目錄下的檔案如果需要提交到工作空間專案目錄下,可在編輯視窗頂部單擊提交到專案目錄。後續步驟請參見專案目錄開發(適用於生產環境)

專案目錄開發(適用於生產環境)

專案目錄下的檔案可以團隊協作開發,支援建立不同類型的節點,編排上下遊節點關係。詳情請參見專案目錄

  1. 在Data Studio左側導覽列單擊image,進入資料開發目錄。

  2. 建立專案目錄、節點和工作流程。

    專案目錄地區,單擊image,按需建立目錄、節點或工作流程。

    • 目錄:您可以通過目錄統籌管理節點和工作流程。

    • 節點:Data Studio支援豐富的節點類型,如Data Integration、Notebook、MaxCompute SQL等,不同節點的作用與差異,請參見節點開發

    • 工作流程:工作流程是一種資料處理流程自動化管理工具,提供的可視化畫板功能支援以可視化拖拽方式整合多種類型的子任務節點,輕鬆建立任務間的依賴關係,加速資料處理流程的搭建,有效提升任務開發效率。詳情請參見周期工作流程

  3. 節點編排。

    • 節點:單獨建立的節點,需要通過節點調度依賴配置各節點間的上下遊關係。

      單擊節點編輯頁面右側的調度配置,配置節點調度相關參數,定義該節點的上下遊依賴關係。通過依賴關係有序運行上下遊節點,即當上遊節點運行成功後,下遊節點才會啟動運行,確保當前節點適時、正確的取到資料。

    • 工作流程:工作流程支援在畫布中可視化拖拽編排各節點的上下遊關係,您可以自行規劃。

  4. 節點開發。

    Data Studio支援豐富的節點類型,不同節點可配置內容不同,您可參考節點開發,完成節點配置工作。

    說明

    您可以在節點開發時使用${變數名} 方式定義變數,然後在測試階段為變數賦值常量,在調度配置時為變數動態賦值。

手動目錄開發(適用於一次性任務)

您可以在手動目錄下建立手動任務或建立手動工作流程,用於無需周期調度的一次性資料處理情境。

  1. 在Data Studio左側導覽列單擊image,進入手動目錄。

  2. 按需在手動任務手動工作流程下建立開發目錄和節點。詳情請參見手動任務手動商務程序

測試

節點開發完成後,您可單擊節點編輯頁右側的調試配置,配置調試參數,然後單擊工具列中的運行,使用調試參數來運行節點代碼。

在調試配置時,您可配置如下參數:

  • 計算資源中指定調試階段任務下發的計算資源。

  • DataWorks配置中指定DataWorks任務執行使用的資源群組等。

  • 如果您在代碼中通過${變數名}方式定義了變數名,則可以在指令碼參數中為對應變數賦值常量。

說明
  • 周期工作流程暫不支援直接調試整個Workflow,您需要依次對其內部節點單獨調試。

  • 手動工作流程支援直接運行整個工作流程。

調度配置與發布

調度配置

節點調試完成後,若節點需要發布至生產環境進行周期性自動調度,請單擊節點編輯頁右側的調度配置為節點配置調度屬性。

  • 調度參數:用於定義節點調度時使用的參數。DataWorks提供多種賦值格式,如果您在節點開發中通過 ${變數名} 方式定義了變數,則調度參數可以實現調度情境下變數的動態賦值。

  • 調度策略:用於定義節點在調度環境下除執行頻率和具體執行時間點外的其他調度屬性。

  • 調度時間:用於定義節點在調度環境執行頻率和具體執行時間點。

  • 調度依賴:用於定義該任務的上下遊依賴關係。通過依賴關係有序運行上下遊節點,即當上遊節點運行成功後,下遊節點才會啟動運行,確保當前節點適時、正確的取到資料。

說明

周期工作流程的調度配置與單獨節點的調度配置存在差異,詳情請參見周期工作流程

節點發布

節點調度配置完成後,您需要單擊節點編輯頁頂部的發布按鈕,通過發布流程,將節點發布至生產環境,之後節點才會周期性調度。更多資訊,請參見節點/工作流程發布

單擊工具列中的發布按鈕,將進入發布流程,單擊開始發布生產,任務將按照發布檢查流程進行發布。

說明

由於發布過程中受到已啟用檢查器的管控,發佈動作可能不會成功。因此,建議在發布流程結束後確認任務在生產環境中的最終發布狀態。

任務營運

節點發布完成後,即會在營運中心生產環境組建循環任務,您可前往營運中心,查看或調整周期任務的屬性和狀態、對指定業務日期進行補資料。

快速體驗

開啟Data Studio,預設會在啟動時開啟歡迎頁,您可以根據頁面指引體驗Notebook經典案例或完成Data Studio入門演練。