為適應雲原生技術演化、滿足日益複雜的資料處理情境需求,並應對現有架構在可擴充性、維護性及使用者體驗方面的挑戰,DataWorks資料開發(Data Studio)進行中一次全面的架構升級。本次升級旨在構建一個面向未來的、高效能、高可用的資料智能開發平台,為使用者提供更高效、更智能、更統一的資料開發與治理體驗。
如升級過程中遇到問題,可在DataWorks資料開發升級到新版專屬答疑群擷取支援人員。
一、升級背景
DataWorks 的原有技術架構構建於十六年前,雖在批處理時代滿足了核心需求,但隨著技術棧和業務情境的演化,其局限性日益凸顯。本次升級主要由以下三大因素驅動:
應對架構演化的技術要求
湖倉一體化架構支援:現有架構需升級以原生支援從傳統數倉向湖倉一體(Lakehouse)的平滑演化,統一中繼資料管理與資料處理。
離線與即時一體化:為應對業務即時性要求,新架構必須提供統一的開發範式與中繼資料視圖,無縫融合離線批處理與即時資料流計算。
AI 與大語言模型 (LLM) 的原生整合:新架構需具備原生能力,將機器學習、深度學習及自然語言處理等AI能力深度整合到資料開發全流程中。
解決現有架構的技術挑戰
單體式與批處理為核心的設計局限:原有架構基於早期單體式設計,核心面向批處理情境,對雲原生(Cloud-Native)及流式計算的支援存在先天不足,限制了平台的彈性與效能。
可擴充性與維護性瓶頸:高耦合的模組設計導致新功能迭代周期長、維護成本高,已難以滿足大規模並發訪問及業務的個人化擴充需求。
滿足演化的使用者需求
支撐大規模與複雜工作流程:為滿足數萬活躍使用者及 EB 級資料的處理需求,新架構需提供更高的穩定性、吞吐能力與資源隔離性。
提升開發效率與智能化水平:使用者期望獲得媲美本地 IDE 的流暢開發體驗,新架構將引入智能化的代碼輔助、效能診斷與一鍵發布等功能,顯著降低資料開發的技術門檻。
二、升級範圍
模組 | 變更內容 |
資料開發 (DataStudio) | 僅限使用者介面 (UI) 和互動體驗 (UX) 的產品升級。 |
營運中心、發布中心等其他產品模組和本升級無關,不在升級範圍內。
三、升級影響
對現有業務的影響
專案 | 影響說明 |
發行的生產任務 | 零影響。 保證所有線上任務的調度與執行將繼續穩定運行,不受任何幹擾。 |
資料開發核心功能 | 完整保留並增強。 節點類型、函數支援、核心編輯與執行能力等均被完整保留,並在新版中獲得效能和體驗最佳化。 |
使用者資產遷移
資產類型 | 遷移方案 |
已有節點 (例如 MaxCompute SQL、Shell等) | 支援一鍵遷移至新版介面。 |
自訂函數 (UDF) | |
資源檔 (例如 | |
組件 | |
臨時查詢 |
四、功能遷移詳解
新版資料開發(Data Studio)對舊版資料開發功能進行了重新整合和最佳化。以下將以舊版資料開發為起點,逐一說明舊版資料開發中每個功能模組在新版IDE中的新位置和功能變化:
4.1 資料開發模組
4.1.1. 解決方案
舊版: 獨立的“解決方案”菜單,用於組織和管理相關的商務程序。

新版: 升級為“專註模式”,任意檔案目錄均可選擇進入專註模式,提供更沈浸式更加靈活的開發體驗。

4.1.2. 商務程序
舊版: 固定的目錄層級;支援商務程序看板。

新版: 支援使用者按需建立目錄,可按需靈活打標為舊版商務程序目錄的內容。


新版:商務程序看板,升級為目錄看板,任意目錄均可支援“查看”能力。

新版:如需使用流程編排能力,可使用新版資料開發的“周期調度工作流程”。

4.1.3. 節點開發
舊版: 僅展示可用的節點類型,無法感知DataWorks支援的其他節點類型,也無法在綁定引擎之前寫其他類型節點的開發代碼。

新版: 整合到資料開發-專案目錄中,能看到所有節點類型,支援先編寫代碼再綁定引擎;建立節點互動仍在持續最佳化,節點建立及編碼體驗會更好。

4.1.3.1 運行/帶參運行
舊版: “運行”、“帶參運行”兩個按鈕分開;點擊帶參運行時,選擇運行資源群組和自訂參數。

新版:
將舊版“運行”、“帶參運行”兩個按鈕,收縮為新版的“運行”一個按鈕。
舊版中“引擎執行個體”,依節點類型而定,至多拆分為資料來源和計算資源:
資料來源:用於智能代碼編輯器中的中繼資料聯想。
計算資源:用於確定代碼調試所用的計算資源。
舊版彈窗中“運行資源群組”,變更至調試配置中的“資源群組”。
舊版“帶參運行”彈窗中“自訂參數”,變更至調試配置中的“參數”。
“調試配置”在節點右側常駐,每次代碼運行時所需的計算資源/資源群組/參數均從調試配置中取值。

4.1.3.2 煙霧測試 (Smoke Test)/查看煙霧測試 (Smoke Test)記錄
舊版:提交成功後才可發起煙霧測試 (Smoke Test)。


新版:
標準模式:發布成功至開發環境後(對應舊版的提交成功)才可發起煙霧測試 (Smoke Test)。
簡單模式:發布成功至生產環境後(對應舊版的提交成功)才可發起煙霧測試 (Smoke Test)。

4.1.3.3 程式碼檢閱/查看程式碼檢閱記錄
舊版:直接在節點工具列上面看到相關按鈕。

新版:發布過程中,在生產檢查器環節可發起程式碼檢閱。在左側分類樹中,點擊查看程式碼檢閱列表。


4.1.3.4 提交/提交並允許他人編輯
舊版:


新版:舊版中的“提交”變更為新版的“發布”。在新版中支援有許可權的使用者直接發布,標準模式也支援將任務打包發布至發布中心。




4.1.4. 表開發
舊版: 在資料開發中,建立表。

新版: 升級為完整的“資料目錄”管理,資料目錄-建立表,支援表單可視化建表,支援代碼建表,支援AI建表。

4.1.5. 資源開發
舊版: 在資料開發中,建立資源。

新版: 統一整合到“資源管理”模組。

4.1.6. 函數開發
舊版: 在資料開發中,建立函數。

新版: 統一整合到“資源管理”模組。

4.2 組件管理模組
舊版:

新版:

4.3 手動任務模組
舊版:

新版:

4.4 手動商務程序模組
舊版:

新版:

如需更加完整的手動工作流程的能力,建議使用:專案目錄-工作流程-觸發式工作流程。


4.5 臨時查詢模組
舊版:當前工作空間所有使用者的臨時查詢檔案。

新版:
目前使用者在當前Region下所有工作空間的臨時查詢檔案。
僅用於代碼調試,確認需要發布為生產任務時,支援提交到專案目錄下,配置調度配置內容後再進行發布。

4.6 表管理模組
舊版:

新版:升級為完整的“資料目錄”管理,資料目錄-建立表,支援表單可視化建表,支援代碼建表,支援AI建表。

4.7 公用表模組
舊版:

新版:升級為完整的“資料目錄”管理。

4.8 函數列表模組
舊版:

新版:目前可在Copilot中直接對函數使用方法進行提問。
後續產品規劃中,會新增函數管理模組,包含各引擎官方函數及自訂函數的管理及建立。

4.9 操作檢查模組
舊版:

新版:

4.10 運行歷史模組
舊版:

新版:

4.11 煙霧測試 (Smoke Test)記錄模組
舊版:

新版:

4.12 計算資源模組
舊版:

新版:

4.13 設定模組
舊版:

新版:主題切換。

新版:其他設定。

新版:更多設定探索。

4.14 資源回收筒模組
舊版:

新版:

五、升級操作指南
5.1 升級操作許可權
只有具備工作空間管理員同等許可權的使用者才能看到並操作升級功能。
5.2 升級操作流程
5.2.1 訪問升級入口
位於DataStudio(資料開發)主介面頂部導覽列。
在工作空間選取器旁邊的藍色“升級新版”按鈕。
只有具備相應許可權的使用者才能看到此按鈕。

5.2.2 確認升級注意事項
點擊“升級新版”按鈕後,系統會展示升級介紹頁面。

升級後,不支援降級。請確認以下內容後再開始操作,升級過程如需諮詢,可添加DataWorks資料開發升級到新版專屬答疑群。
已使用舊版DataStudio OpenAPI及需要使用遷移助手的客戶,升級前請先在DataWorks資料開發升級到新版專屬答疑群聯絡值班。
目前的版本的工作空間與升級至新版後的工作空間之間,無法在新版和舊版資料開發之間進行跨工作空間任務發布。
升級期間,新版Data Studio及舊版DataStudio在當前工作空間均將無法新增或修改已有內容(包含介面操作及通過OpenAPI操作)。
升級需要一定的時間,請選擇任務開發空閑時段進行升級。
升級後,工作空間名稱及ID保持不變。
升級後,DataStudio目前的版本不可編輯,升級後在新版資料開發中新編輯的代碼內容不會同步更新至DataStudio目前的版本。
升級後,新版Data Studio個人目錄中從舊版DataStudio中臨時查詢遷移的檔案僅可見您為owner的檔案。
5.2.3 執行升級操作
當前升級狀態為“當前空間暫未開始升級”時,您點擊“開始升級”按鈕啟動升級流程。
點擊“開始升級”按鈕,系統會提示您當前工作空間升級的預估時間及遷移對象數量。
點擊“確認”按鈕,系統正式開始升級。

升級過程中可即時查看進度和狀態。

升級過程中可點擊“升級詳情”即時查看升級明細。

升級過程中可點擊“重新整理”查看最新升級狀態。

升級完成後可點擊“前往Data Studio”開始使用新版資料開發。

六、升級保障
6.1 升級專屬服務
線上協助:升級過程可提供詳細的操作指導。
技術諮詢:遇到問題可在DataWorks資料開發升級到新版專屬答疑群聯絡值班技術同學。如有需要,可提供現場服務。
應急響應:升級異常時提供快速響應機制。
產品培訓:如有需要,升級後可提供功能使用培訓。
6.2 復原機制
如升級過程中遇到問題,可在DataWorks資料開發升級到新版專屬答疑群聯絡值班技術同學,支援復原到升級前狀態。