資料開發 Agent(Data Coder Agent)是 DataWorks Data Agent 面向資料開發情境提供的資深資料專家智能體。它能夠理解使用者提出的開發工作單位,主動調用企業專屬知識庫,開展需求分析與資料探查,編寫需求文檔與技術設計文檔,並完成多引擎代碼編寫、節點與工作流程建立、運行與調度配置。通過自動調試與錯誤修正,持續推進開發工作單位直至產出符合預期的資料,並按使用者指示決定是否發布,實現從需求理解到資料交付的全流程自主閉環。
功能概述
資料開發 Agent(Data Coder Agent)是 DataWorks Data Agent 面向資料開發情境提供的資深資料專家智能體,由以下兩個官方專家套件協同提供能力,將平台操作與引擎級代碼開發整合到統一的開發流程中。
DataWorks 資料開發套件:提供資料開發流程編排與平台操作能力,涵蓋需求分析、資料探查、需求文檔與技術設計文檔編寫、資料上傳、節點與工作流程建立、運行與調度配置、執行排障及發布前檢查與發布。
Data Coder Agent SQL 代碼規範套件:提供各計算引擎的 SQL 文法規範、最佳實務及引擎 Coder 子智能體(Subagent),覆蓋 MaxCompute、Flink、Hologres、EMR StarRocks、EMR Spark 和 EMR Hive。根據任務涉及的目標引擎,自動調用對應的子智能體與規範,完成代碼編寫與錯誤修正,減少函數不相容、分區誤用、資料類型差異等問題。
您只需使用自然語言描述業務背景與開發訴求,Data Agent 即可結合企業專屬知識庫和實際資料環境,按需協調兩個套件,推進以下流程:
需求理解 → 資料探查 → 需求與技術設計文檔編寫 → 節點與工作流程建立 → 代碼編寫與回合組態 → 自動調試並錯誤修正 → 資料產出 → 按使用者指示發布
在開發過程中,Data Agent 自動銜接各階段任務,傳遞上下文與中間結果,並根據執行反饋持續調試與錯誤修正,實現從需求理解到資料交付的全流程自主閉環,無需您在不同 Agent 之間手動切換或傳遞中間結果。
核心能力
Data Coder Agent 結合 DataWorks 資料開發套件的平台操作能力與 Data Coder Agent SQL 代碼規範套件的引擎級代碼開發能力,統一協調需求分析、資料探查、方案設計、開發調試與發布交付。您可通過自然語言發起開發工作單位,無需在不同 Agent 之間手動切換或傳遞中間結果。
核心能力 | 說明 |
需求理解與分析 | 理解使用者提出的業務背景與開發目標,結合企業專屬知識庫,梳理業務口徑、預期產出與驗收要求,澄清需求中的缺失和歧義,明確需要進一步探查的資料範圍與開發對象。 |
資料探查與可行性分析 | 圍繞開發需求,調用探查子智能體,確認資料來源、目標表、欄位、分區及相關開發對象,瞭解任務依賴、計算資源與調度配置。通過實際資料與中繼資料核實需求所依賴的資料條件,識別資訊缺口和實現約束,為方案設計提供依據;必要時進一步澄清或調整需求。 |
需求文檔與技術方案編寫 | 基於需求分析與資料探查結果,編寫需求文檔與技術設計文檔,明確業務口徑、資料來源、加工邏輯、節點與工作流程設計、運行與調度配置及驗收標準,使文檔與實際資料環境保持一致,為後續開發和驗證提供依據。 |
多引擎代碼開發 | 根據任務的目標計算引擎,按需調用對應的 Coder 子智能體與 SQL 規範技能,完成代碼編寫與修正。覆蓋 MaxCompute、Flink、Hologres、EMR StarRocks、EMR Spark 和 EMR Hive,依據各引擎的文法規範與最佳實務處理函數、分區和類型系統差異,減少跨引擎方言錯配。 |
節點與工作流程開發 | 調用 DataWorks 平台能力,將開發方案落實為可執行檔節點與工作流程,完成任務依賴編排、運行參數及調度配置,並按需進行資料上傳和資源、函數、組件管理,銜接代碼開發與平台執行。 |
運行診斷與自動錯誤修正 | 執行開發工作單位,根據作業記錄、代碼、中繼資料及依賴關係定位問題,協同平台排障能力與引擎 Coder 子智能體實施修複。通過“運行—診斷—修複—驗證”的迭代過程,持續推進任務直至產出符合預期的資料。 |
產出驗證與發布交付 | 檢查任務執行結果與資料產出,結合需求和驗收標準開展驗證,並基於開發內容及運行結果進行發布前檢查。按使用者指示完成發布,銜接開發、驗證與交付,形成從需求到資料產出的全流程閉環。 |
支援的計算引擎與 SQL 開發增強
資料開發支援範圍
Data Coder Agent 基於 DataWorks 資料開發(Data Studio)開展開發工作單位。Data Studio 提供多種計算引擎節點,以及 Shell、Python 等通用節點,具體節點類型與適用範圍請參見《節點開發概述》。不同版本、地區及任務形態下的節點支援情況可能存在差異,請以實際介面為準。
SQL 代碼開發專項增強
在上述平台能力基礎上,Data Coder Agent SQL 代碼規範專家套件針對以下計算引擎新增 SQL 規範技能與 Coder 子智能體,增強代碼編寫與自動錯誤修正能力:
MaxCompute(ODPS)
Flink
Hologres
EMR StarRocks
EMR Spark
EMR Hive
執行相關引擎的 SQL 開發工作單位時,Data Agent 按需調用對應的規範技能與 Coder 子智能體,結合已有規範資料處理引擎文法、函數、資料類型及分區等差異,減少方言錯配,提升代碼產生與修複的準確性和穩定性。
上述列表表示 SQL 規範套件的專項增強範圍,並非資料開發 Agent 的完整引擎支援列表,也不表示未列出的引擎不支援開發。各引擎的規範覆蓋程度存在差異,產生的程式碼仍需結合實際環境運行驗證。
前提條件
產品開通:已開通 DataWorks,支援所有版本,無需升級至特定版本。
執行個體狀態:已建立並啟動新版 Data Agent 執行個體,且執行個體狀態為“運行中”。
套件依賴:已開啟 DataWorks 資料開發與 Data Coder Agent SQL 代碼規範兩個官方專家套件,且任務所需的技能處於開啟狀態。
配置生效範圍:開啟或關閉專家套件及套件內技能後,變更僅對建立任務生效,不影響進行中的任務。如需應用變更後的配置,請建立任務。
計費說明
資料開發 Agent(Data Coder Agent)適用於 DataWorks 所有版本,使用費用按 Data Agent 的計費規則收取:
已開通 Credit Plan 訂閱且帳號已綁定席位:優先抵扣該席位贈送的 Credits,額度用盡後,按實際使用量計費。
已開通 Credit Plan 訂閱但帳號未綁定席位,或未開通訂閱:直接按實際使用量計費。
詳細資料,請參見《Data Agent 費用》。
開始使用
1. 進入 Data Agent
登入DataWorks 控制台,在左側導覽列單擊 Data Agent,進入 Data Agent。
2. 確認專家套件已開啟
在左側導覽列選擇 擴充 > 專家套件,切換至 DataWorks 頁簽,確認以下兩個官方專家套件及任務所需技能處於開啟狀態:
DataWorks 資料開發
Data Coder Agent SQL 代碼規範
兩個套件預設開啟。如調整了套件或技能的開啟狀態,請建立任務,使配置生效。
3. 描述開發需求
單擊 建立任務,使用自然語言描述業務背景、已有中繼資料、開發目標和預期產出。樣本:
使用 MaxCompute,基於 ctlive_ods.ods_ctlive_trd_order_pay 表 在 my_project 專案下開發直播間商品成交資料的 DWS 匯總表,並組織為一個每日調度的工作流程。請先梳理需求、探查可用資料,明確統計口徑與加工方案,再開展開發。完成後驗證資料產出,暫不發布。
您也可以在輸入框中輸入 @,引用專家套件、表、節點或代碼檔案等上下文;或輸入 /,顯式調用某個技能。詳細資料,請參見擴充。
4. 澄清需求並確認方案
Data Agent 根據您的描述分析需求,探查相關資料與資源,再基於探查結果編寫需求文檔與技術設計文檔。對於業務口徑、資料來源或實現條件中的缺失與歧義,請根據提示補充資訊,並確認需求與方案。
5. 執行開發與調試
方案確認後,Data Agent 協調完成代碼編寫、節點與工作流程建立、運行與調度配置,並通過運行、診斷和修複持續推進任務。執行過程中,請按當前審批模式及頁面提示確認相關操作;涉及破壞性操作等關鍵環節時,請核實操作範圍與影響後再確認。
6. 驗證產出並按需發布
查看任務執行結果與產出資料,確認是否符合業務需求和驗收標準。如需發布,可繼續向 Data Agent 下達發布指令,由其開展發布前檢查,並在您確認後執行發布。
工作原理
資料開發 Agent 通過 Data Agent 主智能體、探查子智能體與引擎 Coder 子智能體協同完成開發工作單位。主智能體負責組織開發流程、傳遞上下文和執行平台操作;各專業子智能體負責資料探查、代碼編寫與修複等專項任務,共同銜接從需求理解到資料交付的完整流程。
專家套件協同
資料開發 Agent 的能力由以下兩個官方專家套件協同提供。
專家套件 | 主要職責 |
DataWorks 資料開發 | 提供節點與工作流程開發、任務執行、排障、資料上傳及發布等平台能力。 |
Data Coder Agent SQL 代碼規範 | 提供 SQL 文法規範、最佳實務及引擎 Coder 子智能體,針對 MaxCompute、Flink、Hologres、EMR StarRocks、EMR Spark 和 EMR Hive 增強代碼編寫與修複能力。 |
主智能體根據開發工作單位的需要調用相應能力,統一銜接各環節的輸入與輸出,無需使用者在不同 Agent 之間手動傳遞中間結果。SQL 規範套件的專項增強範圍不等同於資料開發平台的完整引擎支援範圍。
資料探查與方案設計
在理解業務需求後,主智能體調用探查子智能體,核實開發所依賴的資料、開發對象和資源條件。
探查方向 | 主要內容 |
表與資料 | 識別目標表,確認欄位、分區及資料來源,澄清同名表等歧義。 |
開發對象與依賴 | 尋找相關節點與工作流程,瞭解任務依賴、上下遊關係及調度配置。 |
計算與調度資源 | 瞭解專案資料來源、計算資源、資源群組及相關運行條件。 |
探查以唯讀方式進行,結果以結構化資訊返回主智能體。主智能體基於需求分析與實際探查結果,進一步澄清資訊缺口,再編寫需求文檔與技術設計文檔,使開發方案建立在已核實的資料環境之上。
分層 SQL 規範
SQL 代碼規範套件按“通用規範—文法分類—引擎特性”三個層次組織,為代碼編寫與修複提供依據。
通用規範層:定義跨引擎通用的 SQL 編寫規範與代碼品質要求。
文法分類層:按查詢(DQL)、資料定義(DDL)、資料操作(DML)及 Script 模式等類別提供編寫指引。
引擎特性層:補充各引擎的原生文法、內建函數、類型系統、分區與索引等專屬規則。
通過分層規範,兼顧通用開發要求與目標引擎差異,減少函數不相容、類型使用不當和分區誤用等問題。具體規範覆蓋程度因引擎而異。
引擎識別與代碼任務指派
執行 SQL 編寫、建表、查詢開發或代碼修複任務時,主智能體先識別目標計算引擎,再載入對應的規範技能,並優先將代碼任務指派給該引擎的 Coder 子智能體。
Coder 子智能體在獨立上下文中,基於已確認的需求、表結構及相關規範完成代碼編寫或修複,並向主智能體返回結構化結果。目標引擎或必要的資料結構資訊不明確時,先進行探查或向使用者澄清,避免以其他引擎的文法和行為代替目標引擎規則。
**Coder 子智能體負責代碼,不直接執行平台寫操作。**代碼儲存、節點建立、試運行和發布等操作,由主智能體按照當前審批模式統一執行。
執行反饋與自動錯誤修正
主智能體組織節點與工作流程運行,並根據執行結果協調後續處理。運行出現問題時,結合日誌、代碼、中繼資料及依賴關係定位原因,再調用相應能力修複代碼或調整配置,並重新運行驗證。
這一過程形成 “運行—診斷—修複—再運行—產出驗證” 的反饋閉環。各輪執行結果由主智能體持續銜接,為後續調試、產出驗證和發布前檢查提供依據。
操作確認與安全控制
資料開發 Agent 遵循新版 Data Agent 的互動式確認機制。平台操作按當前審批模式執行,規劃確認、破壞性操作、發布上線及高代價操作等關鍵環節需根據提示由使用者確認後繼續。
自動化流程負責銜接任務與執行結果,不替代使用者對關鍵操作的決策。完成開發與驗證後,主智能體按使用者指示開展發布前檢查,並在確認後執行發布。