Data Integration的任務配置、非結構化資料處理和營運排障通常需要大量人工操作——單表同步配置需要 15–30 分鐘,整庫遷移動輒數天,警示排障需在多個監控介面之間反覆切換。DataWorks Data Integration AI Native 能力(DI Agent)將這些工作流程升級為自然語言驅動的對話式互動,只需用一句話描述需求,Agent 即可自動完成從意圖理解到執行的全流程。
DI Agent 是 Data Agent 在Data Integration情境的垂直能力集,覆蓋對話式任務配置、多模態資料處理、ChatDB 資料問答、智能診斷、周期巡檢和 IM 頻道整合六大能力。與傳統 GUI 模式(參見Data Integration概述)相比,DI Agent 以自然語言對話替代表單配置,支援單表離線、單表即時、整庫離線、整庫即時四類同步任務的統一管理。
核心能力
能力 | 適用情境 | 核心價值 |
對話式任務配置 | 建立或管理同步任務時不想逐項填寫表單 | 一句話描述需求,Agent 自動完成資料來源識別、欄位對應、調度配置和發布上線 |
AI 資料處理(多模態 ETL) | 需要對圖片、視頻、音頻、文檔等非結構化資料進行批量 AI 處理 | 將大模型作為 ETL 運算元嵌入流水線,處理結果直寫 MaxCompute、Hologres 或 DLF |
ChatDB 資料問答與管理 | 快速查詢已接入資料來源的資料,或建庫建表、修改表結構 | 用業務語言提問即可獲得元資訊和分析結果,對話完成 DDL 操作 |
AI 診斷 | 同步任務警示後需快速定位根因 | Agent 自動彙總多維日誌和監控指標,定位根因並給出修複方案 |
智能周期巡檢 | 全量同步鏈路缺乏系統性健全狀態檢查 | 按可配置周期主動掃描,產生結構化健康日報,問題在業務感知前被發現 |
IM 頻道整合 | 不想開啟控制台,希望直接通過 IM 操作 | 通過DingTalk、微信、飛書與 Agent 互動,完成狀態查詢、診斷和任務管理 |
開通 DI Agent
進入 DataWorks Data Integration控制台。
從左側導覽列找到AI Native下的Data Agent。
若當前帳號尚未開通Data Agent,可根據介面指引進行購買,購買成功後即可進入Data Integration Data Agent介面。
首次使用Data IntegrationData Agent時,需要在對話方塊下方指定一個Serverless資源群組,若無資源群組,需要建立Serverless資源群組。
首次提問後,DataWorks會為您產生Data Agent執行個體,以下我們簡稱Data IntegrationData Agent為DI Agent。
使用情境
對話式任務配置
能力說明
DI Agent 支援通過自然語言建立和管理單表離線、單表即時、整庫離線、整庫即時四類同步任務。無需逐項填寫資料來源、欄位對應、調度策略等表單配置,只需描述同步需求,Agent 即可完成從意圖理解到發布上線的全流程。主要能力包括:
自然語言建任務:用一句話描述同步需求(如"把 RDS 訂單庫整庫即時同步到 Hologres,按天分區"),Agent 自動完成資料來源識別、Schema 探測、欄位對應、資源群組分配和調度策略配置。
意圖理解與多輪對話:Agent 能理解模糊或不完整的需求描述,通過追問補全關鍵參數(如分區策略、增量條件),確保產生的任務配置準確可用。
任務全生命週期管理:支援通過對話完成任務的編輯、暫停、恢複、刪除和重跑,覆蓋任務從建立到下線的完整生命週期。
批量任務操作:支援一次對話同時建立或修改多個同步任務,適用於整庫遷移、批量調整調度策略等規模化情境。
使用樣本
以下樣本示範如何通過對話建立一個同步任務:
進入 DI Agent 對話介面。
輸入同步需求,例如:"把 RDS 訂單庫整庫即時同步到 Hologres,按天分區"。
Agent 自動探測源端 Schema,展示待同步表清單,確認後繼續。
Agent 自動完成欄位對應、資源群組分配和調度策略配置。
預覽任務配置摘要,確認無誤後發布上線。
查看任務運行狀態,驗證資料已正常同步。
AI 資料處理(多模態 ETL)
能力說明
DI Agent 支援將大模型推理能力作為 ETL 運算元嵌入資料流水線,對 OSS 中的圖片、視頻、音頻、文檔等非結構化資料進行批量 AI 處理(識別、分類打標、轉寫、翻譯、摘要、向量化等),處理結果直接寫入 MaxCompute、Hologres 或 DLF 資料湖,讓非結構化資料進入企業資料資產體系。主要能力包括:
自然語言定義處理邏輯:用自然語言描述處理意圖(如"識別圖片中的商品類別並輸出標籤"),Agent 自動產生對應的處理 Pipeline 配置。
三段式 Pipeline 編排:Agent 自動編排 Source → Transform(大模型推理)→ Sink 流水線,無需額外編寫指令碼或搭建推理服務。
結果直寫資料倉儲:處理結果直接寫入 MaxCompute、Hologres 或 DLF 資料湖,無需額外搬運。
資料 Embedding:支援對處理後的資料進行向量化並寫入 Hologres,便於後續 RAG 使用。
批量與周期運行:支援百萬級檔案的批量處理,可配置定時周期運行以持續增量處理新增資料。
使用樣本
以下樣本示範如何處理 OSS 中的商品圖片並將結果寫入 MaxCompute:
進入 AI 資料處理功能入口。
輸入處理需求,例如:"讀取AWS S3 bucket 下的商品圖片 → 調用大模型識別分類標籤 → 結果寫入 MySQL 表"。
Agent 自動編排三段式 Pipeline:Source(S3)→ Transform(大模型推理)→ Sink(MySQL)。
ChatDB 自動識別目標表,產生對應 SQL。
查看返回的圖表結果(折線圖/柱狀圖等自動匹配)。
若需要對特徵工程資料庫中的資料,進行Embedding向量化至Hologres中,以便做RAG使用。可以用自然語言定義Embedding:"繼續做Embedding → 調用大模型進行向量化 → 結果寫入 Hologres 表"。
Agent 自動編排三段式 Pipeline:Source(MySQL)→ Transform(大模型向量化)→ Sink(Hologres)。
ChatDB 自動識別目標表,產生對應 SQL。
查看返回的結果。
ChatDB 資料問答與管理
ChatDB 複用 DataWorks Data Integration已接入的 80+ 資料來源連接器(MySQL、Oracle、Kafka、MaxCompute、Hologres、MongoDB、OSS 等),已接入的資料來源不僅是同步任務的源端和目標端,同時也是可對話的分析對象。無需記憶表名和欄位名,用業務語言提問即可獲得資料來源元資訊和業務分析結果。主要能力包括:
業務語言即問即答:用業務語言直接提問(如"最近 7 天訂單趨勢"),Agent 自動翻譯為精確查詢並返回結果。
多輪追問與圖表化洞察:支援在初始結果基礎上繼續追問細化分析(如"按地區拆分""只看 TOP 10"),查詢結果自動匹配可視化圖表(折線圖、柱狀圖、餅圖等)。
建庫建表:通過對話完成資料庫和表的建立,Agent 根據業務描述自動產生建表 DDL(欄位類型、主鍵、索引、分區策略等),支援在 80+ 資料來源上直接執行。
表結構變更:支援對已有表進列欄位增刪改、類型調整、索引維護等操作,用業務語言描述意圖即可(如"給訂單表加一個物流狀態欄位"),Agent 自動對應為對應的 ALTER 語句並執行。
AI 診斷
能力說明
收到同步任務警示後,可在 Agent 對話介面描述問題或粘貼警示資訊,Agent 自動彙總任務日誌、資源監控指標、源端資料庫狀態等多維度資訊,定位根因並給出修複方案,將排障時間長度從小時級縮短到分鐘級。每次診斷結果自動歸檔為知識庫條目,下次同類問題直接匹配已有解法,不因人員輪換而從零排查。主要能力包括:
多維資訊彙總:自動採集並關聯任務日誌、資源監控指標、源端資料庫狀態、網路頻寬等多維度資訊,在一個視圖內呈現完整上下文。
根因定位:基於彙總資訊自動分析故障根因(如 CU 不足、源端鎖表、網路頻寬瓶頸、配置錯誤等),給出明確結論。
修複方案推薦與一鍵執行:定位根因後給出可操作的修複建議(擴容資源群組、重啟執行個體、調整並發度等),確認後支援一鍵執行。
經驗自動沉澱:每次診斷結果自動歸檔為知識庫條目,下次同類問題直接匹配已有解法。
使用樣本
警示觸發後,進入 Agent 對話介面,描述問題或粘貼警示資訊。
Agent 自動彙總任務日誌、資源監控指標、源端狀態等多維資訊。
Agent 輸出根因分析報告(如:CU 不足導致消費速率低於生產速率)。
Agent 給出修複方案建議(如:擴容資源群組 CU 配額或重啟失敗執行個體),確認後執行修複。
智能周期巡檢
能力說明
DI Agent 支援按可配置周期主動掃描全量同步鏈路的運行狀態,將營運模式從被動響應轉為主動治理。巡檢結果以結構化報表轉譯,高風險任務按影響範圍和緊急程度排列優先順序,每項附帶具體操作建議和預期收益評估。主要能力包括:
可配置巡檢周期:支援每小時、每天、每周和僅手動四種巡檢頻率,適應不同業務對健全狀態檢查即時性的要求。
全量鏈路主動掃描:Agent 按周期自動掃描全量同步鏈路的運行狀態,主動發現潛在風險,無需人工逐項檢查。
結構化健康日報:巡檢結果包含關鍵計量概覽、異常任務清單和風險等級評估,營運團隊可在 3 分鐘內掌握整體健康情況。
優先順序排列與操作建議:高風險任務按影響範圍和緊急程度排列優先順序,每項附帶具體操作建議和預期收益評估。
使用樣本
進入智能巡檢配置頁面,選擇巡檢周期(每小時、每天或每周)。
配置巡檢範圍(全量鏈路或指定專案空間/資源群組)。
Agent 按周期自動執行巡檢,產生結構化日報。
查看日報中的關鍵計量概覽和高風險任務清單,按優先順序處理風險項。
IM 頻道整合
DI Agent 支援接入日常使用的 IM 訊息頻道(DingTalk、微信、飛書等),無需開啟 DataWorks 控制台即可完成狀態查詢、故障診斷、任務啟停和巡檢報告推送等操作。配置方式如下:
開啟 Agent 介面,找到訊息導覽列的頻道配置。
添加對應 IM 頻道的應用,填入應用配置資訊。
單擊運行使配置生效。
配置完成後,即可在 IM 端直接與 DI Agent 互動。
後續步驟
Data Agent 概述:瞭解 DataWorks Data Agent 的整體能力和使用方式。
Data Integration概述:瞭解傳統 GUI 模式下的Data Integration基礎概念和操作方式。