Data Integration的任務配置、非結構化資料處理和營運排障通常需要大量人工操作——單表同步配置需要 15–30 分鐘,整庫遷移動輒數天,警示排障需在多個監控介面之間反覆切換。DataWorks Data Integration AI Native 能力(DI Agent)將這些工作流程升級為自然語言驅動的對話式互動,只需用一句話描述需求,Agent 即可自動完成從意圖理解到執行的全流程。
DI Agent 是 Data Agent 在Data Integration情境的垂直能力集,覆蓋對話式任務配置、多模態資料處理、ChatDB 資料問答、智能診斷、周期巡檢和 IM 頻道整合六大能力。與傳統 GUI 模式(參見Data Integration概述)相比,DI Agent 以自然語言對話替代表單配置,支援單表離線、單表即時、整庫離線、整庫即時四類同步任務的統一管理。
核心能力
|
能力 |
適用情境 |
核心價值 |
|
對話式任務配置 |
建立或管理同步任務時不想逐項填寫表單 |
一句話描述需求,Agent 自動完成資料來源識別、欄位對應、調度配置和發布上線 |
|
AI 資料處理(多模態 ETL) |
需要對圖片、視頻、音頻、文檔等非結構化資料進行批量 AI 處理 |
將大模型作為 ETL 運算元嵌入流水線,支援任意資料來源的資料(結構化、非結構化)進行處理,並寫入任意資料去向,如OSS/Mysql等讀取處理後寫入MaxCompute/Hologres/DLF等 |
|
ChatDB 資料問答與管理 |
快速查詢已接入資料來源的資料,或建庫建表、修改表結構 |
用業務語言提問即可獲得元資訊和分析結果,對話完成 DDL 操作 |
|
AI 診斷 |
同步任務警示後需快速定位根因 |
Agent 自動彙總多維日誌和監控指標,定位根因並給出修複方案 |
|
智能周期巡檢 |
全量同步鏈路缺乏系統性健全狀態檢查 |
按可配置周期主動掃描,產生可下載的結果詳情報告,問題在業務感知前被發現 |
|
智能營運值守 |
同步任務異常需要在發生當下就被響應,而不是事後才發現 |
按情境配置監控事件與閾值,任務命中後自動收集運行資訊、分析原因並持續跟蹤恢複情況 |
|
IM 頻道整合 |
不想開啟控制台,希望直接通過 IM 操作 |
通過DingTalk、微信、飛書與 Agent 互動,完成狀態查詢、診斷和任務管理 |
開通 DI Agent
-
進入 DataWorks Data Integration控制台。
-
從左側導覽列找到AI Native下的Data Agent。
-
若當前帳號尚未開通Data Agent,可根據介面指引進行購買,購買成功後即可進入Data Integration Data Agent介面。
-
首次使用Data IntegrationData Agent時,請確保當前租戶下的Serverless資源群組至少需要2cu的剩餘資源額度;若無資源群組,需要建立Serverless資源群組。
-
首次提問後,DataWorks會為您產生Data Agent執行個體,以下我們簡稱Data IntegrationData Agent為DI Agent。
計費說明
使用 DI Agent 涉及以下兩項費用:
|
費用類型 |
說明 |
|
Token 費用 |
DI Agent 自身使用的大模型 Token 消耗費用,與 Data Agent 計費完全一致(DI Agent 本身是 Data Agent 的一部分)。計費說明參見:Data Agent 費用。 |
|
Serverless 資源群組費用 |
每個 Agent 執行個體佔用 Serverless 資源群組的計算資源,隨用隨付,1 個 Agent 執行個體占 1 CU。預設 1 小時不使用自動停機,停機後不再產生資源群組費用。 |
使用情境
對話式任務配置
能力說明
DI Agent 支援通過自然語言建立和管理單表離線、單表即時、整庫離線、整庫即時四類同步任務。無需逐項填寫資料來源、欄位對應、調度策略等表單配置,只需描述同步需求,Agent 即可完成從意圖理解到發布上線的全流程。主要能力包括:
-
自然語言建任務:用一句話描述同步需求(如"把 RDS 訂單庫整庫即時同步到 Hologres,按天分區"),Agent 自動完成資料來源識別、Schema 探測、欄位對應、資源群組分配和調度策略配置。
-
意圖理解與多輪對話:Agent 能理解模糊或不完整的需求描述,通過追問補全關鍵參數(如分區策略、增量條件),確保產生的任務配置準確可用。
-
任務全生命週期管理:支援通過對話完成任務的編輯、暫停、恢複、刪除和重跑,覆蓋任務從建立到下線的完整生命週期。
-
批量任務操作:支援一次對話同時建立或修改多個同步任務,適用於整庫遷移、批量調整調度策略等規模化情境。
使用樣本
以下樣本示範如何通過對話建立一個同步任務:
-
進入 DI Agent 對話介面。
-
輸入同步需求,例如:"把 RDS 訂單庫整庫即時同步到 Hologres,按天分區"。
-
Agent 自動探測源端 Schema,展示待同步表清單,確認後繼續。
-
Agent 自動完成欄位對應、資源群組分配和調度策略配置。
-
預覽任務配置摘要,確認無誤後發布上線。
-
查看任務運行狀態,驗證資料已正常同步。
AI 資料處理(多模態 ETL)
能力說明
DI Agent 支援將大模型推理能力作為 ETL 運算元嵌入資料流水線,對來來源資料中的結構化資料,以及非結構化資料(圖片、視頻、音頻、文檔等)進行批量 AI 處理(識別、分類打標、轉寫、翻譯、摘要、向量化等,以及自訂處理邏輯),處理結果直接寫入所有Data Integration支援去向(如 MaxCompute、Hologres 或 DLF 資料湖等),讓各種資料得以合適的格式進入企業資料資產體系。主要能力包括:
-
自然語言定義處理邏輯:用自然語言描述處理意圖(如"識別圖片中的商品類別並輸出標籤"),Agent 自動產生對應的處理 Pipeline 配置。
-
三段式 Pipeline 編排:Agent 自動編排 Source → Transform(大模型推理)→ Sink 流水線,無需額外編寫指令碼或搭建推理服務。
-
結果直寫各種目的端:比如處理結果直接寫入 MaxCompute、Hologres 或 DLF 資料湖,無需額外搬運。
-
資料 Embedding:支援對處理後的資料進行向量化並寫入指定儲存端,便於後續 RAG 使用。
-
批量與周期運行:支援百萬級檔案的批量處理,可配置定時周期運行以持續增量處理新增資料。
使用樣本
以下樣本示範如何處理 OSS 中的商品圖片並將結果寫入 MaxCompute:
-
進入 AI 資料處理功能入口。
-
輸入處理需求,例如:"讀取AWS S3 bucket 下的商品圖片 → 調用大模型識別分類標籤 → 結果寫入 MySQL 表"。
-
Agent 自動編排三段式 Pipeline:Source(S3)→ Transform(大模型推理)→ Sink(MySQL)。
-
ChatDB 自動識別目標表,產生對應 SQL。
-
查看返回的圖表結果(折線圖/柱狀圖等自動匹配)。
-
若需要對特徵工程資料庫中的資料,進行Embedding向量化至Hologres中,以便做RAG使用。可以用自然語言定義Embedding:"繼續做Embedding → 調用大模型進行向量化 → 結果寫入 Hologres 表"。
-
Agent 自動編排三段式 Pipeline:Source(MySQL)→ Transform(大模型向量化)→ Sink(Hologres)。
-
ChatDB 自動識別目標表,產生對應 SQL。
-
查看返回的結果。
ChatDB 資料問答與管理
ChatDB 複用 DataWorks Data Integration已接入的 80+ 資料來源連接器(MySQL、Oracle、Kafka、MaxCompute、Hologres、MongoDB、OSS 等),已接入的資料來源不僅是同步任務的源端和目標端,同時也是可對話的分析對象。無需記憶表名和欄位名,用業務語言提問即可獲得資料來源元資訊和業務分析結果。主要能力包括:
-
業務語言即問即答:用業務語言直接提問(如"最近 7 天訂單趨勢"),Agent 自動翻譯為精確查詢並返回結果。
-
多輪追問與圖表化洞察:支援在初始結果基礎上繼續追問細化分析(如"按地區拆分""只看 TOP 10"),查詢結果自動匹配可視化圖表(折線圖、柱狀圖、餅圖等)。
-
建庫建表:通過對話完成資料庫和表的建立,Agent 根據業務描述自動產生建表 DDL(欄位類型、主鍵、索引、分區策略等),支援在 80+ 資料來源上直接執行。
-
表結構變更:支援對已有表進列欄位增刪改、類型調整、索引維護等操作,用業務語言描述意圖即可(如"給訂單表加一個物流狀態欄位"),Agent 自動對應為對應的 ALTER 語句並執行。
查詢資料來源庫表結構及業務含義
ChatDB 支援通過自然語言探索資料庫中繼資料並解讀業務含義。指定目標資料來源後,Agent 自動連接並逐層展開庫、表、欄位的完整結構資訊,包括表名、欄位類型、主外鍵關係、索引約束等中繼資料細節。Agent 還會結合表名、欄位命名及資料特徵解讀庫表的業務含義,協助快速理解每張表的用途、欄位代表的業務概念及表間關聯關係。
適用情境:新接手陌生系統需要快速瞭解資料全貌,以及跨團隊協作時非技術人員需要理解資料結構。
資料來源範例資料預覽
ChatDB 支援通過自然語言查看任意表的範例資料。指定目標表後,Agent 自動拉取具有代表性的資料樣本並加以說明,無需編寫 SQL 即可直觀確認表中儲存的資料內容和格式。
適用情境:快速驗證資料內容、瞭解欄位實際取值,以及協助非技術人員在跨團隊協作中理解資料含義。
統計分析圖表展示
ChatDB 支援自然語言驅動的資料分析與可視化。描述分析意圖(例如"查看最近三個月各品類的銷售趨勢"或"對比各地區的訂單佔比"),Agent 自動定位元據源、產生查詢邏輯,並將分析結果以折線圖、柱狀圖、餅圖等圖表形式呈現,無需編寫 SQL 或使用專業視覺化檢視。
適用情境:業務人員快速驗證經營假設,以及技術團隊排查問題時即時擷取趨勢資料。
庫表結構診斷與最佳化建議
ChatDB 支援智能診斷指定資料來源的庫表結構。Agent 自動掃描目標資料庫的表結構設計,從命名規範、欄位類型選擇、索引覆蓋、主外鍵完整性、冗餘欄位、分區策略等維度審查,識別潛在的設計缺陷,並給出具體的最佳化建議和改進方向。
適用情境:建立庫表的設計評審、存量系統的技術債務梳理,以及資料庫效能問題的根因排查。
資料庫效能排查和最佳化
ChatDB 支援資料庫效能診斷與慢 SQL 根因分析。描述效能問題或指定目標資料來源後,Agent 自動分析導致查詢緩慢的各類因素,包括全表掃描、索引失效、JOIN 順序不合理、子查詢嵌套過深、資料類型隱式轉換、統計資訊到期、鎖競爭與熱點表等常見效能瓶頸,並結合實際執行計畫說明每條慢 SQL 的根因,給出索引調整、查詢改寫、表結構重構等針對性最佳化建議。
適用情境:線上突發效能故障的應急排查,以及日常巡檢中對潛在慢查詢的主動治理。
AI 診斷
能力說明
收到同步任務警示後,可在 Agent 對話介面描述問題或粘貼警示資訊,Agent 自動彙總任務日誌、資源監控指標、源端資料庫狀態等多維度資訊,定位根因並給出修複方案,將排障時間長度從小時級縮短到分鐘級。每次診斷結果自動歸檔為知識庫條目,下次同類問題直接匹配已有解法,不因人員輪換而從零排查。主要能力包括:
-
多維資訊彙總:自動採集並關聯任務日誌、資源監控指標、源端資料庫狀態、網路頻寬等多維度資訊,在一個視圖內呈現完整上下文。
-
根因定位:基於彙總資訊自動分析故障根因(如 CU 不足、源端鎖表、網路頻寬瓶頸、配置錯誤等),給出明確結論。
-
修複方案推薦與一鍵執行:定位根因後給出可操作的修複建議(擴容資源群組、重啟執行個體、調整並發度等),確認後支援一鍵執行。
-
經驗自動沉澱:每次診斷結果自動歸檔為知識庫條目,下次同類問題直接匹配已有解法。
使用樣本
-
警示觸發後,進入 Agent 對話介面,描述問題或粘貼警示資訊。
-
Agent 自動彙總任務日誌、資源監控指標、源端狀態等多維資訊。
-
Agent 輸出根因分析報告(如:CU 不足導致消費速率低於生產速率)。
-
Agent 給出修複方案建議(如:擴容資源群組 CU 配額或重啟失敗執行個體),確認後執行修複。
智能周期巡檢
能力說明
DI Agent 提供由 AI Agent 建立和管理的自動化智能巡檢任務。無需編寫監控指令碼或配置警示規則,建立巡檢任務並開啟自動調度後,Agent 即按運行頻率主動巡檢同步任務的運行狀態,並在每次運行完成後產生結果詳情報告,將營運模式從被動響應轉為主動治理。主要能力包括:
-
可配置運行頻率:運行頻率按 Cron 運算式配置,支援一次性、每小時、每天、每周、每月與自訂 Cron,預設每天 08:00。開啟自動調度前必須先配置運行頻率。
-
全量鏈路主動掃描:Agent 按周期自動掃描全量同步鏈路的運行狀態,主動發現潛在風險,無需人工逐項檢查。
-
結果詳情報告:巡檢完成後產生結果詳情報告,可在任務的運行記錄中查看當次報告,報告支援新視窗開啟與下載,便於在團隊內流轉和歸檔。
-
優先順序排列與操作建議:高風險任務按影響範圍和緊急程度排列優先順序,每項附帶具體操作建議和預期收益評估。
使用樣本
-
登入Data Integration控制台,在左側導覽列AI Native下單擊智能巡检任务。
-
建立巡檢任務。單擊新建智能巡检任务,在下拉式功能表中選擇通过 Agent 聊天创建或手动创建;也可以直接單擊頁面上方推薦情境卡片,使用內建情境模板快速建立。手動建立時需填寫任務名稱、描述、資源群組、運行頻率與任務內容(以自然語言描述巡檢內容)。
-
開啟自动调度後,Agent 按運行頻率自動執行巡檢;也可以在工作清單中通過更多 > 立即执行手動觸發一次巡檢。
-
在任務的運行記錄頁面查看每次啟動並執行狀態與结果详情报告,報告支援新窗口打开與下载。
關於智能巡檢任務的建立方式、任務管理與報告查看的完整操作說明,請參見Data Integration智能巡檢與營運值守。
智能營運值守
能力說明
巡檢解決的是周期性體檢,值守解決的是異常發生當下的即時響應。值守以情境為嵌入式管理單元,一個情境是一組事件的集合:先定義情境適用的任務類型,再在情境內配置監控事件與各自的觸發閾值,應用到具體任務後還可以針對單個任務單獨覆蓋閾值。任務命中事件時,Agent 自動收集運行資訊、分析原因,並持續跟蹤任務的恢複情況。主要能力包括:
-
內建值守情境:提供即時同步延遲值守、即時同步運行值守、離線同步運行值守三類內建情境,可直接應用到符合適用類型的同步任務。
-
事件級閾值管理:一個情境可配置多個監控事件,每個事件獨立設定觸發閾值;應用到任務後支援按單個任務覆蓋閾值,實現重點任務的精細化調整。
-
觸發即分析:業務延遲持續超限時,自動分析源端、同步鏈路與目標端,定位可能的效能瓶頸;任務運行失敗或頻繁發生容災切換(Failover)時,自動分析異常原因;離線同步任務或離線增量執行個體執行失敗時,自動收集運行資訊並給出處理建議。
-
恢複跟蹤與值守記錄:完成分析後持續跟蹤任務的恢複情況;每次觸發的事件沉澱為一條值守記錄,展示觸發時間、命中事件的任務、命中的具體事件、分析結論與當前是否已恢複,形成可回溯的營運台賬。
關於值守情境與事件的配置方式、內建值守情境詳情與值守記錄查看的完整說明,請參見Data Integration智能巡檢與營運值守。
IM 頻道整合
DI Agent 支援接入日常使用的 IM 訊息頻道(DingTalk、微信、飛書等),無需開啟 DataWorks 控制台即可完成狀態查詢、故障診斷、任務啟停和巡檢報告推送等操作。配置方式如下:
-
開啟 Agent 介面,找到訊息導覽列的頻道配置。
-
添加對應 IM 頻道的應用,填入應用配置資訊。
-
單擊運行使配置生效。
-
配置完成後,即可在 IM 端直接與 DI Agent 互動。
後續步驟
-
Data Agent 概述:瞭解 DataWorks Data Agent 的整體能力和使用方式。
-
Data Integration概述:瞭解傳統 GUI 模式下的Data Integration基礎概念和操作方式。
-
Data Integration智能巡檢與營運值守:瞭解智能巡檢任務與智能營運值守的內建情境、配置方式與運行結果查看。