全部產品
Search
文件中心

DataWorks:Data Integration設定

更新時間:Apr 09, 2026

本章節將為您介紹DataWorks的Data Integration中用於統一管理和配置的幾個核心功能。通過這些功能,您可以對認證檔案、DDL訊息處理策略、工作範本、公用警示規則等進行集中化、標準化的管理,從而提升開發效率和專案的規範性。

配置入口

  1. 登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的Data Integration > Data Integration,在下拉框中選擇對應工作空間後單擊進入Data Integration

  2. 在Data Integration頁面的左側導覽列的配置選項下,單擊需要配置的模組:認證文件管理實時同步DDL消息處理策略任務模版公共報警規則

認證檔案管理

認證文件管理提供了一個統一的管理介面,用於管理配置資料來源過程中的需要上傳的Kerberos設定檔,可實現一次上傳多次複用。詳情參見:第三方認證檔案管理

即時同步DDL訊息處理策略

功能說明

實時同步DDL消息處理策略支援為不同的目標資料來源類型(如 MaxCompute、Hologres 等)預設預設的DDL(資料結構變更)同步策略。設定後,未來建立新的整庫即時同步任務時,系統將自動載入此配置,簡化操作。

  1. 選擇目標類型:在同步至下拉式功能表中,選擇需要配置的目標資料來源類型。

  2. 設定同步策略:為不同類型的源端DDL變更訊息(如新增列、清空表),配置相應的處理方式並儲存。

    • 正常處理:由目標端處理源端的DDL變更資訊。

      重要

      當源端新增列並通過DDL同步在目標端也建立了該列後,系統不會對目標表中的存量資料進行資料回填。

    • 忽略:忽略變更訊息,目標端不做修改。

    • 出錯:終止整庫即時同步任務,狀態置為出錯

  3. 儲存後,再次建立目標為此類型的整庫即時同步任務時,系統將自動應用剛才儲存的DDL策略。

  4. 同時,在任務詳情頁右上方,單擊高級配置 > DDL能力配置,可為單個任務配置DDL訊息處理策略,實現個人化配置。

實施建議

MySQL和PolarDB MySQL源端即時同步,建議您在源端新增列時採用末尾追加列方式,不要採用在中間欄位加列方式。如果源端無法避免中間欄位加列,需要注意以下約束條件:

  • 全量初始化階段,不要進行中間欄位加列,否則會導致即時同步階段資料異常。

  • 即時同步階段,同步位點重設時間需要設定在中間欄位加列DDL事件之後,否則會導致後續即時同步資料異常。

如果發生資料異常,可編輯任務將中間加列的表剔除,並執行應用程式更新以恢複正確資料。

任務模版

說明

部分通道不支援使用任務模版功能,可使用複製功能代替。

Data Integration支援將已配置的任務儲存為任務模版,方便在下次建立任務時,匯入模版以快速建立任務。

核心用途

  • 標準化開發:將通用的任務配置儲存為模版,供團隊成員複用,以統一開發規範。

  • 提升開發效率:建立新任務時,可以直接基於現有模版進行修改,快速完成開發,減少重複勞動。

  • 知識沉澱:將優秀或複雜的任務實現儲存為模版,便於知識的分享和傳承。

主要操作

  • 查看模版列表:您可以查看到當前專案下所有可用的任務模版,包括其模版ID、名稱和更新時間。

  • 檢索模版:通過上方的搜尋方塊,可以根據任務名稱、模版ID或相關資料來源資訊等快速定位到所需模版。

  • 管理模版:列表中的操作列支援對模版進行刪除操作。

公用警示規則

公共報警規則支援建立和管理可在Data Integration內複用的標準化警示規則,實現了一次定義,多處引用,極大地簡化了警示配置和維護工作。

核心用途

  • 標準化監控:為不同類型的任務(如關鍵任務、普通任務)或不同的警示情境(如出錯、變慢、未運行)定義統一的警示標準。

  • 提升配置效率:在為任務配置警示時,可以直接引用已建立的公用規則,無需重複填寫通知方式、連絡人等資訊。

  • 集中化管理:在一個統一的視圖中管理所有的警示規則,便於批量修改通知人、調整警示閾值等。

主要操作

  • 建立新規則:單擊新建按鈕,建立公用警示規則,定義報警規則名報警原因(如業務延遲、髒資料、Failover)、報警方式並配置(如電話、簡訊、郵件、DingTalk、webhook、飛書等)和高級參數配置。警示配置詳情參見:即時同步任務警示設定最佳實務

    說明
    • 其中業務延遲、任務狀態和任務資源使用率三種異常狀態在恢複為正常狀態後,也支援通過開啟恢複通知,通知接收人。

    • webhook和飛書僅支援企業版。

  • 任務引用:單擊任務引用,將警示規則高效地應用到多個任務中,或從其中移除。您還可以批量啟用或暫停這些任務的警示,避免多次重複操作。

  • 模擬測試:發送測試警示,用於檢驗警示配置的正確性,並確保訊息能送達指定接收人。

    說明

    此功能會發送真實警示通知,請合理使用,以免對他人造成不必要的影響。