本章節將為您介紹DataWorks的Data Integration中用於統一管理和配置的幾個核心功能。通過這些功能,您可以對認證檔案、DDL訊息處理策略、工作範本、公用警示規則等進行集中化、標準化的管理,從而提升開發效率和專案的規範性。
配置入口
-
登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的,在下拉框中選擇對應工作空間後單擊進入Data Integration。
-
在Data Integration頁面的左側導覽列的配置選項下,單擊需要配置的模組:認證文件管理、實時同步DDL消息處理策略、任務模版和公共報警規則。
認證檔案管理
認證文件管理提供了一個統一的管理介面,用於管理配置資料來源過程中的需要上傳的Kerberos設定檔,可實現一次上傳多次複用。詳情參見:第三方認證檔案管理。
即時同步DDL訊息處理策略
功能說明
實時同步DDL消息處理策略支援為不同的目標資料來源類型(如 MaxCompute、Hologres 等)預設預設的DDL(資料結構變更)同步策略。設定後,未來建立新的整庫即時同步任務時,系統將自動載入此配置,簡化操作。
-
選擇目標類型:在同步至下拉式功能表中,選擇需要配置的目標資料來源類型。
-
設定同步策略:為不同類型的源端DDL變更訊息(如新增列、清空表),配置相應的處理方式並儲存。
-
正常處理:由目標端處理源端的DDL變更資訊。
重要當源端新增列並通過DDL同步在目標端也建立了該列後,系統不會對目標表中的存量資料進行資料回填。
-
忽略:忽略變更訊息,目標端不做修改。
-
出錯:終止整庫即時同步任務,狀態置為出錯。
-
-
儲存後,再次建立目標為此類型的整庫即時同步任務時,系統將自動應用剛才儲存的DDL策略。
-
同時,在任務詳情頁右上方,單擊,可為單個任務配置DDL訊息處理策略,實現個人化配置。
實施建議
MySQL和PolarDB MySQL源端即時同步,建議您在源端新增列時採用末尾追加列方式,不要採用在中間欄位加列方式。如果源端無法避免中間欄位加列,需要注意以下約束條件:
-
在全量初始化階段,不要進行中間欄位加列,否則會導致即時同步階段資料異常。
-
在即時同步階段,同步位點重設時間需要設定在中間欄位加列DDL事件之後,否則會導致後續即時同步資料異常。
如果發生資料異常,可編輯任務將中間加列的表剔除,並執行應用程式更新以恢複正確資料。
任務模版
部分通道不支援使用任務模版功能,可使用複製功能代替。
Data Integration支援將已配置的任務儲存為任務模版,方便在下次建立任務時,匯入模版以快速建立任務。
核心用途
-
標準化開發:將通用的任務配置儲存為模版,供團隊成員複用,以統一開發規範。
-
提升開發效率:建立新任務時,可以直接基於現有模版進行修改,快速完成開發,減少重複勞動。
-
知識沉澱:將優秀或複雜的任務實現儲存為模版,便於知識的分享和傳承。
主要操作
-
查看模版列表:您可以查看到當前專案下所有可用的任務模版,包括其模版ID、名稱和更新時間。
-
檢索模版:通過上方的搜尋方塊,可以根據任務名稱、模版ID或相關資料來源資訊等快速定位到所需模版。
-
管理模版:列表中的操作列支援對模版進行刪除操作。
公用警示規則
公共報警規則支援建立和管理可在Data Integration內複用的標準化警示規則,實現了一次定義,多處引用,極大地簡化了警示配置和維護工作。
核心用途
-
標準化監控:為不同類型的任務(如關鍵任務、普通任務)或不同的警示情境(如出錯、變慢、未運行)定義統一的警示標準。
-
提升配置效率:在為任務配置警示時,可以直接引用已建立的公用規則,無需重複填寫通知方式、連絡人等資訊。
-
集中化管理:在一個統一的視圖中管理所有的警示規則,便於批量修改通知人、調整警示閾值等。
主要操作
-
建立新規則:單擊新建按鈕,建立公用警示規則,定義報警規則名、報警原因(如業務延遲、髒資料、Failover)、報警方式並配置(如電話、簡訊、郵件、DingTalk、webhook、飛書等)和高級參數配置。警示配置詳情參見:即時同步任務警示設定最佳實務。
說明-
其中業務延遲、任務狀態和任務資源使用率三種異常狀態在恢複為正常狀態後,也支援通過開啟恢複通知,通知接收人。
-
webhook和飛書僅支援企業版。
-
-
任務引用:單擊任務引用,將警示規則高效地應用到多個任務中,或從其中移除。您還可以批量啟用或暫停這些任務的警示,避免多次重複操作。
-
模擬測試:發送測試警示,用於檢驗警示配置的正確性,並確保訊息能送達指定接收人。
說明此功能會發送真實警示通知,請合理使用,以免對他人造成不必要的影響。