全部產品
Search
文件中心

DataWorks:即時同步任務警示設定最佳實務

更新時間:Mar 13, 2025

對於DataWorksData Integration的即時同步任務、全增量同步處理任務的即時同步階段,您可以設定任務警示規則,用來監控同步任務的狀態,本文為您介紹即時同步任務警示設定的指標有哪些,並為您樣本一個最佳實務。

警示規則指標

您可以在DataWorks的營運中心對即時同步任務設定警示規則,其中包含的警示指標包括:任務狀態、業務延遲、Failover、DDL不支援、DDL通知、髒資料。警示指標

指標1:任務狀態

指標警示情境

配置建議

任務狀態警示指標通過任務心跳狀態來判斷即時同步任務是否異常。

  • 建議所有重要即時同步任務均配置。

  • 建議警示閾值不小於3分鐘,防止由於網路抖動或其他瞬時異常導致的誤判警。

指標2:業務延遲

警示監控原理與適用情境

配置建議

即時同步業務延遲指標警示,用於判斷同步任務正常運行時同步速率是否能滿足源端資料生產速率。其基本原理為資料處理時間與資料在源端生產時間差。

  • 此警示指標為核心警示指標,建議所有重要即時同步任務(Kafka源端即時同步任務建議使用訊息堆積量指標監控)均配置。

  • 警示閾值根據業務實際需要設定,建議警示閾值為分鐘層級,防止由於網路抖動或源端資料峰值造成的誤判警。

指標3:訊息堆積量(僅Kafka源)

警示監控原理與適用情境

配置建議

本指標僅可見於kafka源端即時同步任務。同步任務運行時通過對比Kafka源端Offset和消費記錄Offset擷取Kafka資料消費延遲資料量。

建議Kafka源端重要即時同步任務配置均配置。

指標4:Failover

警示監控原理與適用情境

配置建議

Failover指標是指當即時同步進程發生異常退出時,為提升進程可靠性,Data Integration控制服務會重新拉起進程嘗試恢複失敗退出同步進程,進而提升同步進程可靠性。

如果關注任務Failover資訊,可以配置Failover指標警示,感知同步程式是否存在異常頻繁發生Failover。

指標5:DDL不支援(即將下線)

警示監控原理與適用情境

配置建議

Data Integration即時同步支援部分源端DDL事件,對於不支援的DDL事件可以在DDL配置版面設定Ignore、Warning、Critical等DDL處理策略。當發生Warning、Critical層級DDL事件時,可以設定DDL不支援指標發送警示。

此監控指標處於待下線狀態,您可以通過DDL通知指標滿足類似警示需求,DDL通知指標警示包含此項功能。

指標6:DDL通知

警示監控原理與適用情境

配置建議

DDL通知指標監控支援設定DDL類型(與DDL處理策略解耦),當監控的DDL事件發生時發送對應警示。

功能包含DDL不支援類型警示功能,DDL類型監控警示情境推薦使用此警示設定。

指標7:髒資料

警示監控原理與適用情境

配置建議

即時同步過程中當資料寫入目標端失敗時,此條資料會被歸類為髒資料。當使用者需要感知髒資料發生時,可設定此監控指標。

  • 預設即時同步任務不容忍髒資料,不需要設定髒資料指標警示。僅當即時任務重啟髒資料策略改為容忍髒資料,使用者需要感知髒資料發生時,設定此監控指標。

  • 修改髒資料策略會導致寫入失敗資料被捨棄,目標端資料與源端資料不一致,除非有明確原因不建議修改。

警示接收方式

DataWorks對即時同步任務設定警示時支援一些警示接收方式:郵件、簡訊、DingTalk、webhook。

郵件

警示資訊以郵件形式向接收人郵箱發送,接收人郵箱在DataWorks管控台警示連絡人版面設定。如果接收人沒有設定郵箱會升級到對應主帳號郵箱發送。

說明

查看警示郵件時,您需要確認相關警示郵件沒有被歸類到垃圾郵件分類中。

簡訊

警示資訊以簡訊形式向接收人手機號碼發送,接收人手機號在DataWorks管控台警示連絡人版面設定。如果接收人沒有設定手機號碼會升級到對應主帳號手機號碼發送。

DingTalk

警示資訊以文本形式通過DingTalk自訂機器人向指定DingTalk群發送。DingTalk群機器人Token輸入框填寫自訂機器人token,多個token使用逗號分隔。同時您可以啟用DingTalk群通知@所有人功能避免群內訊息過多警示資訊被忽略。

重要

DingTalk群添加自訂機器人後,需要設定自訂關鍵字(不支援同時設定其他過濾規則),必須添加DataWorks為關鍵詞,注意區分大小寫,否則無法收到警示通知。發送警示至DingTalk機器人操作實踐內容請參見下文的情境實踐:發送警示訊息至DingTalk群

webhook

警示資訊以文本形式向指定web地址發送。WebHook地址輸入框填寫對接產品的webhook,多個webhook使用逗號分隔。

  • 可用版本:僅DataWorks企業版支援使用WebHook功能。

  • 可用警示方式:僅支援推送警示資訊至企業微信或飛書。

情境實踐:發送警示訊息至DingTalk群

添加DingTalk機器人並擷取Token

說明

不同版本的DingTalk操作細節步驟可能不一致,以下步驟為一個簡單樣本。

  1. 開啟需要警示的目標DingTalk群,單擊右上方的群設定表徵圖。

  2. 單擊智能群助手

  3. 智能群助手頁面,單擊添加機器人

  4. 群機器人頁面,單擊添加機器人

  5. 選擇要添加的機器人頁面,單擊自訂

  6. 自訂對話方塊中,單擊添加

  7. 添加機器人對話方塊中,配置各項參數。

    參數

    描述

    機器人名字

    自訂機器人的名稱。

    添加到群組

    添加機器人的群組,不可以修改。

    自訂關鍵詞

    設定後,只有包含關鍵詞的訊息內容才會被正常發送。此處必須添加DataWorks為關鍵詞,注意區分大小寫。

    說明

    最多可以設定10個關鍵詞,訊息中至少包含其中1個關鍵詞才可以發送成功。

  8. 選中我已閱讀並同意《自訂機器人服務及免責條款》,單擊完成

  9. 完成安全設定後,複製機器人的Webhook,單擊完成

    重要

    請妥善保管Webhook地址,一旦泄露會有安全風險。

添加警示規則

  1. 進入即時同步任務的警示設定頁面。

    登入DataWorks控制台,在營運中心即時同步任務頁面找到要設定警示的同步任務,單擊操作列的警示設定,進入警示設定頁面。警示設定

    • 警示事件頁面:可以查看已發送警示的事件。

    • 警示規則頁面:可以查看已經設定的警示規則、設定新的警示規則。

  2. 單擊警示規則進入警示規則設定頁簽,單擊建立規則

  3. 配置警示規則。

    根據介面提示配置警示規則的名稱、描述等內容。本實踐以發送警示至DingTalk群為例,核心配置項如下。

    • WARNINGCRITICAL:選擇DingTalk

    • DingTalk群機器人Token:填寫DingTalk機器人的Token。

    • DingTalk群通知@所有人:勾選啟用

    重要
    • 警示規則置完成後,警示項自動啟動。

    • 實際使用時,建議組合配置以下兩個警示指標:

      • 通過任務狀態指標監控任務是否正常運行。

      • 通過業務延遲訊息堆積量指標監控同步速率是否能滿源端資料產生速率。

驗證警示規則配置是否正確

添加完成警示規則後,您可以在警示規則頁面單擊類比測試驗證配置結果是否正確。