DataWorks：配置資料品質監控

一、進入規則配置頁面

1. 進入資料品質頁面。

   登入DataWorks控制台，切換至目標地區後，單擊左側導覽列的資料治理 > 資料品質，在下拉框中選擇對應工作空間後單擊進入資料品質。

2. 進入表規則配置頁面。

   在資料品質左側導覽列，單擊規則配置 > 按表配置，根據如下參數定位目標表。

   • 資料庫類型：E-MapReduce。

   • 表：本案例需要為dwd_log_info_di_emr表設定監控規則。

3. 在搜尋結果中找到目標表，單擊操作列的規則管理，進入該表的品質詳情頁面。具體配置參考下文操作。

二、配置品質監控

品質監控通過監控目標表的指定資料範圍（分區）檢驗資料是否符合預期。

此步驟中，您需要配置品質監控的資料範圍為dt=$[yyyymmdd-1]，品質監控運行時匹配此分區的資料，從而判斷其是否符合預期。

即在dwd_log_info_di_emr表的調度任務每次運行時觸發品質監控，使用品質監控關聯的品質規則校正對應資料範圍內的資料，判斷其是否符合資料品質校正規則。

具體步驟如下：

1. 在品質監控頁簽，單擊建立品質監控。

2. 配置品質監控相關資訊。關鍵參數如下：

   參數	配置樣本
   資料範圍	dt=$[yyyymmdd-1]
   選擇品質規則	暫不配置，在後文中配置。
   觸發方式	生產調度觸發，節點選擇加工資料中建立的dwd_log_info_di_emr節點。

   說明

   配置資料品質監控的更多資訊，請參見配置規則：按表（單表）。

三、配置監控規則

表dwd_log_info_di_emr用於對ods_raw_log_d_emr表資料進行加工，為了避免後續無效加工及品質問題，我們針對該表配置錶行數大於0的強監控規則，來判斷上遊任務節點是否往該表的分區寫入資料。

當監控到dwd_log_info_di_emr表對應分區行數為0，將觸發警示，dwd_log_info_di_emr節點失敗退出，並阻塞dwd_log_info_di_emr節點的下遊任務執行。

具體步驟如下：

1. 在規則管理頁簽，選中品質監控視角下已建立的品質監控（本樣本為raw_log_number_of_table_rows_not_0），然後單擊建立規則，進入建立規則面板。

   

2. 在系統模板中，找到錶行數大於0規則，單擊使用，然後修改重要程度為強規則。

   說明

   本案例規則定義為強，即當監控到dwd_log_info_di_emr錶行數為0時，觸發警示，並且阻塞下遊任務執行。

   

3. 單擊確定。

   說明

   更多配置項介紹請參見配置規則：按表（單表）。

四、測試回合品質監控

測試回合可以驗證品質監控中的校正規則配置的合理性，為確保品質規則的配置無誤且符合預期，您可在規則建立完成後，測試回合品質監控。

1. 單擊測試回合，進入測試回合對話方塊。

2. 在測試回合對話方塊中，選擇調度時間，單擊測試回合。

3. 測試回合完成後，可根據介面指引，單擊查看詳情，查看測試結果。

   

五、訂閱品質監控

資料品質為您提供監控警示功能，通過訂閱品質監控，及時接收品質校正異常並處理，保障資料安全、穩定、按時產出。

1. 在規則管理頁簽，單擊警示訂閱，在警示訂閱對話方塊，選擇訂閱者式和接受對象，然後單擊儲存。

   

2. 查看和修改已訂閱任務。

   訂閱管理設定完成後，在左側導覽列，單擊品質營運 > 品質監控，選中我的訂閱，查看和修改已訂閱的任務。