配置樣本:MaxCompute

更新時間:
Copy as MD

監控規則是資料品質(DQC)的核心。資料品質支援MaxCompute、EMR(E-MapReduce)、Hologres、AnalyticDB PostgreSQL、AnalyticDB MySQL監控,本文為您介紹如何配置MaxCompute監控。

操作步驟

步驟一:新增MaxCompute資料來源

  1. 進入資料來源頁面。

    1. 登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的更多 > 管理中心,在下拉框中選擇對應工作空間後單擊進入管理中心

    2. 進入工作空間管理中心頁面後,單擊左側導覽列的資料來源,進入資料來源頁面。

  2. 單擊新增數據源,添加MaxCompute資料來源,詳情請參見綁定MaxCompute計算資源

  3. 單擊當前頁面左上方的表徵圖表徵圖,選擇全部產品 > 數據開發與營運 > DataStudio(數據開發)

  4. 在資料開發頁面左側導覽列,單擊計算資源,綁定已添加的MaxCompute計算資源。

    說明

    本樣本使用的測試表中添加的測試資料來自MaxCompute公開資料集,實際配置時,請為您的實際業務資料配置品質監控和品質監控規則。

步驟二:進入表品質詳情頁

  1. 單擊當前頁面左上方的表徵圖表徵圖,選擇全部產品 > 數據治理 > 數據質量

  2. 在左側導覽列,單擊規則配置 > 按表配置

  3. 在左側資料來源列表中,選擇資料庫後,找到需要配置資料品質規則的表,單擊表名或操作列的監控配置,進入該表的表質量詳情頁。

    說明

    您也可以輸入目標表名(支援表名首字母模糊搜尋),尋找對應的表。

步驟三:建立品質監控

  1. 表質量詳情頁的規則管理頁簽,單擊質檢任務視角後的image進入新建質量監控頁面。

  2. 配置品質監控的相關參數。

    說明

    您可以根據表的實際校正需求建立品質監控。建立品質監控的更多資訊,詳情請參見配置規則:按表(單表)

    建立品質監控頁面,設定品質監控名稱(如mc錶行數大於2000的品質監控);監控對象選擇目標表(如mc_test_tb);資料範圍選擇按分區設定範圍,分區運算式填寫ds=${yyyymmdd-1}描述中填寫監控用途說明;觸發方式選擇手動觸發選擇運行資源選擇對應資源群組;問題處置策略設定為警示;在選擇品質規則地區單擊批量選擇添加所需規則;勾選訂閱品質警示(郵件)後單擊儲存

  3. 單擊儲存

步驟四:配置資料品質規則

  1. 表質量詳情頁的規則管理頁簽,單擊新建規則進入規則配置頁面。

  2. 本樣本使用系統模板,建立資料品質規則。

    說明

    您可以根據表的實際需要建立規則。建立規則的更多資訊,詳情請參見配置規則:按表(單表)

    在左側系統模板列表中展開錶行數分類,選擇錶行數,固定值模板。在右側表單中,規則模板選擇錶行數,固定值規則範圍mc_test_tb比較方式選擇手動設定監控閾值設定為正常閾值 <= 2000、紅色閾值 > 2000,開啟啟用狀態重要程度選擇弱規則

  3. 將規則添加至步驟三建立的品質監控。

    勾選添加至品質監控,從下拉框中選擇步驟三建立的品質監控任務,可按需勾選添加我為該品質監控警示訂閱人,然後單擊確定

  4. 單擊確定

步驟五:測試規則執行

  1. 表質量詳情頁的質檢任務頁簽,找到已建立的品質監控,單擊操作列的測試

  2. 測試運行對話方塊中,確認數據範圍調度時間參數後,單擊測試運行

    對話方塊中還展示 品質監控 名稱及 已啟用規則數

  3. 當顯示啟動成功後,您可以單擊查看詳情,查看測試回合的具體結果。

    本樣本的MaxCompute測試表中資料量大於2000行,因此品質監控校正結果為紅色異常。

    品質採集及比較狀態結果地區,可查看校正狀態為異常,問題處置方式為警示,校正結果顯示採樣值為65000000,校正值為65000000,遠超設定閾值2000。

  4. 測試規則可以正常觸發後,您可以修改品質監控,將觸發方式修改為生產調度觸發,通過在DataWork的營運中心中,關聯指定的周期調度任務,在節點運行完成後,自動觸發該品質監控下的品質規則。

步驟六: 訂閱品質監控

  1. 表質量詳情頁的質檢任務頁簽,找到已建立的品質監控,然後單擊操作列的更多 > 告警訂閱

  2. 配置訂閱者式授权对象後,單擊儲存

相關參考