配置樣本:MaxCompute
監控規則是資料品質(DQC)的核心。資料品質支援MaxCompute、EMR(E-MapReduce)、Hologres、AnalyticDB PostgreSQL、AnalyticDB MySQL監控,本文為您介紹如何配置MaxCompute監控。
操作步驟
步驟一:新增MaxCompute資料來源
進入資料來源頁面。
登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的,在下拉框中選擇對應工作空間後單擊進入管理中心。
進入工作空間管理中心頁面後,單擊左側導覽列的資料來源,進入資料來源頁面。
單擊新增數據源,添加MaxCompute資料來源,詳情請參見綁定MaxCompute計算資源。
單擊當前頁面左上方的
表徵圖,選擇。在資料開發頁面左側導覽列,單擊計算資源,綁定已添加的MaxCompute計算資源。
說明本樣本使用的測試表中添加的測試資料來自MaxCompute公開資料集,實際配置時,請為您的實際業務資料配置品質監控和品質監控規則。
步驟二:進入表品質詳情頁
單擊當前頁面左上方的
表徵圖,選擇。在左側導覽列,單擊。
在左側資料來源列表中,選擇資料庫後,找到需要配置資料品質規則的表,單擊表名或操作列的監控配置,進入該表的表質量詳情頁。
說明您也可以輸入目標表名(支援表名首字母模糊搜尋),尋找對應的表。
步驟三:建立品質監控
在表質量詳情頁的規則管理頁簽,單擊質檢任務視角後的
,進入新建質量監控頁面。配置品質監控的相關參數。
說明您可以根據表的實際校正需求建立品質監控。建立品質監控的更多資訊,詳情請參見配置規則:按表(單表)。
在建立品質監控頁面,設定品質監控名稱(如
mc錶行數大於2000的品質監控);監控對象選擇目標表(如mc_test_tb);資料範圍選擇按分區設定範圍,分區運算式填寫ds=${yyyymmdd-1};描述中填寫監控用途說明;觸發方式選擇手動觸發,選擇運行資源選擇對應資源群組;問題處置策略設定為警示;在選擇品質規則地區單擊批量選擇添加所需規則;勾選訂閱品質警示(郵件)後單擊儲存。單擊儲存。
步驟四:配置資料品質規則
在表質量詳情頁的規則管理頁簽,單擊新建規則,進入規則配置頁面。
本樣本使用系統模板,建立資料品質規則。
說明您可以根據表的實際需要建立規則。建立規則的更多資訊,詳情請參見配置規則:按表(單表)。
在左側系統模板列表中展開錶行數分類,選擇錶行數,固定值模板。在右側表單中,規則模板選擇錶行數,固定值,規則範圍為
mc_test_tb,比較方式選擇手動設定,監控閾值設定為正常閾值 <=2000、紅色閾值 >2000,開啟啟用狀態,重要程度選擇弱規則。將規則添加至步驟三建立的品質監控。
勾選添加至品質監控,從下拉框中選擇步驟三建立的品質監控任務,可按需勾選添加我為該品質監控警示訂閱人,然後單擊確定。
單擊確定。
步驟五:測試規則執行
在表質量詳情頁的質檢任務頁簽,找到已建立的品質監控,單擊操作列的測試。
在測試運行對話方塊中,確認數據範圍、調度時間參數後,單擊測試運行。
對話方塊中還展示 品質監控 名稱及 已啟用規則數。
當顯示啟動成功後,您可以單擊查看詳情,查看測試回合的具體結果。
本樣本的MaxCompute測試表中資料量大於2000行,因此品質監控校正結果為紅色異常。
在品質採集及比較狀態結果地區,可查看校正狀態為異常,問題處置方式為警示,校正結果顯示採樣值為65000000,校正值為65000000,遠超設定閾值2000。
測試規則可以正常觸發後,您可以修改品質監控,將觸發方式修改為生產調度觸發,通過在DataWork的營運中心中,關聯指定的周期調度任務,在節點運行完成後,自動觸發該品質監控下的品質規則。
步驟六: 訂閱品質監控
在表質量詳情頁的質檢任務頁簽,找到已建立的品質監控,然後單擊操作列的。
配置訂閱者式和授权对象後,單擊儲存。
相關參考
按表配置品質監控規則及品質監控的更多資訊,請參見配置規則:按表(單表)。
您也可以批量為表配置品質監控規則和品質監控,詳情請參見配置規則:按模板(批量)。
查看品質監控執行詳情,請參見查看品質監控執行詳情。