資料落標

更新時間:
Copy as MD

模型發布生產環境成功後,DataWorks智能資料建模支援自動產生資料品質監控規則,便於後續在生產環境中通過產生的資料品質規則來約束對應表的資料品質。本文為您介紹如何在表發布成功後自動產生資料品質規則。

前提條件

已將表發布至生產環境。表發佈動作請參見物化邏輯模型

注意事項

表成功發布至生產環境後,表的欄位管理設定中,以下欄位支援自動產生資料品質規則:

  • 主鍵非空欄位。

  • 配置了关联标准代码的欄位。

操作步驟

發布維度資料表

  1. 進入智能資料建模頁面。

    登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的數據開發與營運 > 數據建模,在下拉框中選擇對應工作空間後單擊進入數據建模

  2. 單擊上方導覽列內的維度建模進入維度建模頁面,選擇需要配置資料落標的表,雙擊表名稱進入表詳情頁面。

  3. 字段管理模組下對該維度表欄位勾選配置主鍵非空以及字段關聯

  4. 單擊image儲存該表,再單擊image按鈕,將該表提交為新的模型版本。

  5. 單擊image發布該表,在發布彈窗內進行配置:

    • 生效環境:勾選生產開發

    • 自動落標:勾選

    其餘配置項保持預設即可,在配置完成後,單擊發布,對錶建模進行發布。

查看品質規則

自動落標建置規則

單擊頂部的image品質規則,進入數據落標頁面,即可查看到自動落標產生的品質規則,在資料落標頁面單擊生成質量規則,即可一鍵自動產生對應的品質規則。對維度資料表 testtb 單擊產生品質規則後,系統自動產生兩條已啟用的弱規則:欄位規則-唯一-(id)(品質維度為唯一性,規則模板為重複值個數固定值,監控閾值紅點 !=0.0、綠點 =0.0)和 欄位規則-非空-(id)(品質維度為完整性,規則模板為空白值個數固定值,監控閾值紅點 !=0.0、綠點 =0.0)。運行引擎為 MAXCOMPUTE,運行環境為 PRODUCT,schema 為 default

手動設定建置規則

單擊配置監控按鈕,進入數據質量 > 規則配置 > 按表配置 > 規則管理中,單擊新建規則按鈕,進行建立規則,詳情可參見配置規則:按表(單表)

右側彈出 從規則模板建立 面板,提供 + 系統模板規則+ 自訂模板規則+ 自訂SQL 三種建立方式。系統模板共63個,按類型分為錶行數、條件匹配率、表大小、空值行數、重複值行數、唯一值數、最小值、最大值、平均值、匯總值、枚舉值、離散值、自訂SQL等分類。

產生品質監控

配置完品質規則後,在規則列表頁面,單擊規則列表的ID/規則名稱列內的規則名稱,進入規則配置 > 按表配置 > 規則管理頁簽後,單擊進入質檢任務頁簽,進行新建質量監控配置操作,詳情配置如下:

模組

配置項

配置內容

基本配置

質量監控名稱

自訂品質監控名稱。

數據範圍

按監控對象預設的表類型產生資料範圍,當監控對象為分區表時,數據範圍預設為按分區設定範圍,可按照分區圈選範圍,例如:ds=$[yyyymmdd-1]

運行設置

觸發方式

可選擇:

  • 生產調度觸發

  • 手動觸發

關聯調度節點(生產調度觸發)

單擊添加節點後,選擇需要建立品質監控的空間與節點。

說明

通過DataWork營運中心中,關聯指定的周期調度任務,節點運行完成後,自動觸發該品質監控下的品質規則

運行資源選擇

執行品質規則檢測所需的運行資源,預設選擇該工作空間下監控表所屬資料來源。如選取其他資料來源,需確認對應資源可對該表進行訪問。

質量問題處理策略

問題策略

保持預設即可

添加質量規則

單擊批量選擇後,在面板內可根據ID/規則名稱規則模版關聯範圍來圈選需要配置品質監控的品質規則。

說明

配置完成的品質監控可在質量運維 > 質檢任務中查看配置的品質監控最近一次的運行記錄和修改告警訂閱的訂閱者式與接收對象。

重要

若產生品質規則後,啟用執行規則,則需注意資料品質規則的運行費用,計費詳情請參見:資料品質執行個體計費

修改/刪除落標規則

資料建模側修改/刪除落標規則。

  • 通過建模側欄位屬性的修改,如修改欄位名稱,或從非空更改為不要求非空,或更改關聯的標準代碼規則的方式修改落標規則。

  • 對欄位進行刪除或新增來進行修改或刪除落標規則。

  • 刪除表建模來進行修改或刪除落標規則。

說明

對錶建模欄位進行的修改或刪除,需要進行相應的變動與修改,需單擊image重新發布該表。