DataWorks資料品質支援通過統一管理自訂規則,形成自建的規則模板庫,協助您提升規則配置的效率。本文將為您介紹如何建立自訂規則模板,以及如何操作自訂規則模板。
前提條件
您需要購買DataWorks企業版及以上版本,才可以使用規則模板庫功能。
背景資訊
您可以通過規則模板庫建立規則模板。建立成功後,即可操作和應用規則模板。
注意事項
自訂規則的變更操作僅對變更後引用該規則的任務生效,不會修改存量(現有)任務的自訂規則設定。
建立自訂規則模板
進入資料品質頁面。
登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的,在下拉框中選擇對應工作空間後單擊進入數據品質。
-
在左側導覽列,單擊。
-
單擊
表徵圖,選擇新建資料夾。 -
在新建資料夾對話方塊中,輸入名稱並選擇目標檔案夾,然後單擊確定。
-
在左側目錄按右鍵相應的檔案夾名稱,選擇新建規則模版。
您也可以重命名和刪除相應的檔案夾。
-
在新建規則模版對話方塊,配置各項參數。
參數
描述
模版名稱
請輸入自訂的模板名稱。
規則欄位
目前僅支援自定義SQL。
採樣方式
目前僅支援自定義SQL。
Set Flag
請輸入SQL的前置
set語句。說明多條語句之間使用英文逗號(,)分隔,語句末尾無需添加分號(;)。
校驗類型
目前支援數值型和波動率型。
校驗方式
選擇不同的校正類型,對應不同的校正方式:
-
如果選擇的校驗類型為數值型,目前校正方式僅支援與固定值比較。
僅可以返回經過count、sum等運算後的一個值,與固定值比較。
-
如果選擇的校驗類型為波動率型,則校正方式包括:
-
7天平均值波動
-
30天平均值波動
-
1天周期比較
-
7天周期比較
-
30天周期比較
-
7天方差波動
-
30天方差波動
-
1,7,30天波動檢測
-
上一周期比較。
-
自定義SQL
請輸入自訂的SQL語句,您可以使用${tableName}表示表名。
說明自訂SQL的採集結果需要是一個值(一行一列的形式),這樣才能跟固定值做比較。
目的檔案夾
選擇該自訂規則模板需要存放的檔案夾名稱。
-
-
單擊確定。
操作規則模板
單擊相應規則模板的名稱,即可查看、編輯、刪除和複製該規則模板。
|
操作 |
描述 |
|
查看 |
您可以查看相應規則模板的參數配置、應用清單和日誌:
|
|
編輯 |
單擊右上方的編輯,在編輯規則模版對話方塊中修改相應的參數,單擊確認。 |
|
刪除 |
單擊右上方的刪除,在刪除模版對話方塊中,單擊確認。 |
|
複製 |
單擊右上方的複製,在複製規則模版對話方塊中,輸入模版名稱並選擇目的檔案夾,單擊確認。 |
應用自訂規則模板
您可以在添加監控規則時,選擇和使用建立的自訂規則模板。
進入資料品質頁面。
登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的,在下拉框中選擇對應工作空間後單擊進入數據品質。
-
進入按表配置監控規則。
在左側導覽列,單擊,進入按表配置規則頁面。
-
左側資料來源列表按需選擇待配置規則的表所在的資料庫。
-
根據資料庫類型、資料庫、表名等條件式篩選,單擊目標表名或操作列的規則管理,進入該表的表品質詳情頁。
該頁面展示了當前表所有已配置的品質監控和規則,您可通過規則是否已關聯品質監控來快速過濾目標規則,並對未關聯品質監控的規則定義規則運行方式。
頁麵包含規則管理和品質監控兩個 Tab。在規則管理 Tab 中,可單擊建立監控規則建立規則;已有規則支援修改、刪除及查看動作記錄操作。
-
-
在表質量詳情頁的規則管理頁簽,選中已建立好的品質監控,然後單擊新建規則,進入規則配置頁面。
-
通過自訂規則模板建立資料品質規則。
引用自訂模板時,將自動顯示該模板的基本配置(例如FLAG參數,校正SQL)等,您可以自訂規則名稱,並按照規則類型,配置監控閾值(例如數值型規則需要定義正常閾值、紅色閾值,此外,波動型規則還需要定義橙色閾值。)
單擊+ 自訂模板規則頁簽,在左側自訂模板列表中選擇目標模板,單擊其右側的+ 使用按鈕,右側表單將自動填滿該模板的基本配置,按需修改各項參數。
各參數解釋,詳見建立自訂規則模板。
-
單擊確定。
相關文檔
您可以在按表配置規則時,應用自訂規則模板。更多資訊,請參見配置規則:按表(單表)。