本文為您介紹資料品質對象的模板類型。
資料表/指標模板類型
模板分類 | 模板說明 |
完整性 | |
欄位空值校正 | 用於對單欄位是否是空值進行校正。 |
欄位Null 字元串校正 | 用於對單個欄位是否是Null 字元串進行校正。 |
唯一性 | |
欄位唯一性校正 | 用於對單欄位唯一值/非唯一值進行校正。 |
欄位分組個數校正 | 用於對單欄位資料進行去重值校正。 |
欄位重複值個數校正 | 用於對單個欄位重複且多餘的資料進行校正。 |
及時性 | |
時間函數比較 | 用於對單欄位和業務日期之間的及時性的對比。 |
單表時間欄位比較 | 用於對同一表的兩列的時間差進行比較。 |
兩表時間欄位比較 | 用於對不同表的兩列的時間差進行比較。 |
有效性 | |
欄位格式校正 | 用於識別運算式或者Regex對單欄位的格式進行校正。 |
欄位長度校正 | 用於對單欄位的長度進行校正。 |
欄位範圍校正 | 用於對單欄位的取值範圍進行校正。 |
碼錶參照對比 | 支援對單欄位是否在碼錶中進行判斷。 |
資料標準碼錶參照對比 | 支援對單欄位是否在碼錶中進行判斷，支援直接選擇資料標準模組維護的碼錶。 |
一致性 | |
單表欄位值一致性比較 | 用於對同一表兩個欄位原值進行資料的對比。 |
單表欄位統計值一致性比較 | 用於對同一表兩個欄位進行統計資料的對比，如求和值、最大值等。 |
單欄位商務邏輯一致性比較 | 用於對同一表多個欄位的複雜商務邏輯是否正確進行校正。 |
兩表欄位值一致性比較 | 用於對不同表兩個欄位原值進行資料的對比。 |
兩表欄位統計值一致性比較 | 用於對不同表兩個欄位進行統計資料的對比，如求和值、最大值等。 |
兩表欄位商務邏輯一致性比較 | 用於對不同表多個欄位的複雜商務邏輯是否正確進行校正，如：銷售總金額=單價*數量。 |
跨源兩表欄位統計值一致性比較 | 用於對跨資料來源的兩個表兩個欄位的複雜商務邏輯是否正確進行校正。 |
穩定性 | |
表穩定性校正 | 用於對錶/分區的大小、行數的穩定性進行校正，統計結果和固定值進行比較。 |
表波動性校正 | 用於對錶/分區的大小、行數的波動性進行校正，統計結果和歷史進行比較。 |
欄位穩定性校正 | 用於對欄位的平均值、最大值等穩定性進行校正，統計結果和固定值進行比較。 |
欄位波動性校正 | 用於欄位的平均值、最大值等波動性進行校正，統計結果和歷史進行比較。 |
自訂SQL | |
自訂統計指標校正 | 用於對錶的統計指標進行校正，支援固定值和波動性兩種比較方式。 |
自訂資料詳情校正 | 用於對錶的詳情資料進行自訂校正。支援自訂正常行數和異常行數，並支援異常歸檔。 |
資料來源模板類型
模板分類 | 模板說明 |
穩定性 | |
資料來源連通性監測 | 用於對資料來源的連通性進行監控。 |
表結構異動監測 | 用於對錶的中繼資料變動進行監控。 |
即時元表模板類型
模板詳情分類 | 描述 |
一致性 | |
即時離線對比 | 當即時資料與離線資料使用相同的統計邏輯時，用於資料的最終值差異的校正。如果差異較大，可能存在較巨量資料品質的問題需要進行確認和修複。 |
即時多鏈路對比 |
|
穩定性 | |
即時統計值檢測 |
|