本文為您介紹如何建立即時元表規則。
前提條件
已經添加監控對象才可配置品質規則,如何添加監控對象,請參見添加監控對象。
許可權說明
超級管理員、品質管理員、具有品質規則-管理許可權的自訂全域角色、具有元表所在專案的專案品質管理-品質規則管理許可權的自訂專案角色和即時元表負責人支援為品質規則配置調度、警示等。
品質負責人、普通使用者需要額外具備即時元表的同步讀取許可權,如需申請即時元表許可權,詳情請參見申請、續期和交還表許可權。
針對不同對象支援的操作許可權有所差異,詳情請參見品質規則操作許可權。
品質規則試跑和運行區別
試跑和啟動並執行區別在於執行的方式和顯示的結果,試跑指對某個品質規則進行一次類比執行,以檢測規則的正確性和運行情況,試跑的結果不會在品質報告中顯示;運行指在特定時間內對品質規則進行檢查,啟動並執行結果會輸出到品質報告中,便於使用者查看和分析。
元表規則說明
規則類型 | 描述 |
統計趨勢監測 | 統計趨勢監測校正資料值及資料變化趨勢。 |
即時多鏈路對比 | 在業務有強保障情境中,可以通過即時雙鏈路或即時三鏈路品質規則,監測資料。如果有異常,營運人員能夠及時切換或備份資料。即時多鏈路對比品質規則支援監控資料滯留、統計偏差等問題。 |
即時離線資料核對 | 即時資料與離線資料在使用相同統計路邏輯時,即時離線資料核對品質規則可以檢測資料之間的差異。如果差異較大,可能存在資料品質的問題。 |
品質規則配置
在Dataphin首頁,在頂部功能表列選擇治理 > 資料品質。
單擊左側導覽列的品質規則,在即時元表頁面,單擊目標對象的名稱,進入品質規則詳情頁面,配置品質規則。
在品質規則詳情頁面,單擊建立品質規則。
在建立品質規則對話方塊中,配置參數。
參數
描述
基本資料
規則名稱
自訂品質規則的名稱。
規則強度
支援弱規則和強規則。
如果您選擇了弱規則,則品質規則校正的結果為異常時警示但不阻塞下遊任務節點。
如果您選擇了強規則,則品質規則校正的結果為異常時警示,同時在有下遊任務的情況下(代碼檢查調度、任務觸發調度)會阻塞下遊任務,防止汙染資料擴散;如果沒有下遊任務(如周期品質調度),則僅警示。
描述
自訂品質規則描述。不超過128個字元。
規則模板
可選擇一致性或穩定性規則模板。
一致性:包含即時離線對比和即時鏈路對比。
穩定性:包含即時統計值檢測。
詳情請參見即時元表模板類型。
規則類型
規則類型和模板有關,是模板最基礎的屬性,可作為說明和篩選功能。
規則配置
規則配置
根據所選的規則模板進行規則配置。詳情請參見離線鏈路對比參數配置、多鏈路對比參數配置。
校正配置
規則校正
資料品質規則校正後,結果會和異常校正的配置進行對比,符合條件則校正結果為不通過;同時觸發警示等後續流程。
異常校正可用指標由模板和配置內容決定,支援多種條件的and/or條件,實際配置中建議不超過3條。
詳情請參見校正配置說明。
業務屬性配置
屬性資訊
業務屬性填寫規範取決於品質規則屬性的配置。例如:歸口管理部門所對應的欄位取實值型別為枚舉值(多選),可選枚舉值範圍為巨量資料部、業務部、技術部。因此,建立品質規則時,該屬性值為下拉多選框,可選項為枚舉值(多選),可選枚舉值範圍為巨量資料部、業務部、技術部。
規則負責人所對應的欄位取實值型別為自訂輸入,屬性欄位長度為256。因此,在建立品質規則時,該屬性值可以輸入不超過256個字元。
若屬性欄位的填寫方式為範圍區間,則配置方式如下:
範圍區間:常用於取值範圍是連續數值或日期的情況。可選擇>、>=、<、<=四種符號。更多屬性配置,請參見建立及管理品質規則屬性。
調度屬性配置
調度方式
支援選擇已配置的調度;若暫未決定調度方式,您可建立品質規則後再配置。如需建立,請參見建立調度。
單擊確定,完成品質規則的配置。
您可以單擊預覽SQL,查看本次配置對比上次儲存的配置,便於查看SQL變更。
說明關鍵資訊沒有填寫完整,預覽SQL不可用。
左邊為上次儲存配置的SQL預覽,若未配置,則為空白;右邊為當前配置的SQL預覽。
規則配置列表
您可以在規則配置列表頁面查看已經配置的元表規則資訊,並進行查看、編輯、試跑、運行、刪除等操作。

地區 | 描述 |
①篩選及搜尋區 | 支援按照對象或者規則名稱進行快捷搜尋。 支援按照規則類型、規則模板、規則強度、試跑狀態、生效狀態進行篩選。 說明 若品質規則屬性配置了可搜尋、可篩選的業務屬性且為啟用狀態,則可以根據該屬性進行搜尋或篩選。 |
②列表區 | 為您展示規則配置列表的物件類型/名稱、規則名稱/ID、試跑狀態、生效狀態、規則類型、規則模板、規則強度、調度類型、相關知識庫文檔資訊,單擊重新整理前的
|
③操作區 | 您可進行查看、複製、編輯、試跑、運行、調度配置、關聯知識庫文檔、刪除操作。
|
④大量操作區 | 您可批量執行試跑、運行、配置調度、開啟、關閉、修改業務屬性、關聯知識庫文檔、刪除操作。
|
建立調度
規則配置調度時,可以基於該表格當前已有的調度快速進行配置(每個表上限20個調度規則)。
同一個規則最多能配置10個調度。
調度配置完全一致時,支援自動去重。
在品質規則詳情頁面,單擊調度配置頁簽,再單擊建立調度按鈕,進入建立調度對話方塊中。
在建立調度對話方塊中,配置參數。
參數
描述
調度名稱
自訂調度名稱。
調度類型
支援定時調度、資料更新觸發調度和固定任務觸發調度。
定時調度:根據設定的調度時間,支援定時、周期性地對資料進行品質檢測,適合資料產出時間相對固定的情境。
調度周期:品質規則運行會佔用一定的計算資源,建議避免同一時間並發執行多條品質規則,以免影響生產任務的正常運行。調度周期包含日、周、月、小時、分鐘五種周期類型。
當系統時區(即使用者中心的時區)與調度時區(即管理中心 > 系統設定 > 基礎設定中所配置的時區)不一致時,規則將根據系統時區進行執行。
資料更新觸發調度:所有代碼任務執行時,均會解析本次任務運行是否更新當前表指定的校正範圍。適用於表的修改任務不固定或需重點監控的表,即每次變更都需監控的情況。
說明建議檢驗範圍選取任務更新的分區(非分區表將校正全表),系統會自動識別所有資料變更並進行校正,避免遺漏。
固定任務觸發調度:在指定的任務運行成功後或運行前,執行配置的品質規則。支援選擇引擎SQL、離線管道、Python、Shell、Virtual、Datax、Spark_jar、Hive_MR、資料庫SQL節點的任務類型觸發任務。適用於表修改任務固定的情況。
說明固定任務觸發只能選擇生產環境任務,若規則強度配置了強規則,調度任務校正失敗,可能會影響線上任務,請根據業務需求謹慎操作。
觸發時機:選擇進行品質檢測的觸發時機。支援選擇所有任務都運行成功後觸發、每個任務每次運行成功後均觸發和每個任務每次運行前觸發。
觸發任務:支援專案系統管理員或營運系統角色選擇生產專案下的任務節點,可以根據節點輸出名稱搜尋,也可以在推薦任務或全部任務中選擇。
說明當觸發時機選擇所有任務都運行成功後觸發時,觸發任務建議選擇同調度周期的任務,避免因調度周期不同而導致規則延遲運行,品質檢測結果延遲產出。
調度條件
預設關閉,開啟後,在品質規則正式調度前,會先判斷是否滿足調度條件。滿足條件才會正式調度,不滿足條件則忽略本次調度。
業務日期/執行日期:若調度類型選擇定時調度(定時調度不支援執行日期)、資料更新觸發調度、固定任務觸發調度,支援配置日期,可選擇普通日曆或自訂日曆,如何自訂日曆,請參見建立公用日曆。
若選擇普通日曆,則條件可選月份、星期、日期。例如下圖:

若選擇自訂日曆,則條件可選日期類型、標籤。例如下圖:

執行個體類型:若調度類型選擇資料更新觸發調度、固定任務觸發調度,支援配置執行個體類型,可選擇周期執行個體、補資料執行個體、手動執行個體。例如下圖:

說明至少配置一條規則。如需添加規則,請單擊+添加規則按鈕。
最多配置10個調度條件。
調度條件之間的關係可配置為且、或。
單擊確定,完成調度配置。
調度配置列表
調度建立完成後,您可以在調度配置列表中進行查看、編輯、複製、刪除等操作。

地區 | 描述 |
①篩選及搜尋區 | 支援按照調度名稱進行快捷搜尋。 支援按照定時調度、資料更新觸發調度、固定任務觸發調度進行篩選。 |
②列表區 | 為您展示規則配置列表的調度名稱、調度類型、最後更新人、最後更新時間資訊。 |
③操作區 | 您可對調度執行編輯、複製、刪除操作。
|
警示配置
您可以給不同的規則配置不同的警示方式以實現區分警示,如:為強規則異常配置電話警示,弱規則異常配置簡訊警示;如果一個規則同時命中了多條警示配置,支援設定警示的生效策略。
單個監控對象下支援建立不超過20個警示配置。
在品質規則詳情頁面,單擊警示配置頁簽,再單擊建立警示配置按鈕,進入建立警示配置對話方塊中。
在建立警示配置對話方塊中,配置參數。
參數
描述
覆蓋範圍
支援選擇所有規則、所有強規則、所有弱規則和自訂。
說明單個監控對象下,所有規則、所有強規則和所有弱規則3種範圍支援各配置一條警示,後續新增的規則根據規則強度自動匹配對應的警示;如需變更其中的某一條警示配置,可修改已有配置。
自訂範圍可選擇當前監控對象下已配置的所有規則,不超過200條。
警示配置名稱
單個監控對象下警示配置名稱唯一,不超過256個字元。
警示接收人
配置警示接收人及警示方式。需選擇至少一種警示接收人及警示方式。
警示接收人:支援選擇自訂、值班表和品質負責人三種警示接收人。
支援配置不超過5個自訂警示接收人;支援配置不超過3個值班表。
警示方式:支援選擇電話、郵件、簡訊、DingTalk、飛書、企業微信、自訂渠道不同的接收方式。此接收方式可通過配置渠道設定進行管控。
單擊確定,完成警示配置。
警示配置列表
警示配置完成後,您可以在警示配置列表中進行排序、編輯、刪除操作。

序號 | 描述 |
①排序區 | 支援配置一條品質規則符合多條警示配置時的警示生效策略:
|
②列表區 | 為您展示警示配置的名稱、生效範圍、每種警示類型的具體接收人以及對應的警示接收方式。 生效範圍:自訂警示支援查看配置的對象名和規則名,若該規則被刪除,則無法查看對象名,建議您更新警示配置。
|
③操作區 | 您可以對配置的警示執行編輯和刪除操作。
|
查看品質報告
單擊品質報告,查看當前品質規則的規則校正概覽和規則校正明細。
您可根據異常結果、分區時間、規則或對象的名稱關鍵字快捷篩選校正明細。
在規則校正明細列表中的操作列單擊
表徵圖,查看品質規則的規則校正詳情。在規則校正明細列表中的操作列單擊
表徵圖,查看品質規則的執行日誌。
設定品質規則許可權管理
單擊許可權管理,配置可查看詳情,即指定成員查看校正記錄詳情、品質規則詳情、品質報告。
可查看詳情:可選擇所有成員或僅有當前對象品質系統管理權限的成員。
單擊確定,完成許可權管理配置。
後續步驟
上述品質規則配置完成後,即可在即時元表規則列表頁面查看。詳情請參見查看監控對象列表。

