全部產品
Search
文件中心

Dataphin:建立Dataphin表品質規則

更新時間:Oct 01, 2025

Dataphin支援建立校正資料表的品質規則,提升資料表品質監控的便捷性。本文為您介紹如何配置Dataphin表的品質規則。

前提條件

已經添加監控對象才可配置品質規則,如何添加監控對象,請參見添加監控對象

許可權說明

  • 超級管理員、品質管理員、具有品質規則-管理許可權的自訂全域角色和具有表所在專案的專案品質管理-品質規則管理許可權的自訂專案角色支援為品質規則配置調度、警示、異常歸檔表、打分權重等。

  • 品質負責人支援在自己所負責的監控對象下為品質規則配置調度、警示、異常歸檔表、打分權重等。

  • 品質負責人、普通使用者需要額外具備Dataphin表的讀取許可權,如需申請,請參見申請、續期和交還表許可權

  • 針對不同對象支援的操作許可權有所差異,詳情請參見品質規則操作許可權

品質規則配置說明

品質規則支援自訂配置引用資料標準監控(引用資料標準監控需開通資料標準模組)兩種方式。

  • 自訂配置是基於系統內建/自訂品質規則模板快速建立,也支援自訂SQL,滿足靈活的監控訴求。

  • 引用資料標準監控是引用當前資產對象映射到的資料標準已配置的品質規則,更好地滿足標準約束。

校正規則說明

資料表參與品質規則校正時,如果觸發了品質弱監控規則,系統會給您發送警示訊息,便於您及時發現並處理異常;如果觸發了品質強監控規則,系統會自動中斷該表所在的任務,避免髒資料流入下遊,同時系統會給您發送警示訊息,便於您及時發現並處理異常。

品質規則試跑和運行區別

試跑和啟動並執行區別在於執行的方式和顯示的結果,試跑指對某個品質規則進行一次類比執行,以檢測規則的正確性和運行情況,試跑的結果不會在品質報告中顯示;運行指在特定時間內對品質規則進行檢查,啟動並執行結果會輸出到品質報告中,便於使用者查看和分析。

品質規則配置

  1. 在Dataphin首頁,單擊頂部功能表列的治理 > 資料品質

  2. 單擊左側導覽列的品質規則,在Dataphin表頁面,單擊目標對象的名稱,進入品質規則詳情頁面,配置品質規則。

    • 自訂配置

      1. 資料表懸停建立品質規則選擇自訂配置或單擊建立品質規則,進入建立品質規則對話方塊。

      2. 建立品質規則對話方塊中,配置參數。

        參數

        描述

        基本資料

        規則名稱

        自訂品質規則的名稱,不超過256個字元。

        規則強度

        支援弱規則強規則

        • 弱規則:如果您選擇了弱規則,則品質規則校正的結果為異常時警示但不阻塞下遊任務節點。

        • 強規則:如果您選擇了強規則,則品質規則校正的結果為異常時警示,同時在有下遊任務的情況下(代碼檢查調度、任務觸發調度)會阻塞下遊任務,防止汙染資料擴散;如果沒有下遊任務(如周期品質調度),則僅警示。

        描述

        自訂品質規則描述。不超過128個字元。

        配置方式

        • 模板建立:使用通用的系統模板和自訂的業務模板,快速建立品質規則。

          • 系統模板:模板內建參數可配置,適合通用的規則建立。

          • 自訂模板:模板預置參數,無需配置,一般用於含有商務邏輯的規則建立。

        • 自訂SQL:可通過SQL靈活自訂品質監控規則,適用於靈活複雜情境。

        規則模板

        下拉可選擇規則模板,完整性唯一性及時性有效性一致性穩定性自訂SQL

        • 完整性:包括欄位空值校正欄位Null 字元串校正

        • 唯一性:包含欄位唯一性校正欄位分組個數校正欄位重複值個數校正

        • 及時性:包含時間函數比較單表時間欄位比較兩表時間欄位比較

        • 有效性:包含欄位格式校正欄位長度校正欄位範圍校正碼錶參照對比資料標準碼錶參照對比(需開通資料標準模組)。

        • 一致性:包含單表欄位值一致性比較單表欄位統計值一致性比較單欄位商務邏輯一致性比較兩表欄位值一致性比較兩表欄位統計值一致性比較兩表欄位商務邏輯一致性比較跨源兩表欄位統計值一致性比較

        • 穩定性:包含表穩定性校正表波動性校正欄位穩定性校正欄位波動性校正

        • 自訂SQL:包含自訂統計指標校正自訂資料詳情校正

        詳情請參見模板類型說明

        規則類型

        規則類型和模板有關,是模板最基礎的屬性,可用作說明和篩選功能。

        監控粒度

        當配置類型為自訂SQL時支援配置監控粒度,可以選擇全表或指定具體監控欄位

        模板配置

        模板資訊

        當選擇品質規則模板時,為您展示模板的配置資訊。如需修改配置資訊,可以在品質規則模板中進行修改。

        規則配置

        規則配置

        規則配置因選擇不同的規則模板而變化。詳情請參見資料表參數配置

        特殊配置如下:

        • 校正表資料過濾:預設關閉,開啟後可配置校正表的過濾條件或分區過濾或普通資料過濾,過濾條件將會直接追加至校正SQL中;如校正表有分區過濾需求,建議在調度配置中配置分區運算式,配置後會以校正分區為最小查看粒度查看品質報告。

        • 當規則模板選擇一致性/兩表欄位統計值一致性比較一致性/跨源兩表欄位統計值一致性比較時,可以選擇是否開啟對比表資料過濾,開啟後可以配置對比表的過濾條件或分區過濾或普通資料過濾,過濾條件將會直接追加至校正SQL中。

        校正配置

        規則校正

        • 資料品質規則校正後,結果會和異常校正的配置進行對比,符合條件則校正結果為不通過;同時觸發警示等後續流程。

        • 異常校正可用指標由模板和配置內容決定,支援多種條件的and/or條件,實際配置中建議小於3條。

        詳情請參見校正配置說明

        歸檔配置

        異常歸檔

        預設開啟後可以將異常資料歸檔到檔案或表中,品質校正後可以下載、分析歸檔的異常資料。

        • 歸檔模式支援僅歸檔異常欄位歸檔完整記錄

          • 僅歸檔異常欄位:只去重歸檔當前監控欄位,適用於通過單個欄位就可以完整確定異常資料的情況。

          • 歸檔完整記錄:歸檔異常資料所在的整條記錄,適用於必須通過完整記錄才能定位異常資料的情況。

            說明

            因為歸檔完整記錄會極大增加歸檔資料量,建議在正常情況下都使用僅歸檔異常欄位。

        • 歸檔位置支援預設檔案伺服器異常資料歸檔表。若未建立異常歸檔表,可點擊管理異常歸檔表建立,詳情請參見添加異常歸檔表

          • 預設檔案伺服器:指Dataphin部署時配置的系統檔案伺服器,您可以在校驗記錄-校正詳情頁面直接下載異常資料,也可以直接存取預設檔案伺服器擷取異常資料。使用預設檔案伺服器時,每次校正執行最多歸檔100條異常資料,適用於小資料量校正的情境。

          • 異常資料歸檔表:如果您希望儲存更多異常資料或將不同校正記錄的異常資料放在一起,以便後續的對比分析,建議自行指定歸檔表。每條品質規則每次運行最多記錄10000條校正異常的資料,除了可以直接在校正記錄頁面快捷下載單次校正的異常資料,您也可以直接存取歸檔表、自訂表格生命週期,有更高的靈活性。

            說明
            • 針對本次運行涉及到的所有規則產生的異常資料進行匯總下載,並且下載數量不超過1000條,如果您希望查看更多的資料,建議歸檔到指定的異常歸檔表後直接存取歸檔表擷取。

            • 異常歸檔表需要滿足特定的格式要求,否則可能在寫入資料時報錯,影響使用,詳情請參見添加異常歸檔表

        業務屬性配置

        屬性資訊

        業務屬性填寫規範取決於品質規則屬性的配置。例如:歸口管理部門所對應的欄位取實值型別為枚舉值(多選),可選枚舉值範圍為巨量資料部、業務部、技術部。因此,建立品質規則時,該屬性值為下拉多選框,可選項為枚舉值(多選),可選枚舉值範圍為巨量資料部、業務部、技術部。

        規則負責人所對應的欄位取實值型別為自訂輸入,屬性欄位長度為256。因此,在建立品質規則時,該屬性值最多可以輸入256個字元。

        若屬性欄位的填寫方式為範圍區間,則配置方式如下:

        範圍區間:常用於取值範圍是連續數值或日期的情況。可選擇>>=<<=四種符號。更多屬性配置,請參見建立及管理品質規則屬性

        調度屬性配置

        調度方式

        支援選擇已配置的調度;若暫未決定調度方式,您可建立品質規則後再配置。如需建立,請參見建立調度

        品質分配置

        計分方式

        支援品質校正狀態和資料合格比例兩種計分方式。

        • 品質校正狀態:按照當前規則最近一次執行成功的校正記錄的校正狀態進行打分,校正通過得100分,校正不通過得0分。

        • 資料合格比例:將當前規則最近一次執行成功的校正記錄中的正常資料的比例(即正常率)作為分數,如資料格式有效性是80%,那麼品質分就是80分。

        不同的規則模板支援的計分方式不同,僅支援品質校正狀態計分方式說明如下:

        • 唯一性規則大類的欄位分組個數校正、欄位重複值個數校正。

        • 一致性規則大類的單表欄位統計值一致性比較、跨源兩表欄位統計值一致性比較。

        • 穩定性規則大類。

        • 自訂SQL規則大類的自訂統計指標校正。

        品質分權重

        品質規則的品質分權重,用於統計監控對象的品質分。支援選擇1-10之間的整數。

      3. 單擊確定,完成自訂規則配置。

        您可以單擊預覽SQL,查看本次配置與上次儲存的配置進行對比,便於查看SQL變更。

        說明
        • 關鍵資訊沒有填寫完整,預覽SQL不可用。

        • 左邊為上次儲存配置的SQL預覽,若未配置,則為空白;右邊為當前配置的SQL預覽。

  • 引用資料標準監控

    1. 資料表懸停建立品質規則,選擇引用資料標準監控

    2. 引用資料標準監控對話方塊中選擇需要引用的資料標準規則。您可以根據有效性唯一性完整性穩定性四種規則模板篩選標準規則,也可以輸入對象名稱進行搜尋。

      在引用資料標準規則對話方塊中,支援修改規則名稱、開啟或關閉生效狀態,您也可以單擊關聯標準下的標準編碼查看標準詳情,或單擊操作列下的image表徵圖查看品質規則。

      說明

      引用後不支援修改規則詳情配置,可自行配置調度、修改規則的強弱等資訊。

    3. 單擊添加選擇規則,完成引用資料標準規則。

規則配置列表

品質規則建立完成後,您可以在規則配置列表進行查看、編輯、試跑、運行、刪除等操作。

image

地區

描述

篩選及搜尋區

支援按照對象或規則名稱進行快捷搜尋。

支援按照規則類型、規則模板、規則強度、試跑狀態、生效狀態、規則來源進行篩選。

說明

若品質規則屬性配置了可搜尋、可篩選的業務屬性且為啟用狀態,則可以根據該屬性進行搜尋或篩選。

列表區

為您展示規則配置列表的物件類型/名稱、規則名稱/ID、試跑狀態、生效狀態規則類型規則模板規則強度調度類型、相關知識庫文檔資訊,單擊重新整理前的image表徵圖,可選擇您需要展示的規則列表欄位。

  • 若引用的是資料標準規則,可單擊規則名稱的image表徵圖查看標準詳情。

  • 若為研發欄位的標準約束,則在規則名稱後以image表徵圖進行標識。

  • 生效狀態:建議在生效規則前先進行試跑,針對試跑成功的規則開啟生效狀態,以避免錯誤的規則阻塞線上任務。

    • 開啟生效狀態後,所選規則會按照配置的調度自動執行。

    • 停用生效狀態後,所選規則不會自動執行,但可以手動執行。

  • 相關知識庫文檔:單擊查看詳情,查看規則關聯的知識庫資訊。包括表名稱、校正對象、規則、相關知識庫文檔資訊,同時,您可以對知識庫執行搜尋、查看、編輯、刪除操作。操作詳情請參見查看知識庫

操作區

您可以進行查看、複製、編輯、試跑、運行、調度配置、關聯知識庫文檔、品質分配置、刪除操作。

  • 查看:可查看規則配置詳情。

  • 複製:可快速複製規則。

  • 編輯:編輯規則後,需要重新試跑。針對在不同功能產生的品質規則支援編輯的資訊有所差異,詳情請參見品質規則編輯說明

  • 試跑:支援選擇已有調度自訂校正範圍試跑規則,試跑後,可單擊image表徵圖查看試跑日誌

  • 運行:支援選擇已有調度自訂校正範圍運行規則,運行後,可在校正記錄中查看校正結果。

  • 調度配置:支援在對話方塊中篩選調度類型或使用調度名稱快捷搜尋調度。同時也支援編輯調度。

  • 關聯知識庫文檔:規則關聯知識後,可在品質規則和治理工作台中查看關聯知識。支援選擇未被關聯的知識庫。如需建立,請參見建立及管理知識庫

  • 品質分配置:支援修改品質規格的計分方式和品質分權重。

    重要

    品質規則的品質分權重,用於統計監控對象的品質分,修改後會影響品質評分結果,請謹慎操作。

  • 刪除:刪除此品質規則對象將刪除對象下的所有品質規則,刪除後不可撤銷,請謹慎操作。

大量操作區

您可批量進行試跑、運行、配置調度、開啟、關閉、修改業務屬性、關聯知識庫文檔、品質分配置、匯出規則、刪除操作。

  • 試跑:支援選擇已有調度自訂校正範圍批量試跑規則,試跑後,可單擊image表徵圖查看試跑日誌

  • 運行:支援選擇已有調度自訂校正範圍批量運行規則,運行後,可在校正記錄中查看校正結果。

    說明

    批量運行時,建議選擇相同分區的表。分區資訊會直接下放執行,如果分區不一致,可能會報錯。

  • 配置調度:支援在對話方塊中篩選調度類型或用調度名稱快捷搜尋調度。同時支援編輯調度,為品質規則大量設定調度。僅支援修改選中規則中在品質規則列表頁面可編輯的規則。

  • 開啟:批量開啟生效狀態後,所選規則會按照配置的調度自動執行。僅支援開啟選中規則中在品質規則列表頁面可編輯的規則。

  • 關閉:批量停用生效狀態後,所選規則不會自動執行,但可以手動執行。僅支援關閉選中規則中在品質規則列表頁面可編輯的規則。

  • 修改業務屬性:當業務屬性對應的欄位取實值型別為單選或多選時,支援批量修改業務屬性。

    • 當業務屬性對應的欄位取實值型別為多選時,支援追加或修改屬性值。

    • 當業務屬性對應的欄位取實值型別為單選時,支援直接修改屬性值。

  • 關聯知識庫文檔:規則關聯知識後,可在品質規則和治理工作台中查看關聯知識。支援為監控對象大量設定知識庫。如需建立,請參見建立及管理知識庫

  • 品質分配置:支援批量修改品質規格的計分方式和品質分權重。

    重要

    品質規則的品質分權重,用於統計監控對象的品質分,修改後會影響品質評分結果,請謹慎操作。

  • 匯出規則:匯出當前監控對象下選中的有查看許可權的自訂SQL品質規則。

  • 刪除:支援大量刪除品質規則的對象,刪除後不可撤銷,請謹慎操作。僅支援刪除有編輯許可權的規則。

建立調度

說明
  • 規則配置調度時,可以基於當前已有的調度快速進行配置(每個表上限20個調度規則)。

  • 同一個規則最多能配置10個調度。

  • 調度配置完全一致時,支援自動去重。

  • 若當前表為Hologres分區表,建議使用固定任務觸發調度。

  • 校正範圍會作為品質校正時的過濾條件下發到品質校正的語句中,控制每次品質校正的範圍。校正範圍也會作為後續品質報告等下遊的基本單元,品質報告的查看會以校正範圍為最小查看粒度。

  1. 品質規則詳情頁面,單擊調度配置頁簽,再單擊建立調度按鈕,進入建立調度對話方塊。

  2. 建立調度對話方塊,配置參數。

    參數

    描述

    調度名稱

    自訂調度名稱,不超過64個字元。

    調度類型

    支援定時調度資料更新觸發調度固定任務觸發調度

    • 定時調度:根據設定的調度時間,支援定時、周期性地對資料進行品質檢測,適合資料產出時間相對固定的情境。

      • 調度周期:品質規則運行會佔用一定的計算資源,建議避免同一時間並發執行多條品質規則,以免影響生產任務的正常運行。調度周期包含小時分鐘五種周期類型。

        當系統時區(即使用者中心的時區)與調度時區(即管理中心 > 系統設定 > 基礎設定中所配置的時區)不一致時,規則將根據系統時區進行執行。

      • 填入推薦時間:您可單擊填入推薦時間,系統將根據當前表產出任務的平均運行結束時間進行推薦。

    • 資料更新觸發調度:所有代碼任務執行時,均會解析本次任務運行是否更新當前表指定的校正範圍。適用於表的修改任務不固定或需重點監控的表,即每次變更都需監控的情況。

      說明

      建議檢驗範圍選取任務更新的分區(非分區表將校正全表),系統會自動識別所有資料變更並進行校正,避免遺漏。

    • 固定任務觸發調度:在指定的任務運行成功後或運行前,執行配置的品質規則。支援選擇引擎SQL、離線管道、Python、Shell、Virtual、Datax、Spark_jar、Hive_MR、資料庫SQL節點的任務類型觸發任務。適用於表修改任務固定的情況。

      說明

      固定任務觸發只能選擇生產環境任務,若規則強度配置了強規則,調度任務校正失敗,可能會影響線上任務,請根據業務需求謹慎操作。

      • 觸發時機:選擇進行品質檢測的觸發時機。支援選擇所有任務都運行成功後觸發每個任務每次運行成功後均觸發每個任務每次運行前觸發

      • 觸發任務:支援專案系統管理員或營運系統角色選擇生產專案下的任務節點,可以根據節點輸出名稱搜尋,也可以在推薦任務或全部任務中選擇。

        • 推薦任務:為您展示當前表作為輸出表的血緣任務、節點輸出名稱=板塊名稱/專案名.表名的任務,即資產目錄-資產詳情-產出資訊的任務範圍。

        • 全部任務:為您展示目前使用者有營運許可權的全量生產任務。

          說明
          • 當觸發時機選擇所有任務都運行成功後觸發時,觸發任務建議選擇同調度周期的任務,避免因調度周期不同而導致規則延遲運行,品質檢測結果延遲產出。

          • 當觸發時機選擇每個任務每次運行前觸發時,推薦任務為您展示當前表作為輸入的血緣任務。

    調度條件

    預設關閉,開啟後,在品質規則正式調度前,會先判斷是否滿足調度條件。滿足條件才會正式調度,不滿足條件則忽略本次調度。

    • 業務日期/執行日期:若調度類型選擇定時調度(定時調度不支援執行日期)、資料更新觸發調度固定任務觸發調度,支援配置日期,可選擇普通日曆自訂日曆,如何自訂日曆,請參見建立公用日曆

      • 若選擇普通日曆,則條件可選月份星期日期。例如下圖:

        image

      • 若選擇自訂日曆,則條件可選日期類型標籤。例如下圖:

        image

    • 執行個體類型:若調度類型選擇資料更新觸發調度固定任務觸發調度,支援配置執行個體類型,可選擇周期執行個體補資料執行個體手動執行個體。例如下圖:

      image

    說明
    • 至少配置一條規則。如需添加規則,請單擊+添加規則按鈕。

    • 最多配置10個調度條件。

    • 調度條件之間的關係可配置為且、或。

    校正範圍

    當調度類型選擇定時調度、固定任務觸發調度時,校正範圍支援自訂校正範圍;當調度類型選擇資料更新觸發調度時,校正範圍支援任務更新的分區

    、自訂校正範圍。

    • 任務更新的分區:若檢查任務中更新了分區,則直接按照任務更新的分區下發任務。

      說明
      • 動態分區情境可能解析不到分區,將不會進行品質校正。

      • 波動性校正規則(如校正分區大小、分區行數、欄位統計值)需指定分區,不支援任務更新分區校正範圍。

      • 非分區表如有資料更新時將校正全表。

    • 自訂校正範圍:對於無法解析的情境,可以使用自訂校正範圍,按照業務日期或者執行日期來指定校正範圍運算式。

      • 校正範圍運算式:為可輸入的下拉選擇框,支援直接輸入需要校正的範圍,如ds='${yyyyMMdd}';也可以選擇內建的校正範圍運算式然後進行修改,以協助您快速配置,分區運算式詳情請參見內建分區運算式類型

        說明
        • 若有多個條件進行校正,可用andor進行串連,如province="浙江" and ds<=${yyyyMMdd}。

        • 若品質規則中配置了過濾條件,則校正範圍運算式和過濾條件之間為and關係,校正資料時,兩個條件會一起進行過濾。

        • 校正範圍運算式支援對全表進行掃描。

          注意:全表掃描將會消耗較大的資源,並且部分不支援全表掃描,建議配置分區運算式以避免全表掃描。

      • 校正範圍預算:預設業務日期當天。

  3. 單擊確定,完成調度配置。

調度配置列表

調度建立完成後,您可在調度配置列表進行查看、編輯、複製、刪除等操作。

image

地區

描述

篩選及搜尋區

支援按照調度名稱進行快捷搜尋。

支援按照定時調度資料更新觸發調度固定任務觸發調度進行篩選。

列表區

為您展示規則配置列表的調度名稱調度類型最後更新人最後更新時間資訊。

操作區

您可以對調度執行編輯、複製、刪除操作。

  • 編輯:可以修改已配置的調度資訊。

    重要

    所有引用此調度的規則配置都將同步改變,請謹慎操作。

  • 複製:可快速複製調度配置。

  • 刪除:被規則配置引用的調度不支援刪除。

警示配置

您可以給不同的規則配置不同的警示方式以實現區分警示,如:為強規則異常配置電話警示,弱規則異常配置簡訊警示;如果一條規則同時命中了多條警示配置,支援設定警示的生效策略。

說明

單個監控對象下支援建立不超過20個警示配置。

  1. 品質規則詳情頁面,單擊警示配置頁簽,再單擊建立警示配置按鈕,進入建立警示配置對話方塊。

  2. 建立警示配置對話方塊,配置參數。

    參數

    描述

    覆蓋範圍

    支援選擇所有規則所有強規則所有弱規則自訂

    說明
    • 單個監控對象下,所有規則、所有強規則和所有弱規則3種範圍支援各配置一條警示,後續新增的規則根據規則強度自動匹配對應的警示;如需變更其中的某一條警示配置,可修改已有配置。

    • 自訂範圍可選擇當前監控對象下已配置的所有規則,不超過200條。

    警示配置名稱

    單個監控對象下,警示配置名稱唯一,且不超過256個字元。

    警示接收人

    配置警示接收人及警示方式。需要選擇至少一種警示接收人及警示方式。

    • 警示接收人:支援選擇自訂、值班表和品質負責人三種警示接收人。

      支援配置不超過5個自訂警示接收人;支援配置不超過3個值班表。

    • 警示方式:支援選擇電話、郵件、簡訊、DingTalk、飛書、企業微信、自訂渠道不同的接收方式。此接收方式可通過配置渠道設定進行管控。

  3. 單擊確定,完成警示配置。

警示配置列表

警示配置完成後,您可以在警示配置列表中進行排序、編輯、刪除操作。

image

序號

描述

①排序區

支援配置一條品質規則符合多條警示配置時的警示生效策略:

  • 命中的第一條警示配置生效:選擇該警示策略時,只有規則命中的第一條警示配置生效,其他配置均不生效,此時支援對已配置的警示進行排序。單擊規則排序,您可選中警示配置名稱前的image.png表徵圖進行拖拽排序或選擇操作列下的表徵圖進行移動,表徵圖從左至右依次為:置頂、置底。調整完警示順序後,單擊排序完成按鈕,完成排序。

    image

  • 所有警示配置均生效:當前警示配置列表中的警示對當前監控對象下的品質規則均生效。

    例如:當您配置了多條警示配置且選擇所有警示配置均生效,系統會按照警示接收方式+警示接收人+警示規則合并警示;特殊的,如果警示接收人為同一個接收人且警示方式為自訂和品質負責人時,會按照合并策略合并警示訊息。

    說明

    值班表不支援警示合并。

②列表區

為您展示警示配置的名稱、生效範圍、每種警示類型的具體接收人以及對應的警示接收方式。

生效範圍:自訂警示支援查看配置的對象名和規則名,若該規則被刪除,則無法查看對象名,建議您更新警示配置。

image

③操作區

您可以對配置的警示執行編輯和刪除操作。

  • 編輯:支援修改已配置的警示資訊。若修改警示接收人和警示方式,請及時同步相關人員,避免遺漏業務警示資訊。

  • 刪除:刪除後,此條警示配置命中的規則將不再生效,請謹慎操作。

添加異常歸檔表

異常歸檔表實現品質規則校正異常的記錄歸檔。

  1. 品質規則詳情頁面,單擊異常歸檔頁簽,再單擊+添加異常歸檔表按鈕,進入添加異常歸檔表對話方塊。

  2. 添加異常歸檔表對話方塊,配置參數。

    添加方式支援建立表選擇已有表兩種方式。增加了特殊的品質校正欄位,異常資料歸檔不會寫入原來的資料表。

    • 建立表:可自訂表格名,需在歸檔表所屬專案或所屬板塊內,預設填入當前表名_exception_data。添加成功後會在同庫或同資料來源建立表。支援輸入字母、數字、底線(_)以及點(.),不超過128個字元。

      • 監控表為物理表時,將在監控表所在專案建立歸檔表。

      • 監控表為維度邏輯表、事實邏輯表時,預設會在監控表所在專案建立歸檔表,也可以手動指定為監控錶板塊下的專案,如projectA.table_name。

      • 監控表為匯總邏輯表時,歸檔表名建議指定同板塊下的專案名稱,否則會自動歸檔到監控表所在板塊下的一個專案。

      • 歸檔表必須包含品質監控表的所有欄位及校正欄位,指令碼格式如下:

        create table 當前表名_exception_data
         (dataphin_quality_tenant_id      varchar(64)   comment '租戶ID' , 
          dataphin_quality_rule_id        varchar(64)   comment '品質規則ID', 
          dataphin_quality_rule_name      varchar(256)  comment '品質規則名稱', 
          dataphin_quality_column_name    varchar(1024) comment '校正欄位名稱', 
          dataphin_quality_watch_task_id  varchar(128)  comment '監控對象任務ID', 
          dataphin_quality_rule_task_id   varchar(64)   comment '規則任務ID', 
          dataphin_quality_validate_time  varchar(64)   comment '品質校正時間', 
          dataphin_quality_archive_mode   varchar(32)   comment '異常歸檔模式,ONLY_ERROR_FIELD/FULL_RECORD', 
          dataphin_quality_error_data     string        comment '異常資料', 
          ljba_id                         bigint        comment  'ljba_主鍵', 
          ljb_id                          bigint        comment  'ljb_主鍵', 
          col_tinyint                     tinyint       comment '欄位類型為TINYINT且小寫',
          col_tinyint_02                  tinyint       comment '2',
          col_smallint                    smallint      comment '欄位類型為SMALLINT且小寫',
          col_smallint_02                 smallint      comment '4',
          col_int                         int           comment '欄位類型為INT且小寫',
          col_int_02                      int           comment '6',
          col_bigint                      bigint        comment '欄位類型為BIGINT且小寫',
          col_bigint_02                   bigint        comment '8',
          col_float                       float         comment '欄位類型為FLOAT且小寫',
          col_float_02                    float         comment '10',
          col_double                      double        comment '欄位類型為DOUBLE且小寫',
          col_double_02                   double        comment '11',
          col_decimal                     decimal(38,18) comment '欄位類型為DECIMAL(38,18)且小寫',
          col_decimal_02                  decimal(38,18) comment '12',
          col_varchar                     varchar(500)   comment '欄位類型為VARCHAR(500)且小寫',
          col_varchar_02                  varchar(500)   comment '13',
          col_char                        char(10)       comment '欄位類型為CHAR(10)且小寫',
          col_char_02                     char(10)       comment '14',
          col_string                      string         comment '欄位類型為STRING且小寫',
          col_string_02                   string         comment '15',
          col_date                        date           comment '欄位類型為DATE且小寫',
          col_date_02                     date           comment '16',
          col_datetime                    datetime       comment '欄位類型為DATETIME且小寫',
          col_datetime_02                 datetime       comment '17',
          col_timestmap                   timestamp      comment '欄位類型為TIMESTAMP且小寫',
          col_timestmap_02                timestamp      comment '18',
          col_boolean                     boolean        comment '欄位類型為BOOLEAN且小寫',
          col_boolean_02                  boolean        comment '19',
          col_binary                      binary         comment '欄位類型為BINARY且小寫',
          col_binary_02                   binary         comment '20',
          col_array                       array<int>     comment '欄位類型為ARRAY<int>且小寫',
          col_array_02                    array<string>  comment '21',
          col_map                         map<string,string>  comment '欄位類型為MAP<string, string>且小寫',
          col_map_02                      map<string,int>     comment '22',
          ds                              string              comment '日期分區, yyyyMMdd'
         ) 
        partitioned by 
        (dataphin_quality_validate_date string comment '校正日期(分區欄位)');
    • 選擇已有表:支援選擇同專案或同資料來源表,歸檔表必須包含品質監控表的所有欄位及校正欄位,您可以單擊查看異常歸檔表DDL查看建表語句,指令碼格式如下:

      create table 當前表名_exception_data
       (dataphin_quality_tenant_id      varchar(64)   comment '租戶ID' , 
        dataphin_quality_rule_id        varchar(64)   comment '品質規則ID', 
        dataphin_quality_rule_name      varchar(256)  comment '品質規則名稱', 
        dataphin_quality_column_name    varchar(1024) comment '校正欄位名稱', 
        dataphin_quality_watch_task_id  varchar(128)  comment '監控對象任務ID', 
        dataphin_quality_rule_task_id   varchar(64)   comment '規則任務ID', 
        dataphin_quality_validate_time  varchar(64)   comment '品質校正時間', 
        dataphin_quality_archive_mode   varchar(32)   comment '異常歸檔模式,ONLY_ERROR_FIELD/FULL_RECORD', 
        dataphin_quality_error_data     string        comment '異常資料', 
        ljba_id                         bigint        comment  'ljba_主鍵', 
        ljb_id                          bigint        comment  'ljb_主鍵', 
        col_tinyint                     tinyint       comment '欄位類型為TINYINT且小寫',
        col_tinyint_02                  tinyint       comment '2',
        col_smallint                    smallint      comment '欄位類型為SMALLINT且小寫',
        col_smallint_02                 smallint      comment '4',
        col_int                         int           comment '欄位類型為INT且小寫',
        col_int_02                      int           comment '6',
        col_bigint                      bigint        comment '欄位類型為BIGINT且小寫',
        col_bigint_02                   bigint        comment '8',
        col_float                       float         comment '欄位類型為FLOAT且小寫',
        col_float_02                    float         comment '10',
        col_double                      double        comment '欄位類型為DOUBLE且小寫',
        col_double_02                   double        comment '11',
        col_decimal                     decimal(38,18) comment '欄位類型為DECIMAL(38,18)且小寫',
        col_decimal_02                  decimal(38,18) comment '12',
        col_varchar                     varchar(500)   comment '欄位類型為VARCHAR(500)且小寫',
        col_varchar_02                  varchar(500)   comment '13',
        col_char                        char(10)       comment '欄位類型為CHAR(10)且小寫',
        col_char_02                     char(10)       comment '14',
        col_string                      string         comment '欄位類型為STRING且小寫',
        col_string_02                   string         comment '15',
        col_date                        date           comment '欄位類型為DATE且小寫',
        col_date_02                     date           comment '16',
        col_datetime                    datetime       comment '欄位類型為DATETIME且小寫',
        col_datetime_02                 datetime       comment '17',
        col_timestmap                   timestamp      comment '欄位類型為TIMESTAMP且小寫',
        col_timestmap_02                timestamp      comment '18',
        col_boolean                     boolean        comment '欄位類型為BOOLEAN且小寫',
        col_boolean_02                  boolean        comment '19',
        col_binary                      binary         comment '欄位類型為BINARY且小寫',
        col_binary_02                   binary         comment '20',
        col_array                       array<int>     comment '欄位類型為ARRAY<int>且小寫',
        col_array_02                    array<string>  comment '21',
        col_map                         map<string,string>  comment '欄位類型為MAP<string, string>且小寫',
        col_map_02                      map<string,int>     comment '22',
        ds                              string              comment '日期分區, yyyyMMdd'
       ) 
      partitioned by 
      (dataphin_quality_validate_date string comment '校正日期(分區欄位)');
  3. 單擊確定,完成異常歸檔表添加。

    您可以選中建立成功後自動化佈建為生效歸檔表,便於後續建立品質規則時,自動選中歸檔表。

查看異常歸檔表列表

添加成功後,預設第一個為當前生效中的歸檔表。單擊異常歸檔表的名稱,可以查看該表的表結構資訊。同時,您可以對其他歸檔表執行置為生效歸檔表、刪除操作。

  • 置為生效歸檔表:若把該表置為當前生效中的歸檔表,該監控對象下所有已建立的品質規則選擇歸檔位置配置為自訂異常歸檔表,則會將異常資料歸檔到當前指定的表。

  • 刪除:僅刪除異常歸檔表的參考關聯性,不會刪除異常歸檔表本身,刪除後如果需要可以重新添加。

    image

查看品質報告

單擊品質報告,查看當前品質規則的規則校正概覽規則校正明細

  • 您可根據異常結果、分區時間、規則或對象的名稱關鍵字快捷篩選校正明細。

  • 在規則校正明細列表中的操作列單擊image表徵圖,查看品質規則的規則校正詳情。

  • 在規則校正明細列表中的操作列單擊image表徵圖,查看品質規則的執行日誌。

設定品質規則許可權管理

  1. 單擊許可權管理,配置可查看詳情,即指定成員查看校正記錄詳情、品質規則詳情、品質報告。

    可查看詳情:可選擇所有成員僅有當前對象品質系統管理權限的成員

  2. 單擊確定,完成許可權管理配置。

後續步驟

上述品質規則配置完成後,即可在Dataphin表規則列表頁面查看。詳情請參見查看監控對象列表