Dataphin支援建立校正資料表的品質規則，提升資料表品質監控的便捷性。本文為您介紹如何配置全域資料表的品質規則。
前提條件
已經添加監控對象才可配置品質規則，如何添加監控對象，請參見添加監控對象。
許可權說明
校正規則說明
資料表參與品質規則校正時，如果觸發了品質弱監控規則，系統會給您發送警示訊息，便於您及時發現並處理異常；如果觸發了品質強監控規則，系統會自動中斷該表所在的任務，避免髒資料流入下遊，同時系統會給您發送警示訊息，便於您及時發現並處理異常。
品質規則試跑和運行區別
試跑和啟動並執行區別在於執行的方式和顯示的結果，試跑指對某個品質規則進行一次類比執行，以檢測規則的正確性和運行情況，試跑的結果不會在品質報告中顯示；運行指在特定的時間內對品質規則進行檢查，啟動並執行結果會輸出到品質報告中，便於使用者查看和分析。
品質規則配置
在Dataphin首頁，在頂部功能表列選擇治理 > 資料品質。
單擊左側導覽列的品質規則，在全域資料表頁面，單擊目標對象的名稱，進入品質規則詳情頁面，配置品質規則。
在品質規則詳情頁面，單擊建立品質規則。
在建立品質規則對話方塊中，配置參數。
參數
描述
基本資料
規則名稱
自訂品質規則的名稱，不超過256個字元。
規則強度
支援弱規則和強規則。
弱規則：如果您選擇了弱規則，則品質規則校正的結果為異常時警示但不阻塞下遊任務節點。
強規則：如果您選擇了強規則，則品質規則校正的結果為異常時警示，同時在有下遊任務的情況下（代碼檢查調度、任務觸發調度）會阻塞下遊任務，防止汙染資料擴散；如果沒有下遊任務（如周期品質調度），則僅警示。
描述
自訂品質規則描述。不超過128個字元。
配置方式
模板建立：使用通用的系統模板和自訂的業務模板，快速建立品質規則。
系統模板：模板內建參數可配置，適合通用的規則建立。
自訂模板：模板預置參數，無需配置，一般用於含有商務邏輯的規則建立。
自訂SQL：可通過SQL靈活自訂品質監控規則，適用於靈活複雜情境。
規則模板
下拉可選擇規則模板，完整性、唯一性、及時性、有效性、一致性、穩定性、自訂SQL。
完整性：包括欄位空值校正和欄位Null 字元串校正。
唯一性：包含欄位唯一性校正、欄位分組個數校正和欄位重複值個數校正。
及時性：包含時間函數比較、單表時間欄位比較和兩表時間欄位比較。
有效性：包含欄位格式校正、欄位長度校正、欄位範圍校正、碼錶參照對比和資料標準碼錶參照對比（需開通資料標準模組）。
一致性：包含單表欄位值一致性比較、單表欄位統計值一致性比較、單欄位商務邏輯一致性比較、兩表欄位值一致性比較、兩表欄位統計值一致性比較、兩表欄位商務邏輯一致性比較和跨源兩表欄位統計值一致性比較。
穩定性：包含表穩定性校正、表波動性校正、欄位穩定性校正和欄位波動性校正。
自訂SQL：包含自訂統計指標校正和自訂資料詳情校正。
詳情請參見模板類型說明。
規則類型
規則類型和模板有關，是模板最基礎的屬性，可用於說明和篩選功能。
監控粒度
當配置類型為自訂SQL時支援配置監控粒度，可以選擇全表或指定具體監控欄位。
模板配置
模板資訊
當選擇品質規則模板時，為您展示模板的配置資訊。如需修改配置資訊，可以在品質規則模板中進行修改。
規則配置
規則配置
規則配置因選擇不同的規則模板而變化。詳情請參見資料表參數配置。
校正表資料過濾：預設關閉，開啟後可配置校正表的過濾條件或分區過濾或普通資料過濾，過濾條件將會直接追加至校正SQL中；如校正表有分區過濾需求，建議在調度配置中配置分區運算式，配置後會以校正分區為最小查看粒度查看品質報告。
當規則模板選擇一致性/兩表欄位統計值一致性比較、一致性/跨源兩表欄位統計值一致性比較時，可以選擇是否開啟對比表資料過濾，開啟後可以配置對比表的過濾條件或分區過濾或普通資料過濾，過濾條件將會直接追加至校正SQL中。
校正配置
規則校正
資料品質規則校正後，結果會和異常校正的配置進行對比，符合條件則校正結果為不通過；同時觸發警示等後續流程。
異常校正可用指標由模板和配置內容決定，支援多種條件的and / or條件，實際配置中建議小於3條。
詳情請參見校正配置說明。
歸檔配置
異常歸檔
預設關閉，開啟後可以將異常資料歸檔到檔案或表中，品質校正後可以下載、分析歸檔的異常資料。
歸檔模式支援僅歸檔異常欄位和歸檔完整記錄。
僅歸檔異常欄位：只去重歸檔當前監控欄位，適用於通過單個欄位就可以完整確定異常資料的情況。
歸檔完整記錄：歸檔異常資料所在的整條記錄，適用於必須通過完整記錄才能定位異常資料的情況。 注意：因歸檔完整記錄會極大增加歸檔資料量，建議正常情況下都使用僅歸檔異常欄位。
歸檔位置支援預設檔案伺服器和異常資料歸檔表。若未建立異常歸檔表，可點擊管理異常歸檔表建立，詳情請參見添加異常歸檔表。
預設檔案伺服器：指Dataphin部署時配置的系統檔案伺服器，您可以在校驗記錄-校正詳情頁面直接下載異常資料，也可以直接存取預設檔案伺服器擷取異常資料。使用預設檔案伺服器時，每次校正執行最多歸檔100條異常資料，適用於小資料量校正的情境。
異常資料歸檔表：如果您希望儲存更多異常資料或將不同校正記錄的異常資料放在一起，以便後續的對比分析，建議自行指定歸檔表。每條品質規則每次運行最多記錄10000條校正異常的資料，除了可以直接在校正記錄頁面快捷下載單次校正的異常資料，您也可以直接存取歸檔表、自訂表格生命週期，有更高的靈活性。
說明針對本次運行涉及到的所有規則產生的異常資料進行匯總下載，並且下載數量不超過1000條，如果您希望查看更多的資料，建議歸檔到指定的異常歸檔表後直接存取歸檔表擷取。
異常歸檔表需要滿足特定的格式要求，否則可能在寫入資料時報錯，影響使用，詳情請參見添加異常歸檔表。
業務屬性配置
屬性資訊
業務屬性填寫規範取決於品質規則屬性的配置。例如：歸口管理部門所對應的欄位取實值型別為枚舉值（多選），可選枚舉值範圍為巨量資料部、業務部、技術部。因此，建立品質規則時，該屬性值為下拉多選框，可選項為枚舉值（多選），可選枚舉值範圍為巨量資料部、業務部、技術部。
規則負責人所對應的欄位取實值型別為自訂輸入，屬性欄位長度為256。因此，在建立品質規則時，該屬性值可以輸入不超過256個字元。
若屬性欄位的填寫方式為範圍區間，則配置方式如下：
範圍區間：常用於取值範圍是連續數值或日期的情況。可選擇>、>=、<、<=四種符號。更多屬性配置，請參見建立及管理品質規則屬性。
調度屬性配置
調度方式
支援選擇已配置的調度；若暫未決定調度方式，您可建立品質規則後再配置。如需建立，請參見建立調度。
品質分配置
計分方式
支援品質校正狀態和資料合格比例兩種計分方式。
品質校正狀態：按照當前規則最近一次執行成功的校正記錄的校正狀態進行打分，校正通過得100分，校正不通過得0分。
資料合格比例：將當前規則最近一次執行成功的校正記錄中的正常資料的比例（即正常率）作為分數，如資料格式有效性是80%，那麼品質分就是80分。
不同的規則模板支援的計分方式不同，僅支援品質校正狀態計分方式說明如下：
唯一性規則大類的欄位分組個數校正、欄位重複值個數校正。
一致性規則大類的單表欄位統計值一致性比較、跨源兩表欄位統計值一致性比較。
穩定性規則大類。
自訂SQL規則大類的自訂統計指標校正。
品質分權重
品質規則的品質分權重，用於統計監控對象的品質分。支援選擇1-10之間的整數。
單擊確定，完成規則配置。
您可以單擊預覽SQL，查看本次配置對比上次儲存的配置，便於查看SQL變更。
說明關鍵資訊沒有填寫完整，預覽SQL不可用。
左邊為上次儲存配置的SQL預覽，若未配置，則為空白；右邊為當前配置的SQL預覽。
規則配置列表
您可以在規則配置列表頁面查看已經配置的資料表規則資訊，並進行查看、編輯、試跑、運行、刪除等操作。
地區 | 描述 |
①篩選及搜尋區 | 支援按照對象或規則名稱進行快捷搜尋。 支援按照規則類型、規則模板、規則強度、試跑狀態、生效狀態進行篩選。 說明 若品質規則屬性配置了可搜尋、可篩選的業務屬性且為啟用狀態，則可根據該屬性進行搜尋或篩選。 |
②列表區 | 為您展示規則配置列表的物件類型/名稱、規則名稱/ID、試跑狀態、生效狀態、規則類型、規則模板、規則強度、調度類型、相關知識庫文檔資訊，單擊重新整理前的
|
③操作區 | 您可進行查看、複製、編輯、試跑、運行、調度配置、關聯知識庫文檔、品質分配置、刪除操作。
|
④大量操作區 | 您可批量進行試跑、運行、配置調度、開啟、關閉、修改業務屬性、關聯知識庫文檔、品質分配置、匯出規則、刪除操作。
|
表徵圖，可選擇您需要展示的規則列表欄位。
表徵圖查看試跑日誌。建立調度
規則配置調度時，可以基於當前已有的調度快速進行配置（每個表上限20個調度規則）。
同一個規則最多能配置10個調度。
調度配置完全一致時，支援自動去重。
校正範圍會作為品質校正時的過濾條件下發到品質校正的語句中，控制每次品質校正的範圍。校正範圍也會作為後續品質報告等下遊的基本單元，品質報告的查看會以校正範圍為最小查看粒度。
在品質規則詳情頁面，單擊調度配置頁簽，再單擊建立調度按鈕，進入建立調度對話方塊。
在建立調度對話方塊中，配置參數。
參數
描述
調度名稱
自訂調度名稱，不超過64個字元。
調度類型
支援定時調度和固定任務觸發調度。
定時調度：根據設定的調度時間，支援定時、周期性地對資料進行品質檢測，適合資料產出時間相對固定的情境。
調度周期：品質規則運行會佔用一定的計算資源，建議避免同一時間並發執行多條品質規則，以免影響生產任務的正常運行。調度周期包含日、周、月、小時、分鐘五種周期類型。
當系統時區（即使用者中心的時區）與調度時區（即管理中心 > 系統設定 > 基礎設定中所配置的時區）不一致時，規則將根據系統時區進行執行。
固定任務觸發調度：在指定的任務運行成功後或運行前，執行配置的品質規則。支援選擇引擎SQL、離線管道、Python、Shell、Virtual、Datax、Spark_jar、Hive_MR、資料庫SQL節點的任務類型觸發任務。適用於表修改任務固定的情況。
說明固定任務觸發只能選擇生產環境任務，若規則強度配置了強規則，調度任務校正失敗，可能會影響線上任務，請根據業務需求謹慎操作。
觸發時機：選擇進行品質檢測的觸發時機。支援選擇所有任務都運行成功後觸發、每個任務每次運行成功後均觸發和每個任務每次運行前觸發。
觸發任務：支援專案系統管理員或營運系統角色選擇生產專案下的任務節點，可以根據節點輸出名稱搜尋，也可以在推薦任務或全部任務中選擇。
說明當觸發時機選擇所有任務都運行成功後觸發時，觸發任務建議選擇同調度周期的任務，避免因調度周期不同而導致規則延遲運行，品質檢測結果延遲產出。
調度條件
預設關閉，開啟後，在品質規則正式調度前，會先判斷是否滿足調度條件。滿足條件才會正式調度，不滿足條件則忽略本次調度。
業務日期/執行日期：若調度類型選擇定時調度（定時調度不支援執行日期）、固定任務觸發調度，支援配置日期，可選擇普通日曆或自訂日曆，如何自訂日曆，請參見建立公用日曆。
若選擇普通日曆，則條件可選月份、星期、日期。例如下圖：
若選擇自訂日曆，則條件可選日期類型、標籤。例如下圖：
執行個體類型：若調度類型選擇固定任務觸發調度，支援配置執行個體類型，可選擇周期執行個體、補資料執行個體、手動執行個體。例如下圖：
說明至少配置一條規則。如需添加規則，請單擊+添加規則按鈕。
最多配置10個調度條件。
調度條件之間的關係可配置為且、或。
校正範圍運算式
為可輸入的下拉選擇框，支援直接輸入需要校正的範圍，如
ds='${yyyyMMdd}'；也可以選擇內建的校正範圍運算式然後進行修改，以協助您快速配置，分區運算式詳情請參見內建分區運算式類型。說明若有多個條件進行校正，可用and或or進行串連，如
province="浙江" and ds<=${yyyyMMdd}。若品質規則中配置了過濾條件，則校正範圍運算式和過濾條件之間為and關係，校正資料時，兩個條件會一起進行過濾。
校正範圍運算式支援對全表進行掃描。
注意：全表掃描將會消耗較大的資源，並且部分不支援全表掃描，建議配置分區運算式以避免全表掃描。
校正範圍預算
預設業務日期當天。
單擊確定，完成調度配置。
調度配置列表
調度建立完成後，您可以在調度配置列表進行查看、編輯、複製、刪除等操作。
地區 | 描述 |
①篩選及搜尋區 | 支援按照調度名稱進行快捷搜尋。 支援按照定時調度、固定任務觸發調度進行篩選。 |
②列表區 | 為您展示規則配置列表的調度名稱、調度類型、最後更新人、最後更新時間資訊。 |
③操作區 | 您可以對調度執行編輯、複製、刪除操作。
|
警示配置
您可以給不同的規則配置不同的警示方式以實現區分警示，如：為強規則異常配置電話警示，弱規則異常配置簡訊警示；如果一條規則同時命中了多條警示配置，支援設定警示的生效策略。
單個監控對象下支援建立不超過20個警示配置。
在品質規則詳情頁面，單擊警示配置頁簽，再單擊建立警示配置按鈕，進入建立警示配置對話方塊。
在建立警示配置對話方塊中，配置參數。
參數
描述
覆蓋範圍
支援選擇所有規則、所有強規則、所有弱規則和自訂。
說明單個監控對象下，所有規則、所有強規則和所有弱規則3種範圍支援各配置一條警示，後續新增的規則根據規則強度自動匹配對應的警示；如需變更其中的某一條警示配置，可修改已有配置。
自訂範圍可選擇當前監控對象下已配置的所有規則，不超過200條。
警示配置名稱
單個監控對象下警示配置名稱唯一，不超過256個字元。
警示接收人
配置警示接收人及警示方式。需選擇至少一種警示接收人及警示方式。
警示接收人：支援選擇自訂、值班表和品質負責人三種警示接收人。
支援配置不超過5個自訂警示接收人；支援配置不超過3個值班表。
警示方式：支援選擇電話、郵件、簡訊、DingTalk、飛書、企業微信、自訂渠道不同的接收方式。此接收方式可通過配置渠道設定進行管控。
單擊確定，完成警示配置。
警示配置列表
警示配置完成後，您可以在警示配置列表中進行排序、編輯、刪除操作。
序號 | 描述 |
①排序區 | 支援配置一條品質規則符合多條警示配置時的警示生效策略：
|
②列表區 | 為您展示警示配置的名稱、生效範圍、每種警示類型的具體接收人以及對應的警示接收方式。 生效範圍：自訂警示支援查看配置的對象名和規則名，若該規則被刪除，則無法查看對象名，建議您更新警示配置。
|
③操作區 | 您可對配置的警示執行編輯和刪除操作。
|
表徵圖進行拖拽排序或選擇操作列下的表徵圖進行移動，表徵圖從左至右依次為：置頂、置底。調整完警示順序後，單擊排序完成按鈕，完成排序。
添加異常歸檔表
異常歸檔表實現品質規則校正異常的記錄歸檔。
在品質規則詳情頁面，單擊異常歸檔頁簽，再單擊+添加異常歸檔表按鈕，進入添加異常歸檔表對話方塊。
在添加異常歸檔表對話方塊，配置參數。
添加方式支援建立表和選擇已有表兩種方式。增加了特殊的品質校正欄位，異常資料歸檔不會寫入原來的資料表。
建立表：可自訂表格名，需在歸檔表所屬專案或所屬板塊內，預設填入當前表名_exception_data。添加成功後會在同庫或同資料來源建立表。支援輸入字母、數字、底線（_）以及點（.），不超過128個字元。
監控表為物理表時，將在監控表所在專案建立歸檔表。
監控表為維度邏輯表、事實邏輯表時，預設會在監控表所在專案建立歸檔表，也可以手動指定為監控錶板塊下的專案，如projectA.table_name。
監控表為匯總邏輯表時，歸檔表名建議指定同板塊下的專案名稱，否則會自動歸檔到監控表所在板塊下的一個專案。
歸檔表必須包含品質監控表的所有欄位及校正欄位，指令碼格式如下：
create table 當前表名_exception_data (dataphin_quality_tenant_id varchar(64) comment '租戶ID' , dataphin_quality_rule_id varchar(64) comment '品質規則ID', dataphin_quality_rule_name varchar(256) comment '品質規則名稱', dataphin_quality_column_name varchar(1024) comment '校正欄位名稱', dataphin_quality_watch_task_id varchar(128) comment '監控對象任務ID', dataphin_quality_rule_task_id varchar(64) comment '規則任務ID', dataphin_quality_validate_time varchar(64) comment '品質校正時間', dataphin_quality_archive_mode varchar(32) comment '異常歸檔模式，ONLY_ERROR_FIELD/FULL_RECORD', dataphin_quality_error_data string comment '異常資料', ljba_id bigint comment 'ljba_主鍵', ljb_id bigint comment 'ljb_主鍵', col_tinyint tinyint comment '欄位類型為TINYINT且小寫', col_tinyint_02 tinyint comment '2', col_smallint smallint comment '欄位類型為SMALLINT且小寫', col_smallint_02 smallint comment '4', col_int int comment '欄位類型為INT且小寫', col_int_02 int comment '6', col_bigint bigint comment '欄位類型為BIGINT且小寫', col_bigint_02 bigint comment '8', col_float float comment '欄位類型為FLOAT且小寫', col_float_02 float comment '10', col_double double comment '欄位類型為DOUBLE且小寫', col_double_02 double comment '11', col_decimal decimal(38,18) comment '欄位類型為DECIMAL(38,18)且小寫', col_decimal_02 decimal(38,18) comment '12', col_varchar varchar(500) comment '欄位類型為VARCHAR(500)且小寫', col_varchar_02 varchar(500) comment '13', col_char char(10) comment '欄位類型為CHAR(10)且小寫', col_char_02 char(10) comment '14', col_string string comment '欄位類型為STRING且小寫', col_string_02 string comment '15', col_date date comment '欄位類型為DATE且小寫', col_date_02 date comment '16', col_datetime datetime comment '欄位類型為DATETIME且小寫', col_datetime_02 datetime comment '17', col_timestmap timestamp comment '欄位類型為TIMESTAMP且小寫', col_timestmap_02 timestamp comment '18', col_boolean boolean comment '欄位類型為BOOLEAN且小寫', col_boolean_02 boolean comment '19', col_binary binary comment '欄位類型為BINARY且小寫', col_binary_02 binary comment '20', col_array array<int> comment '欄位類型為ARRAY<int>且小寫', col_array_02 array<string> comment '21', col_map map<string,string> comment '欄位類型為MAP<string, string>且小寫', col_map_02 map<string,int> comment '22', ds string comment '日期分區, yyyyMMdd' ) partitioned by (dataphin_quality_validate_date string comment '校正日期(分區欄位)');
選擇已有表：支援選擇同專案或同資料來源表，歸檔表必須包含品質監控表的所有欄位及校正欄位，您可以單擊查看異常歸檔表DDL查看建表語句，指令碼格式如下：
create table 當前表名_exception_data (dataphin_quality_tenant_id varchar(64) comment '租戶ID' , dataphin_quality_rule_id varchar(64) comment '品質規則ID', dataphin_quality_rule_name varchar(256) comment '品質規則名稱', dataphin_quality_column_name varchar(1024) comment '校正欄位名稱', dataphin_quality_watch_task_id varchar(128) comment '監控對象任務ID', dataphin_quality_rule_task_id varchar(64) comment '規則任務ID', dataphin_quality_validate_time varchar(64) comment '品質校正時間', dataphin_quality_archive_mode varchar(32) comment '異常歸檔模式，ONLY_ERROR_FIELD/FULL_RECORD', dataphin_quality_error_data string comment '異常資料', ljba_id bigint comment 'ljba_主鍵', ljb_id bigint comment 'ljb_主鍵', col_tinyint tinyint comment '欄位類型為TINYINT且小寫', col_tinyint_02 tinyint comment '2', col_smallint smallint comment '欄位類型為SMALLINT且小寫', col_smallint_02 smallint comment '4', col_int int comment '欄位類型為INT且小寫', col_int_02 int comment '6', col_bigint bigint comment '欄位類型為BIGINT且小寫', col_bigint_02 bigint comment '8', col_float float comment '欄位類型為FLOAT且小寫', col_float_02 float comment '10', col_double double comment '欄位類型為DOUBLE且小寫', col_double_02 double comment '11', col_decimal decimal(38,18) comment '欄位類型為DECIMAL(38,18)且小寫', col_decimal_02 decimal(38,18) comment '12', col_varchar varchar(500) comment '欄位類型為VARCHAR(500)且小寫', col_varchar_02 varchar(500) comment '13', col_char char(10) comment '欄位類型為CHAR(10)且小寫', col_char_02 char(10) comment '14', col_string string comment '欄位類型為STRING且小寫', col_string_02 string comment '15', col_date date comment '欄位類型為DATE且小寫', col_date_02 date comment '16', col_datetime datetime comment '欄位類型為DATETIME且小寫', col_datetime_02 datetime comment '17', col_timestmap timestamp comment '欄位類型為TIMESTAMP且小寫', col_timestmap_02 timestamp comment '18', col_boolean boolean comment '欄位類型為BOOLEAN且小寫', col_boolean_02 boolean comment '19', col_binary binary comment '欄位類型為BINARY且小寫', col_binary_02 binary comment '20', col_array array<int> comment '欄位類型為ARRAY<int>且小寫', col_array_02 array<string> comment '21', col_map map<string,string> comment '欄位類型為MAP<string, string>且小寫', col_map_02 map<string,int> comment '22', ds string comment '日期分區, yyyyMMdd' ) partitioned by (dataphin_quality_validate_date string comment '校正日期(分區欄位)');
單擊確定，完成異常歸檔表添加。
您可以選中建立成功後自動化佈建為生效歸檔表，便於後續建立品質規則時，自動選中歸檔表。
查看異常歸檔表列表
添加成功後，預設第一個為當前生效中的歸檔表。單擊異常歸檔表的名稱，可以查看該表的表結構資訊。同時，您可以對其他歸檔表執行置為生效歸檔表、刪除操作。
置為生效歸檔表：若把該表置為當前生效中的歸檔表，該監控對象下所有已建立的品質規則選擇歸檔位置配置為自訂異常歸檔表，則會將異常資料歸檔到當前指定的表。
刪除：僅刪除異常歸檔表的參考關聯性，不會刪除異常歸檔表本身，刪除後如果需要可以重新添加。
查看品質報告
單擊品質報告，查看當前品質規則的規則校正概覽和規則校正明細。
您可根據異常結果、分區時間、規則或對象的名稱關鍵字快捷篩選校正明細。
在規則校正明細列表中的操作列單擊
表徵圖，查看品質規則的規則校正詳情。在規則校正明細列表中的操作列單擊
表徵圖，查看品質規則的執行日誌。
設定品質規則許可權管理
單擊許可權管理，配置可查看詳情，即指定成員查看校正記錄詳情、品質規則詳情、品質報告。
可查看詳情：可選擇所有成員或僅有當前對象品質系統管理權限的成員。
單擊確定，完成許可權管理配置。
後續步驟
上述品質規則配置完成後，即可在全域資料表規則列表頁面查看。詳情請參見查看監控對象列表。