Dataphin：建立指標品質規則

前提條件

已經添加監控對象才可配置品質規則，如何添加監控對象，請參見添加監控對象。

許可權說明

• 超級管理員、品質管理員、具有品質規則-管理許可權的自訂全域角色、具有表所在專案的專案品質管理-品質規則管理許可權的自訂專案角色和指標業務負責人支援為品質規則配置調度、警示等。

• 品質負責人、普通使用者需要額外具備邏輯表欄位的讀取許可權，如需申請，請參見申請、續期和交還表許可權。

• 針對不同對象支援的操作許可權有所差異，詳情請參見品質規則操作許可權。

校正規則說明

指標參與品質規則校正時，如果觸發了品質弱監控規則，系統會給您發送警示訊息，便於您及時發現並處理異常；如果觸發了品質強監控規則，系統會自動中斷該表所在的任務，避免髒資料流入下遊，同時系統會給您發送警示訊息，便於您及時發現並處理異常。

品質規則試跑和運行區別

試跑和啟動並執行區別在於執行的方式和顯示的結果，試跑指對某個品質規則進行一次模式執行，以檢測規則的正確性和運行情況，試跑的結果不會在品質報告中顯示；運行指在特定時間內對品質規則進行檢查，啟動並執行結果會輸出到品質報告中，便於使用者查看與分析。

品質規則配置

1. 在Dataphin首頁，在頂部功能表列選擇治理 > 資料品質。

2. 單擊左側導覽列的品質規則，在指標頁面，單擊目標對象的名稱，進入品質規則詳情頁面，配置品質規則。

3. 在品質規則詳情頁面，單擊建立品質規則按鈕。

4. 在建立品質規則對話方塊，配置參數。

   參數		描述
   基本資料	規則名稱	自訂品質規則的名稱。
   	規則強度	支援弱規則和強規則。 如果您選擇了弱規則，則品質規則校正的結果為異常時警示但不阻塞下遊任務節點。 如果您選擇了強規則，則品質規則校正的結果為異常時警示，同時在有下遊任務的情況下（代碼檢查調度、任務觸發調度）會阻塞下遊任務，防止汙染資料擴散；如果沒有下遊任務（如周期品質調度），則僅警示。
   	描述	自訂品質規則描述。不超過128個字元。
   	配置方式	模板建立：使用通用的系統模板和自訂的業務模板，快速建立品質規則。 系統模板：模板內建參數可配置，適合通用的規則建立。 自訂模板：模板預置參數，無需配置，一般用於含有商務邏輯的規則建立。 自訂SQL：可通過SQL靈活自訂品質監控規則，適用於靈活複雜情境。
   	規則模板	下拉可選擇規則模板，唯一性、穩定性、自訂SQL。 唯一性：包含欄位分組個數校正和欄位重複值個數校正。 穩定性：包含欄位穩定性校正和欄位波動性校正。 自訂SQL：包含自訂統計指標校正。 詳情請參見品質規則模板類型。
   	規則類型	規則類型和模板有關，是模板最基礎的屬性，可用於說明和篩選功能。
   規則配置	規則配置	當規則模板選擇為唯一性時，對應的參數如下所示。 欄位分組個數校正/欄位重複值個數校正： 校正表資料過濾：預設關閉，開啟後可配置校正表的過濾條件或分區過濾或普通資料過濾，過濾條件將會直接追加至校正SQL中；如校正表有分區過濾需求，建議在調度配置中配置分區運算式，配置後會以校正分區為最小查看粒度查看品質報告。填寫資料過濾內容，例如： id = 12 --單表 T1.id=12 and T2.name = "張三" --雙表 當規則模板選擇為穩定性時，對應的參數如下所示。 欄位穩定性校正/欄位波動性校正： 統計方式：建議根據業務情境選擇統計方式。 校正表資料過濾：預設關閉，開啟後可配置校正表的過濾條件或分區過濾或普通資料過濾，過濾條件將會直接追加至校正SQL中；如校正表有分區過濾需求，建議在調度配置中配置分區運算式，配置後會以校正分區為最小查看粒度查看品質報告。填寫資料過濾內容，例如： id = 12 --單表 T1.id=12 and T2.name = "張三" --雙表 當規則模板選擇為自訂SQL時，對應的參數如下所示。 自訂統計指標校正： 自訂SQL：支援select查詢語句，查詢對象須包含主表。例如： select sum(sale) from tableA where ds=${bizdate};
   校正配置	規則校正	資料品質規則校正後，結果會和異常校正的配置進行對比，符合條件則校正結果為不通過；同時觸發警示等後續流程。 異常校正可用指標由模板和配置內容決定，支援多種條件的and/or條件，實際配置中建議小於3條。 詳情請參見指標校正配置。
   業務屬性配置	屬性資訊	業務屬性填寫規範取決於品質規則屬性的配置。例如： 歸口管理部門所對應的欄位取實值型別為枚舉值（多選），可選枚舉值範圍為巨量資料部、業務部、技術部。因此，建立品質規則時，該屬性值為下拉多選框，可選項為枚舉值（多選），可選枚舉值範圍為巨量資料部、業務部、技術部。 規則負責人所對應的欄位取實值型別為自訂輸入，屬性欄位長度為256。因此，在建立品質規則時，該屬性值可以輸入不超過256個字元。 若屬性欄位的填寫方式為範圍區間，則配置方式如下： 範圍區間：常用於取值範圍是連續數值或日期的情況。可選擇>、>=、<、<=四種符號。更多屬性配置，請參見建立及管理品質規則屬性。
   調度屬性配置	調度方式	支援選擇已配置的調度；若暫未決定調度方式，您可建立品質規則後再配置。如需建立，請參見建立調度。

5. 單擊儲存，完成規則配置。

   您可以單擊預覽SQL，查看本次配置對比上次儲存的配置，便於查看SQL變更。

   說明

   • 關鍵資訊沒有填寫完整，預覽SQL不可用。

   • 左邊為上次儲存配置的SQL預覽，若未配置，則為空白；右邊為當前配置的SQL預覽。

   規則配置列表

   您可以在規則配置列表頁面查看已經配置的指標規則資訊，並進行查看、編輯、試跑、運行、刪除等操作。

   

   地區	描述
   ①篩選及搜尋區	支援按照對象或者規則名稱進行快捷搜尋。 支援按照規則類型、規則模板、規則強度、試跑狀態、生效狀態進行篩選。 說明 若品質規則屬性配置了可搜尋、可篩選的業務屬性且為啟用狀態，則可根據該屬性進行搜尋或篩選。
   ②列表區	為您展示規則配置列表的物件類型/名稱、規則名稱/ID、試跑狀態、生效狀態、規則類型、規則模板、規則強度、調度類型、相關知識庫文檔資訊，單擊重新整理前的表徵圖，可選擇您需展示的規則列表欄位。 生效狀態：建議生效規則前先進行試跑，針對試跑成功的規則開啟生效狀態。避免錯誤的規則阻塞線上任務。 開啟生效狀態後，所選規則會按照配置的調度自動執行。 停用生效狀態後，所選規則不會自動執行，但可以手動執行。 相關知識庫文檔：點擊查看詳情，查看規則關聯的知識庫資訊。包括表名稱、校正對象、規則以及相關知識庫文檔資訊，同時，您可對知識庫執行搜尋、查看、編輯、刪除操作。操作詳情請參見查看知識庫。
   ③操作區	您可進行查看、複製、編輯、試跑、運行、調度配置、關聯知識庫文檔、刪除操作。 查看：可查看規則配置詳情。 複製：可快速複製規則。 編輯：編輯規則後，需重新試跑。 試跑：支援選擇已有調度或自訂校正範圍試跑規則，試跑後，可單擊表徵圖查看試跑日誌。 運行：支援選擇已有調度或自訂校正範圍運行規則，運行後，可在校正記錄中查看校正結果。 調度配置：支援在彈框中篩選調度類型或用調度名稱快捷搜尋調度。也支援編輯調度。 關聯知識庫文檔：規則關聯知識庫後，可在品質規則和治理工作台中查看關聯知識。支援選擇未被關聯的知識庫。如需建立，請參見建立及管理知識庫。 刪除：刪除此品質規則對象將刪除對象下的所有品質規則，刪除後不可撤銷，請謹慎操作。
   ④大量操作區	您可批量進行試跑、運行、配置調度、開啟、關閉、修改業務屬性、關聯知識庫文檔、刪除操作。 試跑：支援選擇已有調度或自訂校正範圍批量試跑規則，試跑後，可單擊表徵圖查看試跑日誌。 運行：支援選擇已有調度或自訂校正範圍批量運行規則，運行後，可在校正記錄中查看校正結果。 調度配置：支援在對話方塊中篩選調度類型或用調度名稱快捷搜尋調度。也支援編輯調度，為品質規則大量設定調度。僅支援修改選中規則中在品質規則列表頁面可編輯的規則。 開啟：批量開啟生效狀態後，所選規則會按照配置的調度自動執行。僅支援開啟選中規則中在品質規則列表頁面可編輯的規則。 關閉：批量停用生效狀態後，所選規則不會自動執行，但可以手動執行。僅支援關閉選中規則中在品質規則列表頁面可編輯的規則。 修改業務屬性：當業務屬性對應的欄位取實值型別為單選或多選時，支援批量修改業務屬性。 當業務屬性對應的欄位取實值型別為多選時，支援追加或修改屬性值。 當業務屬性對應的欄位取實值型別為單選時，支援直接修改屬性值。 關聯知識庫文檔：規則關聯知識後，可在品質規則和治理工作台中查看關聯知識。支援為監控對象大量設定知識庫。如需建立，請參見建立及管理知識庫。 刪除：支援大量刪除品質規則的對象，刪除後不可撤銷，請謹慎操作。僅支援刪除選中規則中在品質規則列表頁面可編輯的規則。

建立調度

1. 在品質規則詳情頁面，單擊調度配置頁簽，再單擊建立調度按鈕，進入建立調度對話方塊。

2. 在建立調度對話方塊中，配置參數。

   參數	描述
   調度名稱	自訂調度名稱。
   調度類型	支援定時調度、資料更新觸發調度和固定任務觸發調度。 定時調度：根據設定的調度時間，支援定時、周期性地對資料進行品質檢測，適合資料產出時間相對固定的情境。 調度周期：品質規則運行會佔用一定的計算資源，建議避免同一時間並發執行多條品質規則，以免影響生產任務的正常運行。調度周期包含日、周、月、小時、分鐘五種周期類型。 當系統時區（即使用者中心的時區）與調度時區（即管理中心 > 系統設定 > 基礎設定中所配置的時區）不一致時，規則將根據系統時區進行執行。 資料更新觸發調度：所有代碼任務執行時，均會解析本次任務運行是否更新當前表指定的校正範圍。適用於表的修改任務不固定或需要重點監控的表，即每次變更都需監控的情況。 說明 建議檢驗範圍選取任務更新的分區（非分區表將校正全表），系統會自動識別所有資料變更並進行校正，避免遺漏。 固定任務觸發調度：在指定的任務運行成功後或運行前，執行配置的品質規則。支援選擇引擎SQL、離線管道、Python、Shell、Virtual、Datax、Spark_jar、Hive_MR、資料庫SQL節點的任務類型觸發任務。適用於表修改任務固定的情況。 說明 固定任務觸發只能選擇生產環境任務，若規則強度配置了強規則，調度任務校正失敗，可能會影響線上任務，請根據業務需求謹慎操作。 觸發時機：選擇進行品質檢測的觸發時機。支援選擇所有任務都運行成功後觸發、每個任務每次運行成功後均觸發和每個任務每次運行前觸發。 觸發任務：支援專案系統管理員或營運系統角色選擇生產專案下的任務節點，可以根據節點輸出名稱搜尋，也可以在推薦任務或全部任務中選擇。 說明 當觸發時機選擇所有任務都運行成功後觸發時，觸發任務建議選擇同調度周期的任務，避免因調度周期不同而導致規則延遲運行，品質檢測結果延遲產出。
   調度條件	預設關閉，開啟後，在品質規則正式調度前，會先判斷是否滿足調度條件。滿足條件才會正式調度，不滿足條件則忽略本次調度。 業務日期/執行日期：若調度類型選擇定時調度（定時調度不支援執行日期）、資料更新觸發調度、固定任務觸發調度，支援配置日期，可選擇普通日曆或自訂日曆，如何自訂日曆，請參見建立公用日曆。 若選擇普通日曆，則條件可選月份、星期、日期。例如下圖： 若選擇自訂日曆，則條件可選日期類型、標籤。例如下圖： 執行個體類型：若調度類型選擇資料更新觸發調度、固定任務觸發調度，支援配置執行個體類型，可選擇周期執行個體、補資料執行個體、手動執行個體。例如下圖： 說明 至少配置一條規則。如需添加規則，請單擊+添加規則按鈕。 最多配置10個調度條件。 調度條件之間的關係可配置為且、或。
   校正範圍	當調度類型選擇定時調度、固定任務觸發調度時，校正範圍支援自訂校正範圍；當調度類型選擇資料更新觸發調度時，校正範圍支援任務更新的分區、自訂校正範圍。 任務更新的分區：若檢查任務中更新了分區，則直接按照任務更新的分區下發任務。 說明 動態分區情境可能解析不到分區，將不會進行品質校正。 波動性校正規則（如校正分區大小、分區行數、欄位統計值）需要指定分區，不支援任務更新分區校正範圍。 非分區表如有資料更新時將校正全表。 自訂校正範圍：對於無法解析的情境，可以使用自訂校正範圍，按照業務日期或者執行日期來指定校正範圍運算式。 校正範圍運算式：為可輸入的下拉選擇框，支援直接輸入需要校正的範圍，如ds='${yyyyMMdd}'；也可以選擇內建的校正範圍運算式然後進行修改，以協助您快速配置，分區運算式詳情請參見內建分區運算式類型。 說明 若有多個條件進行校正，可用and或or進行串連，如province="浙江" and ds<=${yyyyMMdd}。 若品質規則中配置了過濾條件，則校正範圍運算式和過濾條件之間為AND關係，校正資料時，兩個條件會一起進行過濾。 校正範圍運算式支援對全表進行掃描。 注意：全表掃描將會消耗較大的資源，並且部分不支援全表掃描，建議配置分區運算式以避免全表掃描。 校正範圍預算：預設為業務日期當天。

3. 單擊確定，完成調度配置。

調度配置列表

調度建立完成後，您可以在調度配置列表進行查看、編輯、複製、刪除等操作。

警示配置

您可以給不同的規則配置不同的警示方式以實現區分警示，例如：為強規則異常配置電話警示，為弱規則異常配置簡訊警示；如果一個規則同時命中了多條警示配置，支援設定警示的生效策略。

1. 在品質規則詳情頁面，單擊警示配置頁簽，再單擊建立警示配置按鈕，進入建立警示配置對話方塊。

   

2. 在建立警示配置對話方塊中，配置參數。

   參數	描述
   覆蓋範圍	支援選擇所有規則、所有強規則、所有弱規則和自訂。 說明 單個監控對象下，所有規則、所有強規則和所有弱規則3種範圍支援各配置一條警示，後續新增的規則根據規則強度自動匹配對應的警示；如需變更其中的某一條警示配置，可修改已有配置。 自訂範圍可選擇當前監控對象下已配置的所有規則，不超過200條。
   警示配置名稱	單個監控對象下的警示配置名稱唯一，不超過256個字元。
   警示接收人	配置警示接收人及警示方式。需選擇至少一種警示接收人及警示方式。 警示接收人：支援選擇自訂、值班表和品質負責人三種警示接收人。 支援配置不超過5個自訂警示接收人；支援配置不超過3個值班表。 警示方式：支援選擇電話、郵件、簡訊、DingTalk、飛書、企業微信、自訂渠道不同的接收方式。此接收方式可通過配置渠道設定進行管控。

3. 單擊確定，完成警示配置。

警示配置列表

警示配置完成後，您可以在警示配置列表中進行排序、編輯、刪除操作。

查看品質報告

單擊品質報告，查看當前品質規則的規則校正概覽和規則校正明細。

• 您可根據異常結果、分區時間、規則或對象的名稱關鍵字快捷篩選校正明細。

• 在規則校正明細列表中的操作列單擊表徵圖，查看品質規則的規則校正詳情。

• 在規則校正明細列表中的操作列單擊表徵圖，查看品質規則的執行日誌。

設定品質規則許可權管理

1. 單擊許可權管理，配置可查看詳情，即指定成員查看校正記錄詳情、品質規則詳情、品質報告。

   可查看詳情：可選擇所有成員或僅有當前對象品質系統管理權限的成員。

2. 單擊確定，完成許可權管理配置。

後續步驟

上述品質規則配置完成後，即可在指標規則列表頁面查看。詳情請參見查看監控對象列表。