Dataphin：建立資料來源品質規則

前提條件

已經添加監控對象才可配置品質規則，如何添加監控對象，請參見添加監控對象。

使用限制

資料來源品質規則支援選擇Dataphin內所有資料來源建立品質監控規則，支援的資料來源均可進行連通性測試，但僅部分資料來源支援配置表結構異動監測品質規則，詳情請參見Dataphin支援的資料來源。

許可權說明

• 超級管理員、品質管理員、具有品質規則-管理許可權的自訂全域角色和資料來源負責人支援為品質規則配置調度、警示等。

• 品質負責人、普通使用者需要額外具備資料來源的同步讀取許可權，如需申請資料來源許可權，詳情請參見申請資料來源許可權。

• 針對不同對象支援的操作許可權有所差異，詳情請參見品質規則操作許可權。

品質規則試跑和運行區別

試跑和啟動並執行區別在於執行的方式和顯示的結果，試跑指對某個品質規則進行一次類比執行，以檢測規則的正確性和運行情況，試跑的結果不會在品質報告中顯示；運行指在特定時間內對品質規則進行檢查，啟動並執行結果會輸出到品質報告中，便於使用者查看和分析。

品質規則配置

1. 在Dataphin首頁，在頂部功能表列選擇治理 > 資料品質。

2. 單擊左側導覽列的品質規則，在資料來源頁面，單擊目標對象的名稱，進入品質規則詳情頁面，配置品質規則。

3. 在品質規則詳情頁面，單擊建立品質規則按鈕。

4. 在建立品質規則對話方塊中，配置參數。

   參數		描述
   基本資料	規則名稱	自訂品質規則的名稱，不超過256個字元。
   	規則強度	支援弱規則和強規則。 弱規則：如果您選擇了弱規則，則品質規則校正的結果為異常時警示但不阻塞下遊任務節點。 強規則：如果您選擇了強規則，則品質規則校正的結果為異常時警示，同時在有下遊任務的情況下（代碼檢查調度、任務觸發調度）會阻塞下遊任務，防止汙染資料擴散；如果沒有下遊任務（如周期品質調度），則僅警示。
   	描述	自訂品質規則描述。不超過128個字元。
   	規則模板	僅支援穩定性，包含資料來源連通性監測和表結構異動監測。 連通性監測：配置到Dataphin上的資料來源因網路變更、使用者名稱、密碼等原因導致串連失敗，進而導致任務報錯，對連通性監測的變化進行加監控警示。 表結構異動：上遊表的結構變化，如更名、刪除、增減欄位，進而導致下遊報錯，對錶結構的變化進行監控警示。
   	規則類型	規則類型和模板有關，是模板最基礎的屬性，可作為說明和篩選功能。
   	規則配置
   	選擇校正表	當規則模板選擇表結構異動監測時支援配置。根據DB/Schema選擇需校正的資料表。
   業務屬性配置	屬性資訊	業務屬性填寫規範取決於品質規則屬性的配置。例如：歸口管理部門所對應的欄位取實值型別為枚舉值（多選），可選枚舉值範圍為巨量資料部、業務部、技術部。因此，建立品質規則時，該屬性值為下拉多選框，可選項為枚舉值（多選），可選枚舉值範圍為巨量資料部、業務部、技術部。 規則負責人所對應的欄位取實值型別為自訂輸入，屬性欄位長度為256。因此，在建立品質規則時，該屬性值可以輸入不超過256個字元。 若屬性欄位的填寫方式為範圍區間，則配置方式如下： 範圍區間：常用於取值範圍是連續數值或日期的情況。可選擇>、>=、<、<=四種符號。更多屬性配置，請參見建立及管理品質規則屬性。
   調度屬性配置	調度方式	支援選擇已配置的調度；若暫未決定調度方式，您可建立品質規則後再配置。如需建立，請參見建立調度。

5. 單擊確定，完成規則配置。

規則配置列表

您可以在規則配置列表頁面查看已經配置的資料來源規則資訊，並進行查看、編輯、試跑、運行、刪除等操作。

建立調度

1. 在品質規則詳情頁面，單擊調度配置頁簽，再單擊建立調度按鈕，進入建立調度對話方塊。

2. 在建立調度對話方塊中，配置參數。

   參數	描述
   調度名稱	自訂調度名稱，不超過64個字元。
   調度類型	支援定時調度和固定任務觸發調度。 定時調度：根據設定的調度時間，支援定時、周期性地對資料進行品質檢測，適合資料產出時間相對固定的情境。 調度周期：品質規則運行會佔用一定的計算資源，建議避免同一時間並發執行多條品質規則，以免影響生產任務的正常運行。調度周期包含日、周、月、小時、分鐘五種周期類型。 當系統時區（即使用者中心的時區）與調度時區（即管理中心 > 系統設定 > 基礎設定中所配置的時區）不一致時，規則將根據系統時區進行執行。 固定任務觸發調度：在指定的任務運行成功後或運行前，執行配置的品質規則。支援選擇引擎SQL、離線管道、Python、Shell、Virtual、Datax、Spark_jar、Hive_MR、資料庫SQL節點的任務類型觸發任務。適用於表修改任務固定的情況。 說明 固定任務觸發只能選擇生產環境任務，若規則強度配置了強規則，調度任務校正失敗，可能會影響線上任務，請根據業務需求謹慎操作。 觸發時機：選擇進行品質檢測的觸發時機。支援選擇所有任務都運行成功後觸發、每個任務每次運行成功後均觸發和每個任務每次運行前觸發。 觸發任務：支援專案系統管理員或營運系統角色選擇生產專案下的任務節點，可以根據節點輸出名稱搜尋，也可以在推薦任務或全部任務中選擇。 說明 當觸發時機選擇所有任務都運行成功後觸發時，觸發任務建議選擇同調度周期的任務，避免因調度周期不同而導致規則延遲運行，品質檢測結果延遲產出。
   調度條件	預設關閉，開啟後，在品質規則正式調度前，會先判斷是否滿足調度條件。滿足條件才會正式調度，不滿足條件則忽略本次調度。 業務日期/執行日期：若調度類型選擇定時調度（定時調度不支援執行日期）、代碼檢查觸發調度、固定任務觸發調度，支援配置日期，可選擇普通日曆或自訂日曆，如何自訂日曆，請參見建立公用日曆。 若選擇普通日曆，則條件可選月份、星期、日期。例如下圖： 若選擇自訂日曆，則條件可選日期類型、標籤。例如下圖： 執行個體類型：若調度類型選擇代碼檢查觸發調度、固定任務觸發調度，支援配置執行個體類型，可選擇周期執行個體、補資料執行個體、手動執行個體。例如下圖： 說明 至少配置一條規則。如需添加規則，請單擊+添加規則按鈕。 最多配置10個調度條件。 調度條件之間的關係可配置為且、或。

3. 單擊確定，完成調度配置。

調度配置列表

調度建立完成後，您可以在調度配置列表執行查看、編輯、複製、刪除等操作。

設定警示

您可以給不同的規則配置不同的警示方式以實現區分警示，如：為強規則異常配置電話警示，弱規則異常配置簡訊警示；如果一個規則同時命中了多條警示配置，支援設定警示的生效策略。

1. 在品質規則詳情頁面，單擊警示配置頁簽，再單擊建立警示配置按鈕，進入建立警示配置對話方塊。

2. 在建立警示配置對話方塊，配置參數。

   參數	描述
   覆蓋範圍	支援選擇所有規則、所有強規則、所有弱規則和自訂。 說明 單個監控對象下，所有規則、所有強規則和所有弱規則3種範圍支援各配置一條警示，後續新增的規則根據規則強度自動匹配對應的警示；如需變更其中的某一條警示配置，可修改已有配置。 自訂範圍可選擇當前監控對象下已配置的所有規則，不超過200條。
   警示配置名稱	單個監控對象下警示配置名稱唯一，不超過256字元。
   警示接收人	配置警示接收人及警示方式。需要選擇至少一種警示接收人及警示方式。 警示接收人：支援選擇自訂、值班表和品質負責人三種警示接收人。 支援配置不超過5個自訂警示接收人；支援配置不超過3個值班表。 警示方式：支援選擇電話、郵件、簡訊、DingTalk、飛書、企業微信、自訂渠道不同的接收方式。此接收方式可通過配置渠道設定進行管控。

3. 單擊確定，完成警示配置。

警示配置列表

警示配置完成後，您可在警示配置列表中進行排序、編輯、刪除操作。

查看品質報告

單擊品質報告，查看當前品質規則的規則校正概覽和規則校正明細。

• 您可根據異常結果、分區時間、規則或對象的名稱關鍵字快捷篩選校正明細。

• 在規則校正明細列表中的操作列單擊表徵圖，查看品質規則的規則校正詳情。

• 在規則校正明細列表中的操作列單擊表徵圖，查看品質規則的執行日誌。

設定品質規則許可權管理

1. 單擊許可權管理，配置可查看詳情，即指定成員查看校正記錄詳情、品質規則詳情、品質報告。

   可查看詳情：可選擇所有成員或僅有當前對象品質系統管理權限的成員。

2. 單擊確定，完成許可權管理設定。

後續步驟

上述品質規則配置完成後，即可在資料來源規則列表頁面查看。詳情請參見查看監控對象列表。