全部產品
Search
文件中心

Dataphin:配置整合式管線品質監控

更新時間:Jan 25, 2025

通過離線整合式管線品質監控,Dataphin會自動為您監控資料表的品質,如果資料表有品質風險,系統會自動警示,通知警示接收人,協助您及時瞭解資料表品質狀況。本文為您介紹如何配置品質規則。

許可權說明

  • 專案開發人員支援建立整合任務、配置品質規則並提交發布任務。

  • 品質管理員、資料來源/表的品質負責人和超級管理員支援在整合任務中建立品質規則並發布。

建立離線管道品質監控

  1. 在Dataphin首頁,單擊頂部功能表列的研發

  2. 按照下圖指引進入建立品質規則對話方塊,配置品質規則,監測資料表的品質(配置品質規則需開通資產品質模組)。

    依次單擊整合->選擇專案->單擊離線整合->選擇離線管道->單擊品質監控->單擊建立品質規則

    image

  3. 建立品質規則對話方塊,配置品質規則參數。

    image.png

    參數

    描述

    規則模板

    選擇規則模板,支援表結構異動監測表穩定性校正表波動性校正三個模板。

    資料表

    選擇該整合式管線內適用該規則模板的生產環境資料表,點擊更多規則,可跳轉至資料品質模組配置更多規則模板,詳情請參見建立資料表品質規則

    image

    規則強度

    選擇品質規則的強弱:

    • 如果您選擇了強規則,則品質規則校正的結果為異常時警示並阻塞下遊任務節點。

    • 如果您選擇了弱規則,則品質規則校正的結果為異常時警示但不阻塞下遊任務節點。

    規則配置

    當規則模板選擇表穩定性校正表波動性校正需配置。根據所選規則模板不同而配置不同。詳情請參見資料表參數配置

    規則校正

    當規則模板選擇表穩定性校正表波動性校正需配置。

    • 資料品質規則校正後,結果會和異常校正的配置進行對比,符合條件則校正結果為不通過;同時觸發警示等後續流程。

    • 異常校正可用指標由模板和配置內容決定,支援多種條件的and / or條件,實際配置中建議小於3條。

    詳情請參見校正配置說明

    調度方式

    支援定時調度本任務運行前調度本任務完成後調度

    • 定時調度:按照設定的時間,周期性的對資料進行品質檢測,適合資料文檔產出的情境。

      • 調度周期:包含小時分鐘五種周期類型。

    • 本任務運行前調度:在該整合任務運行前運行品質規則。

    • 本任務完成後調度:在該整合任務運行且成功完成後運行品質規則。

    分區運算式

    若資料表為分區表,需配置分區運算式,支援分區運算式類型自訂分區運算式。分區運算式詳情請參見內建分區運算式類型

    分區預算

    目前時間下,根據分析運算式的推算分區。

  4. 單擊確定,完成品質規則配置。

    說明

    品質規則配置完成後,建議在資產品質模組查看當前監控對象是否已配置能覆蓋當前規則的警示,如需配置,請參見警示配置

配置完成後,可在品質監控抽屜查看規則配置資訊,同時您可以對未發布的規則執行編輯刪除操作。

image

查看發行品質規則

當開啟整合式管線的品質規則彈框,Dataphin會自動拉取該管道內所有資料表已配置並發布的所有品質規則,整合式管線內僅支援建立品質規則,不支援編輯或修改發行的規則,如需修改請前往資產品質頁面修改,詳情請參見建立資料表品質規則

image