Dataphin：資產品質概述

前提條件

已購買資產品質增值服務並且當前租戶已開通資產品質模組。

背景資訊

面對各行各業日趨強烈的巨量資料建設、管理及應用的訴求，Dataphin應用情境的多樣性及複雜性隨之增加。因業務系統的未經處理資料的規範性無法得以保障，所以Dataphin需要定義資料分析的品質，以滿足資產品質的時效性、準確性、完整性、一致性、有效性，助您真正能夠依賴資料進行經營決策。

資料品質流程引導

資料品質流程引導協助您從（可選）配置規則模板->引入監控對象->配置品質規則->規則校正->查看校正記錄和查看品質報告->進行品質整改的整體流程引導。

品質規則使用情境

在開發中，資產品質提供著重要的資料品質保障作用。

品質校正過程中，發現品質異常，根據規則設定的強弱屬性，判斷是否需要熔斷下遊任務防止異常資料擴散。

• 如果是強規則，則品質規則校正的結果為異常時警示並阻塞下遊任務節點。

• 如果是弱規則，則品質規則校正的結果為異常時警示但不阻塞下遊任務節點。

功能概述

• 資產品質支援Dataphin資料表、全域資料表、指標、資料來源和即時元表的規則校正及整改。

  • Dataphin資料表支援多種表類型（如物理表、事實邏輯表、維度邏輯表、匯總邏輯表）的規則校正和整改。

  • 全域資料表支援多種資料來源類型（如MaxCompute、Hive、Mysql、Oracle、Microsoft SQL Server、PostgreSQL、SAP HANA、AnalyticDB for PostgreSQL、ClickHouse、IBM DB2、DM、Hologres、AgroDB）下的資料表規則校正和整改。

  • 支援對指標的欄位分組個數、欄位重複值個數、欄位穩定性及欄位波動性進行監控、異常警示及整改。

  • 支援對資料來源的連通性和表結構異動進行監測、異常警示及整改。

  • 支援對即時元表進行統計值檢測、即時離線對比和即時多鏈路對比、異常警示及整改。

• 資產品質提供全鏈路的資料品質解決方案，包括資料表、資料來源、指標和即時元表的品質校正、品質監控、智能警示、產生品質報告、發起整改等功能。保證了資料在生產及使用流程中的可靠性和合理性，從而避免因為資料品質問題而導致資料失信、決策失誤。

資產品質包括品質概覽、品質監控和品質治理：

• 品質概覽為您展示品質規則校正的表數、校正結果為異常的表數等資訊，協助您從整體品質規則校正結果的視角出發，快速識別並處理異常的校正結果。

• 品質監控為您提供品質規則列表、配置品質規則、查看校正記錄、查看品質報告功能。

• 品質治理協助您查看資料品質在校正過程中的出錯情況及針對該品質校正問題發起整改、忽略、通知等治理操作，從而實現資產品質從制定計划到實現整改的PDCA完整流程，有效提升資料品質。