Dataphin プラットフォームに基づくデータ品質は、品質ルールの構成、監視、スケジューリング、インテリジェントアラート、検証管理を含む、データ開発と活用のための包括的なソリューションを提供します。
前提条件
データ品質付加価値サービスを購入し、現在のテナントでデータ品質モジュールを有効にする必要があります。
背景情報
ビッグデータのインフラストラクチャ、管理、およびアプリケーションに対する需要が業界全体で高まるにつれて、Dataphin シナリオの多様性と複雑さが増しています。適時性、正確性、完全性、一貫性、および妥当性の観点からデータ品質を確保するために、Dataphin は生の業務システムデータを標準化し、信頼できるデータに基づいたビジネス上の意思決定を可能にします。
データ品質プロセスガイド
データ品質プロセスガイドは、(オプション) ルールテンプレートの構成 -> 監視対象の導入 -> 品質ルールの構成 -> ルールの検証 -> 検証レコードの表示 および 品質レポートの表示 -> 品質修正の実行 の手順を説明します。
品質ルールのシナリオ
データ品質は、データの整合性を確保するための開発において非常に重要です。
検証中に品質の異常が検出された場合、ルール設定の強度 (ハードまたはソフト) によって、異常データの伝播を防ぐためにダウンストリームタスクを中断するかどうかが決まります。
ハードルールは、品質ルール検証結果が異常な場合、アラートをトリガーし、ダウンストリーム タスクノードをブロックします。
ソフトルールは、品質ルール検証結果が異常な場合、アラートをトリガーしますが、ダウンストリーム タスクノードをブロックしません。
機能概要
データ品質では、Dataphin テーブル、グローバルテーブル、メトリック、データソース、リアルタイムメタテーブルなど、さまざまなエンティティのルール検証と修正が可能です。
Dataphin テーブル は、物理テーブル、論理ファクトテーブル、論理ディメンションテーブル、論理集計テーブルなど、さまざまなテーブルタイプ全体のルール検証と修正を容易にします。
グローバルテーブル は、MaxCompute、Hive、MySQL、Oracle、Microsoft SQL Server、PostgreSQL、SAP HANA、AnalyticDB for PostgreSQL、ClickHouse、IBM DB2、DM、Hologres など、さまざまなデータソースタイプ全体のルール検証と修正を容易にします。
メトリック 内のフィールドグループの数、重複するフィールド値、フィールドの安定性、および変動性について、監視、異常アラート、および修正操作を提供します。
データソース の接続性とテーブル構造の変化について、監視、異常アラート、および修正操作を提供します。
リアルタイムメタテーブル の統計値の検出、リアルタイムとオフラインの比較、 multilink リアルタイム比較、異常アラート、および修正操作のサポートを提供します。
データ品質は、テーブル、データソース、メトリック、リアルタイムメタテーブルの品質検証、監視、インテリジェントアラート、レポート生成、修正開始のためのエンドツーエンドのソリューションを提供します。これにより、生産および使用プロセス全体でデータの信頼性と妥当性が確保され、データ品質の問題による不信感や意思決定エラーを防ぎます。
データ品質には、[品質概要]、[品質監視]、[品質管理] が含まれます。
[品質概要] は、検証されたテーブルの数、異常な結果のテーブルの数、およびその他の関連情報を表示し、異常な検証結果の迅速な特定と解決を容易にします。
[品質監視] は、品質ルールのリスト、構成オプション、検証レコードの表示、および品質レポートへのアクセスを提供します。
[品質管理] では、データ品質検証プロセスにおけるエラーレビューと、修正の開始、無視、通知、およびその他の管理操作を有効にし、計画から実行までの PDCA サイクルを完了することで、データ品質を効果的に向上させます。