DataWorks Data Quality は、ソースデータの変更を検出し、抽出・変換・書き出し (ETL) プロセス中に生成されたダーティデータを特定することで、高いデータ品質を維持するのに役立ちます。問題のあるタスクを自動的にブロックして、ダーティデータがダウンストリームノードに拡散するのを防ぐことができます。これにより、運用やビジネス上の意思決定に影響を与える可能性のある予期せぬデータの問題を防ぎ、タスクの再実行やデータの修正に伴う時間とリソースのコストを削減します。
課金
Data Quality は、監視ルールを使用してデータ品質をチェックします。 Data Quality チェックで発生する料金は、次の 2 つの部分で構成されます。
DataWorks の請求書に含まれる料金
Data Quality チェックの数に基づいて DataWorks から課金されます。詳細については、「その他の料金」をご参照ください。
DataWorks の請求書に含まれない料金
DataWorks ワークスペースに関連付けられているコンピューティングエンジンによって課金されます。 監視ルールがトリガーされると、SQL 文が生成され、特定のコンピューティングエンジンによって実行されます。
この場合、コンピューティングエンジンによって消費された計算リソースに対して課金されます。 詳細については、各タイプのコンピューティングエンジンの課金に関するトピックをご覧ください。 たとえば、従量課金 MaxCompute プロジェクトの課金方法を DataWorks ワークスペースに関連付けます。 この場合、SQL 文を実行すると課金され、料金は DataWorks の請求書ではなく MaxCompute の請求書に含まれます。
機能
完全性、正確性、妥当性、一貫性、独自性、適時性など、複数のディメンションにわたって品質監視ルールを構成できます。 これらのルールはスケジューリングノードに関連付けることができるため、タスクの実行が完了すると、品質チェックが自動的にトリガーされます。 これにより、問題のあるデータをできるだけ早く検出し、ルールの重大度レベルを設定して、タスクが失敗して停止するかどうかを制御できます。 このアプローチは、ダーティデータの拡散を防ぎ、データリカバリに必要な時間とコストを大幅に削減するのに役立ちます。
各 Data Quality モジュールの機能は次のとおりです。
機能 | 説明 | |
ダッシュボードページには、ワークスペースのデータ品質の概要が表示されます。 これには、主要なデータ品質メトリック、ルールのチェックインスタンスの傾向と分布、データ品質の問題が最も多いテーブル、問題の所有者、および監視ルールの適用範囲の状態が含まれます。 これにより、データ品質の所有者は、ワークスペースのデータ品質の全体的な状態を理解し、問題に迅速に対処してデータ品質を向上させることができます。 | ||
品質資産 | 構成済みのすべての監視ルールを表示します。 | |
ユーザー定義のルールテンプレートを管理して、ルール構成の効率を向上させます。 | ||
ルールの構成 | 単一のテーブルに対して監視ルールを構成するか、ルールテンプレートに基づいて複数のテーブルに対してルールを作成します。 | |
品質 O&M | 現在のワークスペースに作成されたすべてのモニターを表示します。 | |
モニターの結果を表示します。 モニターの実行後、このページで詳細を表示できます。 | ||
品質分析 | レポートテンプレートを作成し、ルール構成と実行に関連するメトリックを追加します。 レポートは、定義されたレポート期間、配信時間、およびサブスクリプションの詳細に基づいて定期的に生成および送信されます。 | |
使用上の注意
次の表に、データソースの種類と、データソースの種類がサポートされているリージョンを示します。
データソースの種類
サポートされているリージョン
MaxCompute
StarRocks
MySQL
中国 (杭州)、中国 (上海)、中国 (北京)、中国 (張家口)、中国 (ウランチャブ)、中国 (深セン)、中国 (成都)、中国 (香港)、日本 (東京)、シンガポール、マレーシア (クアラルンプール)、インドネシア (ジャカルタ)、ドイツ (フランクフルト)、英国 (ロンドン)、米国 (シリコンバレー)、および米国 (バージニア)。
E-MapReduce
中国 (杭州)、中国 (上海)、中国 (北京)、中国 (張家口)、中国 (深セン)、中国 (香港)、日本 (東京)、シンガポール、マレーシア (クアラルンプール)、インドネシア (ジャカルタ)、ドイツ (フランクフルト)、および米国 (シリコンバレー)。
Hologres
中国 (杭州)、中国 (上海)、中国 (北京)、中国 (張家口)、中国 (深セン)、中国 (香港)、日本 (東京)、日本 (東京)、シンガポール、マレーシア (クアラルンプール)、インドネシア (ジャカルタ)、ドイツ (フランクフルト)、米国 (シリコンバレー)、および米国 (バージニア)。
AnalyticDB for PostgreSQL
中国 (杭州)、中国 (上海)、中国 (北京)、中国 (深セン)、および日本 (東京)。
AnalyticDB for MySQL
中国 (深セン)、シンガポール、および米国 (シリコンバレー)。
CDH
中国 (上海)、中国 (北京)、中国 (張家口)、中国 (香港)、およびドイツ (フランクフルト)。
E-MapReduce、Hologres、AnalyticDB for PostgreSQL、AnalyticDB for MySQL、CDH、StarRocks、および MySQL の監視ルールを構成する前に、最初にそれらのメタデータを収集する必要があります。 詳細については、「EMR データソースからメタデータを収集する」をご参照ください。
E-MapReduce、Hologres、AnalyticDB for PostgreSQL、AnalyticDB for MySQL、CDH、StarRocks、および MySQL のテーブルの監視ルールをトリガーするには、データを生成するスケジューリングノードが、そのデータソースに接続されているリソースグループで実行されている必要があります。
1 つのテーブルに複数の監視ルールを構成できます。
シナリオ
オフラインデータ検証シナリオでは、パーティションフィルター式を指定し、そのルールをテーブルのデータを生成するスケジューリングノードに関連付けることによって、テーブルの監視ルールを構成します。 ノードが実行されると、監視ルールがトリガーされ、フィルター式に一致するパーティション内のデータがチェックされます。 ドライランタスクは監視ルールをトリガーしないことに注意してください。 ルールを強いルールまたは弱いルールとして構成して、異常が検出された場合にタスクを失敗させるかどうかを決定できます。これにより、ダーティデータがダウンストリームに拡散するのを防ぎます。 ルール構成ページでは、迅速なアラート通知を受信するための通知方法を指定することもできます。
監視ルールの構成
監視ルールの作成: 単一のテーブルのルールを作成するか、テンプレートを使用して複数のテーブルのルールを一括作成できます。 詳細については、「単一テーブルの監視ルールを構成する」および「テンプレートに基づいて複数のテーブルの監視ルールを構成する」をご参照ください。
監視ルールにサブスクライブする: ルールが作成された後、ルールにサブスクライブして、データ品質チェックのアラート通知を受信できます。 通知方法には、[メール]、[メールと SMS]、[DingTalk チャットボット]、[DingTalk チャットボット @ALL]、[Lark グループチャットボット]、[Enterprise Wechat チャットボット]、[カスタム Webhook]、および [電話] が含まれます。
説明[カスタム Webhook] 通知方法は、DataWorks Enterprise Edition でのみサポートされています。
監視ルールのトリガー
[オペレーションセンター] でスケジューリングノードが実行されると、関連付けられた監視ルールがトリガーされ、ノードが生成するデータの品質がチェックされます。 SQL 文が生成され、関連するコンピューティングエンジンで実行されます。 ルールの強度 (強または弱) とそのチェック結果に基づいて、DataWorks はタスクを失敗させるかどうかを決定します。 これにより、ダウンストリームノードの実行がブロックされ、ダーティデータの拡散が防止されます。
検証結果の表示
検証結果は [モニター] ページで表示できます。[実行記録] ページでテーブルまたはノードを検索すると、データ品質モニタリングの検証詳細を表示できます。詳細については、「モニターの詳細を表示する」をご参照ください。