DataWorks:データ品質モニタリングの設定

ステップ 1：ルール設定への移動

1. DataWorks コンソールにログインします。対象のリージョンで、左側のナビゲーションウィンドウの データガバナンス > データ品質 をクリックします。ドロップダウンリストからワークスペースを選択し、入力 データ品質 をクリックします。

2. テーブルのルール設定ページに移動します。

   Data Quality ページの左側のナビゲーションウィンドウで、Configure Rules > Configure by Table をクリックします。以下のパラメーターに基づいて対象のテーブルを特定します。

   • 接続：E-MapReduce。

   • テーブル: このチュートリアルでは、dwd_log_info_di_emr テーブルのモニタリングルールを設定します。

3. 検索結果で対象のテーブルを見つけ、[操作] 列の Rule Management をクリックして、テーブルの品質詳細ページを開きます。

ステップ 2：モニターの設定

モニターは、ターゲットテーブルの指定されたデータ範囲 (パーティション) 内のデータが期待値を満たしているかどうかをチェックします。

このステップでは、モニターの Data Range を dt=$[yyyymmdd-1] に設定します。モニターが実行されると、一致するパーティション内のデータをチェックして、品質要件を満たしているかどうかを判断します。

これは、dwd_log_info_di_emr テーブルのスケジューリングノードが実行されるたびに、モニターがトリガーされることを意味します。その後、モニターは関連付けられた品質ルールを使用して、指定されたデータ範囲内のデータを検証します。

次の手順を実行します。

1. Monitor タブで、Create Monitor をクリックします。

2. モニターのパラメーターを設定します。主要なパラメーターは以下のとおりです。

   パラメーター	例
   Data Range	dt=$[yyyymmdd-1]
   Monitoring Rule	この設定は後のステップで行います。
   Trigger Method	[本番スケジューリングによるトリガー] を選択し、「データ処理」トピックで作成した dwd_log_info_di_emr ノードを選択します。

   説明

   モニターの設定方法の詳細については、「ルール設定：テーブルごと (単一テーブル)」をご参照ください。

ステップ 3：モニタリングルールの設定

dwd_log_info_di_emr テーブルは、ods_raw_log_d_emr テーブルのデータを処理するために使用されます。無効な処理と品質上の問題を防止するために、[テーブルが空ではない] テンプレートに基づいて Strong ルールを設定します。このルールは、先祖ノードがテーブルパーティションにデータを書き込んだかどうかを判断します。

dwd_log_info_di_emr テーブルの対応するパーティションの監視対象の行数が 0 の場合、アラートがトリガーされ、dwd_log_info_di_emr ノードは失敗して終了し、dwd_log_info_di_emr ノードの子孫ノードの実行をブロックします。

次の手順を実行します。

1. Rule Management タブの Monitor Perspective で、作成したモニター (例: raw_log_number_of_table_rows_not_0) を選択し、Create Rule をクリックして [ルールを作成] パネルを開きます。

2. System Template タブで、The number of rows is greater than 0. ルールを見つけ、Use をクリックします。その後、Degree of importance を Strong rules に変更します。

   説明

   このチュートリアルでは、ルールは強いルールとして定義されています。これは、モニターが dwd_log_info_di_emr テーブルの行数が 0 であることを検出した場合、アラートがトリガーされ、すべての子孫ノードがブロックされることを意味します。

3. Determine をクリックします。

   説明

   その他の設定項目については、「ルール設定：テーブルごと (単一テーブル)」をご参照ください。

ステップ 4：モニターのテスト

テストを実行して、モニタリングルールが正しく設定され、期待どおりに機能することを確認できます。

1. Test Run をクリックして、Test Run ダイアログボックスを開きます。

2. Test Run ダイアログボックスで、Data Timestamp を選択し、Test Run をクリックします。

3. テスト実行が完了したら、画面の指示に従い、View Details をクリックして結果を確認します。

   [現在の実行記録] タブには、ルール情報 (ルール名、ID、範囲、テンプレート、重要度、比較メソッド、しきい値を含む)、検出タスク実行情報 (トリガーメソッド、ルールトリガー時間、業務日、実際の開始時刻、ルール終了時間を含む)、および品質収集と比較結果 (チェックステータス、チェック結果、ベースライン値、サンプル値、チェック値を含む) の 3 つのセクションに情報が表示されます。

ステップ 5：モニターのサブスクライブ

Data Quality は、モニタリングとアラート機能を提供します。モニターをサブスクライブすると、品質チェックの失敗に関するアラートをタイムリーに受信できます。これにより、問題を迅速に解決し、データが安全かつ時間どおりに生成されることを保証できます。

1. Rule Management タブで、Subscribe to Alerts をクリックします。Subscribe to Alerts ダイアログボックスで、サブスクリプションメソッドと受信者を選択し、Save をクリックします。

2. サブスクリプションの表示と変更

   サブスクリプションを設定した後、左側のナビゲーションウィンドウで Quality O&M > Monitor をクリックします。次に、My Subscriptions タブをクリックして、サブスクリプションを表示および変更します。