DataWorks:データ品質の監視

ステップ 1：テーブル別設定ページに移動する

1. データ品質ページに移動します。

   DataWorks コンソール にログインします。上部のナビゲーションバーで、目的のリージョンを選択します。左側のナビゲーションウィンドウで、[データガバナンス] > [データ品質] を選択します。表示されるページで、ドロップダウンリストから目的のワークスペースを選択し、[データ品質に移動] をクリックします。

2. テーブル別設定ページに移動します。

   データ品質ページの左側のナビゲーションウィンドウで、[ルールの設定] > [テーブル別設定] を選択します。テーブル別設定ページで、次のフィルター条件に基づいて目的のテーブルを見つけます。

   • 接続セクションで、E-MapReduce を選択します。

   • テーブル別設定ページの右側で、フィルター条件を指定して、監視ルールを設定する dwd_log_info_di_emr テーブルを見つけます。

3. 検索結果で目的のテーブルを見つけ、アクション列の [ルール管理] をクリックします。テーブルのテーブル品質詳細ページが表示されます。次のセクションでは、テーブルの設定について説明します。

ステップ 2：モニターを設定する

モニターを使用して、テーブルの指定された範囲（パーティション）のデータの品質が期待どおりであるかどうかを確認できます。

このステップでは、モニターの [データ範囲] パラメーターを dt=$[yyyymmdd-1] に設定する必要があります。モニターが実行されると、モニターはパラメーター値に一致するデータパーティションを検索し、データの品質が期待どおりであるかどうかを確認します。

この場合、dwd_log_info_di_emr テーブルにデータを書き込むために使用されるスケジューリングノードが実行されるたびに、モニターがトリガーされ、モニターに関連付けられている監視ルールを使用して、指定された範囲のデータの品質が期待どおりであるかどうかが確認されます。

次の手順を実行する必要があります。

1. [モニター] タブで、[モニターの作成] をクリックします。

2. モニターのパラメーターを設定します。次の表に、主要なパラメーターを示します。

   パラメーター	説明
   [データ範囲]	dt=$[yyyymmdd-1]
   [監視ルール]	このパラメーターを設定する必要はありません。監視ルールは、「監視ルールの設定」セクションで設定されます。
   [トリガー方法]	トリガー方法。このパラメーターを本番環境でのノードスケジューリングによってトリガーされるに設定し、データ処理中に作成された dwd_log_info_di_emr ノードを選択します。

   説明

   モニターの構成方法の詳細については、「単一テーブルの監視ルールの構成」をご参照ください。

ステップ 3：監視ルールを設定する

dwd_log_info_di_emr テーブルは、ods_raw_log_d_emr テーブルのデータを処理するために使用されます。無効なデータ処理とデータ品質の問題を防ぐために、 dwd_log_info_di_emr テーブルの行数が 0 より大きいかどうかを監視する強力なルールを作成して構成する必要があります。このルールは、祖先ノードが dwd_log_info_di_emr テーブルのパーティションにデータを書き込むかどうかを判断するのに役立ちます。

dwd_log_info_di_emr テーブルの関連パーティションの行数が 0 の場合、アラートがトリガーされ、dwd_log_info_di_emr ノードは失敗して終了し、dwd_log_info_di_emr ノードの子孫ノードの実行がブロックされます。

次の手順を実行する必要があります。

1. [ルール管理] タブの [モニターパースペクティブ] セクションで、モニターを選択します。この例では、raw_log_number_of_table_rows_not_0 モニターが選択されています。次に、[ルールの作成] をクリックします。ルールの作成パネルが表示されます。

   

2. ルールの作成パネルの [システムテンプレート] タブで、[テーブルが空ではない] ルールを見つけて、[使用] をクリックします。パネルの右側で、[重要度] パラメーターを [強力なルール] に設定します。

   説明

   この例では、ルールは強力なルールとして定義されています。これは、dwd_log_info_di_emr テーブルの行数が 0 であることが判明した場合、アラートがトリガーされ、子孫ノードの実行がブロックされることを示します。

   

3. [決定] をクリックします。

   説明

   監視ルールに設定されている他のパラメーターについては、「単一テーブルの監視ルールの構成」をご参照ください。

ステップ 4：モニターのテスト実行を実行する

テスト実行を実行して、モニターに関連付けられている監視ルールの設定が期待どおりに機能するかどうかを確認できます。ルールの設定が正しく、期待どおりであることを確認するには、モニターに関連付けられているルールを作成した後に、モニターのテスト実行を実行します。

1. [テスト実行] をクリックします。[テスト実行] ダイアログボックスが表示されます。

2. [テスト実行] ダイアログボックスで、[スケジューリング時間] パラメーターを設定し、[テスト実行] をクリックします。

3. テスト実行が完了したら、[詳細の表示] をクリックしてテスト結果を表示します。

   

ステップ 5：モニターをサブスクライブする

データ品質は、監視とアラート機能を提供します。モニターをサブスクライブして、データ品質の問題に関するアラート通知を受信できます。これにより、データ品質の問題をできるだけ早く解決し、データセキュリティ、データの安定性、およびデータ生成の適時性を確保できます。

1. [ルール管理] タブで、[アラートサブスクリプション] をクリックします。[アラートサブスクリプション] ダイアログボックスで、通知方法と受信者を選択し、アクション列の [保存] をクリックします。

   

2. サブスクライブしたモニターを表示および変更します。

   サブスクリプションの設定が完了したら、左側のナビゲーションウィンドウで [品質 O&M] > [モニター] を選択します。次に、モニターページの [マイサブスクリプション] をクリックして、サブスクライブしたモニターを表示および変更します。