スケジューリングノードが dwd_log_info_di_emr テーブルにデータを書き込んだ後、ダウンストリームのノードが実行される前に、空のパーティションなどのデータ品質の問題を検出したい場合があります。本トピックでは、dwd_log_info_di_emr テーブルに対してモニターと強制ルールを構成し、スケジュールされた各実行時に自動的に品質チェックがトリガーされるようにする手順を説明します。チェックに失敗した場合はアラートが発信され、子孫ノードの実行がブロックされます。
前提条件
作業を開始する前に、以下の要件を満たしていることを確認してください。
ステップ 1：テーブル単位での構成ページへの移動
Data Quality ページに移動します。DataWorks コンソール にログインします。上部のナビゲーションバーで目的のリージョンを選択し、左側のナビゲーションウィンドウで Data Governance > Data Quality を選択します。表示されたページでドロップダウンリストから目的のワークスペースを選択し、[Data Quality へ移動] をクリックします。
テーブル単位での構成ページに移動します。Data Quality ページの左側ナビゲーションウィンドウで、[ルールの構成] > [テーブル単位での構成] を選択します。「テーブル単位での構成」ページで、
dwd_log_info_di_emrテーブルを検索します。「接続」セクションで、E-MapReduce を選択します。
ページ右側で追加のフィルター条件を指定して、対象テーブルを特定します。
検索結果で、
dwd_log_info_di_emrの **[操作]** 列にある [ルール管理] をクリックします。「テーブル品質の詳細」ページが表示されます。
ステップ 2：モニターの構成
モニターは、チェック対象のデータ範囲（パーティション）とチェックのトリガー方法を定義します。本番環境で dwd_log_info_di_emr にデータを書き込むスケジューリングノードが完了するたびに、モニターが実行されるように設定します。
[モニター] タブで、[モニターの作成] をクリックします。
以下のパラメーターを構成します。
パラメーター 値 説明 データ範囲 dt=$[yyyymmdd-1]パーティションフィルターです。モニター実行時、この式に一致するパーティション（本例では前日のパーティション）がチェックされます。 モニタリングルール （空白のまま） ステップ 3 で別途構成します。 トリガー方法 本番環境でのノードスケジューリングによるトリガー dwd_log_info_di_emrノードが完了するとすぐにモニターが実行されます。中に作成されたdwd_log_info_di_emrデータ処理 ノードを選択します。モニターのパラメーター一覧については、「単一テーブルのモニタリングルールの構成」をご参照ください。
ステップ 3：モニタリングルールの構成
dwd_log_info_di_emr テーブルは、ods_raw_log_d_emr からのデータを処理します。ダウンストリームノードの実行前に空のパーティションを検出するため、行数が 0 より大きいことを検証する強制ルールを作成します。
強制ルール は、チェックに失敗した場合に子孫ノードをブロックし、アラートをトリガーします。
ルールを作成するには、次の手順を実行します。
[ルール管理] タブの [モニターパースペクティブ] セクションで、
raw_log_number_of_table_rows_not_0モニターを選択し、[ルールの作成] をクリックします。[ルールの作成] パネルが表示されます。
[システムテンプレート] タブで、「テーブルが空でない」を検索し、[使用] をクリックします。「テーブルが空でない」ルールは、パーティションに少なくとも 1 行のデータが含まれているかをチェックします。先祖ノードがパーティションにデータを書き込んだかどうかを直接検出できるため、本シナリオに適しています。行数が 0 の場合、ルールは失敗します。パネル右側で、[重要度] を 強制ルール に設定します。
この設定により、
dwd_log_info_di_emrの行数が 0 の場合、アラートがトリガーされ、子孫ノードの実行がブロックされます。
[決定] をクリックします。
他のルールパラメーターについて詳しくは、「単一テーブルのモニタリングルールの設定」をご参照ください。
ステップ 4：テスト実行
モニターが本番稼働する前に、ルール構成を検証するためのテストを実行します。モニターに関連付けられたすべてのルールを作成した後に、テスト実行を行ってください。
[テスト実行] をクリックします。[テスト実行] ダイアログボックスが表示されます。
[テスト実行] ダイアログボックスで、[スケジューリング時間] パラメーターを設定し、[テスト実行] をクリックします。
テスト実行が完了したら、[詳細の表示] をクリックして結果を確認します。
ステップ 5：モニターのサブスクリプション
アラート通知をサブスクライブすると、データセキュリティ、データの安定性、およびデータ生成の適時性を確保できます。
[ルール管理] タブで、[アラートサブスクリプション] をクリックします。[アラートサブスクリプション] ダイアログボックスで、通知方法と受信者を選択し、[保存] をクリックします。
サブスクリプションを表示または変更するには、左側のナビゲーションウィンドウで [品質 O&M] > [モニター] を選択します。「モニター」ページで、[マイサブスクリプション] をクリックします。
次のステップ
データ処理が完了したら、DataAnalysis を使用してダッシュボード上にデータを可視化します。詳細については、「ダッシュボード上でのデータの可視化」をご参照ください。