E-MapReduce:モニターを設定する

ルール設定ページに移動する

1. Data Quality ページに移動します。

   DataWorks コンソール にログインします。 上部のナビゲーションバーで、目的のリージョンを選択します。 左側のナビゲーションウィンドウで、[データガバナンス] > [data Quality] を選択します。 表示されたページで、ドロップダウンリストから目的のワークスペースを選択し、[data Quality に移動] をクリックします。

2. ルール設定ページに移動します。

   Data Quality ページの左側のナビゲーションウィンドウで、[ルール設定] > [テーブル別に設定] を選択します。 [テーブル別に設定] ページで、次のフィルター条件に基づいて目的のテーブルを見つけます。

   • [データソース] セクションで、[E-MapReduce] を選択します。

   • [E-MapReduce] カテゴリで、本番環境の現在のプロジェクトを選択します。

   • [テーブル別に設定] ページの右側で、フィルター条件を指定して、監視ルールを設定する dwd_log_info_di_emr テーブルを見つけます。

3. 検索結果で目的のテーブルを見つけ、[アクション] 列の [監視ルールの設定] をクリックします。 テーブルの [テーブル品質の詳細] ページが表示されます。 次のセクションでは、テーブルの監視ルールを設定する方法について説明します。

モニターを設定する

モニターを使用して、テーブルの指定された範囲（パーティション）のデータの品質が期待どおりであるかどうかを確認できます。

この手順では、モニターの [データ範囲] パラメーターを dt=$[yyyymmdd-1] に設定する必要があります。 モニターが実行されると、モニターはパラメーター値に一致するデータパーティションを検索し、データの品質が期待どおりであるかどうかを確認します。

この場合、dwd_log_info_di_emr テーブルにデータを書き込むために使用されるスケジューリングノードが実行されるたびに、モニターがトリガーされ、モニターに関連付けられたルールを使用して、指定された範囲のデータの品質が期待どおりであるかどうかが確認されます。

次の手順を実行する必要があります。

1. [モニター] タブで、[モニターの作成] をクリックします。

2. モニターのパラメーターを設定します。

   

   次の表に、主要なパラメーターを示します。

   パラメーター	説明
   [データ範囲]	dt=$[yyyymmdd-1]
   [トリガー方法]	トリガー方法。 このパラメーターを [本番環境でのノードスケジューリングによってトリガーされる] に設定し、データ処理 中に作成された dwd_log_info_di_emr ノードを選択します。
   [監視ルール]	このパラメーターを設定する必要はありません。 監視ルールは、「監視ルールを設定する」セクションで設定します。

   説明

   モニターの設定方法の詳細については、「単一テーブルの監視ルールを設定する」をご参照ください。

監視ルールを設定する

dwd_log_info_di_emr テーブルは、ods_raw_log_d_emr テーブルのデータを処理するために使用されます。 無効なデータ処理とデータ品質の問題を防ぐために、dwd_log_info_di_emr テーブルの行数が 0 より大きいことを監視する強いルールを作成して設定する必要があります。 このルールは、先祖ノードが dwd_log_info_di_emr テーブルのパーティションにデータを書き込むかどうかを判断するのに役立ちます。

dwd_log_info_di_emr テーブルの関連パーティションの行数が 0 の場合、アラートがトリガーされ、dwd_log_info_di_emr ノードは失敗して終了し、dwd_log_info_di_emr ノードの子孫ノードの実行がブロックされます。

次の手順を実行する必要があります。

1. [ルール管理] タブの [モニターパースペクティブ] セクションで、モニターを選択します。 この例では、raw_log_number_of_table_rows_not_0 モニターが選択されています。 次に、タブの右側にある [ルールの作成] をクリックします。 [ルールの作成] パネルが表示されます。

   

2. [ルールの作成] パネルの [システムテンプレート] タブで、[テーブルが空ではない] ルールを見つけ、[使用] をクリックします。 パネルの右側で、[重要度] パラメーターを [強いルール] に設定します。

   説明

   この例では、ルールは強いルールとして定義されています。これは、dwd_log_info_di_emr テーブルの行数が 0 であることが検出された場合、アラートがトリガーされ、子孫ノードの実行がブロックされることを示します。

   

3. [決定] をクリックします。

   説明

   監視ルールに設定されているその他のパラメーターについては、「単一テーブルの監視ルールを設定する」をご参照ください。

モニターのテスト実行を実行する

テスト実行を実行して、モニターに関連付けられている監視ルールの構成が期待どおりに機能するかどうかを確認できます。 ルールの構成が正しく、期待どおりであることを確認するには、モニターに関連付けられているルールを作成した後に、モニターのテスト実行を実行します。

1. [テスト実行] をクリックします。 [テスト実行] ダイアログボックスが表示されます。

2. [テスト実行] ダイアログボックスで、[スケジューリング時間] パラメーターを設定し、[テスト実行] をクリックします。

3. テスト実行が完了したら、[詳細の表示] をクリックしてテスト結果を表示します。

   

モニターをサブスクライブする

Data Quality は、監視とアラート機能を提供します。 モニターをサブスクライブして、データ品質の問題に関するアラート通知を受信できます。 これにより、データ品質の問題をできるだけ早く解決し、データセキュリティ、データの安定性、およびデータ生成の適時性を確保できます。

サブスクリプションの設定が完了したら、左側のナビゲーションウィンドウで [品質 O&M] > [モニター] を選択します。 次に、[モニター] ページで [マイサブスクリプション] をクリックして、サブスクライブ済みのモニターを表示および変更します。