DataWorks:データ品質監視ノード

[テーブルの追加] をクリックします。[テーブルの追加] ダイアログボックスで、監視する対象のテーブルを検索して選択します。

• 非パーティションテーブル: デフォルトではテーブル全体が監視されます。このステップはスキップできます。

• パーティションテーブル: 監視するパーティションを選択します。スケジューリングパラメーター を使用できます。[プレビュー] をクリックして、パーティションフィルター式の計算結果が正しいことを確認します。

新しいルールを作成するか、既存のルールをインポートできます。構成されたルールはデフォルトで有効になります。

• ルールの作成

  [ルールの作成] をクリックして、テンプレートから、またはカスタム SQL 文を使用してデータ品質監視ルールを作成します。次のセクションでは、これらのメソッドについて説明します。

  方法 1: システムテンプレートから

  プラットフォームは、さまざまな組み込みの監視ルールを提供します。これらのルールテンプレートを使用して、データ品質監視ルールを迅速に作成できます。次の図に手順を示します。

  説明

  左側のシステムテンプレートリストで必要なルールテンプレートを見つけ、[+使用] をクリックしてルールを作成することもできます。

  

  組み込みルールテンプレートに基づくルールを構成するためのパラメーター

  パラメーター	説明
  ルール名	監視ルールの名前。
  テンプレート	テーブルで実行する必要があるルール検証のタイプを定義します。 Data Quality は、すぐに使用できる多くの組み込みのテーブルレベルおよびフィールドレベルのルールテンプレートを提供します。詳細については、「組み込みルールテンプレートの表示」をご参照ください。 説明 次のタイプのフィールドレベルの監視ルールは、数値フィールドに対してのみ構成できます: 平均値、値の合計、最小値、および最大値。
  ルールの範囲	ルールの適用範囲。テーブルレベルの監視ルールの場合、適用範囲はデフォルトで現在のテーブルです。フィールドレベルの監視ルールの場合、適用範囲は特定のフィールドです。
  比較方法	ルールがテーブルデータが期待どおりかどうかをチェックするために使用する比較方法。 [手動設定]: ビジネス要件に基づいて、データ出力結果を期待される結果と比較するように比較方法を構成できます。 さまざまなルールテンプレートに対してさまざまな比較方法を選択できます。DataWorks コンソールでルールテンプレートでサポートされている比較方法を表示できます。 [数値] の結果については、数値結果を固定値 (期待値) と比較できます。次の比較方法がサポートされています: [より大きい]、[以上]、[等しい]、[等しくない]、[より小さい]、および [以下]。ビジネス要件に基づいて、正常なデータ範囲 (正常しきい値) と異常なデータ範囲 (重大しきい値) を構成できます。 [変動] の結果については、変動結果を変動範囲と比較できます。次の比較方法がサポートされています: [絶対値]、[上昇]、および [下降]。ビジネス要件に基づいて、正常なデータ範囲 (正常しきい値) を構成できます。また、異常な逸脱の程度に基づいて、データ出力の例外 (警告しきい値) と予期しないデータ出力 (重大しきい値) を定義することもできます。 [インテリジェント動的しきい値]: このオプションを選択した場合、変動しきい値や期待値を手動で構成する必要はありません。システムは、インテリジェントアルゴリズムに基づいて合理的なしきい値を自動的に決定します。異常なデータが検出された場合、アラートがすぐにトリガーされるか、関連するタスクがすぐにブロックされます。[比較方法] パラメーターが [インテリジェント動的しきい値] に設定されている場合、[重要度] パラメーターを構成できます。 説明 カスタム SQL 文、カスタム範囲、または動的しきい値に基づいて構成した監視ルールのみが、インテリジェント動的しきい値比較方法をサポートします。
  監視しきい値	[比較方法] パラメーターを [手動設定] に設定した場合、[正常しきい値] および [赤色しきい値] パラメーターを構成できます。 [正常しきい値]: データ品質チェックの結果が指定された条件を満たす場合、データ出力は期待どおりです。 [赤色しきい値]: データ品質チェックの結果が指定された条件を満たす場合、データ出力は期待どおりではありません。 構成するルールが [変動タイプ] のルールである場合は、[警告しきい値] を構成する必要があります。 [警告しきい値]: データ品質チェックの結果が指定された条件を満たす場合、データは異常ですが、ビジネスには影響しません。
  問題データを保持	監視ルールが有効になっており、ルールに基づくデータ品質チェックが失敗した場合、システムはデータ品質チェック中に特定された問題のあるデータを保存するためのテーブルを自動的に作成します。 重要 [問題データを保持] パラメーターは MaxCompute テーブルでのみ使用できます。 [問題データを保持] パラメーターは、Data Quality の特定の監視ルールでのみ使用できます。 監視ルールの [ステータス] を [オフ] にすると、問題のあるデータは保存されません。
  ステータス	本番環境でルールを [有効] にするか [無効] にするかを指定します。 重要 ルールのスイッチを [オフ] にすると、ルールをトリガーしてテスト実行を実行したり、関連するスケジューリングノードによってトリガーしたりすることはできません。
  重要度	ビジネスにおけるルールの強度。 強制ルールは重要なルールです。パラメーターを [強制ルール] に設定し、重大しきい値を超えた場合、モニターに関連付けるスケジューリングノードはデフォルトでブロックされます。 通常ルールは通常のルールです。パラメーターを [通常ルール] に設定し、重大しきい値を超えた場合、モニターに関連付けるスケジューリングノードはデフォルトでブロックされません。
  構成ソース	ルール構成のソース。デフォルト値は [Data Quality] です。
  説明	ルールに追加の説明を追加できます。

  方法 2: カスタムテンプレートから

  この方法を使用する前に、[Data Quality] > [品質資産] > [ルールテンプレートライブラリ] に移動して、カスタムルールテンプレートを作成します。その後、そのテンプレートに基づいてデータ品質監視ルールを作成できます。詳細については、「カスタムルールテンプレートの作成と管理」をご参照ください。

  次の図は、カスタムテンプレートからデータ品質ルールを作成する方法を示しています。

  説明

  左側のカスタムテンプレートリストで必要なルールテンプレートを見つけ、[+使用] をクリックしてルールを作成することもできます。

  

  カスタムルールテンプレートに基づくルールを構成するためのパラメーター

  次の表では、カスタムルールテンプレートに基づくルールに固有のパラメーターのみを説明します。他のパラメーターについては、組み込みルールテンプレートに基づくルールを構成するためのパラメーターをご参照ください。

  パラメーター	説明
  FLAG パラメーター	ルール内の SQL 文が実行される前に実行する SET 文。
  SQL	完全なチェックロジックを決定する SQL 文。返される結果は数値で、1 行 1 列で構成されている必要があります。 カスタム SQL 文では、パーティションフィルター式を角括弧 [] で囲みます。例: SELECT count(*) FROM ${tableName} WHERE ds=$[yyyymmdd]; 説明 この文では、${tableName} 変数の値は、監視ルールを構成しているテーブルの名前に動的に置き換えられます。 パーティションフィルター式の構成方法については、このトピックの「付録 2: 組み込みパーティションフィルター式」セクションをご参照ください。 テーブルの モニター を作成した場合、モニター構成中に [データ範囲] パラメーターで指定したテーブルパーティションの設定は、このパラメーターを構成した後はテーブルに対して有効ではなくなります。ルールは、SQL 文の WHERE の設定に基づいてチェックするテーブルパーティションを決定します。

  方法 3: カスタム SQL 文から

  この方法では、テーブルのカスタムデータ品質チェックロジックを定義できます。

  

  カスタム SQL 文に基づくルールを構成するためのパラメーター

  次の表では、カスタム SQL 文に基づくルールに固有のパラメーターのみを説明します。他のパラメーターについては、組み込みルールテンプレートに基づくルールを構成するためのパラメーターをご参照ください。

  パラメーター	説明
  FLAG パラメーター	ルール内の SQL 文が実行される前に実行する SET 文。
  SQL	完全なチェックロジックを決定する SQL 文。返される結果は数値で、1 行 1 列で構成されている必要があります。 カスタム SQL 文では、パーティションフィルター式を角括弧 [] で囲みます。例: SELECT count(*) FROM <table_name> WHERE ds=$[yyyymmdd]; 説明 監視ルールを構成しているテーブルの名前で <table_name> を置き換える必要があります。SQL 文は、監視する必要があるテーブルを決定します。 パーティションフィルター式の構成方法については、このトピックの「付録 2: 組み込みパーティションフィルター式」セクションをご参照ください。 テーブルの モニター を作成した場合、モニター構成中に [データ範囲] パラメーターで指定したテーブルパーティションの設定は、このパラメーターを構成した後はテーブルに対して有効ではなくなります。ルールは、SQL 文の WHERE の設定に基づいてチェックするテーブルパーティションを決定します。

• 既存のルールのインポート

  対象テーブルの監視ルールが [Data Quality] モジュールに既に存在する場合、それらをインポートしてルールを迅速にクローンできます。ルールが存在しない場合は、まず Data Quality モジュールで作成する必要があります。詳細については、「単一テーブルのルールの構成」をご参照ください。

  説明

  この方法は、バッチでの複数のルールのインポートと、テーブルおよびフィールドレベルでの監視ルールの構成をサポートします。

  [ルールのインポート] をクリックします。ルール ID または名前、ルールテンプレート、または関連する範囲 (テーブル全体またはテーブルの特定のフィールド) でインポートするルールを検索して選択できます。

  

品質ルールチェックの実行に必要なコンピューティングリソースを選択します。これにより、データ品質監視タスクが実行されるデータソースが指定されます。デフォルトでは、監視対象テーブルのデータソースが使用されます。

次の表に、チェック例外のカテゴリを示します。

必要に応じて、ルールチェックで見つかった例外を処理するポリシーを構成します:

• 無視しない: 強制ルールのエラーアラートなど、特定の例外カテゴリが検出されると、現在のノードは停止し、そのステータスは失敗に設定されます。

  説明

  • 現在のノードの実行に失敗すると、そのダウンストリームノードは実行されません。これにより、本番パイプラインがブロックされ、問題のあるデータが広がるのを防ぎます。

  • 検出のために複数の例外カテゴリを追加できます。

  • このポリシーは通常、例外が大きな影響を与え、ダウンストリームタスクの実行をブロックする場合に使用されます。

• 無視: 例外を無視し、ダウンストリームノードの実行を続行します。

電子メールなど、例外通知の受信方法を構成できます。例外が発生すると、プラットフォームは指定されたメソッドを使用して通知を送信するため、例外を迅速に見つけて処理できます。