DataWorks:品質モニタリング

1. テーブルの選択

データ品質モニタリングノードの構成ページで、テーブルの追加 をクリックします。テーブルの追加 ダイアログボックスで、監視対象のテーブルを選択します。「詳細」フィルターを使用すると、テーブルを素早く見つけられます。

2. データ範囲の指定

• 非パーティションテーブルの場合、デフォルトでテーブル全体が監視対象となります。このステップはスキップできます。

• パーティションテーブルの場合、監視対象の特定のパーティションを選択する必要があります。式内に スケジューリングパラメーター を使用できます。パーティション式が正しく評価されることを確認するには、プレビュー をクリックします。

3. データ品質監視ルールの構成

新規ルールを作成するか、既存のルールをインポートできます。デフォルトでは、構成済みのすべてのルールが有効になります。

• ルールの作成

  ルールの作成 をクリックして、テンプレートまたはカスタム SQL に基づくデータ品質監視ルールを作成します。以下でそれぞれの方法について説明します。

  システムテンプレート

  プラットフォームには、さまざまな組み込み監視ルールが提供されています。これらのテンプレートを使用すると、データ品質監視ルールを迅速に作成できます。以下の図は、このプロセスを示しています。

  説明

  あるいは、左側のシステムテンプレート一覧からルールテンプレートを検索し、+ 使用 をクリックしてルールを作成することもできます。

  

  システムルールテンプレートのパラメーター

  パラメーター	説明
  ルール名	監視ルールの名称です。
  テンプレート	テーブルに対して実行するルール検証の種類を定義します。 Data Quality では、すぐに使用可能なテーブルレベルおよびフィールドレベルの組み込みルールテンプレートが多数提供されています。詳細については、「組み込みルールテンプレートの表示」をご参照ください。 説明 平均値、合計値、最小値、最大値の各タイプのフィールドレベル監視ルールは、数値型フィールドに対してのみ設定できます。
  ルール範囲	ルールの適用範囲です。テーブルレベルの監視ルールの場合、適用範囲はデフォルトで現在のテーブルとなります。フィールドレベルの監視ルールの場合、適用範囲は特定のフィールドとなります。
  比較方法	テーブルデータが期待通りかどうかをチェックするためにルールで使用される比較方法です。 手動設定：ビジネス要件に応じて、データ出力結果と期待値との比較方法を設定できます。 異なるルールテンプレートに対して異なる比較方法を選択できます。DataWorks コンソールで、各ルールテンプレートがサポートする比較方法を確認できます。 数値結果の場合、数値結果を固定値（期待値）と比較できます。サポートされる比較方法は、以下のとおりです：「より大きい」、「以上」、「等しい」、「等しくない」、「より小さい」、「以下」。ビジネス要件に応じて、正常なデータ範囲（通常しきい値）および異常なデータ範囲（赤色しきい値）を設定できます。 変動結果については、変動結果を変動範囲と比較できます。以下の比較方法がサポートされています：絶対値、上昇、および下降。ビジネス要件に応じて、正常データ範囲（正常しきい値）を設定できます。また、異常な偏差の程度に応じて、データ出力例外（オレンジしきい値）および予期しないデータ出力（赤しきい値）を定義することもできます。 インテリジェント動的しきい値: このオプションを選択した場合、変動しきい値や期待値を手動で設定する必要はありません。 システムはインテリジェントアルゴリズムに基づいて、適切なきい値を自動的に決定します。 異常なデータが検出された場合、アラートがただちにトリガーされるか、関連タスクがただちにブロックされます。 比較方法パラメーターがインテリジェント動的しきい値に設定されている場合、重要度パラメーターを設定できます。 説明 インテリジェント動的しきい値の比較方法は、カスタム SQL 文、カスタム範囲、または 動的しきい値 に基づいて構成した監視ルールのみがサポートします。
  監視しきい値	比較方法 パラメーターを 手動設定 に設定した場合、通常しきい値 および 赤色しきい値 パラメーターを構成できます。 通常しきい値：データ品質チェック結果が指定された条件を満たす場合、データ出力は期待通りです。 赤色しきい値：データ品質チェック結果が指定された条件を満たす場合、データ出力は期待通りではありません。 構成するルールが インテリジェント動的しきい値 の場合、オレンジ色しきい値 を構成する必要があります。 オレンジ色しきい値：データ品質チェック結果が指定された条件を満たす場合、データは異常ですが、ビジネス運用には影響しません。
  問題データの保持	監視ルールが有効であり、ルールに基づくデータ品質チェックが失敗した場合、システムは自動的に問題データを格納するテーブルを作成します。 重要 「問題データの保持」パラメーターは、MaxCompute および Hologres のテーブルで使用できます。 「問題データの保持」パラメーターは、Data Quality の特定の監視ルールでのみ使用できます。 監視ルールを 無効化 した場合、問題データは保存されません。
  ステータス	本番環境でルールを 有効化 するか 無効化 するかを指定します。 重要 ルールを 無効化 した場合、テスト実行をトリガーしたり、関連するスケジューリングノードによってトリガーされたりすることはありません。
  重要度	ルールがビジネスにおいて果たす役割の強さです。 「強」ルールは重要なルールです。パラメーターを「強」ルールに設定し、重大しきい値を超えた場合、モニターに関連付けられたスケジューリングノードはデフォルトでブロックされます。 「弱」ルールは通常のルールです。パラメーターを「弱」ルールに設定し、重大しきい値を超えた場合、モニターに関連付けられたスケジューリングノードはデフォルトでブロックされません。
  構成ソース	ルール構成のソースです。デフォルト値は Data Quality です。
  説明	ルールに追加の説明を記述できます。

  カスタムテンプレート

  この方法を使用する前に、まず Data Quality > ルール資産 > ルールテンプレート に移動してカスタムルールテンプレートを作成する必要があります。その後、このテンプレートを使用してデータ品質監視ルールを作成できます。詳細については、「カスタムルールテンプレートの作成および管理」をご参照ください。

  以下の図は、カスタムテンプレートに基づくデータ品質ルールの作成方法を示しています。

  説明

  あるいは、左側のカスタムテンプレート一覧からカスタムルールテンプレートを検索し、+ 使用 をクリックしてルールを作成することもできます。

  

  カスタムルールテンプレートのパラメーター

  以下の表では、カスタムルールテンプレートに基づくルールに固有のパラメーターのみを説明します。その他のパラメーターについては、組み込みルールテンプレートに基づくルールの構成パラメーターをご参照ください。

  パラメーター	説明
  FLAG パラメーター	ルール内の SQL 文を実行する前に実行する SET 文です。
  SQL	完全なチェックロジックを決定する SQL 文です。返される結果は数値で、1 行 1 列である必要があります。 カスタム SQL 文では、パーティションフィルター式を角括弧 [ ] で囲んでください。例： SELECT count(*) FROM ${tableName} WHERE ds=$[yyyymmdd]; 説明 この文では、${tableName} 変数の値は、監視ルールを構成するテーブルの名前に動的に置き換えられます。 パーティションフィルター式の構成方法については、本トピックの「付録 2：組み込みパーティションフィルター式」セクションをご参照ください。 テーブルに対して モニター を作成済みの場合、モニター構成時に データ範囲 パラメーターで指定したテーブルパーティションの設定は、このパラメーターを構成した後に無効になります。ルールは、SQL 文の WHERE 句の設定に基づいてチェック対象のテーブルパーティションを決定します。

  カスタム SQL

  この方法では、テーブル向けのカスタムデータ品質検証ロジックを定義できます。

  

  カスタム SQL のパラメーター

  ここでは、カスタム SQL に固有のパラメーターのみを示します。その他のパラメーターの説明については、システムルールテンプレートのパラメーター説明をご参照ください。

  パラメーター	説明
  FLAG パラメーター	ルール内の SQL 文を実行する前に実行する SET 文です。
  SQL	完全なチェックロジックを決定する SQL 文です。返される結果は数値で、1 行 1 列である必要があります。 カスタム SQL 文では、パーティションフィルター式を角括弧 [ ] で囲んでください。例： SELECT count(*) FROM <table_name> WHERE ds=$[yyyymmdd]; 説明 <table_name> は、監視ルールを構成するテーブルの名前に必ず置き換えてください。SQL 文が監視対象のテーブルを決定します。 パーティションフィルター式の構成方法については、本トピックの「付録 2：組み込みパーティションフィルター式」セクションをご参照ください。 テーブルに対して モニター を作成済みの場合、モニター構成時に データ範囲 パラメーターで指定したテーブルパーティションの設定は、このパラメーターを構成した後に無効になります。ルールは、SQL 文の WHERE 句の設定に基づいてチェック対象のテーブルパーティションを決定します。

• 既存ルールのインポート

  対象テーブル向けに、Data Quality モジュールで既に監視ルールを作成済みの場合は、それらをインポートしてルールを迅速に複製できます。ルールが存在しない場合は、まず Data Quality モジュールでルールを作成する必要があります。詳細については、「ルールの構成：テーブル単位（単一テーブル）」をご参照ください。

  説明

  この方法では、複数のルールを一度にインポートし、テーブルレベルまたはフィールドレベルで構成できます。

  ルールのインポート をクリックします。その後、ルール ID または名前、ルールテンプレート、関連する範囲（テーブル全体または特定のテーブルフィールド）で検索し、インポートするルールを選択できます。

  

4. 実行時リソースの構成

品質ルールチェックを実行するために必要な実行時リソースを選択します。これらのリソースは、監視タスクが実行されるデータソースを決定します。デフォルトでは、監視対象のテーブルが含まれるデータソースと同じものが選択されます。

アラートカテゴリ

アラート処理ポリシー

ルールチェックによってトリガーされるアラートの処理ポリシーを構成できます。

• 継続：このポリシーでは、特定のアラート（たとえば、強ルールからの重大アラート）が検出された場合に、現在のノードを停止して失敗状態にするようシステムを構成できます。

  説明

  • 現在のノードが失敗した場合、後続ノードは実行されません。これにより、プロダクションパイプラインがブロックされ、問題のあるデータが伝播するのを防ぎます。

  • このポリシーでは、複数のアラートカテゴリをチェックするよう構成できます。

  • このポリシーは、アラートがダウンストリームタスクをブロックする必要がある重大な問題を示す場合に通常使用されます。

• 無視：アラートを無視し、後続ノードの実行を継続させます。

アラートサブスクリプション方法

メールなどの通知方法を構成して、アラート通知を受信できます。アラートがトリガーされると、プラットフォームは指定されたチャネルを通じて通知を送信し、問題を迅速に検出して対応できるようにします。