DataWorks:品質監視

1. 監視対象テーブルの選択

品質監視ノードのエディターページで、Add Table をクリックします。Add Table ダイアログボックスで、監視するテーブルを選択します。More フィルターを使用すると、テーブルをより速く見つけることができます。

2. 監視データ範囲の設定

• 非パーティション化テーブル：デフォルトでテーブル全体が監視されます。このステップはスキップできます。

• パーティションテーブル：監視するパーティションデータを選択する必要があります。スケジューリングパラメーターを使用できます。Preview をクリックして、パーティションフィルター式が正しく解決されることを確認します。

3. データ品質監視ルールの設定

新しいルールを作成するか、既存のルールをインポートできます。設定されたルールはデフォルトで有効になります。

• 新規ルールの作成

  Create Rule をクリックして、テンプレートまたはカスタム SQL に基づいて品質監視ルールを作成します。以下のセクションでは、これらの方法について説明します。

  組み込みテンプレート

  以下の手順に従って、ルールテンプレートから品質監視ルールを迅速に作成できます。

  説明

  左側の組み込みテンプレートリストで必要なルールテンプレートを見つけ、[+ 使用] をクリックして作成することもできます。

  ダイアログボックスの右側にある [+ 組み込みテンプレートルール] タブをクリックします。左側の [組み込みテンプレート] パネルで、[テーブル行数] などのテンプレートカテゴリを展開し、対象のテンプレートを見つけて [+ 使用] をクリックします。右側のフォームでルールパラメーターを設定し、[OK] をクリックします。

  システムルールテンプレートのパラメーター

  パラメーター	Description
  Rule Name	ルールのカスタム名を入力します。
  Template	テーブルに対して実行するルールチェックのタイプを定義します。 Data Quality は、幅広い組み込みのテーブルレベルおよびフィールドレベルのルールテンプレートを提供します。詳細については、「組み込みルールテンプレートの表示」をご参照ください。 説明 平均値、合計値、最小値、最大値は数値フィールドにのみ適用されます。
  Rule Scope	ルールが適用される範囲。テーブルレベルのルールの場合、範囲はデフォルトで現在のテーブルです。フィールドレベルのルールの場合、特定のフィールドを選択する必要があります。
  Comparison Method	ルールがテーブルデータを検証する方法を指定します。 Manual Settings：比較方法としきい値を手動で設定できます。 利用可能な比較方法はルールテンプレートによって異なります。UI に表示されるオプションが最終的なものです。 Numeric Type の結果の比較をサポートし、通常は固定値 (期待値) と比較します。比較方法には、Greater Than、Greater Than or Equal To、Equal To、Unequal To、Less Than、Less Than or Equal To が含まれます。正常なデータ範囲 (正常しきい値) と異常なデータ範囲 (重大しきい値) をカスタマイズできます。 Fluctuation の結果の比較をサポートし、これは通常、範囲比較です。比較方法には、Absolute Value、Raise、Drop が含まれます。正常なデータ範囲 (正常しきい値) をカスタマイズできます。また、逸脱の度合いに基づいて、アノマリーのあるデータの警告範囲 (警告しきい値) と、期待を満たさないデータの重大範囲 (重大しきい値) を定義することもできます。 Intelligent Dynamic Threshold：システムはインテリジェントなアルゴリズムを使用して、合理的なしきい値を自動的に決定するため、手動で設定する必要はありません。システムが異常なデータを検出すると、即座にアラートをトリガーするか、関連タスクをブロックします。動的しきい値は、強制ルールと非強制ルールもサポートします。 説明 カスタム SQL、カスタム範囲、および動的しきい値の品質ルールのみが、インテリジェント動的しきい値の比較方法をサポートします。
  Monitoring Threshold	Comparison Method を Manual Settings に設定した場合、Normal threshold と Error Threshold を指定できます。 Normal threshold：データが正常と見なされるためにチェック結果が満たすべき条件。 Error Threshold：チェック結果がこの条件を満たした場合、重大な異常データを示し、重大アラートをトリガーする条件。 ルールが Fluctuation チェックを実行する場合、Warning Threshold も指定する必要があります。 Warning Threshold：チェック結果がこの条件を満たした場合、ビジネス運用に影響しない軽微なアノマリーを示す条件。
  Retain problem data	この機能が有効で、ルールチェックが失敗した場合、システムは結果として生じた問題データを保存するためのテーブルを自動的に作成します。 重要 MaxCompute および Hologres テーブルに対して問題データの保持機能を設定できます。 一部のデータ品質ルールのみが問題データの保持機能をサポートしています。 この機能はルールのステータスの影響を受けます。ルールが Deactivate の場合、システムは問題データを保持しません。
  Status	ルールのステータス。Enable または Deactivate にできます。これは、ルールが本番環境で実行されるかどうかを制御します。 重要 ステータスを Deactivate に設定すると、ルールはテスト実行や関連するスケジューリングタスクによってトリガーされません。
  Degree of importance	ルールの重大度。 強制ルール：重要なルール。デフォルトでは、重大なアノマリーは関連するスケジューリングタスクをブロックします。 非強制ルール：通常のルール。デフォルトでは、重大なアノマリーは関連するスケジューリングタスクをブロックしません。
  Configuration Source	ルール設定のソース。この場合、値は Data Quality です。
  Description	ルールのオプションの説明。

  カスタムテンプレート

  この方法を使用する前に、まず Data Quality > Quality Assets > Rule Template Library でカスタムルールテンプレートを作成する必要があります。その後、そのテンプレートから品質監視ルールを作成できます。詳細については、「カスタムルールテンプレートの作成と管理」をご参照ください。

  以下の手順は、カスタムテンプレートからデータ品質ルールを作成する方法を示しています。

  説明

  左側のカスタムテンプレートリストで必要なルールテンプレートを見つけ、[+ 使用] をクリックして作成することもできます。

  [ルールの作成] ダイアログボックスで、[+ カスタムテンプレートルール] タブをクリックします。[ルール名]、[ルールテンプレート]、[品質ディメンション]、[FLAG パラメーター]、[SQL]、[比較方法]、および [監視しきい値] (正常しきい値と重大しきい値を含む) を設定し、[OK] をクリックします。

  カスタムルールテンプレートのパラメーター

  このセクションでは、カスタムルールテンプレートに固有のパラメーターのみを説明します。その他のパラメーターについては、システムルールテンプレートのパラメーターをご参照ください。

  パラメーター	説明
  FLAG パラメーター	データ品質チェック SQL が実行される前に実行する SET コマンドを定義します。
  SQL	SQL 検証ロジック。クエリは単一の数値を返す必要があります。 カスタム SQL では、角括弧を使用してテーブルのパーティションフィルター式に一致させます。例： SELECT count(*) FROM ${tableName} WHERE ds=$[yyyymmdd]; 説明 ${tableName} 変数は、監視対象テーブルの名前に動的に置き換えられます。 パーティションフィルター式の設定方法の詳細については、「付録 2：組み込みパーティションフィルター式」をご参照ください。 テーブルの 品質モニター を作成し、この方法でルールを設定した場合、モニターに指定された Data Scope は無視されます。この SQL の WHERE 句によって、どのパーティションがチェックされるかが決まります。

  カスタム SQL

  この方法では、テーブルのカスタムデータ品質検証ロジックを定義できます。

  上部の [+ カスタム SQL] タブをクリックします。右側のフォームで、[ルール名]、[ルールテンプレート] (カスタム SQL を選択)、[品質ディメンション]、[FLAG パラメーター]、[SQL]、[比較方法] ([手動設定] または [インテリジェント動的しきい値] を選択)、および [監視しきい値] を設定し、[OK] をクリックします。

  カスタム SQL パラメーター

  このセクションでは、カスタム SQL に固有のパラメーターのみを説明します。その他のパラメーターについては、システムルールテンプレートのパラメーターをご参照ください。

  パラメーター	説明
  FLAG パラメーター	データ品質チェック SQL が実行される前に実行する SET コマンドを定義します。
  SQL	SQL 検証ロジック。クエリは単一の数値を返す必要があります。 カスタム SQL では、角括弧を使用してテーブルのパーティションフィルター式に一致させます。例： SELECT count(*) FROM <table_name> WHERE ds=$[yyyymmdd]; 説明 設定では、<table_name> を実際のテーブル名に置き換える必要があります。この SQL ステートメントによって、どのテーブルが監視されるかが決まります。 パーティションフィルター式の設定方法の詳細については、「付録 2：組み込みパーティションフィルター式」をご参照ください。 テーブルの 品質モニター を作成し、この方法でルールを設定した場合、モニターに指定された Data Scope は無視されます。この SQL の WHERE 句によって、どのパーティションがチェックされるかが決まります。

• 既存ルールのインポート

  対象テーブルの監視ルールが Data Quality モジュールに既に存在する場合、それらをインポートしてルールを迅速にクローンできます。ルールが存在しない場合は、まず Data Quality に移動して作成してください。詳細については、「ルールの設定：テーブル別 (単一テーブル)」をご参照ください。

  説明

  この方法は、複数のルールの一括インポートをサポートし、テーブルフィールドレベルでの監視ルールの設定を可能にします。

  Import Rule をクリックします。ルール ID または名前、ルールテンプレート、または関連する範囲 (テーブル全体または特定のフィールド) でインポートするルールを検索して選択できます。

  ルールを選択した後、[OK] をクリックしてインポートを完了します。

4. ランタイムリソースの設定

品質ルールチェックのランタイムリソースを選択します。この選択により、品質監視タスクが実行されるデータソースが決まります。デフォルトでは、これは監視対象テーブルが配置されているデータソースです。

例外カテゴリ

例外処理ポリシー

ルールチェックによって生成された例外に対する処理ポリシーを設定できます：

• 無視しない：特定の例外カテゴリが検出された場合 (例えば、強制ルールが重大な例外をトリガーした場合)、システムが現在のノードを停止し、そのステータスを「失敗」に設定するように構成できます。

  説明

  • 現在のノードが失敗すると、下流のノードは実行されません。これにより、本番パイプラインがブロックされ、問題のあるデータの拡散が防がれます。

  • チェックする例外カテゴリを複数追加できます。

  • このポリシーは通常、例外が大きな影響を与え、下流のタスクをブロックする必要がある場合に使用されます。

• 無視：例外を無視し、下流のノードの実行を続行します。

例外通知方法

例外の通知を受け取る方法 (例えば、メール) を設定できます。例外が発生すると、プラットフォームは指定された方法で通知を送信し、迅速に例外を処理できるようにします。