DataWorks:ルールの設定：テーブルごと (単一テーブル)

1. テーブル品質詳細ページへの移動

1. Data Quality ページに移動します。

   DataWorks コンソールにログインします。上部のナビゲーションバーで、目的のリージョンを選択します。左側のナビゲーションウィンドウで、データガバナンス > Data Quality を選択します。表示されたページで、ドロップダウンリストから目的のワークスペースを選択し、Data Quality に移動 をクリックします。

2. テーブルごとに監視ルールを設定するページに移動します。

   左側のナビゲーションウィンドウで、ルールの設定 > テーブルごとに設定 をクリックして、ルール設定ページに移動します。

   1. 左側の データソース リストで、ルールを設定するテーブルが含まれるデータベースを選択します。

   2. データベースタイプ、データベース、またはテーブル名でテーブルをフィルターします。対象のテーブル名をクリックするか、操作 列の ルール管理 をクリックします。これにより、そのテーブルのテーブル品質詳細ページに移動します。

      このページには、現在のテーブルに設定されているすべての品質監視ジョブとルールが表示されます。品質監視ジョブに関連付けられているかどうかに基づいて、ルールをすばやくフィルターできます。また、まだ品質監視ジョブに関連付けられていないルールの実行メソッドを定義することもできます。

      

2. 品質監視ジョブの作成

1. 新しい品質監視ジョブを作成します。

   品質監視ジョブは、次の 2 つの方法のいずれかで作成できます。

   ルール管理ページ

   テーブルの テーブル品質詳細 ページで、ルール管理 タブをクリックします。モニター視点 の横にある アイコンをクリックして、新しい品質監視ジョブを作成します。

   

   品質監視ページ

   テーブルの テーブル品質詳細 ページで、モニター タブに切り替えます。モニターの作成 をクリックします。

   

2. 品質監視ジョブのパラメーターを設定します。

   設定項目	パラメーター	説明
   基本設定	モニター名	監視ルールのカスタム名を入力します。
   	品質監視のオーナー	必要に応じて、モニターのオーナーを指定できます。アラートサブスクリプションを設定する際に、メール、メールと SMS、または 電話 を使用して、モニターのオーナーをアラート受信者として指定できます。
   	監視対象	データ品質チェックの対象オブジェクトです。デフォルトでは、現在のテーブルです。
   	データ範囲	パーティションフィルター式を使用して、品質ルールによってチェックされるパーティションを定義します。 非パーティションテーブルの場合、このパラメーターを設定する必要はありません。デフォルトでテーブル内のすべてのデータがチェックされます。 パーティションテーブル：式の形式は partition_name=partition_value です。パーティション値は、静的フィールドまたは付録 2 の組み込みパーティションフィルター式にすることができます。 説明 この設定は、カスタムテンプレートまたはカスタム SQL を使用してルールを設定する場合には有効になりません。カスタムテンプレートまたはカスタム SQL で設定されたルールの場合、チェックされるパーティションはカスタム SQL によって決定されます。
   監視ルール	監視ルール	品質監視ジョブに品質ルールを関連付けて、現在のタイムスタンプ範囲のデータが期待どおりであるかをどのルールでチェックするかを決定します。 説明 異なるパーティションに対して複数の品質監視ジョブを作成し、それらを異なる品質ルールに関連付けることができます。これにより、異なるパーティションに異なる検証ルールを適用できます。 まだ品質ルールを作成していない場合は、このステップを一旦スキップできます。まず品質監視ジョブを作成し、後でルールを追加します。品質ルールの作成方法の詳細については、「3. Data Quality ルールの設定」をご参照ください。
   実行設定	トリガーメソッド	モニターのトリガーメソッドです。 本番環境のノードスケジューリングによってトリガー：モニターに関連付けたスケジューリングノードがオペレーションセンターで実行完了後、モニターに関連付けられたルールが自動的にトリガーされます。ドライランノードは監視ルールの実行をトリガーしないことに注意してください。 手動でトリガー：モニターに関連付けられた監視ルールは手動でトリガーされます。 重要 データ品質をチェックしたいテーブルが非 MaxCompute テーブルで、トリガーメソッド に 本番環境のノードスケジューリングによってトリガー が選択されている場合、スケジューリング用の共有リソースグループで実行されるスケジューリングノードをモニターに関連付けることはできません。そうしないと、モニターの実行時にエラーが報告される可能性があります。
   	関連スケジューリングノード	トリガーメソッド パラメーターを 本番環境のノードスケジューリングによってトリガー に設定した場合、このパラメーターを設定して、モニターに関連付けるスケジューリングノードを選択できます。スケジューリングノードの実行が完了すると、モニターに関連付けられたルールが自動的にトリガーされます。
   	実行リソース	品質ルールチェックの実行に必要なコンピューティングリソースです。デフォルトでは、ワークスペース内の監視対象テーブルのデータソースが選択されます。別のデータソースを選択した場合は、対応するリソースがテーブルにアクセスできることを確認してください。
   処理ポリシー	品質問題処理ポリシー	データ品質問題が検出された場合に使用するブロックまたはアラートポリシーを設定します。 ブロック：データ品質問題が検出されると、システムはテーブルの品質チェックをトリガーした本番スケジューリングノードを特定します。その後、ノードを失敗に設定し、下流のノードは実行されません。これにより、問題のあるデータの拡散を防ぐために本番パイプラインがブロックされます。 デフォルトは 強制ルール - 重大な異常 です。 アラート：データ品質問題が検出されると、品質監視ジョブのアラートサブスクリプションチャネルにアラートメッセージが送信されます。 デフォルトは、強制ルール - 重大な異常、強制ルール - 警告の異常、強制ルール - チェック失敗、ソフトルール - 重大な異常、ソフトルール - 警告の異常、および ソフトルール - チェック失敗 です。
   	アラートメソッド設定	メール、メールと SMS、DingTalk チャットボット、DingTalk チャットボット @ALL、Lark グループチャットボット、Enterprise WeCom Robot、カスタム Webhook、または 電話 を使用してアラート通知を送信できます。 説明 DingTalk チャットボット、Lark チャットボット、または WeChat チャットボットを追加して Webhook URL を取得できます。その後、Webhook URL をアラートサブスクリプションダイアログボックスの受信者フィールドにコピーします。 カスタム Webhook 通知メソッドは DataWorks Enterprise Edition でのみサポートされています。カスタム Webhook を使用して送信されるアラート通知のメッセージ形式については、「付録：カスタム Webhook URL を使用して送信されるアラート通知のメッセージ形式」をご参照ください。 メール、メールと SMS、または 電話 を通知メソッドとして選択した場合、受信者 を モニターのオーナー、勤怠表、または ノードのオーナー として指定できます。 Data Quality 監視のオーナー：アラート情報は、現在の品質モニターの 基本設定 セクションで設定された 品質監視のオーナー に送信されます。 勤怠表：モニターに関連付けられた監視ルールがトリガーされ、アラートが生成されると、システムは勤怠表のその日の当番者にアラート通知を送信します。 スケジューリングタスクのオーナー：アラート通知は、モニターに関連付けられたスケジューリングノードのオーナーに送信されます。

3. 保存 をクリックして、品質監視ジョブを作成します。

3. Data Quality ルールの設定

1. テーブル品質詳細 ページの ルール管理 タブで、作成した品質監視ジョブを選択します。次に、ルールの作成 をクリックして、ルール設定ページに移動します。

2. Data Quality ルールを作成します。

   Data Quality は、品質監視ルールを設定するための以下のメソッドを提供します。必要に応じていずれかを選択してください。

   メソッド 1：システムテンプレートの使用

   Data Quality には、数十の組み込み品質ルールテンプレートがあります。左側で + 使用 をクリックすると、テンプレートから品質監視ルールをすばやく作成できます。一度に複数のルールを追加できます。

   上部の + システムテンプレートルール をクリックし、ルールテンプレート パラメーターを変更して対象のルールテンプレートを選択できます。

   システムルールテンプレートのパラメーター

   パラメーター	説明
   ルール名	監視ルールの名前です。
   テンプレート	テーブルで実行する必要があるルール検証のタイプを定義します。 Data Quality は、すぐに使用できる多くの組み込みテーブルレベルおよびフィールドレベルのルールテンプレートを提供します。詳細については、「組み込みルールテンプレートの表示」をご参照ください。 説明 平均値、合計値、最小値、最大値のタイプのフィールドレベル監視ルールは、数値フィールドに対してのみ設定できます。
   ルール範囲	ルールの適用範囲です。テーブルレベルの監視ルールの場合、適用範囲はデフォルトで現在のテーブルです。フィールドレベルの監視ルールの場合、適用範囲は特定のフィールドです。
   比較メソッド	ルールがテーブルデータが期待どおりであるかどうかをチェックするために使用する比較メソッドです。 手動設定：ビジネス要件に基づいて、データ出力結果を期待される結果と比較する比較メソッドを設定できます。 異なるルールテンプレートに対して異なる比較メソッドを選択できます。DataWorks コンソールでルールテンプレートがサポートする比較メソッドを表示できます。 数値結果の場合、数値結果を固定値 (期待値) と比較できます。次の比較メソッドがサポートされています：より大きい、以上、等しい、等しくない、より小さい、以下。ビジネス要件に基づいて、正常なデータ範囲 (正常しきい値) と異常なデータ範囲 (危険しきい値) を設定できます。 変動結果の場合、変動結果を変動範囲と比較できます。次の比較メソッドがサポートされています：絶対値、上昇、および 下降。ビジネス要件に基づいて、正常なデータ範囲 (正常しきい値) を設定できます。また、異常な逸脱の程度に基づいて、データ出力の例外 (警告しきい値) と予期しないデータ出力 (危険しきい値) を定義することもできます。 インテリジェント動的しきい値：このオプションを選択した場合、変動しきい値や期待値を手動で設定する必要はありません。システムはインテリジェントアルゴリズムに基づいて適切なきい値を自動的に決定します。異常なデータが検出された場合、すぐにアラートがトリガーされるか、関連タスクがブロックされます。比較メソッドパラメーターがインテリジェント動的しきい値に設定されている場合、重要度パラメーターを設定できます。 説明 カスタム SQL 文、カスタム範囲、または動的しきい値に基づいて設定した監視ルールのみが、インテリジェント動的しきい値比較メソッドをサポートします。
   監視しきい値	比較メソッド パラメーターを 手動設定 に設定した場合、正常しきい値 および 危険しきい値 パラメーターを設定できます。 正常しきい値：データ品質チェックの結果が指定された条件を満たす場合、データ出力は期待どおりです。 危険しきい値：データ品質チェックの結果が指定された条件を満たす場合、データ出力は期待どおりではありません。 設定するルールが インテリジェント動的しきい値 のルールである場合、警告しきい値 を設定する必要があります。 オレンジのしきい値: データ品質チェック結果が指定された条件を満たす場合、データは異常ですが、お客様のビジネスに影響はありません。
   問題データを保持	監視ルールが有効で、ルールに基づくデータ品質チェックが失敗した場合、システムはデータ品質チェック中に特定された問題のあるデータを保存するためのテーブルを自動的に作成します。 重要 問題データを保持パラメーターは、MaxCompute および Hologres テーブルで利用できます。 問題データを保持パラメーターは、Data Quality の特定の監視ルールでのみ利用できます。 監視ルールを 無効 にすると、問題のあるデータは保存されません。
   ステータス	本番環境でルールを 有効 にするか 無効 にするかを指定します。 重要 ルールを 無効 にすると、ルールはテスト実行のためにトリガーされたり、関連するスケジューリングノードによってトリガーされたりすることはありません。
   重要度	ビジネスにおけるルールの強度です。 強制ルールは重要なルールです。パラメーターを強制ルールに設定し、危険しきい値を超えた場合、モニターに関連付けたスケジューリングノードはデフォルトでブロックされます。 ソフトルールは通常のルールです。パラメーターをソフトルールに設定し、危険しきい値を超えた場合、モニターに関連付けたスケジューリングノードはデフォルトでブロックされません。
   設定ソース	ルール設定のソースです。デフォルト値は Data Quality です。
   説明	ルールに追加の説明を加えることができます。

   メソッド 2：カスタムテンプレートの使用

   説明

   このメソッドを使用してルールを作成する前に、品質アセット > ルールテンプレートライブラリ に移動してカスタムルールテンプレートを作成する必要があります。詳細については、「カスタムルールテンプレートの作成と管理」をご参照ください。

   カスタムルールテンプレートを参照すると、FLAG パラメーター や SQL などのテンプレートの基本設定が自動的に表示されます。ビジネス要件に基づいて ルール名 パラメーターを設定し、ルールタイプに基づいて監視しきい値パラメーターを設定できます。たとえば、数値ルールには正常しきい値と危険しきい値を定義する必要があり、変動タイプのルールには正常しきい値と危険しきい値に加えて警告しきい値を定義する必要があります。

   カスタムルールテンプレートのパラメーター

   次の表では、カスタムルールテンプレートに基づくルールに固有のパラメーターのみを説明します。その他のパラメーターについては、組み込みルールテンプレートに基づくルールの設定パラメーターをご参照ください。

   パラメーター	説明
   FLAG パラメーター	ルール内の SQL 文が実行される前に実行する SET 文です。
   SQL	完全なチェックロジックを決定する SQL 文です。返される結果は数値で、1 行 1 列で構成されている必要があります。 カスタム SQL 文では、パーティションフィルター式を角括弧 [] で囲みます。例： SELECT count(*) FROM ${tableName} WHERE ds=$[yyyymmdd]; 説明 この文では、${tableName} 変数の値は、監視ルールを設定しているテーブルの名前に動的に置き換えられます。 パーティションフィルター式の設定方法については、このトピックの「付録 2：組み込みパーティションフィルター式」セクションをご参照ください。 テーブルのモニターを作成した場合、モニター設定時に データ範囲 パラメーターで指定したテーブルパーティションの設定は、このパラメーターを設定した後はテーブルに対して有効ではなくなります。ルールは、SQL 文の WHERE の設定に基づいてチェックするテーブルパーティションを決定します。

   メソッド 3：カスタム SQL 文の使用

   このメソッドを使用すると、テーブルのデータ品質検証ロジックをカスタマイズできます。

   カスタム SQL パラメーター

   ここでは、カスタム SQL に固有のパラメーターのみを示します。その他のパラメーターの説明については、システムルールテンプレートのパラメーター説明をご参照ください。

   パラメーター	説明
   FLAG パラメーター	ルール内の SQL 文が実行される前に実行する SET 文です。
   SQL	完全なチェックロジックを決定する SQL 文です。返される結果は数値で、1 行 1 列で構成されている必要があります。 カスタム SQL 文では、パーティションフィルター式を角括弧 [] で囲みます。例： SELECT count(*) FROM <table_name> WHERE ds=$[yyyymmdd]; 説明 <table_name> は、監視ルールを設定しているテーブルの名前に置き換える必要があります。SQL 文は、監視する必要があるテーブルを決定します。 パーティションフィルター式の設定方法については、このトピックの「付録 2：組み込みパーティションフィルター式」セクションをご参照ください。 テーブルのモニターを作成した場合、モニター設定時に データ範囲 パラメーターで指定したテーブルパーティションの設定は、このパラメーターを設定した後はテーブルに対して有効ではなくなります。ルールは、SQL 文の WHERE の設定に基づいてチェックするテーブルパーティションを決定します。

   メソッド 4：カスタムスクリプトの使用

   カスタムスクリプトルールは、時間および分レベルでのデータ検証をサポートします。スクリプトルールの記述方法については、「システムルールテンプレートの使用」をご参照ください。例：

   - assertion: change 30 minutes ago for max(id) = 15
     name: 30-minute difference in max value of id field is 15

   

3. (オプション) 設定したルールを品質監視ジョブに追加できます。品質監視ジョブの詳細については、「2. 品質監視ジョブの作成」をご参照ください。

   説明

   設定した監視ルールは、モニターに追加した場合にのみトリガーできます。ルールをモニターに関連付けるには、ここで既存のモニターを選択するか、モニターを設定する際に 監視ルール セクションでルールを選択します。

   

4. 決定 をクリックします。

4. ルール実行のテスト

品質監視ジョブ内のルールのトリガーは、以下の方法でテストできます。

5. アラートサブスクリプションの変更

ステップ 2. 品質監視ジョブの作成 でアラートサブスクリプションを設定しました。ルールがトリガーされると、システムは対応するアラート受信者に通知を送信します。他のユーザーに通知するためにアラートサブスクリプションを変更したい場合は、以下の方法で設定できます。

付録 1：変動率と分散の数式

• 変動率の数式：変動率 = (サンプル値 - ベースライン値) / ベースライン値

  • サンプル値：当日に収集されたサンプルの特定の値。たとえば、SQL タスクのテーブル行数の 1 日の変動チェックの場合、サンプルは当日のパーティションの行数です。

  • ベースライン値：過去のサンプルとの比較値。

  説明

  • ルールが SQL タスクの テーブル行数の 1 日の変動率 チェックである場合、ベースライン値は前日のパーティションのテーブル行数です。

  • ルールが SQL タスクの テーブル行数の 7 日間平均変動率 チェックである場合、ベースライン値は過去 7 日間のテーブル行データの平均です。

• 分散変動の数式：(現在のサンプル - 過去 N 日間の平均) / 標準偏差

  説明

  分散は、BIGINT や DOUBLE などの数値型でのみ使用できます。

付録 2：組み込みパーティションフィルター式

シナリオ：

• データタイムスタンプ (bizdate) は 20240524 です。

• スケジューリングされた時刻は 10:30:00 です。