DataWorks:ルール設定：テーブル単位

ステップ 1： テーブルの品質詳細ページへの移動

1. データ品質ページに移動します。

   DataWorks コンソールにログインします。 左側のナビゲーションウィンドウで、[データモデリングと開発] > [データ品質] を選択します。 表示されるページで、ドロップダウンリストから目的のワークスペースを選択し、[データ品質に移動] をクリックします。

2. テーブルのルール設定ページに移動します。

   左側のナビゲーションペインで、ルールの設定 > テーブルごとの設定 をクリックして、ルール設定ページに移動します。

   1. 左側の データソース リストから、ルールを設定するテーブルが含まれているデータベースを選択します。

   2. データベースタイプ、データベース、テーブル名などの条件でテーブルをフィルタリングします。対象のテーブル名をクリックするか、操作 列の ルール管理 をクリックして、テーブルの品質詳細ページを開きます。

      このページには、テーブルのすべての品質モニターとルールが表示されます。品質モニターに関連付けられているかどうかでルールをフィルタリングし、関連付けられていないルールの実行モードを定義できます。

ステップ2： 品質モニターの作成

1. 品質モニターを作成します。

   品質モニターは、次のいずれかの方法で作成できます。

   1. 方法 1: テーブル品質の詳細 ページの ルール管理 タブで、品質モニタリングビュー の横にある アイコンをクリックして、品質モニターを作成します。

   2. 方法 2: テーブル品質の詳細 ページで品質モニタリングタブに切り替え、品質モニタリングの作成 をクリックします。

2. 品質モニターのパラメータを設定します。

   パラメータ	パラメータ	説明
   [基本設定]	[品質モニタリング名]	品質モニターのカスタム名を入力します。
   	[品質モニタリングのオーナー]	品質モニタの所有者を指定します。アラートサブスクリプションでは、この所有者を メール通知、メールおよび SMS 通知、または 電話番号 通知の受信者として設定できます。
   	[監視対象]	データ品質をチェックする対象オブジェクト。デフォルトでは、現在のテーブルです。
   	[タイムスタンプ範囲]	パーティションフィルター式を使用して、チェック対象のテーブルパーティションを定義します。 非パーティションテーブル：このパラメーターを設定する必要はありません。デフォルトでは、全テーブル がチェックされています。 パーティションテーブル：式は partition_name=partition_value 形式である必要があります。パーティション値は、固定値または 付録2：組み込みパーティションフィルター式 の値を使用できます。 説明 カスタムテンプレートまたはカスタム SQL を使用してルールを設定する場合、カスタム SQL 自体がどのパーティションをチェックするかを決定するため、この設定は無視されます。
   [品質ルールの選択]	[品質ルールの選択]	指定したデータ範囲に適用するデータ品質ルールを選択します。 説明 異なるパーティションに対して複数の品質モニターを作成し、それぞれに異なるデータ品質ルールを関連付けることができます。 データ品質ルールをまだ作成していない場合は、この手順をスキップできます。品質モニターを先に作成してから、後でルールを追加できます。データ品質ルールの作成方法の詳細については、ステップ3：データ品質ルールの設定をご参照ください。
   [実行設定]	[トリガー方式]	品質モニターをトリガーする方法。 本番スケジューリング トリガー：品質モニターを DataWorks オペレーションセンターの指定された定期スケジューリングタスクに関連付けます。タスクが正常に実行されると、この品質モニター内のデータ品質ルールが自動的にトリガーされます。ドライランタスクは、データ品質ルールチェックをトリガーしません。 手動トリガー：現在の品質モニターに関連付けられたデータ品質ルールを手動でトリガーします。 重要 監視するテーブルが MaxCompute テーブルではなく、トリガー方式 を 本番スケジューリング トリガー に設定した場合、選択された定期的にスケジュールされたタスクはパブリックスケジューリングリソースグループを使用できません。そうしないと、品質モニタの実行時にエラーが発生します。
   	[スケジューリングノードの関連付け]	トリガー方式 を 本番スケジューリング トリガー に設定した場合、このパラメーターで関連するスケジューリングノードを指定できます。 指定されたスケジューリングノードが正常に実行されると、データ品質ルールが自動的にトリガーされます。
   	[実行リソースの選択]	データ品質ルールチェックの実行に使用するコンピューティングリソース。デフォルトでは、ワークスペース内の監視対象テーブルのデータソースが選択されます。別のデータソースを選択する場合は、そのリソースがテーブルにアクセスできることを確認してください。
   [品質問題処理ポリシー]	[問題対応ポリシー]	データ品質問題が検出された際に適用するポリシー。 アラート：データ品質問題が検出されると、品質モニターのサブスクライバーにアラート通知が送信されます。 デフォルトの条件は、強制ルール - 重大な異常、強制ルール - 警告の異常、強制ルール - チェックの失敗、弱ルール - 重大な異常、弱ルール - 警告の異常、弱ルール - チェックの失敗 です。 ブロック：データ品質問題が検出されると、システムはトリガー元の本番スケジューリングノードを失敗させ、その下流ノードをブロックします。このアクションにより、本番パイプラインがブロックされ、問題のあるデータの拡散を防ぎます。 デフォルトの条件は 強制ルール - 重大な異常 です。 重要 ポリシーをブロックに設定した場合、データ品質の問題が検出されるとアラートもトリガーされます。
   	[アラート方法の設定]	アラート通知は、メール通知、メールおよび SMS 通知、DingTalk グループボット、DingTalk グループボット @ALL、Lark グループボット、WeCom ボット、カスタム Webhook、または 電話番号 で送信できます。 説明 DingTalk、Lark、または企業WeChat チャットボットを使用するには、チャットボットを追加して Webhook URL を取得し、その URL をアラートサブスクリプション設定に貼り付けます。 カスタム Webhook メソッドは、DataWorks エンタープライズ版でのみサポートされています。カスタム Webhook 経由で DataWorks が送信するアラート通知のメッセージ形式については、「付録: Webhook メッセージ形式」をご参照ください。 通知方法としてメール通知、メールおよび SMS 通知、または電話番号を選択した場合、権限付与オブジェクトをData Quality モニタリングのオーナー、オンコールスケジュール、またはスケジュールタスクの所有者に設定できます。 [Data Quality モニタリングのオーナー]: 現在の品質モニターの 基本設定 セクションで指定された 品質モニタリングのオーナー にアラート通知を送信します。 オンコールスケジュール：関連付けられたスケジューリングノードが品質アラートをトリガーすると、システムは シフトスケジュールにおける当日の当番ユーザー に通知を送信します。 [スケジュールタスクの所有者]：アラート通知は、品質モニタに関連付けられているスケジューリングノードのオーナーに送信されます。

3. 保存 をクリックして、品質モニターを作成します。

ステップ 3：品質ルールの設定

1. テーブル品質の詳細 ページで ルール管理 タブをクリックし、作成した品質モニターを選択してから、ルールの作成 をクリックしてルール設定ページに移動します。

2. 品質ルールを作成します。

   データ品質では、ルールを設定するために次の方法があります。ビジネス要件に最も適した方法を選択してください。

   方法 1：システムテンプレート

   データ品質は、数十の組み込み ルールテンプレート を提供します。左側のペインで、テンプレートの横にある [+ Use] をクリックすると、品質ルールをすばやく作成できます。一度に複数のルールを追加できます。

   上部にある [+ System Template Rule] をクリックし、ルールテンプレート パラメーターを変更してルールテンプレートを変更することもできます。

   システムルールテンプレートのパラメーター

   パラメーター	[説明]
   [ルール名]	ルールのカスタム名を入力します。
   [ルールテンプレート]	テーブルで実行するルールチェックのタイプを定義します。 データ品質は、幅広い組み込みのテーブルレベルおよびフィールドレベルのルールテンプレートを提供します。詳細については、「組み込みルールテンプレートの表示」をご参照ください。 説明 平均値、合計値、最小値、最大値は、数値フィールドにのみ適用されます。
   [ルール範囲]	ルールが適用されるスコープ。テーブルレベルのルールの場合、スコープはデフォルトで現在のテーブルです。フィールドレベルのルールの場合、特定のフィールドを選択する必要があります。
   [比較方法]	ルールがテーブルデータを検証する方法を指定します。 手動設定：比較方法としきい値を手動で設定できます。 使用可能な比較方法は、ルールテンプレートによって異なります。UI に表示されるオプションが適用されます。 [数値型]の結果の比較をサポートします。通常、固定値 (期待値) と比較されます。比較方法には、より大きい、以上、等しい、等しくない、未満、以下 があります。正常なデータ範囲 (正常しきい値) と異常なデータ範囲 (エラーしきい値) をカスタマイズできます。 [バースト型]の結果の比較をサポートします。これは通常、範囲比較です。比較方法には、絶対値、上昇、下降 があります。正常なデータ範囲 (正常しきい値) をカスタマイズできます。また、逸脱の度合いに基づいて、異常のあるデータの警告範囲 (警告しきい値) と、期待値を満たさないデータのクリティカル範囲 (エラーしきい値) を定義することもできます。 インテリジェント動的しきい値：システムはインテリジェントなアルゴリズムを使用して妥当なしきい値を自動的に決定するため、手動で設定する必要はありません。システムが異常なデータを検出した場合、直ちにアラートをトリガーするか、関連するタスクをブロックします。動的しきい値は、強制ルールと通常ルールもサポートします。 説明 [Custom SQL]、[Custom Range]、[Dynamic Threshold] の品質ルールのみが、インテリジェントな動的しきい値の比較方法をサポートします。
   [モニタリングしきい値]	比較方法 を 手動設定 に設定した場合、正常しきい値 と エラーしきい値 を指定できます。 [正常しきい値]：データが正常と見なされるために、チェック結果が満たす必要がある条件。 [エラーしきい値]：チェック結果がこの条件を満たした場合、重大な異常データを示し、クリティカルアラートをトリガーする条件。 ルールが [バースト型]チェックを実行する場合、警告しきい値 も指定する必要があります。 [警告しきい値]：チェック結果がこの条件を満たした場合、業務運営に影響しない軽微な異常を示す条件。
   [問題データの保持]	この機能が有効で、ルールチェックが失敗した場合、システムは発生した問題データを格納するためのテーブルを自動的に作成します。 重要 MaxCompute および Hologres テーブルに対して、問題データ保持機能を設定できます。 一部の品質ルールのみが、問題データ保持機能をサポートしています。 この機能はルールのステータスの影響を受けます。ルールが 無効化 の場合、システムは問題データを保持しません。
   [有効状態]	ルールのステータスです。有効化 または 無効化 に設定でき、ルールが本番環境で実行されるかどうかを制御します。 重要 ステータスを 無効化 に設定した場合、ルールはテスト実行や関連するスケジューリングタスクによってトリガーされません。
   [重要度]	ルールの重要度。 強制ルール：重要なルールです。デフォルトでは、重大な異常が検出されると、関連するスケジューリングタスクがブロックされます。 通常ルール：通常のルールです。デフォルトでは、重大な異常が検出されても、関連するスケジューリングタスクはブロックされません。
   [構成ソース]	ルール設定のソース。この場合、値は Data Quality です。
   [説明]	ルールに関する任意の説明です。

   方法 2：カスタムテンプレート

   説明

   カスタムテンプレートを使用してルールを作成する前に、品質アセット > ルールテンプレートライブラリ に移動して、カスタムルールテンプレートを作成する必要があります。詳細については、「カスタムルールテンプレートの作成と管理」をご参照ください。

   カスタムテンプレートを使用すると、FLAG パラメーター や検証用の SQL などの基本設定が自動的に入力されます。カスタムの ルール名 を指定し、ルールのタイプに基づいて監視しきい値を設定できます。たとえば、数値ルールには正常しきい値とエラーしきい値が必要ですが、変動タイプのルールには警告しきい値も必要です。

   カスタムルールテンプレートのパラメーター

   このセクションでは、カスタムルールテンプレートに固有のパラメーターのみを説明します。その他のパラメーターについては、システムルールテンプレートのパラメーターをご参照ください。

   パラメーター	説明
   FLAG パラメーター	データ品質チェック SQL の実行前に実行する SET コマンドを定義します。
   SQL	SQL 検証ロジックです。クエリは単一の数値を返す必要があります。 カスタム SQL では、角括弧を使用してテーブルのパーティションフィルター式を照合します。例： SELECT count(*) FROM ${tableName} WHERE ds=$[yyyymmdd]; 説明 ${tableName} 変数は、監視対象テーブルの名前に動的に置換されます。 パーティションフィルター式の設定方法の詳細については、「付録 2：組み込みパーティションフィルター式」をご参照ください。 テーブルの 品質モニターを作成し、この方法でルールを設定した場合、モニターに指定された タイムスタンプ範囲 は無視されます。この SQL の [WHERE] 句によって、どのパーティションがチェックされるかが決まります。

   方法 3：カスタム SQL

   この方法では、テーブルのデータ品質検証ロジックをカスタマイズできます。

   カスタム SQL のパラメーター

   このセクションでは、カスタム SQL に固有のパラメーターのみを説明します。その他のパラメーターについては、システムルールテンプレートのパラメーターをご参照ください。

   パラメーター	説明
   FLAG パラメーター	データ品質チェック SQL の実行前に実行する SET コマンドを定義します。
   SQL	SQL 検証ロジックです。クエリは単一の数値を返す必要があります。 カスタム SQL では、角括弧を使用してテーブルのパーティションフィルター式を照合します。例： SELECT count(*) FROM <table_name> WHERE ds=$[yyyymmdd]; 説明 設定では、<table_name> を実際のテーブル名に置換する必要があります。この SQL ステートメントによって、どのテーブルが監視されるかが決まります。 パーティションフィルター式の設定方法の詳細については、「付録 2：組み込みパーティションフィルター式」をご参照ください。 テーブルの 品質モニターを作成し、この方法でルールを設定した場合、モニターに指定された タイムスタンプ範囲 は無視されます。この SQL の [WHERE] 句によって、どのパーティションがチェックされるかが決まります。

   方法 4: カスタムスクリプト

   カスタムスクリプトのルールは、時間レベルおよび分レベルのデータ検証をサポートします。スクリプトルールの作成方法については、「システムルールテンプレートの使用」をご参照ください。例：

   - assertion: change 30 minutes ago for max(id) = 15
     name: 30-minute difference in max value of id field is 15

3. (オプション) 設定したルールを品質モニターに追加します。品質モニターの詳細については、「ステップ 2. 品質モニターの作成」をご参照ください。

   説明

   品質ルールは、品質モニターに追加された後にのみトリガーできます。ここで既存の品質モニターを選択するか、品質モニターを設定する際に [Select Quality Rule] ステップでこの品質ルールを選択できます。

4. OK をクリックします。

ステップ 4： ルールのテスト

品質モニターのルールは、次の方法でテストできます。

ステップ 5：アラートサブスクリプションの変更

ステップ 2. 品質モニターの作成 でアラートサブスクリプションを設定しました。ルールがトリガーされると、システムは指定されたアラート受信者に通知を送信します。アラート受信者を変更する必要がある場合は、次のいずれかの方法でアラートサブスクリプションを変更できます。

付録1：変動率と標準スコアの計算式

• 変動率の計算式：変動率 = (サンプル値 - ベースライン値) / ベースライン値

  • サンプル値：当日のサンプルの値です。たとえば、SQLタスクのテーブル行数について1日の変動率をチェックする場合、サンプル値は当日のパーティションの行数です。

  • ベースライン値：過去のサンプルからの参照値です。

  説明

  • ルールが SQL タスクの テーブル行数、1日の変動率 チェックの場合、ベースライン値は前日のパーティションの行数です。

  • ルールが SQL タスクの テーブル行数、7日間の平均変動率 チェックの場合、ベースライン値は過去 7 日間の平均行数です。

• 標準スコアの計算式：(現在のサンプル値 - 過去 N 日間の平均値) / 標準偏差

  説明

  標準スコアは、BIGINT や DOUBLE などの数値型にのみ使用できます。

付録2：組み込みパーティション式

次のシナリオを想定します：

• データタイムスタンプ (bizdate) は 20240524 です

• スケジュール時刻は 10:30:00 です