DataWorks:単一テーブルの監視ルールを設定する

テーブルの監視ルールを設定するには、次の手順を実行する必要があります:

1. 監視ルールに基づいてデータ品質をチェックするテーブルを選択します。

2. テーブルの品質モニターを作成します。

   テーブルのモニターを作成および設定する際に、パーティションなどの監視したいテーブルデータの範囲を指定し、モニターに関連付ける監視ルールを選択できます。これにより、モニターはルールに基づいて指定されたテーブルデータの品質を監視するために使用できます。

   • 同じテーブルの異なるパーティションに対して異なるモニターを作成し、異なる監視ルールをモニターに関連付けることができます。これにより、パーティションは異なるデータ品質チェックロジックに基づいて監視できます。

   • モニターのトリガーメソッドを指定できます。モニターは、テーブルを生成するスケジューリングノードが実行されたとき、または手動でモニターを実行したときにトリガーできます。

   • アラートを送信する条件を指定できます。データ品質チェック結果の重大度に基づいてアラートを送信するかどうかを決定できます。テーブル内のデータ変更が自動的にチェックされる際に、データ品質問題の重大度に基づいて監視対象テーブルを生成するタスクをブロックするかどうかを決定できます。

3. データ品質ルールを設定して品質監視に追加します。

   テーブルのデータ品質を監視する基準となる監視ルールを選択できます。ルールで定義された特定のチェックメソッドが実装され、テーブルデータがビジネス要件を満たしているかどうかが判断されます。

   Data Quality では、組み込みのルールテンプレートに基づいて監視ルールを作成したり、カスタム SQL 文ロジックに基づいてカスタムテンプレートルールを作成したりできます。

   • 組み込みテンプレートルール: DataWorks が提供する組み込みルールテンプレートに基づいて監視ルールを作成できます。

   • カスタムテンプレートルール: パーティションフィルター式で指定されたデータの品質を監視するための要件を組み込みルールテンプレートが満たせない場合は、カスタムテンプレートルールを作成できます。頻繁に使用するカスタムルールをルールテンプレートとして保存し、将来使用することができます。

4. モニターをテストし、サブスクライブします。

ステップ 1: テーブル品質詳細ページに移動する

1. Data Quality ページに移動します。

   DataWorks コンソールにログインします。上部のナビゲーションバーで、目的のリージョンを選択します。左側のナビゲーションウィンドウで、[データガバナンス] > [Data Quality] を選択します。表示されたページで、ドロップダウンリストから目的のワークスペースを選択し、[Data Quality に移動] をクリックします。

2. [テーブルごとに設定] ページに移動します。

   左側のナビゲーションウィンドウで、[ルールを設定] > [テーブルごとに設定] を選択します。

   1. [接続] セクションで、ルールを設定するテーブルが存在するデータベースを選択します。

   2. データベースタイプ、データベース、テーブル名などの条件に基づいて目的のテーブルを検索します。次に、テーブルの名前をクリックするか、テーブルの [アクション] 列にある [ルール管理] をクリックして、テーブル品質詳細ページに移動します。

      このページには、テーブルに設定されているすべてのモニターとルールが表示されます。ルールがモニターに関連付けられているかどうかに基づいて、ルールをすばやくフィルターできます。モニターに関連付けられていないルールについては、ルールの実行モードを指定できます。

      

ステップ 2: モニターを作成する

1. モニターを作成します。

   次のいずれかの方法でモニターを作成できます:

   ルール管理タブ

   [テーブル品質詳細] ページで、[ルール管理] タブをクリックします。[モニター視点] の横にあるアイコンをクリックします。

   

   モニタータブ

   [テーブル品質詳細] ページで、[モニター] タブをクリックします。[モニターの作成] をクリックします。

   

2. 品質監視のパラメーターを設定します。

   設定項目	パラメーター	説明
   基本設定	モニター名	モニターの名前。
   	モニターのオーナー	必要に応じてモニターのオーナーを指定できます。アラートサブスクリプションを設定する際に、[メール]、[メールと SMS]、または [電話] を使用して、モニターのオーナーをアラート受信者として指定できます。
   	監視対象	データ品質をチェックするオブジェクト。デフォルト値は現在のテーブルです。
   	データ範囲	品質を監視するテーブルデータの範囲。パーティションフィルター式を使用して、チェックする必要があるパーティションを定義できます。 非パーティションテーブルの場合、このパラメーターを設定する必要はありません。デフォルトで [テーブル内のすべてのデータ] がチェックされます。 パーティションテーブルの場合、このパラメーターを パーティションキー=パーティション値 形式の値に設定する必要があります。パーティション値は、定数または組み込みパーティションフィルター式にすることができます。 説明 カスタムテンプレートまたはカスタム SQL 文に基づいて監視ルールを設定する場合、このパラメーターは有効になりません。代わりに、ルールによってチェックされるパーティションは、ルールで指定されたカスタム SQL 文によって決定されます。
   品質ルールの選択	品質ルールの選択	モニターに関連付ける監視ルール。指定された範囲のデータの品質は、ルールに基づいて監視されます。 説明 同じテーブルの異なるパーティションに対して異なるモニターを作成し、異なる監視ルールをモニターに関連付けることができます。これにより、パーティションは異なるデータ品質チェックロジックに基づいて監視できます。 監視ルールを作成していない場合は、このパラメーターの設定をスキップして、まずモニターの作成を完了できます。監視ルールを作成および設定するときに、監視ルールをモニターに追加できます。監視ルールの作成と設定の詳細については、「ステップ 3: 監視ルールを設定する」をご参照ください。
   実行設定	トリガーメソッド	モニターのトリガーメソッド。 [本番環境でのノードスケジューリングによるトリガー]: モニターに関連付けたスケジューリングノードがオペレーションセンターで実行を完了すると、モニターに関連付けられているルールが自動的にトリガーされます。ドライランノードは監視ルールをトリガーして実行しないことに注意してください。 [手動でトリガー]: モニターに関連付けられている監視ルールは手動でトリガーされます。 重要 データ品質をチェックするテーブルが非 MaxCompute テーブルで、[トリガーメソッド] に [本番環境でのノードスケジューリングによるトリガー] が選択されている場合、スケジューリング用の共有リソースグループで実行されるスケジューリングノードをモニターに関連付けることはできません。そうしないと、モニターの実行時にエラーが報告される可能性があります。
   	関連スケジューリングノード	[トリガーメソッド] パラメーターを [本番環境でのノードスケジューリングによるトリガー] に設定した場合、このパラメーターを設定して、モニターに関連付けるスケジューリングノードを選択できます。スケジューリングノードの実行が完了すると、モニターに関連付けられているルールが自動的にトリガーされます。
   	実行リソース	ルールの実行に必要なリソース。デフォルトでは、現在のワークスペースで監視対象のテーブルが属するデータソースが選択されます。別のデータソースを選択する場合は、関連リソースが監視対象のテーブルにアクセスできることを確認してください。
   処理ポリシー	品質問題処理ポリシー	検出されたデータ品質問題を処理するために使用されるブロッキングまたはアラートポリシー。 ブロック: テーブルでデータ品質の問題が検出された場合、テーブルを生成する本番環境のスケジューリングノードが識別され、システムはそのノードの実行ステータスを [失敗] に設定します。この場合、ノードの子孫ノードは実行できなくなり、ダーティデータの拡散を防ぐために本番リンクがブロックされます。 デフォルト値: 強いルール・赤色異常。 アラート: テーブルでデータ品質の問題が検出された場合、システムは設定された通知方法を使用してアラート受信者にアラート通知を送信します。 デフォルト値: 強いルール・赤色異常、強いルール・橙色例外、強いルール・チェック失敗、弱いルール・赤色異常、弱いルール・橙色例外、および 弱いルール・チェック失敗。
   	アラート設定	[メール]、[メールと SMS]、[DingTalk チャットボット]、[DingTalk チャットボット @ALL]、[Lark グループチャットボット]、[WeCom ロボット]、[カスタム WebHook]、または [電話] を使用してアラート通知を送信できます。 説明 DingTalk チャットボット、Lark チャットボット、または WeChat チャットボットを追加して、Webhook URL を取得できます。次に、Webhook URL を [サブスクリプションの管理] ダイアログボックスの [受信者] フィールドにコピーします。 [カスタム Webhook] 通知方法は、DataWorks Enterprise Edition でのみサポートされています。[カスタム Webhook] を使用して送信されるアラート通知のメッセージ形式の詳細については、「付録: カスタム Webhook URL を使用して送信されるアラート通知のメッセージ形式」をご参照ください。 [メール]、[メールと SMS]、または [電話] を通知方法として選択した場合、[承認オブジェクト] を [モニターのオーナー]、[勤怠表]、または [ノードのオーナー] として指定できます。 [Data Quality 監視オーナー]: アラート情報は、現在の品質モニターの [基本設定] セクションで設定された [品質監視オーナー] に送信されます。 [勤怠表]: モニターに関連付けられた監視ルールがトリガーされてアラートが生成されると、システムは勤怠表の当日の担当者にアラート通知を送信します。 [ノードのオーナー]: アラート通知は、モニターに関連付けられたスケジューリングノードの [オーナー] に送信されます。

3. [保存] をクリックして、モニターの作成を完了します。

ステップ 3: 監視ルールを設定する

1. [テーブル品質詳細] ページで、[ルール管理] タブをクリックし、作成したモニターを選択してから、[ルールの作成] をクリックします。[ルールの作成] パネルが表示されます。

2. 監視ルールを作成します。

   Data Quality が提供する次のいずれかの方法を使用して、ビジネス要件に基づいて監視ルールを設定できます。

   方法 1: 組み込みルールテンプレートに基づいてルールを設定する

   Data Quality は、数十の組み込みルールテンプレートを提供します。組み込みルールテンプレートに基づいて、監視ルールをすばやく作成できます。

   説明

   • [ルールの作成] パネルの上部で、[+ システムテンプレートルール] をクリックできます。次に、[テンプレート] パラメーターを設定して、目的のルールテンプレートを選択できます。

   • または、[ルールの作成] パネルの左側のナビゲーションウィンドウで目的の組み込みルールテンプレートを見つけて、[+ 使用] をクリックすることもできます。

   • 同時に複数のルールを追加できます。

   

   組み込みルールテンプレートに基づくルールを設定するためのパラメーター

   パラメーター	説明
   ルール名	監視ルールの名前。
   テンプレート	テーブルで実行する必要があるルール検証のタイプを定義します。 Data Quality は、すぐに使用できる多くの組み込みテーブルレベルおよびフィールドレベルのルールテンプレートを提供します。詳細については、「組み込みルールテンプレートの表示」をご参照ください。 説明 次のタイプのフィールドレベルの監視ルールは、数値フィールド (平均値、値の合計、最小値、最大値) に対してのみ設定できます。
   ルールの範囲	ルールの適用範囲。テーブルレベルの監視ルールの場合、適用範囲はデフォルトで現在のテーブルです。フィールドレベルの監視ルールの場合、適用範囲は特定のフィールドです。
   比較方法	ルールがテーブルデータが期待どおりであるかどうかをチェックするために使用する比較方法。 [手動設定]: ビジネス要件に基づいて、データ出力結果を期待される結果と比較するように比較方法を設定できます。 ルールテンプレートごとに異なる比較方法を選択できます。DataWorks コンソールでルールテンプレートでサポートされている比較方法を表示できます。 [数値] の結果については、数値結果を固定値 (期待値) と比較できます。サポートされている比較方法は、[より大きい]、[以上]、[等しい]、[等しくない]、[より小さい]、および [以下] です。ビジネス要件に基づいて、正常なデータ範囲 (正常しきい値) と異常なデータ範囲 (重大しきい値) を設定できます。 [変動] の結果については、変動結果を変動範囲と比較できます。サポートされている比較方法は、[絶対値]、[上昇]、および [下降] です。ビジネス要件に基づいて、正常なデータ範囲 (正常しきい値) を設定できます。また、異常な逸脱の程度に基づいて、データ出力の例外 (警告しきい値) と予期しないデータ出力 (重大しきい値) を定義することもできます。 [インテリジェント動的しきい値]: このオプションを選択した場合、変動しきい値または期待値を手動で設定する必要はありません。システムは、インテリジェントアルゴリズムに基づいて適切な しきい値を自動的に決定します。異常なデータが検出された場合、アラートがすぐにトリガーされるか、関連タスクがすぐにブロックされます。[比較方法] パラメーターが [インテリジェント動的しきい値] に設定されている場合、[重要度] パラメーターを設定できます。 説明 カスタム SQL 文、カスタム範囲、または動的しきい値に基づいて設定した監視ルールのみが、インテリジェント動的しきい値比較方法をサポートします。
   監視しきい値	[比較方法] パラメーターを [手動設定] に設定した場合、[正常しきい値] および [赤色しきい値] パラメーターを設定できます。 [正常しきい値]: データ品質チェックの結果が指定された条件を満たす場合、データ出力は期待どおりです。 [赤色しきい値]: データ品質チェックの結果が指定された条件を満たす場合、データ出力は期待どおりではありません。 設定するルールが [変動タイプ] のルールである場合は、[警告しきい値] を設定する必要があります。 [警告しきい値]: データ品質チェックの結果が指定された条件を満たす場合、データは異常ですが、ビジネスには影響しません。
   問題データを保持	監視ルールが有効になっていて、ルールに基づくデータ品質チェックが失敗した場合、システムはデータ品質チェック中に識別された問題のあるデータを格納するテーブルを自動的に作成します。 重要 [問題データを保持] パラメーターは MaxCompute テーブルでのみ使用できます。 [問題データを保持] パラメーターは、Data Quality の特定の監視ルールでのみ使用できます。 監視ルールのステータスを [オフにする] と、問題のあるデータは保存されません。
   ステータス	本番環境でルールを [有効] にするか [無効] にするかを指定します。 重要 ルールのスイッチを [オフにする] と、ルールをトリガーしてテスト実行を実行したり、関連するスケジューリングノードによってトリガーされたりすることはできません。
   重要度	ビジネスにおけるルールの強さ。 強いルールは重要なルールです。パラメーターを [強いルール] に設定し、重大しきい値を超えた場合、モニターに関連付けたスケジューリングノードはデフォルトでブロックされます。 弱いルールは通常のルールです。パラメーターを [弱いルール] に設定し、重大しきい値を超えた場合、モニターに関連付けたスケジューリングノードはデフォルトではブロックされません。
   設定ソース	ルール設定のソース。デフォルト値は [Data Quality] です。
   説明	ルールに説明を追加できます。

   方法 2: カスタムルールテンプレートに基づいてルールを設定する

   説明

   この方法を使用してルールを作成する前に、[品質資産] > [ルールテンプレートライブラリ] に移動してカスタムルールテンプレートを作成する必要があります。詳細については、「カスタムルールテンプレートの作成と管理」をご参照ください。

   カスタムルールテンプレートを参照すると、[FLAG パラメーター] や [SQL] などのテンプレートの基本設定が自動的に表示されます。ビジネス要件に基づいて [ルール名] パラメーターを設定し、ルールタイプに基づいて [監視しきい値] パラメーターを設定できます。たとえば、数値ルールには正常しきい値と重大しきい値を定義する必要があり、変動タイプのルールには正常しきい値と重大しきい値に加えて警告しきい値を定義する必要があります。

   

   カスタムルールテンプレートに基づいてルールを設定するためのパラメーター

   次の表では、カスタムルールテンプレートに基づくルールに固有のパラメーターのみを説明します。その他のパラメーターについては、組み込みルールテンプレートに基づくルールを設定するためのパラメーターをご参照ください。

   パラメーター	説明
   FLAG パラメーター	ルール内の SQL 文が実行される前に実行する SET 文。
   SQL	完全なチェックロジックを決定する SQL 文。返される結果は数値で、1 行 1 列で構成されている必要があります。 カスタム SQL 文では、パーティションフィルター式を角括弧 [] で囲みます。例: SELECT count(*) FROM ${tableName} WHERE ds=$[yyyymmdd]; 説明 この文では、${tableName} 変数の値は、監視ルールを設定しているテーブルの名前に動的に置き換えられます。 パーティションフィルター式の設定方法の詳細については、このトピックの「付録 2: 組み込みパーティションフィルター式」セクションをご参照ください。 テーブルのモニターを作成した場合、モニター設定中に [データ範囲] パラメーターで指定したテーブルパーティションの設定は、このパラメーターを設定した後はテーブルに対して有効ではなくなります。ルールは、SQL 文の WHERE の設定に基づいてチェックするテーブルパーティションを決定します。

   方法 3: カスタム SQL 文に基づいてルールを設定する

   この方法では、ビジネス要件に基づいてテーブルのデータ品質チェックロジックを設定できます。

   

   カスタム SQL 文に基づいてルールを設定するためのパラメーター

   次の表では、カスタム SQL 文に基づくルールに固有のパラメーターのみを説明します。その他のパラメーターについては、組み込みルールテンプレートに基づくルールを設定するためのパラメーターをご参照ください。

   パラメーター	説明
   FLAG パラメーター	ルール内の SQL 文が実行される前に実行する SET 文。
   SQL	完全なチェックロジックを決定する SQL 文。返される結果は数値で、1 行 1 列で構成されている必要があります。 カスタム SQL 文では、パーティションフィルター式を角括弧 [] で囲みます。例: SELECT count(*) FROM <table_name> WHERE ds=$[yyyymmdd]; 説明 <table_name> を、監視ルールを設定しているテーブルの名前に置き換える必要があります。SQL 文は、監視する必要があるテーブルを決定します。 パーティションフィルター式の設定方法の詳細については、このトピックの「付録 2: 組み込みパーティションフィルター式」セクションをご参照ください。 テーブルのモニターを作成した場合、モニター設定中に [データ範囲] パラメーターで指定したテーブルパーティションの設定は、このパラメーターを設定した後はテーブルに対して有効ではなくなります。ルールは、SQL 文の WHERE の設定に基づいてチェックするテーブルパーティションを決定します。

3. 任意。設定したルールをモニターに追加します。モニターの詳細については、「ステップ 2: モニターを作成する」をご参照ください。

   説明

   設定した監視ルールは、ルールをモニターに追加した場合にのみトリガーできます。ルールをモニターに関連付けるには、ここで既存のモニターを選択するか、モニターを設定するときに [監視ルール] セクションでルールを選択します。

   

4. [決定] をクリックします。

ステップ 4: ルールをテストする

モニターに関連付けたルールがどのようにトリガーされるかをテストするには、次のいずれかの方法を使用できます:

ステップ 5: モニターのアラートサブスクリプションを変更する

ステップ 2 でモニターを作成したときに、すでにアラートサブスクリプションを設定しています。ルールがトリガーされると、システムは指定されたアラート受信者に通知を送信します。他のユーザーに通知するためにアラートサブスクリプションを変更する場合は、次のいずれかの方法を使用できます:

付録 1: 変動率と分散の計算式

• 変動率の計算式: 変動率 = (サンプル値 - ベースライン値)/ベースライン値

  • サンプル値: 当日のサンプル値。たとえば、1 日以内の SQL タスクのテーブル行数の変動をチェックする場合、サンプル値はその日のパーティション内のテーブル行数です。

  • ベースライン値: 過去 N 日間から収集された比較値。

  説明

  • 1 日以内の SQL タスクのテーブル行数の変動をチェックする場合、ベースライン値は前日のパーティション内のテーブル行数です。

  • 7 日以内の SQL タスクのテーブル行数の平均変動をチェックする場合、ベースライン値は過去 7 日間の平均テーブル行数です。

• 分散の計算式: (現在のサンプル値 - 過去 N 日間の平均値)/標準偏差

  説明

  上記の式を使用して、BIGINT や DOUBLE フィールドなどの数値フィールドの変動分散のみを計算できます。

付録 2: 組み込みパーティションフィルター式

• $[yyyymmdd-1]

  パーティションは日次パーティションです。データタイムスタンプに一致するパーティションデータをチェックする必要があります。

• $[yyyymmdd-1]/hour=$[hh24]

  パーティションはレベル 2 パーティションです。スケジューリング日のすべてのレベル 2 パーティションをチェックする必要があります。

• $[yyyymmdd]

  パーティションは日次パーティションです。スケジューリング日のパーティションデータをチェックする必要があります。

• $[yyyymmddhh24miss]

  パーティションには、20211216174847 などの 24 時間形式の時刻情報が含まれています。bizdate で指定された日の特定の時点のパーティションデータをチェックする必要があります。

• $[yyyymmddhh24miss-1/24]

  パーティションには、20211216174847 などの 24 時間形式の時刻情報が含まれています。bizdate で指定された日の特定の時点より 1 時間前のパーティションデータをチェックする必要があります。

• $[yyyymmdd]000000

  パーティションは、20211216000000 など、毎日 00:00 のパーティションです。bizdate で指定された日の 00:00 のパーティションデータをチェックする必要があります。

• $[yyyymmdd-7]

  パーティションは、20211216 などの日次パーティションです。スケジューリング日より 7 日前のパーティションをチェックする必要があります。

• $[hh24miss-1/24]

  パーティションは、180000 などの時間単位のパーティションです。スケジューリング時刻より 1 時間前のパーティションをチェックする必要があります。

• $[hh24miss-30/24/60]

  パーティションは、180000 などの時間単位のパーティションです。スケジューリング時刻より 30 分前のパーティションをチェックする必要があります。

• $[add_months(yyyymmdd,-1)]

  パーティションは、20211208 などの日次パーティションです。スケジューリング日より 1 か月前のパーティションをチェックする必要があります。