DataWorks:テーブルに対するルールの設定

ステップ 1：テーブル品質詳細ページへのアクセス

1. Data Quality ページに移動します。

   DataWorks コンソール にログインします。画面右上のナビゲーションバーで、目的のリージョンを選択します。左側のナビゲーションウィンドウで、データガバナンス > Data Quality を選択します。表示されたページで、ドロップダウンリストから目的のワークスペースを選択し、Data Quality へ移動 をクリックします。

2. テーブル別設定ページに移動します。

   左側のナビゲーションウィンドウで、ルールの設定 > Configure by Table をクリックして、ルール設定ページに移動します。

   1. 左側の データソース リストから、ルールを設定するテーブルを含むデータベースを選択します。

   2. データベースタイプ、データベース、テーブル名、その他の条件でテーブルをフィルター処理します。目的のテーブル名をクリックするか、Rule Management を Actions 列でクリックして、テーブルの品質詳細ページに移動します。

      このページには、現在のテーブルに対して設定済みのすべての品質モニターおよびルールが表示されます。品質モニターに関連付けられているかどうかに基づいて、ルールをフィルター処理できます。また、品質モニターに関連付けられていないルールについては、実行設定を定義できます。

      

ステップ 2：品質モニターの作成

1. 品質モニターを作成します。

   品質モニターは、以下の 2 つの方法のいずれかで作成できます：

   ルール管理タブ

   Table Quality Details ページで、Rule Management タブをクリックします。Monitor Perspective の横にある アイコンをクリックして、新しい品質モニターを作成します。

   

   品質モニタリングタブ

   Table Quality Details ページで、品質モニタリングタブに切り替えます。モニターの作成 をクリックします。

   

2. 品質モニターのパラメーターを設定します。

   セクション	パラメーター	説明
   Basic Configurations	Monitor Name	品質モニターのカスタム名を入力します。
   	Quality Monitoring Owner	この品質モニターのオーナーを指定します。アラートサブスクリプションを設定する際に、Email、Email and SMS、または Telephone の通知方法を使用して、オーナーをアラート受信者として指定できます。
   	Monitored Object	データ品質チェックの対象となるオブジェクトです。デフォルトでは、現在のテーブルが設定されます。
   	データ範囲	パーティションフィルター式を使用して、品質ルールがチェックするテーブルのパーティションを定義します。 非パーティション化テーブルの場合は、このパラメーターを設定する必要はありません。デフォルト値は Full Table です。 パーティションテーブルの場合は、式の形式は partition_name=partition_value です。パーティション値には、固定値または 組み込みパーティションフィルター式 を指定できます。 説明 カスタムテンプレートまたはカスタム SQL を使用してルールを設定する場合、この設定は適用されません。カスタムテンプレートまたはカスタム SQL を使用して設定された品質ルールでは、カスタム SQL がチェック対象のパーティションを決定します。
   品質ルールの選択	品質ルールの選択	品質モニターに関連付ける品質ルールを選択します。これらのルールは、指定された範囲内のデータが期待通りであるかどうかをチェックします。 説明 異なるパーティションに対して複数の品質モニターを作成し、それぞれに異なる品質ルールを関連付けることで、異なるパーティションに異なる検証ルールを適用できます。 品質ルールを作成していない場合は、このステップをスキップできます。まず品質モニターを作成し、その後でルールを追加することもできます。品質ルールの作成方法については、「ステップ 3：データ品質ルールの設定」をご参照ください。
   Running Settings	Trigger Method	品質モニターのトリガー方法です。 Triggered by Node Scheduling in Production Environment：品質モニターを DataWorks オペレーションセンター内の特定の定期タスクに関連付けます。タスクが正常に実行されると、この品質モニター内の品質ルールが自動的にトリガーされます。ドライランタスクは品質ルールチェックをトリガーしません。 Triggered Manually：現在の品質モニターに関連付けられた品質モニタリングルールを手動でトリガーできます。 重要 監視対象のテーブルが MaxCompute テーブルでない場合、Trigger Method を Triggered by Node Scheduling in Production Environment に設定すると、選択した定期タスクは パブリックスケジューリングリソースグループを使用できません。それ以外の場合、品質モニターの実行時にエラーが報告されます。
   	スケジューリングノードの関連付け	Trigger Method を Triggered by Node Scheduling in Production Environment に設定した場合、このパラメーターを設定して関連付けられるスケジューリングノードを指定できます。指定されたスケジューリングノードが正常に実行されると、品質モニタリングルールが自動的にトリガーされます。
   	実行リソースの選択	品質ルールチェックを実行するために必要なコンピューティングリソースを指定します。デフォルトでは、監視対象テーブルのデータソースのリソースが選択されます。別のデータソースを選択する場合は、そのリソースがテーブルにアクセス可能であることを確認してください。
   Handling Policies	Quality Issue Handling Policies	システムがデータ品質課題を検出した場合に使用するブロッキングまたはアラートポリシーを設定します。 Alert：データ品質課題が検出されると、システムは品質モニターのサブスクライブ済みチャネルにアラートを送信します。 デフォルトの条件は 強制ルール・重大アノマリー、強制ルール・警告アノマリー、強制ルール・チェック失敗、通常ルール・重大アノマリー、通常ルール・警告アノマリー、および 通常ルール・チェック失敗 です。 Blocks：データ品質課題が検出されると、システムはテーブル品質チェックをトリガーした本番スケジューリングノードを特定し、そのノードを「失敗」として設定して、後続ノードの実行を防止します。このプロセスにより、問題のあるデータがパイプライン全体に拡散することを防ぎます。 デフォルトの条件は 強制ルール・重大アノマリー です。 重要 ポリシーを Blocks に設定した場合、品質ルールの条件が満たされると、システムはアラートも同時にトリガーします。
   	Alert Method Configuration	Email、Email and SMS、DingTalk Chatbot、DingTalk Chatbot @ALL、Lark Group Chatbot、Enterprise WeChat Chatbot、Custom Webhook、または Telephone を使用してアラート通知を送信できます。 説明 チャットボットを使用するには、DingTalk、Lark、または WeCom のチャットボットを追加し、その Webhook URL を取得して、アラートサブスクリプションに貼り付けます。 Custom Webhook の通知方法は、DataWorks Enterprise Edition のみでサポートされています。Custom Webhook を使用したアラート通知のメッセージフォーマットについては、「付録：Webhook メッセージフォーマット」をご参照ください。 メール、メールおよび SMS、または 電話 を通知方法として選択した場合、受信者 を Data Quality Monitoring Owner、Shift Schedule、または Scheduling Task Owner に設定できます。 Data Quality Monitoring Owner：アラート通知は、現在の品質モニターの Basic Configurations セクションで指定された Quality Monitoring Owner に送信されます。 Shift Schedule：品質モニターに関連付けられたスケジューリングノードによって品質ルールチェックのアラートがトリガーされた場合、システムは 勤怠表における当日の当直ユーザー にアラート通知を送信します。 Scheduling Task Owner：アラート通知は、品質モニターに関連付けられたスケジューリングノードの オーナー に送信されます。

3. Save をクリックして品質モニターを作成します。

ステップ 3：データ品質ルールの設定

1. Table Quality Details ページの Rule Management タブで、作成した品質モニターを選択し、Create Rule をクリックして、ルール設定ページに移動します。

2. データ品質ルールを作成します。

   Data Quality では、品質モニタリングルールを設定するための複数の方法が提供されています。ビジネス要件に最も適した方法を選択してください。

   方法 1：システムテンプレート

   Data Quality では、数十種類の組み込み 品質ルールテンプレート が提供されています。左側のペインで、テンプレートの横にある + 使用 をクリックすると、品質モニタリングルールをすばやく作成できます。複数のルールを同時に追加できます。

   + システムテンプレートルール を上部でクリックし、Template パラメーターを変更することで、ルールテンプレートを変更できます。

   システムルールテンプレートのパラメーター

   パラメーター	Description
   Rule Name	カスタムのルール名を入力できます。
   Template	テーブルに対して実行するルールチェックの種類を定義します。 Data Quality では、テーブルレベルおよびフィールドレベルの監視テンプレートを多数提供しており、これらを使用できます。詳細については、「組み込みルールテンプレートの表示」をご参照ください。 説明 平均値、合計値、最小値、最大値は、数値型フィールドにのみ適用可能です。
   Rule Scope	ルールの適用範囲です。テーブルレベルのルールの場合、デフォルトで現在のテーブルが適用範囲になります。フィールドレベルのルールの場合、特定のフィールドを選択する必要があります。
   Comparison Method	テーブルデータが期待通りであるかどうかを判断するためのルールチェック方法を定義します。 Manual Settings：データ出力とルールとの間の比較をカスタマイズします。 異なるルールテンプレートでは、サポートされる比較方法が異なります。UI で表示されるオプションは異なる場合があります。 数値型 の結果の場合、固定値（期待値）と結果を比較できます。サポートされる比較方法には、Greater Than、Greater Than or Equal To、Equal To、Unequal To、Less Than、および Less Than or Equal To があります。通常のデータ範囲（通常しきい値）および重大なデータ範囲（重大しきい値）をカスタマイズできます。 変動型 の結果の場合、範囲比較を実行できます。サポートされる比較方法には、Absolute Value、Raise、および Drop があります。通常のデータ範囲（通常しきい値）をカスタマイズできます。また、偏差の程度に基づいて警告範囲（警告しきい値）および重大範囲（重大しきい値）を定義できます。 Intelligent Dynamic Threshold：変動しきい値または期待値を手動で設定する必要はありません。システムがインテリジェントアルゴリズムを使用して、合理的なしきい値を自動的に決定します。システムが異常なデータを検出すると、即座にアラートをトリガーするか、関連付けられたタスクをブロックします。動的しきい値は、強制ルールおよび通常ルールの両方をサポートします。 説明 インテリジェント動的しきい値の比較方法は、カスタム SQL、カスタム範囲および動的しきい値 のテンプレートから作成された品質ルールのみがサポートしています。
   Monitoring Threshold	Comparison Method を Manual Settings に設定した場合、Normal threshold および 重大しきい値 を指定できます。 Normal threshold：品質ルールチェックの結果がここで指定した値を満たす場合、データは期待通りです。 重大しきい値：品質ルールチェックの結果がここで指定した値を満たす場合、データは期待通りではありません。 ルールが 変動型 のチェックである場合、警告しきい値 も指定する必要があります。 警告しきい値：品質ルールチェックの結果がここで指定した値を満たす場合、データに異常がありますが、ビジネス運用には影響しません。
   Retain problem data	ルールが有効化されており、品質ルールチェックが失敗した場合、システムは自動的に問題のあるデータを格納するテーブルを作成します。 重要 現在、この機能は MaxCompute および Hologres のテーブルに対してのみ有効化できます。 現在、一部の品質モニタリングルールのみがこの機能をサポートしています。 ルールのステータスがこの機能に影響します。無効 の場合、システムは問題データを保持しません。
   ステータス	ルールの 有効 または 無効 ステータスであり、本番環境でルールが実行されるかどうかを制御します。 重要 ステータスを 無効 に設定した場合、テスト実行のためにルールをトリガーできず、関連付けられたスケジューリングタスクもルールをトリガーしません。
   Degree of importance	ルールの重要度を設定します。 強制ルール：重要なルールです。重大なアノマリーが発生した場合、デフォルトで関連付けられたスケジューリングタスクをブロックします。 通常ルール：通常のルールです。重大なアノマリーが発生した場合、デフォルトで関連付けられたスケジューリングタスクをブロックしません。
   Configuration Source	ルール構成のソースを表示します。この場合、値は Data Quality です。
   Description	ルールについて補足的な説明を追加できます。

   方法 2：カスタムテンプレート

   説明

   カスタムテンプレートを使用してルールを作成する前に、Quality Assets > ルールテンプレートライブラリ に移動して、カスタムルールテンプレートを作成する必要があります。詳細については、「カスタムルールテンプレートの作成および管理」をご参照ください。

   カスタムテンプレートを使用する場合、システムは自動的に基本設定（FLAG parameter および検証用の SQL など）を表示します。カスタムの Rule Name を指定し、ルールの種類に応じてモニタリングしきい値を設定できます。たとえば、数値型ルールでは通常しきい値および重大しきい値を指定する必要がありますが、変動型ルールでは警告しきい値も指定する必要があります。

   カスタムルールテンプレートのパラメーター

   このセクションでは、カスタムルールテンプレートに固有のパラメーターのみを説明します。その他のパラメーターについては、システムルールテンプレートのパラメーター説明をご参照ください。

   パラメーター	説明
   FLAG パラメーター	データ品質チェック SQL の実行前に実行する SET コマンドを定義します。
   SQL	完全な SQL 検証ロジックを定義します。クエリは、1 行 1 列で単一の数値を返す必要があります。 カスタム SQL では、角括弧を使用してテーブルのパーティションフィルター式と一致させます。例： SELECT count(*) FROM ${tableName} WHERE ds=$[yyyymmdd]; 説明 システムは、${tableName} 変数を監視対象テーブルの名前に動的に置き換えます。 パーティションフィルター式の設定方法については、「付録 2：組み込みパーティションフィルター式」をご参照ください。 テーブルに対して 品質モニター を作成し、この方法でルールを設定した場合、モニター設定で指定した データ範囲 はもはや適用されません。この SQL ステートメントの WHERE 句が、ルールがチェックするテーブルのパーティションを決定します。

   方法 3：カスタム SQL

   この方法では、テーブルのデータ品質検証ロジックをカスタマイズできます。

   カスタム SQL のパラメーター

   このセクションでは、カスタム SQL に固有のパラメーターのみを説明します。その他のパラメーターについては、システムルールテンプレートのパラメーター説明をご参照ください。

   パラメーター	説明
   FLAG パラメーター	データ品質チェック SQL の実行前に実行する SET コマンドを定義します。
   SQL	完全な SQL 検証ロジックを定義します。クエリは、1 行 1 列で単一の数値を返す必要があります。 カスタム SQL では、角括弧を使用してテーブルのパーティションフィルター式と一致させます。例： SELECT count(*) FROM <table_name> WHERE ds=$[yyyymmdd]; 説明 設定時に、<table_name> を実際のテーブル名に置き換える必要があります。この SQL ステートメントが監視対象のテーブルを決定します。 パーティションフィルター式の設定方法については、「付録 2：組み込みパーティションフィルター式」をご参照ください。 テーブルに対して 品質モニター を作成し、この方法でルールを設定した場合、モニター設定で指定した データ範囲 はもはや適用されません。この SQL ステートメントの WHERE 句が、ルールがチェックするテーブルのパーティションを決定します。

   方法 4：カスタムスクリプト

   カスタムスクリプトルールは、時間単位および分単位のデータ検証をサポートします。スクリプトルールの記述方法については、「システムルールテンプレートの使用」をご参照ください。例：

   - assertion: change 30 minutes ago for max(id) = 15
     name: id フィールドの max 値の 30 分前の差分は 15

   

3. （任意）設定したルールを品質モニターに追加します。品質モニターの詳細については、「ステップ 2：品質モニターの作成」をご参照ください。

   説明

   品質ルールは、品質モニターに追加した後にのみトリガーされます。既存の品質モニターを選択するか、品質モニターを設定する際の 品質ルールの選択 ステップでこの品質ルールを選択できます。

   

4. OK をクリックします。

ステップ 4：ルール実行のテスト

品質モニター内のルールを以下の方法でテストできます。

ステップ 5：アラートサブスクリプションの変更

「ステップ 2：品質モニターの作成」でアラートサブスクリプションを設定しました。ルールがトリガーされると、システムは指定されたアラート受信者に通知を送信します。他のユーザーに通知するようにアラートサブスクリプションを変更したい場合は、以下の方法で設定できます。

付録 1：変動率および分散の計算式

• 変動率の計算式：変動率 = (サンプル値 - ベースライン値) / ベースライン値

  • サンプル値：当日に収集されたサンプルの値です。たとえば、SQL タスクにおけるテーブル行数の 1 日変動チェックの場合、サンプルは当日のパーティションの行数です。

  • ベースライン値：過去のサンプルから得られる比較値です。

  説明

  • ルールが SQL タスクにおける テーブル行数、1 日変動率 のチェックである場合、ベースライン値は前日のパーティションの行数です。

  • ルールが SQL タスクにおける テーブル行数、7 日平均変動率 のチェックである場合、ベースライン値は過去 7 日間の平均行数です。

• 分散変動の計算式：(現在のサンプル - 過去 N 日間の平均) / 標準偏差

  説明

  分散は、BIGINT や DOUBLE などの数値型でのみ使用できます。

付録 2：組み込みパーティションフィルター式

以下の例では、次のシナリオを想定しています：

• データタイムスタンプ（bizdate）は 20240524

• スケジューリング時間は 10:30:00