DataWorks:テンプレートによるルールの設定

ステップ 1：[テンプレートで設定] ページへの移動

1. DataWorks コンソールにログインします。 左側のナビゲーションウィンドウで、[データモデリングと開発] > [データ品質] を選択します。 表示されるページで、ドロップダウンリストから目的のワークスペースを選択し、[データ品質に移動] をクリックします。

2. 左側のナビゲーションペインで、ルールの設定 > テンプレートによる設定 を選択し、[テンプレートで設定] ページに移動します。

   Data Quality には、組み込みの テーブルレベル および フィールドレベル のルールテンプレートが用意されています。テンプレートの モニタリングルールの設定 をクリックして、テーブルまたはフィールドのモニタリングルールを一括で設定します。

   [テンプレートで設定] ページの上部には、[キーワード検索]、[関連スコープ]、[品質ディメンション] の 3 つのフィルターが用意されています。組み込みの [テーブルレベル] のテンプレートには、テーブル行数の固定値、テーブル行数の 1 日差分、テーブル行数の 1 日変動率、テーブル行数の 7 日変動率、テーブル行数の 30 日変動率など、さまざまな適時性モニタリングテンプレートが含まれています。テンプレートの説明には、各テンプレートのベースラインの計算方法と比較ロジックが記載されています。

ステップ 2：モニタリングルールのプロパティ設定

1. 複数のテーブルまたはパーティションに一括で適用するテンプレートを選択します。[操作] 列で、[モニタリングルールの設定] をクリックします。そのテンプレートの [モニタリングルールのバッチ作成] ページが開きます。

2. モニタリングルールの [基本プロパティ] を設定します。

   パラメーター	[説明]
   [データソースタイプ]	このルールを適用するテーブルのデータソースタイプです。 説明 テンプレートを使用してモニタリングルールを設定できるデータソースは、MaxCompute、EMR、Hologres、CDH Hive、AnalyticDB for PostgreSQL、AnalyticDB for MySQL、StarRocks、MySQL、Lindorm、SQL Server、および DLF です。
   [ルールソース]	この値は [組み込みテンプレート] に固定されており、変更できません。選択したルールテンプレートを反映しています。組み込みルールテンプレートの詳細については、「組み込みルールテンプレートを表示」をご参照ください。
   [ルールテンプレート]
   [ルール名]	システムが自動的にルール名を生成します。サフィックスをカスタマイズできます。

3. モニタリングルールの詳細プロパティを設定します。

   パラメーター	[説明]
   [重要度]	ルールの重要度です。 強制ルール：重要なルールです。デフォルトでは、重大な異常が発生すると、関連付けられたスケジューリングタスクがブロックされます。 通常ルール：通常のルールです。デフォルトでは、重大な異常が発生しても、関連付けられたスケジューリングタスクはブロックされません。
   [比較方法]	テーブルデータが期待値を満たしているかどうかをルールが検証する方法を定義します。 [手動設定]：データ出力とルールの比較方法をカスタマイズします。 使用可能な比較方法は、ルールテンプレートによって異なります。UI に表示される方法が優先されます。 [数値型] の結果比較をサポートしています。通常、固定値 (期待値) と比較されます。比較方法には、[より大きい]、[以上]、[等しい]、[等しくない]、[未満]、[以下] があります。正常なデータ範囲 (正常しきい値) と異常なデータ範囲 (エラーしきい値) をカスタマイズできます。 [バースト型] の結果比較をサポートしています。通常、範囲比較です。比較方法には、[絶対値]、[上昇]、[下降] があります。正常なデータ範囲 (正常しきい値) をカスタマイズできます。また、偏差の程度に基づいて、異常 (警告しきい値) と予期しない結果 (エラーしきい値) を定義することもできます。 [インテリジェント動的しきい値]：変動しきい値や期待値を手動で設定する必要はありません。システムがインテリジェントアルゴリズムを使用して、適切なしきい値を自動的に決定します。データの異常が検出されると、アラートが即座にトリガーされるか、タスクがブロックされます。動的しきい値は、強制ルールと通常ルールの両方をサポートしています。 説明 インテリジェント動的しきい値の比較方法は、カスタム SQL、カスタムスコープおよび動的しきい値 の品質ルールでのみサポートされています。
   [モニタリングしきい値]	比較方法 を 手動設定 に設定した場合、正常しきい値 と エラーしきい値 を設定できます。 [正常しきい値]: チェック結果が指定した値を満たす場合、データチェックはパスします。 [エラーしきい値]：チェック結果が指定した値に達した場合、データチェックは失敗します。 If the rule performs a [バースト型] check, you must specify the [警告しきい値]. [警告しきい値]: If the check result meets the value that you specify, the data is anomalous but does not affect business operations.
   [有効状態]	ルールのステータスです。[有効化] または [無効化] を選択できます。この設定は、本番環境でルールを実行するかどうかを制御します。 重要 ステータスを 無効化 に設定した場合、ルールはテスト実行でも、関連付けられたスケジューリングタスクからもトリガーできません。

4. [次へ] をクリックして、[ルールの生成] ページに移動します。

ステップ3：テーブルまたはフィールドの追加

選択した [テーブルレベルのルールテンプレート] または [フィールドレベルのルールテンプレート] に応じて、ルールを適用するテーブルまたはフィールドを一括で追加します。

ステップ4：品質モニターの作成または関連付け

品質モニターでは、特定のデータオブジェクトをチェックするルールを定義します。オブジェクトは、パーティションテーブルの特定のパーティションなど、チェック対象のテーブル内のデータ範囲です。

モニターは、個別または一括で設定できます。

ステップ 5：ルール実行のテスト

1. ルールの生成 をクリックして、ルール検証 ページに移動します。ルール検証 ページでは、次の操作を実行できます。

   • テスト実行：ルール設定が有効であることを検証します。

     ルールを作成した後、1 つ以上のルールを選択して テスト実行 を行えます。テスト実行 ダイアログボックスで、スケジュール時刻 (チェックがトリガーされるシミュレーション時刻) と リソースグループ を選択します。システムは、このタイムスタンプと指定した タイムスタンプ範囲 に基づいて、チェック対象のテーブルパーティションの具体的なパーティション値を算出します。設定が完了したら、テスト実行 をクリックして、指定したテーブルパーティション内のデータが設定済みのデータ品質ルールを満たしているかどうかをチェックします。

     テスト実行後、実行記録 列の 実行記録 をクリックして、テスト実行の詳細を確認し、必要に応じて対応します。

   • サブスクリプション管理：アラート受信者を定義します。

     メール通知、メールおよび SMS 通知、DingTalk グループボット、DingTalk グループボット @ALL、Lark グループボット、WeCom ボット、カスタム Webhook、電話番号 などの方法で、アラート通知を送信できます。

     説明

     • DingTalk、Lark、または Enterprise WeChat チャットボットを追加するには、Webhook URL を取得し、アラートサブスクリプション設定に URL を貼り付けます。

     • カスタム Webhook 方式をサポートしているのは DataWorks Enterprise Edition のみです。DataWorks が送信する カスタム Webhook のアラート通知のメッセージ形式については、「Appendix: Webhook message format」をご参照ください。

     • サブスクリプション方法として メール通知、メールおよび SMS 通知、または 電話番号 を選択した場合、権限付与オブジェクト を Data Quality モニタリングのオーナー、オンコールスケジュール、または スケジュールタスクの所有者 に指定できます。

       • Data Quality モニタリングのオーナー：アラート通知は、現在の品質モニターの 基本設定 セクションで指定した 品質モニタリングのオーナー に送信されます。

       • オンコールスケジュール：品質ルールチェックが関連付けられたノードによってトリガーされた場合、システムは シフトスケジュールで指定された当日の当番者 にアラート通知を送信します。

       • スケジュールタスクの所有者：アラート通知は、品質モニターに関連付けられたスケジューリングノードの オーナー に送信されます。

   • スケジュールの関連付け：ルールのトリガー方法を定義します。

     推奨の実行設定 または 実行方法の手動設定 をクリックして、1 つ以上のデータ品質ルールを、テーブルデータを生成するスケジューリングノードに関連付けることができます。オペレーションセンターでは、これらのノードには、定期スケジュールのインスタンス、手動でトリガーされるデータバックフィルインスタンス、テストインスタンスが含まれます。ノードタスクが実行されると、関連付けられたルールチェックがトリガーされます。ルールの強度を設定して、ノードを失敗させて終了するかどうかを制御できます。これにより、ダーティデータの拡散を防止します。

     • [Recommended Running Mode]：システムは、テーブルを生成するノードのデータリネージに基づいて、選択したルールを推奨されるスケジューリングノードに自動的に関連付けます。

     • [Manual Running Mode]：選択したルールを指定したスケジューリングノードに手動で関連付けることができます。

     重要

     ルールを自動的にトリガーするには、対応するスケジューリングノードに関連付ける必要があります。

     [Associate Scheduling] ダイアログボックスで、対象の [ワークスペース] と [タスクノード] を選択し、[Add] をクリックした後、[OK] をクリックして関連付けを作成します。

   • 削除：1 つ以上のルールを選択して削除できます。

   • ルールの詳細：ルールの詳細 列で ルールの詳細 をクリックして、ルールの詳細を確認します。ルールの変更、有効化、無効化、削除、強度の設定、ログの確認も実行できます。

2. テスト実行が成功し、スケジュールが関連付けられたら、検証完了 をクリックします。