Dataphin:データソースの品質ルールの作成

前提条件

品質ルールを構成する前に、監視対象を追加する必要があります。詳細については、「監視対象の追加」をご参照ください。

制限事項

Dataphin の任意のデータソースに対して品質監視ルールを作成できます。サポートされているすべてのデータソースで接続性をテストできます。ただし、テーブルスキーマの変更を監視する品質ルールをサポートしているのは、一部のデータソースのみです。詳細については、「Dataphin でサポートされているデータソース」をご参照ください。

権限の説明

• スーパー管理者、品質管理者、[品質ルール] [管理] 権限を持つカスタムグローバルロール、およびデータソースのオーナーは、品質ルールのスケジューリングとアラートを構成できます。

• 品質オーナーと一般ユーザーには、データソースに対する追加のリードスルー権限が必要です。データソースの権限をリクエストするには、「データソース権限のリクエスト」をご参照ください。

• さまざまなオブジェクトに対する操作権限は異なります。詳細については、「品質ルールの操作権限」をご参照ください。

トライアル実行と通常実行の違い

トライアル実行と通常実行は、実行方法と結果の表示方法が異なります。トライアル実行は、品質ルールの正確性と操作をテストするためのシミュレートされた実行です。トライアル実行の結果は、品質レポートには表示されません。通常実行は、スケジュールされた時間に品質ルールをチェックします。実行結果は品質レポートに追加され、表示および分析できます。

品質ルールの構成

1. Dataphin のホームページの上部のメニューバーから、[管理] > [Data Quality] を選択します。

2. 左側のナビゲーションウィンドウで、[品質ルール] をクリックします。[データソース] ページで、ターゲットオブジェクトの名前をクリックして [品質ルールの詳細] ページに移動します。

3. [品質ルールの詳細] ページで、[品質ルールの作成] ボタンをクリックします。

4. [品質ルールの作成] ダイアログボックスで、パラメーターを構成します。

   パラメーター		説明
   基本情報	[ルール名]	品質ルールのカスタム名を入力します。名前は 256 文字までです。
   	[ルールの強度]	[ソフトルール] と [強制ルール] の両方がサポートされています。 ソフトルール: [ソフトルール] を選択した場合、品質ルールチェックが失敗するとアラートがトリガーされますが、ダウンストリームのタスクノードはブロックされません。 強制ルール: [強制ルール] を選択した場合、品質ルールチェックが失敗するとアラートがトリガーされます。コードチェックスケジューリングやタスクトリガースケジューリングなどのダウンストリームタスクがある場合、データ汚染を防ぐためにそれらはブロックされます。定期的な品質スケジューリングなど、ダウンストリームタスクがない場合は、アラートのみがトリガーされます。
   	[説明]	品質ルールのカスタム説明を入力します。説明は 128 文字までです。
   	[ルールテンプレート]	[安定性] のみがサポートされています。これには [データソース接続性モニタリング] と [テーブル構造変更モニタリング] が含まれます。 接続性モニタリング: 接続性の変更を監視し、アラートを送信します。Dataphin で構成されたデータソースは、ネットワークの変更、またはユーザー名やパスワードが正しくないために接続に失敗することがあります。これにより、タスクエラーが発生する可能性があります。 テーブル構造の変更: テーブルスキーマの変更を監視し、アラートを送信します。先祖テーブルのスキーマの変更 (フィールドの名前変更、削除、追加、または削除など) は、ダウンストリームエラーを引き起こす可能性があります。
   	[ルールタイプ]	ルールタイプはテンプレートによって異なります。これはテンプレートの最も基本的な属性であり、説明やフィルタリングに使用できます。
   	ルール構成
   	[検証テーブルの選択]	このパラメーターは、ルールテンプレートが [テーブル構造変更モニタリング] に設定されている場合に使用できます。DB またはスキーマに基づいてチェックするデータテーブルを選択します。
   ビジネス属性構成	属性情報	ビジネス属性の入力要件は、品質ルール属性の構成方法によって異なります。たとえば、管理部門のフィールドは、ビッグデータ部門、ビジネス部門、技術部門などのオプションを持つ複数選択の列挙型である場合があります。品質ルールを作成するとき、この属性はこれらのオプションを持つ複数選択のドロップダウンリストになります。 ルールオーナーのフィールドは、長さ 256 文字のカスタム入力である場合があります。品質ルールを作成するとき、この属性に最大 256 文字を入力できます。 属性フィールドの入力メソッドが 範囲間隔 の場合、次のように構成します: 範囲間隔: これは、値が連続した数値または日付である場合によく使用されます。>、>=、<、または <= 記号を選択できます。属性構成の詳細については、「品質ルール属性の作成と管理」をご参照ください。
   スケジューリング属性構成	[スケジューリング方法]	構成済みのスケジュールを選択します。スケジューリングメソッドをまだ決定していない場合は、まず品質ルールを作成し、後で構成することができます。新しいスケジュールを作成するには、「スケジュールの作成」をご参照ください。

5. [OK] をクリックして、ルール構成を保存します。

ルール構成リスト

ルール構成リストには、構成済みのデータソースルールに関する情報が表示されます。このリストから、ルールの表示、編集、削除、実行、またはトライアル実行を行うことができます。

スケジュールの作成

1. [品質ルールの詳細] ページの [スケジュール構成] タブで、[スケジュールの作成] をクリックして [スケジュールの作成] ダイアログボックスを開きます。

2. [スケジュールの作成] ダイアログボックスで、パラメーターを構成します。

   パラメーター	説明
   [スケジュール名]	カスタムスケジュール名を入力します。名前は 64 文字までです。
   [スケジュールタイプ]	[定期トリガー] と [タスクトリガー] をサポートしています。 定期的なトリガー: 設定されたスケジュール時間に基づいて、データに対して時間指定の定期的な品質チェックを実行します。これは、データ出力時間が比較的固定されているシナリオに適しています。 繰り返し: 品質ルールの実行は計算資源を消費します。本番タスクの通常の操作に影響を与えないように、複数の品質ルールを同時に実行することは避けてください。スケジューリングサイクルには、[日]、[週]、[月]、[時間]、および [分] が含まれます。 システムタイムゾーン (ユーザーセンターのタイムゾーン) がスケジューリングタイムゾーン ([管理センター] > [システム設定] > [基本設定] で構成されたタイムゾーン) と異なる場合、ルールはシステムタイムゾーンに従って実行されます。 タスクトリガー: 指定されたタスクが正常に実行された後または前に、構成された品質ルールを実行します。Engine SQL、Offline Pipeline、Python、Shell、Virtual、Datax、Spark_jar、Hive_MR、および Database SQL などのノードからタスクタイプを選択してタスクをトリガーできます。これは、テーブル変更タスクが固定されている場合に適用されます。 説明 固定タスクトリガーは、本番環境のタスクのみを選択できます。ルールの強度が強制ルールに設定されている場合、スケジューリングタスクのチェック失敗がオンラインタスクに影響を与える可能性があります。必要に応じて注意して進めてください。 トリガータイミング: 品質検出のトリガータイミングを選択します。[すべてのノードが正常に実行された後にトリガー]、[各ノードが正常に実行された後にトリガー]、および [各ノードが実行される前にトリガー] を選択できます。 トリガータスク: プロジェクト管理者または O&M システムロールを持つメンバーは、本番プロジェクトのタスクノードを選択できます。ノードの出力名で検索するか、推奨タスクまたはすべてのタスクから選択できます。 説明 トリガータイミングがすべてのタスクが正常に実行された後にトリガーするように設定されている場合は、同じスケジューリングサイクルのタスクを選択してください。これにより、スケジューリングサイクルが異なることによるルールの実行遅延や品質チェック結果の遅延を回避できます。
   [スケジュール条件]	デフォルトでは無効になっています。有効にすると、品質ルールがスケジュールされる前に、システムはスケジューリング条件が満たされているかどうかをチェックします。条件が満たされている場合にのみスケジュールが進行します。そうでない場合、スケジュールは無視されます。 データタイムスタンプ/実行日: スケジューリングタイプが [定期的なトリガー] (時間指定スケジューリングは実行日をサポートしていません)、[コードチェックトリガースケジューリング]、または [タスクトリガー] の場合、日付を構成できます。[通常カレンダー] または [カスタムカレンダー] を選択します。カレンダーのカスタマイズ方法の詳細については、「公開カレンダーの作成」をご参照ください。 [通常カレンダー] を選択した場合、条件は [月]、[週]、または [日付] になります。次の図を参照してください。 [カスタムカレンダー] を選択した場合、条件は [日付タイプ] または [タグ] になります。次の図を参照してください。 インスタンスタイプ: スケジューリングタイプが [コードチェックトリガースケジューリング] または [タスクトリガー] の場合、インスタンスタイプを構成できます。[定期インスタンス]、[データバックフィルインスタンス]、または [ワンタイムインスタンス] を選択します。次の図を参照してください。 説明 少なくとも 1 つのルールを構成します。ルールを追加するには、[+ ルールを追加] ボタンをクリックします。 最大 10 個のスケジューリング条件を構成します。 スケジューリング条件間の関係は AND または OR に設定できます。

3. [OK] をクリックして、スケジュール構成を完了します。

スケジュール構成リスト

スケジュールが作成された後、スケジュール構成リストから表示、編集、クローン、削除ができます。

アラートの設定

ルールごとに異なるアラートメソッドを構成できます。たとえば、強制ルールの例外には電話アラートを、ソフトルールの例外にはショートメッセージアラートを構成できます。ルールが同時に複数のアラート構成をトリガーする場合、アラートポリシーを設定できます。

1. [品質ルールの詳細] ページで、[アラート構成] タブをクリックし、次に [アラート構成の作成] ボタンをクリックして [アラート構成の作成] ダイアログボックスを開きます。

2. [アラート構成の作成] ダイアログボックスで、パラメーターを構成します。

   パラメーター	説明
   [カバレッジ範囲]	[すべてのルール]、[すべての強制ルール]、[すべてのソフトルール]、または [カスタム] を選択します。 説明 1 つの監視対象に対して、すべてのルール、すべての強制ルール、すべてのソフトルールの 3 つの範囲ごとに 1 つのアラートを構成できます。新しいルールは、その強度に基づいて対応するアラートに自動的に一致します。アラート構成を変更するには、既存のものを変更します。 カスタム範囲には、現在の監視対象の下で構成されているすべてのルールを含めることができ、最大 200 ルールまでです。
   [アラート構成名]	アラート構成名は、1 つの監視対象に対して一意である必要があり、最大 256 文字です。
   [アラート受信者]	アラート受信者とアラートメソッドを構成します。少なくとも 1 人のアラート受信者と 1 つのアラートメソッドを選択します。 アラート受信者: アラート受信者として、カスタム、勤怠表、または品質オーナーを選択します。 最大 5 人のカスタムアラート受信者と最大 3 つの勤怠表を構成できます。 アラートメソッド: 電話、メール、ショートメッセージ、DingTalk、Lark、WeCom、およびカスタムチャンネルの構成などの受信メソッドを選択します。これらの受信メソッドは、チャンネル設定の構成 を通じて制御できます。

3. [OK] をクリックして、アラート構成を完了します。

アラート構成リスト

アラート構成が完了すると、アラート構成リストでアイテムをソート、編集、削除できます。

品質レポートの表示

品質レポート をクリックして、現在の品質ルールの ルールチェックの概要 と ルールチェックの詳細 を表示します。

• 異常な結果、パーティション時間、またはルールやオブジェクト名のキーワードでチェック詳細をフィルターできます。

• ルールチェック詳細リストの操作列で、 アイコンをクリックして品質ルールのチェック詳細を表示します。

• ルールチェック詳細リストの操作列で、 アイコンをクリックして品質ルールの実行ログを表示します。

品質ルール権限管理の設定

1. [権限管理] をクリックし、[詳細の表示が可能] 権限を構成して、どのメンバーがチェックレコードの詳細、品質ルールの詳細、および品質レポートを表示できるかを指定します。

   [詳細の表示が可能] については、[すべてのメンバー] または [現在のオブジェクトの品質管理権限を持つメンバーのみ] を選択します。

2. [OK] をクリックして、権限管理設定を保存します。

次のステップ

品質ルールが構成された後、データソースルールリストページで表示できます。詳細については、「監視対象リストの表示」をご参照ください。