すべてのプロダクト
Search
ドキュメントセンター

Dataphin:統合パイプライン品質監視の設定

最終更新日:Feb 06, 2025

Dataphin は、オフライン統合パイプライン品質監視を提供し、データテーブルの整合性を自動的に監視します。品質の脅威を検出すると、システムは指定された受信者に迅速にアラートを発行し、データテーブルの品質をタイムリーに認識できるようにします。このトピックでは、品質ルールの設定手順の概要を説明します。

権限の説明

  • プロジェクト開発者には、統合タスクの作成、品質ルールの設定、および公開のためのタスクの送信を行う権限があります。

  • 品質管理者、データソース/テーブル品質オーナー、およびスーパー管理者は、統合タスク内で品質ルールを作成および公開できます。

オフラインパイプライン品質監視の作成

  1. Dataphin ホームページに移動し、トップメニューバーから [開発] を選択します。

  2. 次の図を参照して、[新しい品質ルール] ダイアログボックスにアクセスします。ここでは、品質ルールを設定し、データテーブルの整合性を監視できます(品質ルールを設定するには、アセット品質モジュールを有効にする必要があることに注意してください)。

    [統合] -> [プロジェクト] -> [オフライン統合] -> [オフラインパイプライン] -> [品質監視] -> [新しい品質ルール] を選択します。

    image

  3. [新しい品質ルール] ダイアログボックスで、品質ルールに必要なパラメーターを入力します。

    パラメーター

    説明

    ルールテンプレート

    [テーブル構造変更の監視][テーブル安定性の検証][テーブル変動性の検証] などのオプションからルールテンプレートを選択します。

    データテーブル

    選択したルールテンプレートに対応する統合パイプライン内の本番環境からデータテーブルを選択します。[その他のルール] をクリックして Data Quality モジュールに移動し、追加のルールテンプレート構成を行います。詳細については、「データテーブル品質ルールの作成」をご参照ください。

    ルールの強度

    ルールの適用レベルを決定します。

    • [強いルール] を選択すると、ルール検証で異常が検出された場合にアラートが発行され、ダウンストリーム タスクノードが停止します。

    • [弱いルール] を選択すると、ルール検証で異常が検出された場合でも、ダウンストリーム タスクノードを中断せずにアラートがトリガーされます。

    ルール構成

    [テーブル安定性の検証] または [テーブル変動性の検証] テンプレートを選択する場合は、構成が必要です。構成の詳細は、選択したテンプレートによって異なります。詳細については、「データテーブル パラメーター構成」をご参照ください。

    ルール検証

    [テーブル安定性の検証] または [テーブル変動性の検証] テンプレートの場合も構成が必要です。

    • 検証後、結果は異常検証基準と比較されます。条件が満たされると、結果は失敗と見なされ、アラートなどの後続プロセスがトリガーされます。

    • 異常検証の指標はテンプレート固有であり、構成の詳細によって異なります。システムは複数の条件付き and/or 条件をサポートしていますが、実用的な構成では 3 つに制限することをお勧めします。

    詳細な説明については、「検証構成の説明」をご参照ください。

    スケジューリング方法

    [繰り返しトリガー][タスク実行前にスケジュール][タスク完了後にスケジュール] などのスケジューリングオプションから選択します。

    • [繰り返しトリガー]:定義済みのスケジュールに基づいて定期的な品質評価を実行します。定期的なデータ生成を行うシナリオに最適です。

      • [繰り返し][日][週][月][時間][分] の 5 つのサイクルタイプがあります。

    • [タスク実行前にスケジュール]:統合タスクの実行前に品質ルールチェックを開始します。

    • [タスク完了後にスケジュール]:統合タスクの正常完了後に品質ルールチェックを実行します。

    パーティションフィルター式

    パーティションテーブルの場合、パーティションフィルター式は必須です。これには、[パーティションフィルター式のタイプ][カスタムパーティションフィルター式] が含まれます。詳細については、「組み込みパーティションフィルター式のタイプ」および「」をご参照ください。

    パーティションバジェット

    現在、パーティションの計算は分析式に基づいています。

  4. 品質ルールの設定を完了するには、[OK] をクリックします。

    説明

    品質ルールを設定した後、[アセット品質] モジュールで、監視対象が現在のルールのアラートを受信するように構成されていることを確認します。必要に応じて、ガイダンスについてはアラート構成を参照してください。

構成が完了すると、[品質監視] セクションでルールの詳細を表示できます。さらに、それぞれの [編集] オプションと [削除] オプションを使用して、未公開のルールを編集または削除できます。

公開済み品質ルールの表示

統合パイプライン内で品質ルールダイアログボックスを開くと、Dataphin はパイプラインのデータテーブルに対して構成および公開されているすべての品質ルールを自動的に取得します。統合パイプラインは、品質ルールの作成のみを目的として設計されています。公開済みルールの編集または変更はサポートしていません。変更を加えるには、アセット品質ページにアクセスしてください。詳細については、「データテーブル品質ルールの作成」をご参照ください。