Dataphin:品質ルールテンプレートタイプ

テンプレート分類

テンプレートの説明

完全性

NULL値検証

単一のフィールドが NULL 値でないことを検証します。

空の文字列検証

単一のフィールドに空の文字列が含まれているかどうかを確認します。

一意性

一意性検証

単一のフィールドの値の一意性を保証します。

フィールドグループ数検証

単一フィールドデータの重複除去された値を確認します。

重複値数検証

単一のフィールド内の重複データと冗長データを識別します。

適時性

式による時間比較

単一フィールドの適時性をデータタイムスタンプと比較します。

時間間隔比較

同じテーブル内の 2 つの列の時間差を測定します。

2 つのテーブルでの時間間隔比較

異なるテーブルの 2 つの列の時間差を評価します。

妥当性

列形式検証

式または正規表現を使用して単一フィールドの形式を確認します。

列の長さ検証

単一フィールドの長さを検証します。

列値ドメイン検証

単一フィールドの値が指定された範囲内にあることを確認します。

参照テーブル検証

単一フィールドの値がルックアップテーブル内に存在するかどうかを判断します。

標準参照テーブル検証

データ標準モジュールから直接選択することで、単一フィールドの値がルックアップテーブルに存在するかどうかを確認します。

整合性

列値の整合性検証

同じテーブル内の 2 つのフィールドの初期値を比較します。

列統計整合性検証

同じテーブル内の 2 つのフィールドの合計値や最大値などの統計データを比較します。

単一フィールドビジネスロジック整合性比較

同じテーブル内の複数のフィールドを含む複雑なビジネスロジックの正確性を検証します。

2 つのテーブルの列値整合性検証

異なるテーブルの 2 つのフィールドの初期値を比較します。

2 つのテーブルの列統計整合性検証

異なるテーブルの 2 つのフィールドの合計値や最大値などの統計データを比較します。

2 つのテーブルの列処理ロジック整合性検証

総売上高 = 単価 * 数量など、異なるテーブルの複数のフィールドを含む複雑なビジネスロジックの正確性を検証します。

クロスソース列統計整合性検証

異なるデータソースからの 2 つのテーブルの 2 つのフィールドの複雑なビジネスロジックの正確性を保証します。

安定性

テーブル安定性検証

統計結果を静的フィールドと比較することにより、テーブルのサイズと行数の安定性を検証します。

テーブルボラティリティ検証

統計結果を既存データと比較することにより、テーブルのサイズと行数のボラティリティを評価します。

列安定性検証

統計結果を静的フィールドと比較することにより、フィールドの平均値と最大値の安定性を確認します。

列ボラティリティ検証

統計結果を既存データと比較することにより、フィールドの平均値と最大値のボラティリティを評価します。

SQL

カスタム統計検証

テーブルの統計指標を検証し、静的フィールドとボラティリティ比較方法の両方をサポートします。

カスタム詳細値検証

詳細なテーブルデータに対してカスタム検証を実行し、正常な行と異常な行のカウントを可能にし、検出された異常のデータアーカイブをサポートします。

テンプレート分類

テンプレートの説明

安定性

データソース接続性監視

データソースの接続性を監視して、一貫したアクセスを確保します。

テーブル構造変更監視

テーブルメタデータの変更を追跡して、構造の変更を迅速に検出します。

テンプレート詳細分類

説明

整合性

ストリームバッチ比較

同じ統計ロジックを使用する場合のリアルタイムデータとオフラインデータの整合性を検証し、調査と解決のために大きな不一致にフラグを立てます。

複数ストリームリンク比較

• データ異常が発生した場合に迅速に切り替えるための複数のリンクを構築することにより、高可用性を実現します。

• 複数のリンクにわたるデータ計算の進捗状況を監視して、データラグや統計ドリフトなどの問題を検出し、リアルタイムデータの品質を向上させます。

安定性

リアルタイム統計値検出

• リアルタイムで指標値または統計データの精度を判断します。

• 検証のために静的フィールドまたは既存データと比較できます。