このトピックでは、品質ルールのパラメーター設定情報について説明します。
データテーブルパラメータ構成
データテーブルルール構成
テンプレートタイプ | 説明 |
完全性/一意性 | 完全性-NULL値検証/空文字列検証 一意性-一意性検証/フィールドグループ数検証/重複値数検証:
|
適時性 |
|
妥当性 |
|
整合性 |
|
安定性 |
|
カスタム SQL |
説明 カスタム SQL ルールにカスタムルールテンプレートを選択した場合、設定セクションはテンプレートの変数フィールドをプロパティ値として自動的に解析します。テンプレート変数の説明に基づいてこれらの値を設定します。 |
データテーブル検証構成の説明
テンプレートタイプ | 構成項目 | 説明 |
完全性 | 異常行 / 正常行 / 異常率 / 正常率 |
|
一意性 | 異常行 / 正常行 / 異常率 / 正常率 |
|
統計値 | 一意の値の定義を指し、 | |
統計値(重複行 / 重複率) |
| |
適時性、妥当性 | 異常行 / 正常行 / 異常率 / 正常率 |
|
整合性 | 統計的差異、統計的差異率 (%) | 統計的差異:検証フィールド - 比較フィールド。 統計的差異率:検証フィールド / 比較フィールド。 |
安定性 | 統計値(1 日変動率、7 日変動率、30 日変動率) | テーブルの行数を 1 日前、7 日前、30 日前に収集された行数と比較し、変動率を比較し、設定されたしきい値と比較します。いずれかがルールを満たさない場合、アラームがトリガーされます。 |
カスタム SQL | 異常行 / 正常行 / 異常率 / 正常率 |
|
統計値(1 日変動率、7 日変動率、30 日変動率) | テーブルの行数を 1 日前、7 日前、30 日前に収集された行数と比較し、変動率を比較し、設定されたしきい値と比較します。いずれかがルールを満たさない場合、アラームがトリガーされます。 |
メトリックパラメーターの構成
メトリックルールの構成
テンプレートタイプ | 説明 |
一意性 | [フィールドグループ数検証]/[重複値数検証]: データフィルタリングを構成する必要があります。 データフィルタリング: デフォルトでは無効になっています。有効にすると、検証テーブルのフィルター条件、パーティションフィルター、または通常のデータフィルターを設定できます。フィルター条件は、検証 SQL 文に直接追加されます。検証テーブルのパーティションをフィルタリングするには、スケジューリング設定でパーティションフィルター式を設定することをお勧めします。設定後、品質レポートは検証パーティションの最小粒度で表示されます。データフィルタリングの内容を入力します。例:
|
安定性 | 列安定性検証/列ボラティリティ検証:
|
メトリック検証の構成
テンプレートタイプ | 構成項目 | 説明 |
一意性 | フィールドグループの数 | グループ化後のこのフィールドの数を、指定された静的フィールドと比較します。 |
統計 (重複行 / 重複率) |
| |
安定性 | 統計値 | 一意の値の数で、 |
統計値 (1 日変動率、7 日変動率、30 日変動率) | 収集されたテーブル行の数を、1 日前、7 日前、30 日前に収集されたテーブル行の数と比較します。変動率を設定されたしきい値と比較します。これらの比較のいずれかがルールに準拠していない場合、アラームがトリガーされます。 | |
平均変動検出 (7 日変動、30 日変動) | ベースライン値は、過去 7 日間または 30 日間のテーブル行の平均数であり、過去 7 日間または 30 日間の平均値の変動率と比較されます。 | |
統計値 (当月の 1 日目と比較した変動率、前月と比較した変動率、前年と比較した変動率) | 収集されたテーブル行の数を、当月の 1 日目、前月、前年のテーブル行の数と比較して、変動率を計算します。これらのレートは、設定されたしきい値と比較されます。比較のいずれかがルールに準拠していない場合、アラームがトリガーされます。 |
リアルタイムメタテーブルのパラメーター設定
オフラインリンク比較パラメータ構成
リアルタイムデータとオフラインデータが同じ統計取り込みエンドポイントロジックを使用する場合、リアルタイムとオフラインのデータ検証品質ルールは、データ間の差異を検出できます。差異が大きい場合は、データ品質に問題がある可能性があります。
パラメータ | 説明 |
検証フィールド | 検証が必要なフィールドを選択します。 |
[メトリック演算子] | データのアルゴリズムを選択します。 |
オブジェクトフォーム | [単一値データ] と [複数値データ] を選択します。 |
時間制約条件 | 時間制約のフィールドを選択します。 |
[条件制約の有効化] | [有効] または [シャットダウン] 条件制約を選択します。 |
オフラインデータ | ドロップダウンからオフラインデータテーブルを選択します。 |
オフラインデータ取得 | デフォルトは [シャットダウン] です。有効にすると、SQL 文を使用してオフラインデータテーブルからデータを取得するように構成できます。 |
タイムゾーン設定 | ドロップダウンからタイムゾーンを選択します。 |
マルチパス比較パラメーターの構成
ビジネスで強力な保証が必要なシナリオでは、リアルタイムのデュアルリンクまたはリアルタイムのトリプルリンク品質ルールを使用してデータを監視できます。異常が発生した場合、O&M 担当者はデータを迅速に切り替えたりバックアップしたりできます。リアルタイムのマルチリンク比較品質ルールは、データ保持や統計ドリフトなどの問題の監視をサポートします。
パラメータ | 説明 |
検証フィールド | 検証が必要なフィールドを選択します。 |
メトリック演算子 | データのアルゴリズムを選択します。 |
オブジェクトフォーム | [単一値データ] と [複数値データ] を選択します。 |
[時間制限条件] | 時間制限フィールドを選択します。 |
[条件制限の有効化] | 条件制限に [有効] または [シャットダウン] を選択します。 |
比較リンクの数 | 品質ルールの比較リンク数を選択します。システムは、[リアルタイム 3 リンク比較] と [リアルタイム 2 リンク比較] の選択をサポートしています。 |
比較トレース 1/比較トレース 2 | 比較トレースデータとしてリアルタイムメタテーブルを選択します。
|
[タイムゾーン設定] | ドロップダウンリストからタイムゾーンを選択します。 |
