Dataphin:品質ルールのパラメーター

テンプレートタイプ

説明

[完全性/一意性]

[完全性] - [Null 値チェック]/[空文字列チェック]

[一意性] - [フィールド一意性チェック]/[フィールドグループ件数チェック]/[フィールド重複値件数チェック]:

• [チェック対象フィールド]：チェックする物理テーブルからフィールドを選択します。

• [チェック対象テーブルのデータフィルタリング]：デフォルトでは無効になっています。有効にすると、パーティションや標準のデータフィルタリングなどのフィルター条件を設定できます。これらの条件は、検証 SQL に直接追加されます。パーティションフィルタリングが必要なテーブルの場合は、スケジューリング設定でパーティション式を設定することを推奨します。これにより、パーティションが品質レポートの最小粒度として設定されます。データフィルター条件を入力します。例：

  id = 12 -- 単一テーブルの場合

  T1.id=12 and T2.name = "田中一郎" -- 2 つのテーブルの場合

[適時性]

• [時間関数比較]：

  • [チェック対象フィールド] および [チェック対象テーブルのデータフィルタリング]：「完全性/一意性」の説明をご参照ください。

  • [比較項目]：組み込みパラメーターの ${column} と ${bizdate} を含めることができる時間比較式です。

    • 比較フィールドに基づいて式を定義します。${column} は比較項目の組み込みパラメーターです。例：${column} または substr(${column})。

    • 日付関数比較に ${bizdate} を使用すると、システムはそれを業務日付として扱います。

  • [時間差]：[検証フィールド - 比較フィールド] または [比較フィールド - 検証フィールド] のいずれかを選択できます。システムは結果の整数部分を使用し、丸め処理は行いません。たとえば、出荷日と注文日が同じ日でなければならない場合、[検証フィールド] - [比較フィールド] を 1 日未満に設定できます。図に示すように、設定は次のとおりです：検証フィールド - 比較フィールド >= 1 日、および検証フィールド - 比較フィールド < 1 日。

    

• [単一テーブルのフィールド比較]：

  • [チェック対象フィールド] および [チェック対象テーブルのデータフィルタリング]：「完全性/一意性」の説明をご参照ください。

  • [比較フィールド]：比較に使用する物理テーブルからフィールドを選択します。

  • [時間差]：[検証フィールド - 比較フィールド] または [比較フィールド - 検証フィールド] のいずれかを選択できます。値は整数に切り捨てられ、丸め処理は行われません。たとえば、出荷日と注文日が同じ日でなければならない場合、[検証フィールド] - [比較フィールド] を 1 日未満に設定できます。図のように設定した場合、検証フィールド - 比較フィールド >= 1 日、および検証フィールド - 比較フィールド < 1 日となります。

    

• [2 つのテーブルの時間フィールド比較]：

  • [チェック対象フィールド] および [チェック対象テーブルのデータフィルタリング]：「完全性/一意性」の説明をご参照ください。

  • [比較テーブルの選択]：比較テーブルと、そのテーブル内で比較に使用するフィールドを選択します。

  • [結合式]：組み込みのテーブルパラメーター T1 と T2 を含みます。ここで、T1 はチェック対象テーブル、T2 は比較テーブルです。例：T1.id = T2.id。

  • [時間差]：[検証フィールド - 比較フィールド] または [比較フィールド - 検証フィールド] を選択できます。結果の整数部分が使用され、値は丸められません。たとえば、出荷日と注文日が同じ日でなければならない場合、[検証フィールド] - [比較フィールド] を 1 日未満に設定できます。その他の条件の例としては、検証フィールド - 比較フィールド >= 1 日、または検証フィールド - 比較フィールド < 1 日などがあります。

    

[有効性]

• [フィールド形式チェック]：

  • [チェック対象フィールド] および [チェック対象テーブルのデータフィルタリング]：「完全性/一意性」の説明をご参照ください。

  • [コンテンツのマッチング方法]: データ照合の方法を選択します。オプションには、[式]、[正規表現]、[文字列一致 (%)]、[前方一致]、[部分一致]、および[後方一致]があります。

  • [コンテンツ照合方法] - [式]: SQL 式を入力します。 例: ${column1}>0。 ${column} は組み込みパラメーターです。

  • [コンテンツ一致方式] - [正規表現]：正規表現を入力するか、[携帯電話番号]、[固定電話番号]、[ID カード番号]、[メールアドレス]、[銀行カード番号] などの組み込みのものを選択します。

  • [コンテンツ一致方式] - [文字列一致 (%)]：% をワイルドカードとして使用する標準の LIKE 式です。たとえば、'a' で始まるデータに一致させるには、a% と入力します。

  • [コンテンツのマッチング方法] - [前方一致]: プレフィックスを入力します。% ワイルドカードが自動的に追加されます。たとえば、a を入力すると、'a' で始まる値に一致します。

  • [コンテンツ一致方式] - [次を含む]: 部分文字列を入力します。先頭と末尾に % ワイルドカードが自動的に追加されます。たとえば、a を入力すると、'a' を含む値に一致します。

  • [コンテンツのマッチング方法] - [後方一致]: サフィックスを入力します。% ワイルドカードが自動的に先頭に追加されます。たとえば、a を入力すると、「a」で終わる値に一致します。

• [フィールド長チェック]：

  • [チェック対象フィールド] および [チェック対象テーブルのデータフィルタリング]：「完全性/一意性」の説明をご参照ください。

  • [フィールド長]：フィールド長を検証します。[列挙] または [範囲] を設定できます。列挙チェックの例：3、6、9 と比較する場合、生成される SQL は x in (3, 6, 9) です。

• [フィールド値範囲チェック]：

  • [検証フィールド]、[検証テーブル]、[データフィルタリング]：詳細については、「完全性/一意性」をご参照ください。

  • [値範囲タイプ]：ビジネス要件に基づいてタイプを選択します。

    • [テキスト]：テキストフィールドを検証します。[チェック対象フィールド] はテキスト型である必要があります。値範囲 を設定する必要があり、[列挙] または [範囲] をサポートしています。列挙チェックの例：「田中一郎」と「鈴木花子」と比較する場合、生成される SQL は x in ("田中一郎", "鈴木花子") です。

    • [数値]：数値フィールドを検証します。[チェック対象フィールド] は数値型である必要があります。値範囲 を設定する必要があり、[列挙] または [範囲] をサポートしています。列挙チェックの例：3、6、9 と比較する場合、生成される SQL は x in (3, 6, 9) です。

    • [日付]：日付フィールドを検証します。[チェック対象フィールド] は日付型である必要があります。日付形式 を設定する必要があり、[年]、[年月]、[年月日]、[年月日時分秒] をサポートしています。たとえば、年の範囲は 2021〜2022、年月の範囲は 2022-01〜2022-02 です。

    • [タイムスタンプ]：タイムスタンプの有効性を検証します。検証フィールドが timestamp 型であることを確認する必要があります。

    • [カスタム]：複数の形式をチェックしたり、関数を使用したりできます。入力されたコンテンツは、実行のためにデータソースに直接送信されます。

      [値範囲] を設定する必要があり、[列挙] または [範囲] をサポートしています。

      列挙チェックの例：3、6、9 と比較する場合、生成される SQL は x in (3, 6, 9) です。

      範囲設定の検証例：値の範囲は最小値 y1 から最大値 y2 までです。比較対象のフィールドが x の場合、最終的な検証 SQL は x >= y1 and x <= y2 です。

      説明

      • カスタムフィールド形式の場合、10 や "10" などの値は、データソースによって動作が異なる場合があります。

      • 使用する関数がデータソースでサポートされていることを確認してください。

• [コードテーブル参照比較]：

  • [チェック対象フィールド] および [チェック対象テーブルのデータフィルタリング]：「完全性/一意性」の説明をご参照ください。

  • [データソースタイプ]：データソースタイプを選択します。

  • [データソース]：対応するタイプのデータソースを選択します。システムはデータソースの DB/スキーマを自動的に入力しますが、変更することもできます。データソースが Dataphin クライアントに接続できない場合は、手動で設定する必要があります。

    説明

    • パフォーマンス上の理由から、クロスデータソース比較では最大 1,000 件のコードテーブルレコードを読み取ります。コードテーブルとチェック対象テーブルを同じデータソースに保持することを推奨します。

    • クロスデータソース比較のフィールドは、自動的に文字列型に変換されます。これにより、特殊なフィールドタイプで例外が発生する可能性があります。コードテーブルとチェック対象フィールドで同じフィールドタイプを使用することを推奨します。

  • [コードテーブル]：ターゲットのコードテーブルを選択します。

  • [コードテーブル名]：コードテーブルの名前を入力します。この名前は、品質ルールの設定中にプロンプトとして機能します。

  • [コードテーブル参照フィールド]：コードテーブル内の対応する参照フィールドを選択します。

    説明

    コードテーブル参照チェックは、フィールドの値がコードテーブルに存在するかどうかを判断します。比較用のフィールドを選択する必要があります。たとえば、ユーザー詳細テーブル内のすべてのユーザー ID が登録ユーザーテーブルに存在するかどうかを確認できます。

  • [コードテーブルのフィルター条件]：コードテーブルがパーティション化されている場合は、フィルター条件を設定します。

• [データ標準コードテーブル参照比較] (データ標準モジュールが必要)：

  • [チェック対象フィールド] および [チェック対象テーブルのデータフィルタリング]：「完全性/一意性」の説明をご参照ください。

  • [コードテーブル]：データ標準モジュールから公開状態のコードテーブルを選択します。コードテーブルを作成するには、「標準コード (コードテーブル) の作成と管理」をご参照ください。

  • [コードテーブル参照]：システムは、フィールド値とここで選択された参照値を比較します。オプションには、[コード値]、[コード名]、[コード英語名] があります。

[一貫性]

• [単一テーブルのフィールド値一貫性比較]：

  • [チェック対象フィールド] および [チェック対象テーブルのデータフィルタリング]：「完全性/一意性」の説明をご参照ください。

  • [比較フィールド]：比較に使用する物理テーブルからフィールドを選択します。

• [単一テーブルのフィールド統計値一貫性比較]：

  • [集計方法]：フィールド数、フィールド最大値、文字重複率などのメトリックを集計できます。詳細については、「安定性」の集計方法の説明をご参照ください。

  • [チェック対象フィールド] および [チェック対象テーブルのデータフィルタリング]：「完全性/一意性」の説明をご参照ください。

  • [比較フィールド]：比較に使用する物理テーブルからフィールドを選択します。

• [単一フィールドのビジネスロジック一貫性比較]：

  • [チェック対象フィールド] および [チェック対象テーブルのデータフィルタリング]：「完全性/一意性」の説明をご参照ください。

  • [認識式]：SQL 式を入力します。たとえば、${column}>0 です。ここで、${column} は組み込みパラメーターです。

    説明

    • 認識式で使用される関数が、実行するデータベースでサポートされていることを確認してください。

    • 複数のフィールドを含むビジネスロジックをチェックできます。たとえば、総売上 = 単価 * 販売量 の場合、${total_sales}=${unit_price}*${sales_volume} を使用して総売上額の誤りをチェックできます。

• [2 つのテーブルのフィールド値一貫性比較]：

  • [チェック対象フィールド]、[比較テーブルの選択]、[結合式]、[データフィルタリング]：「適時性」セクションの「[2 つのテーブルの時間フィールド比較]」をご参照ください。

  • [結合タイプ]：総行数、正常行数、異常行数の計算方法を決定します。生成された SQL をプレビューして、正確なロジックを確認できます。サポートされている結合タイプには、左外部結合 (LEFT JOIN)、右外部結合 (RIGHT JOIN)、内部結合 (INNER JOIN)、完全外部結合 (FULL JOIN) があります。

    • 左外部結合 (LEFT JOIN)：チェック対象テーブル (左テーブル) に基づいてメトリックを計算します。

    • 右外部結合 (RIGHT JOIN)：比較テーブル (右テーブル) に基づいてメトリックを計算します。

    • 内部結合 (INNER JOIN)：2 つのテーブル間で一致したデータのみを使用してメトリックを計算します。これは、一致したデータのみをチェックする必要がある場合に適しています。

    • 完全外部結合 (FULL JOIN)：両方のテーブルのすべてのデータを使用してメトリックを計算します。これは、2 つのテーブル間で強い一貫性が要求されるシナリオに適しています。

• [2 つのテーブルのフィールド統計値一貫性比較]：

  • [集計方法]：フィールド数、フィールド最大値、文字重複率などのメトリックを集計できます。詳細については、「安定性」の集計方法の説明をご参照ください。

  • [チェック対象フィールド]、[比較テーブルの選択]、[チェック対象テーブルのデータフィルタリング]：「適時性」セクションの「[2 つのテーブルの時間フィールド比較]」をご参照ください。

  • [比較テーブルのデータフィルタリング]：フィルター条件を入力します。例：city='tokyo'。

• [クロスデータソースの 2 つのテーブルのフィールド統計値一貫性比較]：

  • [集計方法]：フィールド数、フィールド最大値、文字重複率などのメトリックを集計できます。詳細については、「安定性」の集計方法の説明をご参照ください。

  • [チェック対象フィールド]：データテーブルでチェックするフィールドを選択します。

  • [データソースタイプ]：このテーブルのデータソースタイプを選択します。サポートされているデータソースタイプの詳細については、「Dataphin がサポートするデータソース」をご参照ください。

  • [データソース]：テーブルのデータソースを選択します。システムはデータソースの DB/スキーマを自動的に入力しますが、変更することもできます。外部データソースの場合は、手動で設定する必要があります。

  • [比較テーブルの選択]：テーブルと、そのテーブル内で比較に使用するフィールドを選択します。

  • [チェック対象テーブルのデータフィルタリング]：フィルター条件を入力します。例：

    id = 12 -- 単一テーブルの場合

    T1.id=12 and T2.name = "田中一郎" -- 2 つのテーブルの場合

  • [比較テーブルのデータフィルタリング]：フィルター条件を入力します。例：city='tokyo'。

• [2 つのテーブルのフィールドビジネスロジック一貫性比較]：

  • [チェック対象フィールド] および [チェック対象テーブルのデータフィルタリング]：「完全性/一意性」の説明をご参照ください。

  • [ビジネスロジック]：SQL 式を入力します。たとえば、${column}>0 です。ここで、${column} は組み込みパラメーターです。

    説明

    複数のフィールドを含むビジネスロジックをチェックできます。たとえば、総売上 = 単価 * 販売量 の場合、${T1.total_sales}=${T2.unit_price}*${T2.sales_volume} を使用して総売上額の誤りをチェックできます。

[安定性]

• [テーブル安定性チェック]/[テーブル変動性チェック]:

  • [集計方法]：フィールド数、フィールド最大値、文字重複率などのメトリックを集計できます。詳細については、「安定性」の集計方法の説明をご参照ください。

  • [チェック対象テーブルのデータフィルタリング]：「完全性/一意性」の説明をご参照ください。

• [フィールド安定性チェック]/[フィールド変動性チェック]:

  • [チェック対象フィールド] および [チェック対象テーブルのデータフィルタリング]：「完全性/一意性」の説明をご参照ください。

  • [集計方法]：フィールド数、フィールド最大値、文字重複率などのメトリックを集計できます。詳細については、「安定性」の集計方法の説明をご参照ください。

[カスタム SQL]

• [カスタム統計メトリックチェック]：

  [カスタム SQL]：SELECT ステートメントをサポートします。クエリにはメインテーブルを含める必要があります。例：

  select sum(sale) from tableA where ds=${bizdate};

• [カスタムデータ詳細チェック]：

  • 総行数 SQL：総行数を計算するための SQL を入力します。例：select count(*) from tableA where ds=${bizdate};

  • 異常行数 SQL：異常行数を計算するための SQL を入力します。例：select count(*) from tableA where ds=${bizdate} and age<0;

  • 異常データ SQL：異常データをクエリするための SQL を入力します。例：select ${t1.c1} as dataphin_quality_error_data from ${t1}  where ds=${bizdate} and ${t1.c1}<0;

テンプレートタイプ

パラメーター

説明

[完全性]

異常行数/正常行数/異常率/正常率

• 正常行数：一意の行数。

• 正常率：正常行数 / 総行数。

• 異常行数：総行数 - 正常行数。つまり、1 より大きい count 値の sum です。

• 異常率：1 - 正常率、または異常行数 / 総行数。

  説明

  一意の値：一度だけ出現するレコード。これは、グループ化した後に count が 1 のグループを指します。

[一意性]

異常行数/正常行数/異常率/正常率

• 正常行数：一意の行数。

• 正常率：正常行数 / 総行数。

• 異常行数：総行数から正常行数を引いたもの。これは、1 より大きい count 値の sum です。

• 異常率：1 - 正常率、または異常行数 / 総行数。

  説明

  一意の値：一度だけ出現するレコード。これは、グループ化した後に count が 1 のグループを指します。

統計値

COUNT DISTINCT 関数によって返されるデータ。

統計値 (重複行数/重複率)

• 余分な重複行の数。計算式：総行数 - 個別行数。

• 重複率 = 重複行数 / 総行数。

• 重複があるすべての行の総数または率を計算するには、一意性チェックの異常行数または異常率メトリックを使用します。

[適時性、有効性]

異常行数/正常行数/異常率/正常率

• 正常行数：一意の行数。

• 正常率：正常行数 / 総行数。

• 異常行数：総行数 - 正常行数。これは、1 より大きい count 値の sum です。

• 異常率：1 - 正常率、または異常行数 / 総行数。

  説明

  一意の値：一度だけ出現するレコード。これは、グループ化した後に count が 1 のグループを指します。

[一貫性]

統計差、統計差率 (%)

統計差：チェック対象フィールド - 比較フィールド。

統計差率：チェック対象フィールド / 比較フィールド。算出される値は比率です。

[安定性]

統計値 (1 日変動率、7 日変動率、30 日変動率)

システムは、現在の行数を 1 日前、7 日前、30 日前の履歴データと比較して変動率を計算します。これらの率は、設定されたしきい値と比較され、いずれかのルールが満たされない場合にアラームがトリガーされます。

カスタム SQL

異常行数/正常行数/異常率/正常率

• 正常行数：一意の行数。

• 正常率：正常行数 / 総行数。

• 異常行数：総行数 - 正常行数。つまり、1 より大きい count 値の sum です。

• 異常率：1 - 正常率、または異常行数 / 総行数。

  説明

  一意の値：一度だけ出現するレコード。これは、グループ化した後に count が 1 のグループを指します。

統計値 (1 日変動率、7 日変動率、30 日変動率)

システムは、現在の行数を 1 日前、7 日前、30 日前の履歴データと比較して変動率を計算します。これらの率は、設定されたしきい値と比較され、いずれかのルールが満たされない場合にアラームがトリガーされます。

テンプレートタイプ

説明

[一意性]

[フィールドグループ数チェック] / [フィールド重複値数チェック]：データフィルタリングを設定する必要があります。

[データフィルタリング]：デフォルトでは無効です。有効にすると、検証テーブルのフィルタリング条件、パーティションフィルタリング、または一般的なデータフィルタリングを設定できます。これらの条件は検証 SQL に直接追加されます。検証テーブルでパーティションフィルタリングが必要な場合は、スケジューリング設定でパーティション式を設定することを推奨します。式を設定すると、品質レポートでは検証パーティションが最小の表示粒度として使用されます。データフィルタリングの内容を入力します。例：

id = 12 -- 単一テーブルの場合

T1.id=12 and T2.name = "田中 太郎" -- 2 つのテーブルの場合

[安定性]

[フィールド安定性チェック] / [フィールド変動チェック]：

• [データフィルタリング]：[一意性]の説明と同じです。

• [統計手法]：メトリックの統計手法を選択します。

  • [フィールド数]：フィールド内の値の数を指定された固定値と比較します。

  • [フィールド一意値数]：フィールド内の一意な値の数を指定された固定値と比較します。

  • [フィールド合計]：フィールドの合計 (SUM) を固定値と比較します。

  • [フィールド平均]：フィールドの値の平均を指定された固定値と比較します。

  • [フィールド最大値]：フィールドの最大値をしきい値と比較します。

  • [フィールド最小値]：フィールドの最小値をしきい値と比較します。

  • [フィールド重複行数]：重複値の数は固定値と比較します。重複値の数は 総行数 - 個別行数 です。

  • [フィールド重複率 (%)]：重複値の総行数に対する比率 (重複行数 / 総行数) を固定値と比較します。

  • [フィールドグループ数]：フィールドのグループ数を指定された固定値と比較します。

  • [フィールド NULL 数]：フィールド内の NULL 値の数を指定された固定値と比較します。

  • [フィールド NULL 率]：NULL 値の総行数に対する比率 (NULL 数 / 総行数) を固定値と比較します。

テンプレートタイプ

パラメーター

説明

[一意性]

フィールドグループ数

フィールドのグループ数を指定された固定値と比較します。

統計値 (重複行数 / 重複率)

• 重複行数は余分な重複行の数を表し、「総行数 - 個別行数」として計算されます。

• 重複率 = 重複行数 / 総行数。

• すべての重複行の総数 (余分な行だけでなく) を計算するには、一意性検証テンプレートの「異常行数」および異常率メトリックを使用します。

[安定性]

統計値

COUNT(DISTINCT) 操作の結果である、個別値の数です。

統計値 (1 日、7 日、30 日変動率)

このチェックでは、現在の行数を 1 日前、7 日前、30 日前の行数と比較して変動率を判定します。この率が設定されたしきい値に違反する場合、アラートがトリガーされます。

平均値変動検出 (7 日、30 日)

ベースライン値は、過去 7 日間または 30 日間の平均行数です。このチェックでは、現在の値の変動をこのベースライン平均と比較します。

統計値 (当月 1 日 / 先月 / 昨年との変動率)

現在の行数を当月 1 日、前月、前年の行数と比較して変動率を判定します。この率が設定されたしきい値に違反する場合、アラートがトリガーされます。

パラメーター

説明

[検証フィールド]

検証するフィールドを選択します。

[メトリック演算子]

データのアルゴリズムを選択します。

[オブジェクト形式]

[単一値データ] または [複数値データ] を選択します。

[時間条件]

時間条件のフィールドを選択します。

[条件付き制限]

[Enable] または [Disable] を選択して、条件付き制限を切り替えます。

[オフラインデータ]

ドロップダウンリストからオフラインデータテーブルを選択します。

[オフラインデータ取得]

デフォルトでは[無効]になっています。有効にすると、SQL を使用してオフラインデータテーブルからデータを取得する方法を指定できます。

[タイムゾーン設定]

ドロップダウンリストからタイムゾーンを選択します。

パラメーター

説明

[検証フィールド]

検証するフィールドを選択します。

[メトリック演算子]

データのアルゴリズムを選択します。

[オブジェクト形式]

[単一値データ] または [複数値データ] を選択します。

[時間条件]

時間条件のフィールドを選択します。

[条件付き制限]

[Enable] または [Disable] を選択して、条件付き制限を切り替えます。

[比較リンク数]

比較タイプとして [リアルタイムトリプルリンク比較] または [リアルタイムデュアルリンク比較] を選択します。

[比較リンク 1]/[比較リンク 2]

比較リンク用のリアルタイムメタテーブルを選択します。

• [リアルタイムデュアルリンク比較] テンプレートの場合は、リアルタイムメタテーブルを 1 つ選択します。

• [リアルタイムトリプルリンク比較] テンプレートの場合は、リアルタイムメタテーブルを 2 つ選択します。

[タイムゾーン設定]

ドロップダウンリストからタイムゾーンを選択します。