DataWorks:Data Quality 構成の設定

YAML の例

単純な Data Quality モニタリングルールは、以下のように定義されます。

datasets:
  - type: Table
    tables:
      - tb_d_spec_demo
    dataSource:
      name: odps_first
      envType: Dev
rules:
  - assertion: row_count > 0

プロパティの説明

上記の仕様例では、単純な Data Quality モニタリングルールが定義されています。

• datasets: Data Quality の監視対象です。以下の 3 つのプロパティを含みます。

  • type: 監視対象の種類です。現在は Table のみがサポートされる列挙値です。

  • dataSource: 監視対象のデータソースです。name および envType を設定することで、データソースを特定できます。データソース名は、ListDataSources 操作を呼び出して取得できます。

    説明

    現在、一部のデータソースのみがサポートされています。詳細については、「サポートされるデータソースの種類一覧」をご参照ください。

  • tables: 監視対象が `Table` の場合、テーブル名を設定できます。

    説明

    データソースがデータベースレベルでアタッチされており、非デフォルトスキーマ内のテーブルをモニタリングする必要がある場合は、schema.table 形式でテーブルを指定できます。

• rules: データが満たすべきルールです。Data Quality モニタリング構成には複数のルールを含めることができます。

  Data Quality モニタリングが実行されると、監視対象のデータがスキャンされ、各ルールについてメトリック値が算出され、期待されるしきい値と比較されます。この比較結果により、ルールが通過したかどうかが判定されます。

  通常、データの期待値は assertion 文で記述されます。この文には、row_count のようなメトリックタイプ、> のような比較演算子、0 のようなしきい値が含まれます。チェック結果は、以下の 3 つの状態のいずれかになります。

  • pass: チェックに合格しました。収集されたメトリック値がしきい値で定義された範囲内です。

  • fail: チェックに不合格です。収集されたメトリック値がしきい値で定義された範囲外です。

  • error: エラーが発生しました。構文エラーなどのその他の例外がチェック中に発生しました。

  説明

  • warn レベルのしきい値を明示的に指定した場合、チェック結果は warn にもなり得ます。詳細については、「マルチレベルしきい値定義の追加」をご参照ください。

  • assertion 文で使用可能な サポートされる組み込みシステムメトリックタイプ をご確認ください。

  • 品質モニタリングルールを作成する際には、カスタムメトリックルール を使用することもできます。

固定しきい値

この方法は、メトリック値を固定値と直接比較するシナリオに適しています。固定しきい値の定義には、以下の要素が含まれます。

• メトリック

• 引数（任意）

• 比較演算子（任意）

• しきい値（任意）

構成例

rules:
  # データ行数は 0 より大きい必要があります。
  - assertion: row_count > 0
  # size フィールドの最大値は 500 以下である必要があります。
  - assertion: max(size) <= 500

以下の表では、固定しきい値式の 4 つの要素について説明します。

サポートされる比較演算子の詳細については、「サポートされる比較演算子」をご参照ください。

変動しきい値

この方法は、現在のメトリック値を同一メトリックの過去の値と比較するシナリオに適しています。たとえば、今日のユーザー数と昨日のユーザー数の差が 100 以内であること、または今日の売上高と過去 7 日間の平均売上高の変動率が 10 % 以内であることなどを保証できます。

通常、変動しきい値を記述するには、metric の前に change for を追加します。変動しきい値の定義には、以下の要素が含まれます。

• change（キーワード）

• 集約型（オプション）

• タイムウィンドウ

• percent（キーワード、任意）

• for（キーワード）

• メトリック

• 引数（任意）

• 比較演算子（任意）

• しきい値（任意）

結合された式の形式は、change [集計方法] [タイムウィンドウ] [percent] for メトリック [引数] [比較演算子 しきい値] です。

構成例

rules:
  # 現在のデータ行数と 7 日前のチェック時のデータ行数の差が 10,000 以内である必要があります。
  - assertion: change 7 days ago for row_count < 10000

rules:
  # 現在のデータ行数と過去 7 日間の平均データ行数の差が 10,000 以内である必要があります。
  - assertion: change average last 7 days for row_count < 10000

rules:
  # 現在のデータ行数と 7 日前のチェック時のデータ行数の変動率が 50 % 以内である必要があります。
  - assertion: change 7 days ago percent for row_count < 50%

範囲しきい値

between...and... を使用して、しきい値の範囲を定義できます。

datasets:
  - type: Table
    tables:
      - tb_d_spec_demo
    filter: dt='$[yyyymmdd]' AND hh='$[hh24-1/24]'
    dataSource:
      name: odps_first
      envType: Dev
rules:
  - assertion: change 1 day ago percent for row_count
    warn: 
      - when not between -1% and 1%
    fail: 
      - when not between -5% and 5%

warn および fail のしきい値範囲が重複する場合の処理ポリシー

warn および fail のしきい値範囲は重複することがあります。メトリック値がこの重複範囲に該当する場合、システムはより重大なステータスを使用します。結果は fail になります。

not between...and... を使用した区間の補集合の定義

not を between...and... の前に使用すると、区間の補集合を得られます。たとえば、以下のようになります。

rules:
  - assertion: duplicate_count(phone)
    warn: 
      - when not between -1% and 1%
    fail:
      - when not between -5% and 5%

上記のコードスニペットで定義された区間を、以下の図に示します。

ルールに対するデータフィルタリングの設定

ルールのチェック時に、メトリック統計に使用するデータのサブセットのみが必要な場合、ルールに filter 設定を追加できます。たとえば、id フィールドが NULL でないデータのみをカウントする場合です。

rules:
  - assertion: row_count > 0
    filter: id IS NOT NULL

品質モニタリングに対するデータフィルタリングの設定

filter 設定を Scan.Dataset に追加することもできます。この場合、filter は、チェックプロセス中に品質モニタリング構成内のすべてのルールに適用されます。

datasets:
  - type: Table
    tables:
      - tb_d_spec_demo
    filter: dt='$[yyyymmdd]' AND hh='$[hh24-1/24]'
    dataSource:
      name: odps_first
rules:
  - assertion: row_count > 0

上記のコードスニペットでは、filter 設定が dataset に追加されています。各ルールのチェック時には、まずこの filter を使用してデータがフィルター処理され、その後にチェックが実行されます。

サポートされる比較演算子

• >

• >=

• <

• <=

• =

• !=

• between ... and ...

サポートされるデータソースの種類一覧

以下のデータソースの種類がサポートされています。

• maxcompute

• hologres

• emr

• mysql

• analyticdb_for_mysql

• analyticdb_for_postgresql

• cdh

• starrocks

サポートされる組み込みシステムメトリックタイプ

• avg

• row_count

• sum

• min

• max

• distinct_count

• distinct_percent

• table_size

• missing_count

• missing_percent

• duplicate_percent

• duplicate_count

• group_by

• invalid_count

• invalid_distinct_count

タイムウィンドウの定義方法

DataWorks Data Quality では、複数のタイムウィンドウ定義方法がサポートされています。基本的なフォーマットは以下のとおりです。

• n 時間単位前：n (minute[s]|hour[s]|day[s]|week[s]|month[s]) ago。たとえば、n months ago、n days ago、n hours ago などです。

  • 1 day ago

  • 7 days ago

  • 1 month ago

  • 8 hours ago

  • 15 minutes ago

• 相対時間範囲：last n (minute[s]|hour[s]|day[s]|week[s]|month[s]) 。たとえば、last 15 minutes、last 7 days、last 1 month などです。

  • last 15 minutes

  • last 24 hours

    説明

    現在時刻の 24 時間前から現在時刻までを対象とし、1 時間ごとに 1 つのデータポイントが収集されます。

  • last 7 days

  • last 1 month

• 1/2/3/.../-3/-2/-1 of (current|last|n) (months|weeks) (ago)

  • 当月1日の同時刻：当月の1日

  • 先月の最終日の同時刻：-1 of last month

  • 3 週間前の火曜日の同時刻：2 of 3 weeks ago