DataWorks:Data Quality Spec 設定ガイド

例

以下は、テーブルの行数を検証する簡単なデータ品質ルールの例です。

{
  "datasets": [
    {
      "type": "Table",
      "tables": [
        "tb_d_spec_demo"
      ],
      "dataSource": {
        "name": "odps_first", 
        "envType": "Dev"
      }
    }
  ],
  "rules": [
    {
      "assertion": "row_count > 0"
    }
  ]
}

設定リファレンス

この例では、以下のプロパティを持つ基本的なデータ品質モニタリングルールを定義しています。

• datasets: 監視するデータオブジェクト。各データセットには以下が含まれます:

  • type: 監視するオブジェクトタイプ。現在、Table のみがサポートされています。

  • dataSource: データを含むデータソース。name および envType パラメーターを設定してデータソースを識別できます。データソース名を取得するには、ListDataSources 操作を呼び出します。

    説明

    現在、一部のデータソースのみがサポートされています。詳細については、「サポートされているデータソースタイプ」をご参照ください。

  • tables: 監視するテーブル名 (type が Table の場合に必須)。

    説明

    データソースがデータベースレベルで接続されており、デフォルト以外のスキーマのテーブルを監視する必要がある場合は、schema.table のフォーマットを使用します。

• rules: データが満たすべき検証ルール。各モニタリング設定には複数のルールを含めることができます。

  検証の仕組み:

  1. システムは監視対象オブジェクトのデータをスキャンします。

  2. 各ルールのメトリック値を計算します。

  3. 定義されたしきい値と値を比較します。

  4. 以下の 3 つのステータスのいずれかを返します:

     1. pass: メトリック値が許容されるしきい値の範囲内です。

     2. fail: メトリック値がしきい値の範囲外です。

     3. error: 検証で例外が発生しました (例: 構文エラー)。

静的しきい値

メトリックを固定値と直接比較します。

• メトリック

• 引数 (オプション)

• 比較記号 (オプション)

• しきい値 (オプション)

例

{
  "rules": [
    {
      // テーブルにはデータが含まれている必要があります
      "assertion": "row_count > 0"
    },
    {
      // Size フィールドの最大値は 500 を超えてはなりません
      "assertion": "max(size) <= 500"
    }
  ]
}

式の内訳:

利用可能なオペレーターの詳細については、「サポートされている比較オペレーター」をご参照ください。

変動しきい値

現在のメトリックを過去のベースラインと比較して異常を検出します。

ユースケース:

• 1 日のユーザー数は昨日から 100 を超えて変動してはなりません

• 今日の収益は、7 日間の平均から 10% を超えて変動してはなりません

通常、変動しきい値を定義するには、metric の前に change for を追加します。変動しきい値の定義には、次の部分が含まれます:

• change (キーワード)

• 集計タイプ (オプション)

• タイムウィンドウ (オプション)

• percent (キーワード、オプション)

• for (キーワード)

• メトリック

• 引数 (オプション)

• 比較記号 (オプション)

• しきい値 (オプション)

式のフォーマットは change [aggregate_type] [time_window] [percent] for metric [argument] [comparison_symbol threshold] です。

{
  "rules": [
    {
      // 前回の検証からの行数の変更は 10,000 以内でなければなりません
      "assertion": "change for row_count < 10000"
    }
  ]
}

{
  "rules": [
    {
      // 7 日前からの行数の変更は 10,000 以内でなければなりません
      "assertion": "change 7 days ago for row_count < 10000"
    }
  ]
}

{
  "rules": [
    {
      // 7 日間の平均からの行数の変更は 10,000 以内でなければなりません
      "assertion": "change average last 7 days for row_count < 10000"
    }
  ]
}

{
  "rules": [
    {
      // 前回のチェックからの行数のパーセンテージ変化は 50% 以内でなければなりません
      "assertion": "change percent for row_count < 50%"
    }
  ]
}

範囲しきい値

区間表記を使用して、許容される値の範囲を定義します。

{
  "datasets": [
    {
      "type": "Table",
      "tables": [
        "tb_d_spec_demo"
      ],
      "filter": "dt='$[yyyymmdd]' AND hh='$[hh24-1/24]'",
      "dataSource": {
        "name": "odps_first", 
        "envType": "Dev"
      }
    }
  ],
  "rules": [
    {
      "assertion": "row_count between 10 and 15"
    }
  ]
}

{
  "datasets": [
    {
      "type": "Table",
      "tables": [
        "tb_d_spec_demo"
      ],
      "filter": "dt='$[yyyymmdd]' AND hh='$[hh24-1/24]'",
      "dataSource": {
        "name": "odps_first", 
        "envType": "Dev"
      }
    }
  ],
  "rules": [
    {
      "assertion": "row_count between (10 and 15"
    }, {
      "assertion": "row_count between (10 and 15)"
    }
  ]
}

{
  "datasets": [
    {
      "type": "Table",
      "tables": [
        "tb_d_spec_demo"
      ],
      "filter": "dt='$[yyyymmdd]' AND hh='$[hh24-1/24]'",
      "dataSource": {
        "name": "odps_first"
      }
    }
  ],
  "rules": [
    {
      "assertion": "row_count between 10 and 15"
    }, {
      "assertion": "row_count between [10 and 15"
    }, {
      "assertion": "row_count between 10 and 15]"
    }, {
      "assertion": "row_count between [10 and 15]"
    }
  ]
}

配列ベースのしきい値

各重要度レベルに対して複数の条件を定義します:

{
  "rules": [
    {
      "assertion": "duplicate_count(phone)",
      "warn": [
        "when > 2",
        "when < 0"
      ]
    }
  ]
}

重複数が 2 より大きいか 0 より小さい場合、warn しきい値がトリガーされます。

重複するしきい値

しきい値の範囲が重複する場合、システムは最も深刻なステータスを返します。

区間の補集合

not between...and... を使用して、区間外の許容範囲を定義します:

{
  "rules": [
    {
      "assertion": "duplicate_count(phone)",
      "warn": "when not between -10 and 10",
      "fail": "when not between -20 and 20"
    }
  ]
}

視覚的な表現:

ルールレベルのフィルター

特定のルールにフィルターを適用します:

{
  "rules": [
    {
      "assertion": "row_count > 0",
      "filter": "id IS NOT NULL"
    }
  ]
}

データセットレベルのフィルター

モニタリング設定のすべてのルールにグローバルにフィルターを適用します:

{
  "datasets": [
    {
      "type": "Table",
      "tables": [
        "tb_d_spec_demo"
      ],
      "filter": "dt='$[yyyymmdd]' AND hh='$[hh24-1/24]'",
      "dataSource": {
        "name": "odps_first"
      }
    }
  ]
  "rules": [
    {
      "assertion": "row_count > 0"
    }
  ]
}

サポートされている比較オペレーター

• >

• >=

• <

• <=

• =

• !=

• between ... and ...

サポートされているデータソースタイプ

• maxcompute

• hologres

• emr

• mysql

• analyticdb_for_mysql

• analyticdb_for_postgresql

• cdh

• starrocks

サポートされている組み込みメトリックタイプ

• avg

• row_count

• sum

• min

• max

• distinct_count

• distinct_percent

• table_size

• missing_count

• missing_percent

• duplicate_percent

• duplicate_count

• group_by

• invalid_count

• invalid_distinct_count

タイムウィンドウの構文

これらのフォーマットを使用して、過去の比較期間を定義します:

• n タイムユニット前: n (minute[s]|hour[s]|day[s]|week[s]|month[s]) ago。例には、n months ago、n days ago、n hours ago が含まれます。

  • 1 日前: 1 day ago

  • 7 日前: 7 days ago

  • 1 か月前: 1 month ago

  • 8 時間前: 8 hours ago

  • 15 分前: 15 minutes ago

• 最後の期間: last n (minute[s]|hour[s]|day[s]|week[s]|month[s]) [with interval m (minute[s]|hour[s]|day[s]|week[s]|month[s])]。例には、the last 15 minutes、the last 7 days、the last 1 month が含まれます。

  • 過去 15 分間: last 15 minutes

  • 過去 24 時間、1 時間ごとに 1 つのデータポイントを収集: last 24 hours with interval 1 hour

    説明

    データポイントは、現在の時刻の 24 時間前から現在の時刻まで、1 時間ごとに収集されます。

  • 過去 7 日間: last 7 days

  • 過去 1 か月間: last 1 month

• 月内の特定の日または週内の特定の曜日の同じ時刻: 1/2/3/.../-3/-2/-1 of (current|last|n) (months|weeks) (ago)

  • 当月の 1 日の同じ時刻: 1 of current month

  • 先月の最終日の同じ時刻: -1 of last month

  • 3 週間前の火曜日の同じ時刻: 2 of 3 weeks ago

• `n` 個のタイムウィンドウの連結: time window and time window [and time window]

  • 1 日前、7 日前、1 か月前、および当月の 1 日: 1 day ago and 7 days ago and 1 month ago and 1 of current month