DataWorks:組み込みルールテンプレートの表示

テンプレートカテゴリ

テンプレート名

説明

行数

固定値

行数が固定値と一致するかどうかを検証します。

テーブルが空でない

テーブルに少なくとも 1 行が含まれているかどうかを検証します。

1 日間の差分

行数の日次変化を検証します。

前回のスケジューリングサイクル以降のテーブル行数の変化

ベースラインは前回のスケジューリングサイクルのパーティション行数です。システムは、当日に収集した行数をこのベースラインと比較し、差分を計算します。

1 日、7 日、30 日、および月初のボラティリティ

現在の行数を 1 日前、7 日前、30 日前、および当月の初日の行数と比較します。ボラティリティを計算し、しきい値と比較します。いずれかのしきい値を超えた場合、アラートがトリガーされます。

1 日、7 日、30 日のボラティリティ

現在の行数を 1 日前、7 日前、および 30 日前の行数と比較して、ボラティリティを計算します。

1 日のボラティリティ

前日の行数をベースラインとして使用し、当日に収集した行数と比較して、ボラティリティを計算します。しきい値を超えた場合、アラートがトリガーされます。

30 日のボラティリティ

30 日前の行数をベースラインとして使用し、当日に収集した行数と比較して、ボラティリティを計算します。しきい値を超えた場合、アラートがトリガーされます。

7 日のボラティリティ

7 日前の行数をベースラインとして使用し、当日に収集した行数と比較して、ボラティリティを計算します。しきい値を超えた場合、アラートがトリガーされます。

テーブル行数 (インテリジェントな動的しきい値)

インテリジェントな動的しきい値を有効にすると、ボラティリティのしきい値や期待値を手動で設定する必要がありません。システムはインテリジェントなアルゴリズムを使用して適切なしきい値を自動的に決定し、異常に対してアラートまたはブロックをトリガーします。

30 日平均ボラティリティ

行数の変動をモニタリングします。ベースラインは過去 30 日間の平均行数であり、 (30 日間の日次行数の合計) / 30 として計算されます。

7 日平均ボラティリティ

行数の変動をモニタリングします。ベースラインは過去 7 日間の平均行数であり、 (7 日間の日次行数の合計) / 7 として計算されます。

前回サイクルのボラティリティ

前回のスケジューリングサイクルのパーティション行数をベースラインとして使用し、当日に収集した行数と比較して、ボラティリティを計算します。

テーブル行数のカスタム範囲

テーブル行数の比較方法としきい値範囲を定義できます。

条件一致率

条件一致率、カスタム範囲

フィルタ条件の一致率に対する比較方法としきい値範囲を定義できます。

テーブルサイズ

テーブルサイズ、固定値

テーブルのストレージサイズ (バイト単位) です。

テーブルサイズ、1 日間の差分 (バイト)

1 日前と比較したテーブルストレージサイズの差分 (バイト単位) です。

テーブルサイズ、前回サイクルの差分

前回のスケジューリングサイクルと比較したテーブルサイズの差分 (バイト単位) です。

テーブルサイズ、1 日のボラティリティ

テーブルサイズの変動をモニタリングします。現在のテーブルサイズを前日のサンプルと比較し、ボラティリティを計算して、しきい値と比較します。いずれかのしきい値を超えた場合、アラートがトリガーされます。

たとえば、オレンジのしきい値を 5%、赤のしきい値を 10% に設定した場合、ボラティリティが 5% を超えて 10% を超えない場合はオレンジのアラートがトリガーされ、ボラティリティが 10% を超えた場合は赤のアラートがトリガーされます。

テーブルサイズ、30 日のボラティリティ

テーブルサイズの変動をモニタリングします。現在のテーブルサイズを 30 日前のサンプルと比較し、ボラティリティを計算して、しきい値と比較します。いずれかのしきい値を超えた場合、アラートがトリガーされます。

テーブルサイズ、7 日のボラティリティ

テーブルサイズの変動をモニタリングします。現在のテーブルサイズを 7 日前のサンプルと比較し、ボラティリティを計算して、しきい値と比較します。いずれかのしきい値を超えた場合、アラートがトリガーされます。

テーブルサイズ (インテリジェントな動的しきい値)

インテリジェントな動的しきい値を有効にすると、ボラティリティのしきい値や期待値を手動で設定する必要がありません。システムはインテリジェントなアルゴリズムを使用して適切なしきい値を自動的に決定し、異常に対してアラートまたはブロックをトリガーします。

NULL 値行

NULL カウント、固定値

列の NULL カウントを固定値と比較します。

NULL カウントが 0

NULL カウントが 0 であるかどうかを検証します。

NULL カウント / 総行数

NULL カウント / 総行数、固定値

NULL カウントと総行数の比率を固定値と比較します。

フォーマット検証

正規表現検証

列の値が正規表現と一致するかどうかを検証します。

日付フォーマット検証

列の値が日付フォーマットと一致するかどうかを検証します。

メールアドレスフォーマット検証

列の値がメールアドレスフォーマットと一致するかどうかを検証します。

ID カードフォーマット検証

列の値が ID カードフォーマットと一致するかどうかを検証します。

携帯電話番号フォーマット検証

列の値が携帯電話番号フォーマットと一致するかどうかを検証します。

通貨フォーマット検証

列の値が通貨フォーマットと一致するかどうかを検証します。

数値フォーマット検証

列の値が数値フォーマットと一致するかどうかを検証します。

電話番号フォーマット検証

列の値が電話番号フォーマットと一致するかどうかを検証します。

重複値行

重複カウント、固定値

重複カウントは、総行数から個別カウントを引いた値です。重複カウントを固定値と比較します。

列の重複カウントが 0

列の重複カウントが 0 であるかどうかを検証します。

複数列の一意値

複数列の重複カウントが 0

複数列の重複カウントが 0 であるかどうかを検証します。

重複カウント / 総行数

重複カウント / 総行数、固定値

重複カウントと総行数の比率を固定値と比較します。

個別カウント

個別カウント、固定値

個別カウントを固定値と比較します。

個別カウント、1 日、7 日、30 日のボラティリティ

個別カウントを 1 日前、7 日前、および 30 日前のサンプルと比較して、ボラティリティを計算します。

個別カウント (インテリジェントな動的しきい値)

インテリジェントな動的しきい値を有効にすると、ボラティリティのしきい値や期待値を手動で設定する必要がありません。システムはインテリジェントなアルゴリズムを使用して適切なしきい値を自動的に決定し、異常に対してアラートまたはブロックをトリガーします。

個別カウント / 総行数

個別カウント / 総行数、固定値

個別カウントと総行数の比率を固定値と比較します。

最小値

最小値、1 日、7 日、30 日のボラティリティ

列の最小値を取得し、1 日前、7 日前、および 30 日前のサンプルと比較します。ボラティリティを計算し、いずれかのしきい値を超えた場合、アラートがトリガーされます。

最小値 (インテリジェントな動的しきい値)

インテリジェントな動的しきい値を有効にすると、ボラティリティのしきい値や期待値を手動で設定する必要がありません。システムはインテリジェントなアルゴリズムを使用して適切なしきい値を自動的に決定し、異常に対してアラートまたはブロックをトリガーします。

最小値、1 日のボラティリティ

列の最小値を取得し、1 日前の値と比較して、ボラティリティを計算し、しきい値と比較します。

最小値、前回サイクルのボラティリティ

列の最小値を取得し、前回のスケジューリングサイクルの値と比較して、ボラティリティを計算します。しきい値を超えた場合、アラートがトリガーされます。

列の最小値、カスタム範囲

列の最小値に対する比較方法としきい値範囲を定義できます。

最大値

最大値、1 日、7 日、30 日のボラティリティ

列の最大値を取得し、1 日前、7 日前、および 30 日前のサンプルと比較します。ボラティリティを計算し、いずれかのしきい値を超えた場合、アラートがトリガーされます。

最大値 (インテリジェントな動的しきい値)

インテリジェントな動的しきい値を有効にすると、ボラティリティのしきい値や期待値を手動で設定する必要がありません。システムはインテリジェントなアルゴリズムを使用して適切なしきい値を自動的に決定し、異常に対してアラートまたはブロックをトリガーします。

最大値、1 日のボラティリティ

列の最大値を取得し、1 日前の値と比較して、ボラティリティを計算し、しきい値と比較します。

最大値、前回サイクルのボラティリティ

列の最大値を取得し、前回のスケジューリングサイクルの値と比較して、ボラティリティを計算します。しきい値を超えた場合、アラートがトリガーされます。

列の最大値、カスタム範囲

列の最大値に対する比較方法としきい値範囲を定義できます。

平均値

平均値、1 日、7 日、30 日のボラティリティ

列の平均値を取得し、1 日前、7 日前、および 30 日前のサンプルと比較します。ボラティリティを計算し、いずれかのしきい値を超えた場合、アラートがトリガーされます。

平均値 (インテリジェントな動的しきい値)

インテリジェントな動的しきい値を有効にすると、ボラティリティのしきい値や期待値を手動で設定する必要がありません。システムはインテリジェントなアルゴリズムを使用して適切なしきい値を自動的に決定し、異常に対してアラートまたはブロックをトリガーします。

平均値、1 日のボラティリティ

列の平均値を取得し、1 日前の値と比較して、ボラティリティを計算し、しきい値と比較します。

列の平均値、カスタム範囲

列の平均値に対する比較方法としきい値範囲を定義できます。

合計値

合計値、1 日、7 日、30 日のボラティリティ

列の合計値を取得し、1 日前、7 日前、および 30 日前のサンプルと比較します。ボラティリティを計算し、いずれかのしきい値を超えた場合、アラートがトリガーされます。

合計値 (インテリジェントな動的しきい値)

インテリジェントな動的しきい値を有効にすると、ボラティリティのしきい値や期待値を手動で設定する必要がありません。システムはインテリジェントなアルゴリズムを使用して適切なしきい値を自動的に決定し、異常に対してアラートまたはブロックをトリガーします。

合計値、1 日のボラティリティ

列の合計値を取得し、1 日前の値と比較して、ボラティリティを計算し、しきい値と比較します。

合計値、前回サイクルのボラティリティ

列の合計値を取得し、前回のスケジューリングサイクルの値と比較して、ボラティリティを計算します。しきい値を超えた場合、アラートがトリガーされます。

列の合計値、カスタム範囲

列の合計値に対する比較方法としきい値範囲を定義できます。

列挙値

一致しない列挙値の個別値カウント、固定値

一致しない列挙値の個別カウントを固定値と比較します。

一致しない列挙値の行数、固定値

列内の一致しない列挙値の行数を、指定された固定値と比較します。

一致しない列挙値の行数が 0

期待される正常な状態：固定値と比較方法が = 0 に設定されています。一致しない列挙値の行数が 0 より大きい場合、常にアラートがトリガーされます。

列挙値、カスタム、固定値

列挙値に関連する統計 (カウント、行数、比較方法、しきい値など) をカスタマイズできます。

離散値

離散値 (値ごとのグループカウント)、固定値

GROUP BY 操作後に、各グループのカウントを固定値と比較します。

離散値 (グループ数)、固定値

GROUP BY 操作後に、グループ数を固定値と比較します。

離散値 (グループ数) (インテリジェントな動的しきい値)

インテリジェントな動的しきい値を有効にすると、ボラティリティのしきい値や期待値を手動で設定する必要がありません。システムはインテリジェントなアルゴリズムを使用して適切なしきい値を自動的に決定し、異常に対してアラートまたはブロックをトリガーします。

離散値 (値ごとのグループカウント) (インテリジェントな動的しきい値)

インテリジェントな動的しきい値を有効にすると、ボラティリティのしきい値や期待値を手動で設定する必要がありません。システムはインテリジェントなアルゴリズムを使用して適切なしきい値を自動的に決定し、異常に対してアラートまたはブロックをトリガーします。

離散値 (グループ数)、1 日のボラティリティ

GROUP BY 操作後に、グループ数を 1 日前のサンプルと比較して、ボラティリティを計算します。

離散値 (グループ数と値ごとのグループカウント)、1 日、7 日、30 日のボラティリティ

GROUP BY 操作後に、グループ数と各グループのカウントを 1 日前、7 日前、および 30 日前のサンプルと比較して、ボラティリティを計算します。

検証方法

検証ロジック

固定値比較

検証式を評価し、ブール値を返します。サポートされている比較演算子は、>、<、>=、<=、!= です。結果が true の場合、チェックに合格します。それ以外の場合は、レッドアラートがトリガーされます。

変動比較

この方法はメトリックの変化量をモニタリングし、次の 3 種類の比較タイプをサポートしています：

• 絶対値：方向に関係なく変化の大きさに着目します。たとえば、行数の変動が 10% を超過した場合にアラートがトリガーされます。

• 上昇：異常な増加のみに着目します。たとえば、コストをモニタリングする場合、大幅なコスト増加のみに注目することがあります。

• 下降：異常な減少のみに着目します。たとえば、注文量をモニタリングする場合、急激な減少に主に注目することがあります。

システムは、設定したオレンジしきい値とレッドしきい値に基づいてアラートレベルを決定します。

動的しきい値

しきい値を手動で設定する必要はありません。システムはアルゴリズムモデル を使用して、メトリックの正確性をリアルタイムで自動検出します。メトリックが妥当な変動範囲を超えた場合、アラートがトリガーされます。

スケジュールタイプ

業務日

ベースライン比較方法

よくある質問

通常の日次スケジューリングシナリオ

過去の業務日：

• 2024-06-01

• 2024-06-02

• 2024-06-03

• 2024-06-04

• 2024-06-05

業務日 2024-06-06 のスケジュールされたタスクが検証を開始する際、業務日 2024-06-05 のチェック結果を比較用のベースラインとして使用します。

データバックフィルシナリオ：

背景：

2024-06-01 から 2024-06-05 までのタスクは通常どおり実行されました。業務日 2024-06-05 のスケジュールされたインスタンスの実行完了後、業務日 2024-07-01 のインスタンスに対してバックフィルを実行しました。業務日 2024-06-06 のスケジュールされたタスクが検証を開始する際、比較用のベースラインにはどの日付が使用されますか。

結論：

業務日 2024-06-06 のスケジュールされたタスクでは、業務日 2024-07-01 のチェック結果を比較用のベースラインとして使用します。業務日 2024-07-01 のほうが後の日付であるため、業務日 2024-07-02 のスケジュールされたインスタンスの実行が完了するまで、その後の日次スケジュールされたタスクはすべて 2024-07-01 をベースラインとして使用します。

通常の時間単位スケジューリングシナリオ

過去の業務日：

• 2024-06-01

• 2024-06-02

• 2024-06-03

タスクは時間単位でスケジュールされており、1 日に 3 回実行されます。

業務日 2024-06-04 の時間単位でスケジュールされたタスクが検証を開始する際、業務日 2024-06-03 の最後のチェック結果を比較用のベースラインとして使用します。

時間単位スケジューリングシナリオ：

背景：

2024-06-01 から 2024-06-03 まで、毎日 3 つの時間単位でスケジュールされたインスタンスが実行され、業務日 2024-06-04 の最初のスケジュールされたインスタンスも通常どおり実行されました。業務日 2024-06-04 の 2 つ目のスケジュールされたインスタンスが検証を開始する際、比較用のベースラインにはどの日付が使用されますか。

結論：

業務日 2024-06-04 の 2 つ目のスケジュールされたインスタンスが検証を開始する際、同じ日 (2024-06-04) の 1 つ目のチェックを除外し、業務日 2024-06-03 の最後のチェック結果を比較用のベースラインとして使用します。

スケジュールタイプ

業務日付

変動比較方法

よくある質問

通常の時間単位スケジューリングシナリオ

過去の業務日付：

• 2024-06-01

• 2024-06-02

• ......

• 2024-06-08

タスクは時間単位のスケジュールで、1 日あたり 3 回実行されます。

7 日間の変動比較では、実行日 2024-06-08 の時間単位スケジュールタスクが検証を開始する際、実行日 2024-06-01 の最初のインスタンスの結果が、サンプル値として使用されます。

時間単位スケジューリングシナリオ：

背景：

2024-06-01 から 2024-06-08 まで、毎日 3 つの時間単位スケジュールインスタンスが実行されました。実行日 2024-06-08 の 2 番目のスケジュールされたインスタンスが検証を開始する際、7 日間の変動比較用サンプル値として、どの日の、どのスケジュールされたインスタンスの結果が使用されますか?

結論：

実行日 2024-06-08 の 2 番目のスケジュールされたインスタンスが検証を開始する際、実行日 2024-06-01 の最初のインスタンスの結果が、7 日間の変動比較用サンプル値として使用されます。