DataWorks:テンプレートによるルール設定

基本属性

高度なプロパティ

比較方法の選択

インテリジェント動的しきい値は、カスタム SQL ステートメント、カスタム範囲、または動的しきい値に基づくルールでのみ利用可能です。

重要度の設定

モニタリングしきい値の設定

• 比較方法 を 手動設定 に設定した場合：

  • 通常しきい値：データ品質チェックの結果が指定条件を満たす場合、つまりデータ出力が期待通りであることを意味します。

  • 赤色しきい値：データ品質チェックの結果が指定条件を満たす場合、つまりデータ出力が期待通りでないことを意味します。

  • 数値結果の場合、以下のような比較演算子を使用して固定値と比較します：「より大きい」「以上」「等しい」「等しくない」「より小さい」「以下」。

  • 変動ベースのチェックの場合、比較方法として 絶対値、増加、減少 のいずれかを選択します。

• 比較方法 を インテリジェント動的しきい値 に設定した場合：

  • オレンジ色しきい値：データ品質チェックの結果が指定条件を満たす場合、つまりデータは異常ですが業務に影響を与えないことを意味します。

ステータス：本番環境でルールを実行可能にするには、有効 に設定します。無効 に設定すると、テストモードでの実行やスケジューリングノードによるトリガーができなくなります。

次へ をクリックして、モニタリングルールの生成 ページに進みます。

サンプルメッセージ

{
  "detailUrl": "https://dqc-cn-zhangjiakou.data.aliyun.com/?defaultProjectId=3058#/jobDetail?envType=ODPS&projectName=yongxunQA_zhangbei_standard&tableName=sx_up_001&entityId=10878&taskId=16876941111958fa4ce0e0b5746379cd9bc67999d05f8&bizDate=1687536000000&executeTime=1687694111000",
  "datasourceName": "emr_test_01",
  "engineTypeName": "EMR",
  "projectName": "プロジェクト名",
  "dqcEntityQuality": {
    "entityName": "tb_auto_test",
    "actualExpression": "ds=20230625",
    "strongRuleAlarmNum": 1,
    "weakRuleAlarmNum": 0
  },
  "ruleChecks": [
    {
      "blockType": 0,
      "warningThreshold": 0.1,
      "property": "id",
      "tableName": "tb_auto_test",
      "comment": "モニタリングルールのテスト",
      "checkResultStatus": 2,
      "templateName": "予期値と比較した一意なフィールド値の数",
      "checkerName": "fulx",
      "ruleId": 123421,
      "fixedCheck": false,
      "op": "",
      "upperValue": 22200,
      "actualExpression": "ds=20230625",
      "externalId": "123112232",
      "timeCost": "10",
      "trend": "up",
      "externalType": "CWF2",
      "bizDate": 1600704000000,
      "checkResult": 2,
      "matchExpression": "ds=$[yyyymmdd]",
      "checkerType": 0,
      "projectName": "auto_test",
      "beginTime": 1600704000000,
      "dateType": "YMD",
      "criticalThreshold": "0.6",
      "isPrediction": false,
      "ruleName": "ルール名",
      "checkerId": 7,
      "discreteCheck": true,
      "endTime": 1600704000000,
      "MethodName": "max",
      "lowerValue": 2344,
      "entityId": 12142421,
      "whereCondition": "type!='type2'",
      "expectValue": 90,
      "templateId": 5,
      "taskId": "16008552981681a0d6",
      "id": 234241453,
      "open": true,
      "referenceValue": [
        {
          "discreteProperty": "type1",
          "value": 20,
          "bizDate": "1600704000000",
          "singleCheckResult": 2,
          "threshold": 0.2
        }
      ],
      "sampleValue": [
        {
          "discreteProperty": "type2",
          "bizDate": "1600704000000",
          "value": 23
        }
      ]
    }
  ]
}

パラメーターの説明