DataWorks:Configurer des règles par modèle en lot

Sources de données prises en charge

Les modèles prennent en charge les règles de surveillance pour les sources de données suivantes : MaxCompute, E-MapReduce (EMR), Hologres, CDH Hive, AnalyticDB for PostgreSQL, AnalyticDB for MySQL, StarRocks, MySQL, Lindorm, SQL Server et Data Lake Formation (DLF).

Prérequis : choisissez votre approche

Utilisez ce tableau pour déterminer l'approche de configuration adaptée avant de commencer.

Le seuil dynamique intelligent (Intelligent Dynamic Threshold) est uniquement disponible pour les règles basées sur des instructions SQL personnalisées, des plages personnalisées ou un seuil dynamique.

Fonctionnement

La configuration des règles de surveillance à partir d'un modèle s'effectue en trois étapes :

1. Select a template and configure rule parameters — Choisissez un modèle intégré Table-Level ou Field-Level et définissez la méthode de comparaison ainsi que les seuils qui déterminent ce qu'est une « donnée valide ».

2. Ajouter des tables ou des champs en lot — Sélectionnez toutes les tables ou tous les champs auxquels la règle doit s'appliquer.

3. Associer la règle à un moniteur de qualité — Un moniteur de qualité définit le périmètre des données (par exemple, une partition spécifique d'une table partitionnée) et lie la règle à un nœud de planification qui déclenche automatiquement les vérifications.

Étape 1 : Accéder à la page Configurer par modèle

1. Connectez-vous à la console DataWorks. Dans la barre de navigation supérieure, sélectionnez la région cible. Dans le volet de navigation de gauche, cliquez sur Data Governance > Data Quality. Sélectionnez l'espace de travail cible dans la liste déroulante, puis cliquez sur Go to Data Quality.

2. Dans le volet de navigation de gauche, cliquez sur Configure Rules > Configure by Template. Data Quality affiche les modèles de règles intégrés Table Level et Field Level. Cliquez sur Configure Monitoring Rules pour le modèle que vous souhaitez utiliser.

   

Étape 2 : Configurer les propriétés de la règle

Sur la page Batch Add Monitoring Rules, configurez les paramètres suivants.

Étape 3 : Ajouter des tables ou des champs

Selon le type de modèle que vous avez sélectionné, ajoutez les tables ou les champs que vous souhaitez vérifier.

Étape 4 : Associer un moniteur de qualité

Un moniteur de qualité définit le périmètre des données (la plage de données, telle qu'une partition spécifique) et les paramètres de déclenchement du contrôle de qualité. Associez chaque table ou champ à un moniteur de qualité.

Étape 5 : Tester et finaliser

Cliquez sur Generate Monitoring Rule pour ouvrir la page Verify Monitoring Rule. À partir de cette page :

• Test Run : Sélectionnez une ou plusieurs règles et cliquez sur Test Run. Dans la boîte de dialogue, sélectionnez un Data Timestamp (l'heure de déclenchement simulée). Le système calcule les valeurs de partition en fonction de l'heure spécifiée et de la Data Range, puis vérifie si les données respectent la règle configurée. Une fois le test terminé, cliquez sur Running Records dans la colonne Actions pour afficher les résultats.

  

• Subscriptions : Configurez les destinataires des alertes et les canaux de notification. Consultez les options de méthode d'alerte à l'étape 4.

• Associated Scheduling : Liez les règles aux nœuds de planification. Utilisez Use Recommended Running Mode pour laisser le système associer automatiquement les règles aux nœuds recommandés en fonction de la lignée des données, ou utilisez Manually Specify Running Mode pour associer manuellement les règles à des nœuds spécifiques.

  Important

  Une règle doit être associée à un nœud de planification pour être déclenchée automatiquement.

  

• View Rule Details : Cliquez sur View Rule Details dans la colonne Actions pour ouvrir la page de détails d'une règle, où vous pouvez modifier, démarrer, arrêter ou supprimer la règle et consulter les journaux.

• Delete : Supprimez une ou plusieurs règles sélectionnées.

Une fois le test réussi et la planification associée, cliquez sur Complete Check.

Étapes suivantes

Une fois le moniteur exécuté, accédez à Quality O&M dans le volet de navigation de gauche, puis cliquez sur Monitor > Running Records pour afficher l'état du contrôle de qualité et l'historique complet des vérifications de règles pour les tables surveillées.

Annexe : Format des messages Webhook

Cette section décrit le format des messages et les paramètres des notifications d'alerte envoyées via un Custom Webhook.

{
  "detailUrl": "https://dqc-cn-zhangjiakou.data.aliyun.com/?defaultProjectId=3058#/jobDetail?envType=ODPS&projectName=yongxunQA_zhangbei_standard&tableName=sx_up_001&entityId=10878&taskId=16876941111958fa4ce0e0b5746379cd9bc67999d05f8&bizDate=1687536000000&executeTime=1687694111000",
  "datasourceName": "emr_test_01",
  "engineTypeName": "EMR",
  "projectName": "Project name",
  "dqcEntityQuality": {
    "entityName": "tb_auto_test",
    "actualExpression": "ds=20230625",
    "strongRuleAlarmNum": 1,
    "weakRuleAlarmNum": 0
  },
  "ruleChecks": [
    {
      "blockType": 0,
      "warningThreshold": 0.1,
      "property": "id",
      "tableName": "tb_auto_test",
      "comment": "Test a monitoring rule",
      "checkResultStatus": 2,
      "templateName": "Compare the Number of Unique Field Values Against Expectation",
      "checkerName": "fulx",
      "ruleId": 123421,
      "fixedCheck": false,
      "op": "",
      "upperValue": 22200,
      "actualExpression": "ds=20230625",
      "externalId": "123112232",
      "timeCost": "10",
      "trend": "up",
      "externalType": "CWF2",
      "bizDate": 1600704000000,
      "checkResult": 2,
      "matchExpression": "ds=$[yyyymmdd]",
      "checkerType": 0,
      "projectName": "auto_test",
      "beginTime": 1600704000000,
      "dateType": "YMD",
      "criticalThreshold": "0.6",
      "isPrediction": false,
      "ruleName": "Rule name",
      "checkerId": 7,
      "discreteCheck": true,
      "endTime": 1600704000000,
      "MethodName": "max",
      "lowerValue": 2344,
      "entityId": 12142421,
      "whereCondition": "type!='type2'",
      "expectValue": 90,
      "templateId": 5,
      "taskId": "16008552981681a0d6",
      "id": 234241453,
      "open": true,
      "referenceValue": [
        {
          "discreteProperty": "type1",
          "value": 20,
          "bizDate": "1600704000000",
          "singleCheckResult": 2,
          "threshold": 0.2
        }
      ],
      "sampleValue": [
        {
          "discreteProperty": "type2",
          "bizDate": "1600704000000",
          "value": 23
        }
      ]
    }
  ]
}