DataWorks:Configurar regras por modelo

Siga estas etapas para configurar regras de qualidade por meio de um modelo:

1. Select a rule template and configure the check method.

   Existem dois tipos de modelos de regra integrados: nível de tabela e nível de campo. Após selecionar um modelo, defina o método de verificação para uma regra de qualidade direcionada à tabela. Essa regra de qualidade especifica como verificar os dados da tabela para garantir que atendam às expectativas.

2. Add tables or fields to check in batches

   Selecione as tabelas ou campos a serem verificados em lote e aplique o modelo de regra a eles.

3. Create or associate a quality monitor

   Associe regras de qualidade a um monitor de qualidade para definir as verificações de qualidade de um objeto específico: um Data Scope de uma tabela (como uma partição específica de uma tabela particionada).

Etapa 1: Acessar a página Configure by Template

1. Faça login no console do DataWorks. Na região desejada, Data Governance > Data Quality no painel de navegação à esquerda. Selecione um workspace na lista suspensa e clique em Go to Data Quality.

2. No painel de navegação à esquerda, escolha Rule Setting > Configure by Template para abrir a página Configure by Template.

   O Data Quality fornece modelos de regras integrados nos níveis Table-level e Field Level. Clique em View Monitoring Rules em um modelo para configurar regras de monitoramento de tabelas ou campos em lote.

   A página Configure by Template disponibiliza três filtros na parte superior: Keyword Search, Associated Scope e Quality Dimension. Os modelos integrados no nível de tabela incluem diversos modelos de monitoramento de pontualidade, como valor fixo de linhas da tabela, diferença de 1 dia nas linhas da tabela, taxa de flutuação de 1 dia nas linhas da tabela, taxa de flutuação de 7 dias nas linhas da tabela e taxa de flutuação de 30 dias nas linhas da tabela. A descrição do modelo explica o método de cálculo da linha de base e a lógica de comparação de cada modelo.

Etapa 2: Configurar as propriedades da regra de monitoramento

1. Selecione um modelo para aplicar a várias tabelas ou partições em lote. Na coluna Actions, clique em View Monitoring Rules. A página Batch Add Monitoring Rules do modelo selecionado será aberta.

2. Configure as Basic Properties da regra de monitoramento.

   Parâmetro	Description
   Connection Type	O tipo de source de dados das tabelas às quais esta regra se aplica. Nota Os modelos podem ser usados para configurar regras de monitoramento para as seguintes fontes de dados: MaxCompute, EMR, Hologres, CDH Hive, AnalyticDB for PostgreSQL, AnalyticDB for MySQL, StarRocks, MySQL, Lindorm, SQL Server e DLF.
   Rule Source	Este valor é fixo em Built-in Template e não pode ser alterado. Ele reflete o modelo de regra selecionado. Para mais informações sobre modelos de regras integrados, consulte View built-in rule templates.
   Template
   Rule Name	O sistema gera automaticamente um nome de regra. Você pode personalizar o sufixo.

3. Configure as propriedades avançadas da regra de monitoramento.

   Parâmetro	Description
   Degree of importance	A severidade da regra. Regra forte: uma regra importante. Por padrão, uma anomalia crítica bloqueia a tarefa de agendamento associada. Regra fraca: uma regra comum. Por padrão, uma anomalia crítica não bloqueia a tarefa de agendamento associada.
   Comparison Method	Define como a regra valida se os dados da tabela atendem às suas expectativas. Manual Settings: personalize a forma como a saída de dados é comparada com a regra. Os métodos de comparação disponíveis variam conforme o modelo de regra. Os métodos exibidos na interface prevalecem. Suporta comparação de resultado do tipo Numeric Type, que normalmente é comparado com um valor fixo (valor esperado). Os métodos de comparação incluem Greater Than, Greater Than or Equal To, Equal To, Unequal To, Less Than e Less Than or Equal To. Você pode personalizar a faixa de dados normal (limiar normal) e a faixa de dados anômalos (limiar vermelho). Suporta comparação de resultado do tipo Fluctuation, que normalmente é uma comparação por faixa. Os métodos de comparação incluem Absolute Value, Raise e Drop. Você pode personalizar a faixa de dados normal (limiar normal), além de definir uma anomalia (limiar laranja) e um resultado inesperado (limiar vermelho) com base no grau de desvio. Intelligent Dynamic Threshold: não é necessário configurar manualmente limiares de flutuação ou valores esperados. O sistema utiliza um algoritmo inteligente para determinar automaticamente um limiar adequado. Ao detectar uma anomalia nos dados, um alerta é disparado imediatamente ou a tarefa é bloqueada. Os limiares dinâmicos também suportam regras fortes e fracas. Nota O método de comparação por limiar dinâmico inteligente é suportado apenas para regras de qualidade Custom SQL, Custom Scope, and Dynamic Threshold.
   Monitoring Threshold	Se Comparison Method estiver definido como Manual Settings, você poderá definir o Normal threshold e o Error Threshold. Normal threshold: se o resultado da verificação atender ao valor especificado, a verificação de dados é aprovada. Error Threshold: se o resultado da verificação atender ao valor especificado, a verificação de dados falha. Se a regra realizar uma verificação de Fluctuation, especifique o Warning Threshold. Warning Threshold: se o resultado da verificação atender ao valor especificado, os dados são anômalos, mas não afetam as operações de negócio.
   Status	O status da regra, que pode ser Enable ou Deactivate. Essa configuração controla se a regra é executada no ambiente de produção. Importante Ao definir o status como Deactivate, a regra não poderá ser acionada para execução de teste nem por uma tarefa de agendamento associada.

4. Clique em Next para acessar a página Generate Monitoring Rule.

Etapa 3: Adicionar tabelas ou campos

Dependendo do modelo de regra table-level rule template ou field-level rule template selecionado, adicione em lote as tabelas ou campos aos quais deseja aplicar a regra.

Etapa 4: Criar ou associar um monitor de qualidade

Um monitor de qualidade define quais regras verificam um objeto de dados específico. O objeto corresponde a um intervalo de dados dentro da tabela a ser verificada, como uma partição específica de uma tabela particionada.

É possível configurar monitores individualmente ou em lote.

Etapa 5: Testar a execução da regra

1. Clique em Generate Monitoring Rule para acessar a página Verify Monitoring Rule. Na página Verify Monitoring Rule, é possível realizar as seguintes operações:

   • Test Run: Verifica se a configuração da regra é válida.

     Após criar as regras, selecione uma ou mais regras e execute um Test Run. Na caixa de diálogo Test Run, selecione um Scheduled Time (o horário simulado em que a verificação é acionada) e um Resource Group. O sistema calcula os valores específicos de partição da tabela a ser verificada com base nesse timestamp e no Data Scope especificado. Após concluir a configuração, clique em Test Run para verificar se os dados na partição de tabela especificada atendem à regra de qualidade de dados configurada.

     Após a execução de teste, clique em Running Records na coluna Actions para visualizar os detalhes da execução de teste e tomar as ações apropriadas.

   • Manage Subscriptions: Define os destinatários de alertas.

     É possível enviar notificações de alerta por meio de métodos como Email, Email and SMS, DingTalk Chatbot, DingTalk Chatbot @ALL, Lark Group Chatbot, Enterprise WeChat Chatbot, Custom Webhook e Telephone.

     Nota

     • Para adicionar um chatbot do DingTalk, Lark ou WeCom, obtenha a URL do webhook correspondente e cole-a nas configurações de assinatura de alertas.

     • Apenas o DataWorks Enterprise Edition oferece suporte ao método Custom Webhook. Para obter informações sobre o formato de mensagem das notificações de alerta enviadas pelo DataWorks via Custom Webhook, consulte Appendix: Webhook message format.

     • Ao selecionar Email, Email and SMS ou Telephone como método de assinatura, você pode especificar o Authorized object como Data Quality Monitoring Owner, Shift Schedule ou Scheduling Task Owner.

       • Data Quality Monitoring Owner: As notificações de alerta são enviadas para o Quality Monitoring Owner especificado na seção Basic Configurations do monitor de qualidade atual.

       • Shift Schedule: Quando uma verificação de regra de qualidade é acionada por um nó associado, o sistema envia a notificação de alerta para o on-duty personnel for the day specified in the on-duty schedule.

       • Scheduling Task Owner: O sistema envia notificações de alerta para o Head do nó de agendamento associado ao monitor de qualidade.

   • Manage Linked Nodes: Define o método de acionamento da regra.

     Clique em Use Recommended Running Mode ou Manually Specify Running Mode para associar uma ou mais regras de qualidade de dados aos nós de agendamento que geram os dados da tabela. No Operation Center, esses nós incluem instâncias agendadas periodicamente, instâncias de preenchimento de dados acionadas manualmente e instâncias de teste. Quando a tarefa de um nó é executada, a verificação de regra associada é acionada. Você pode definir a intensidade da regra para controlar se o nó falha e encerra a execução, evitando assim a propagação de dados inconsistentes.

     • Modo de execução recomendado: O sistema associa automaticamente as regras selecionadas aos nós de agendamento recomendados com base na linhagem de dados dos nós que produzem a tabela.

     • Modo de execução manual: Permite associar manualmente as regras selecionadas a nós de agendamento específicos.

     Importante

     Uma regra precisa estar associada a um nó de agendamento correspondente para ser acionada automaticamente.

     Na caixa de diálogo Associate Scheduling: selecione o Workspace e o Task node desejados, clique em Add e, em seguida, clique em OK para criar a associação.

   • Delete: Permite selecionar e excluir uma ou mais regras.

   • View Rule Details: Na coluna Actions, clique em View Rule Details para visualizar os detalhes de uma regra. Também é possível modificar, ativar, desativar ou excluir a regra, definir sua intensidade e visualizar os logs.

2. Após a execução de teste ser bem-sucedida e um agendamento estar associado, clique em Complete Check.

{
  "detailUrl": "https://dqc-cn-zhangjiakou.data.aliyun.com/?defaultProjectId=3058#/jobDetail?envType=ODPS&projectName=yongxunQA_zhangbei_standard&tableName=sx_up_001&entityId=10878&taskId=16876941111958fa4ce0e0b5746379cd9bc67999d05f8&bizDate=1687536000000&executeTime=1687694111000",
  "datasourceName": "emr_test_01",
  "engineTypeName": "EMR",
  "projectName": "Online Regression Project",
  "dqcEntityQuality": {
    "entityName": "tb_auto_test",
    "actualExpression": "ds=20230625",
    "strongRuleAlarmNum": 1,
    "weakRuleAlarmNum": 0
  },
  "ruleChecks": [
    {
      "blockType": 0,
      "warningThreshold": 0.1,
      "property": "id",
      "tableName": "tb_auto_test",
      "comment": "Test rule",
      "checkResultStatus": 2,
      "templateName": "Compare the Number of Unique Field Values Against Expectation",
      "checkerName": "fulx",
      "ruleId": 123421,
      "fixedCheck": false,
      "op": "",
      "upperValue": 22200,
      "actualExpression": "ds=20230625",
      "externalId": "123112232",
      "timeCost": "10",
      "trend": "up",
      "externalType": "CWF2",
      "bizDate": 1600704000000,
      "checkResult": 2,
      "matchExpression": "ds=$[yyyymmdd]",
      "checkerType": 0,
      "projectName": "auto_test",
      "beginTime": 1600704000000,
      "dateType": "YMD",
      "criticalThreshold": "0.6",
      "isPrediction": false,
      "ruleName": "Rule Name",
      "checkerId": 7,
      "discreteCheck": true,
      "endTime": 1600704000000,
      "MethodName": "max",
      "lowerValue": 2344,
      "entityId": 12142421,
      "whereCondition": "type!='type2'",
      "expectValue": 90,
      "templateId": 5,
      "taskId": "16008552981681a0d6",
      "id": 234241453,
      "open": true,
      "referenceValue": [
        {
          "discreteProperty": "type1",
          "value": 20,
          "bizDate": "1600704000000",
          "singleCheckResult": 2,
          "threshold": 0.2
        }
      ],
      "sampleValue": [
        {
          "discreteProperty": "type2",
          "bizDate": "1600704000000",
          "value": 23
        }
      ]
    }
  ]
}