DataWorks:Configurar regras por modelo

Siga estas etapas para configurar regras de qualidade usando um modelo:

1. Selecione um modelo de regra e configure o método de verificação.

   Existem dois tipos de modelos de regras integrados: nível de tabela e nível de campo. Após selecionar um modelo, defina o método de verificação para uma regra de qualidade direcionada à tabela. Essa regra especifica como verificar os dados da tabela para confirmar se atendem às expectativas.

2. Adicione tabelas ou campos para verificação em lote

   Selecione as tabelas ou campos a serem verificados em lote e aplique o modelo de regra a eles.

3. Crie ou associe um monitor de qualidade

   Associe regras de qualidade a um monitor de qualidade para definir as verificações de um objeto específico: um Data Scope de uma tabela (como uma partição específica de uma tabela particionada).

Etapa 1: Acessar a página Configure by Template

1. Faça login no console do DataWorks. Na região de destino, clique em Data Governance > Data Quality no painel de navegação à esquerda. Selecione um workspace na lista suspensa e clique em Go to Data Quality.

2. No painel de navegação à esquerda, escolha Rule Setting > Configure by Template para abrir a página Configure by Template.

   O Data Quality fornece modelos de regras integrados de Table-level e Field Level. Clique em View Monitoring Rules em um modelo para configurar regras de monitoramento para tabelas ou campos em lote.

   A página Configure by Template oferece três filtros na parte superior: Keyword Search, Associated Scope e Quality Dimension. Os modelos integrados de nível de tabela incluem vários modelos de monitoramento de tempestividade, como valor fixo de linhas da tabela, diferença de 1 dia nas linhas da tabela, taxa de flutuação de 1 dia das linhas da tabela, taxa de flutuação de 7 dias das linhas da tabela e taxa de flutuação de 30 dias das linhas da tabela. A descrição do modelo explica o método de cálculo da linha de base e a lógica de comparação para cada modelo.

Etapa 2: Configurar propriedades da regra de monitoramento

1. Selecione um modelo para aplicar a várias tabelas ou partições em lote. Na coluna Actions, clique em View Monitoring Rules. A página Batch Add Monitoring Rules referente a esse modelo será aberta.

2. Configure as Basic Properties da regra de monitoramento.

   Parâmetro	Description
   Connection Type	Tipo de fonte de dados das tabelas às quais esta regra se aplica. Nota Modelos permitem configurar regras de monitoramento para as seguintes fontes de dados: MaxCompute, EMR, Hologres, CDH Hive, AnalyticDB for PostgreSQL, AnalyticDB for MySQL, StarRocks, MySQL, Lindorm, SQL Server e DLF.
   Rule Source	Este valor é fixo como Built-in Template e não pode ser alterado. Ele reflete o modelo de regra selecionado. Para obter mais informações sobre modelos de regras integrados, consulte View built-in rule templates.
   Template
   Rule Name	O sistema gera automaticamente um nome para a regra. É possível personalizar o sufixo.

3. Configure as propriedades avançadas da regra de monitoramento.

   Parâmetro	Description
   Degree of importance	A severidade da regra. Regra forte: Uma regra importante. Por padrão, uma anomalia crítica bloqueia a tarefa de agendamento associada. Regra fraca: Uma regra comum. Por padrão, uma anomalia crítica não bloqueia a tarefa de agendamento associada.
   Comparison Method	Define como a regra valida se os dados da tabela atendem às expectativas. Manual Settings: Personalize como a saída de dados é comparada com a regra. Os métodos de comparação disponíveis variam conforme o modelo de regra. Os métodos exibidos na interface prevalecem. Suporta comparação de resultados do Numeric Type, geralmente comparada com um valor fixo (valor esperado). Os métodos de comparação incluem Greater Than, Greater Than or Equal To, Equal To, Unequal To, Less Than e Less Than or Equal To. É possível personalizar o intervalo de dados normais (limiar normal) e o intervalo de dados anormais (limiar vermelho). Suporta comparação de resultados de Fluctuation, geralmente uma comparação de intervalo. Os métodos de comparação incluem Absolute Value, Raise e Drop. É possível personalizar o intervalo de dados normais (limiar normal). Também é possível definir uma anomalia (limiar laranja) e um resultado inesperado (limiar vermelho) com base no grau de desvio. Intelligent Dynamic Threshold: Não é necessário configurar manualmente limiares de flutuação ou valores esperados. O sistema utiliza um algoritmo inteligente para determinar automaticamente um limiar razoável. Se uma anomalia de dados for detectada, um alerta é acionado imediatamente ou a tarefa é bloqueada. Limiares dinâmicos também suportam regras fortes e fracas. Nota O método de comparação de limiar dinâmico inteligente é suportado apenas para regras de qualidade Custom SQL, Custom Scope, and Dynamic Threshold.
   Monitoring Threshold	Se o Comparison Method estiver definido como Manual Settings, defina o Normal threshold e o Error Threshold. Normal threshold: Se o resultado da verificação atender ao valor especificado, a verificação de dados será aprovada. Error Threshold: Se o resultado da verificação atender ao valor especificado, a verificação de dados falhará. Se a regra executar uma verificação de Fluctuation, especifique o Warning Threshold. Warning Threshold: Se o resultado da verificação atender ao valor especificado, os dados serão considerados anômalos, mas não afetarão as operações comerciais.
   Status	Status da regra, que pode ser Enable ou Deactivate. Esta configuração controla se a regra é executada no ambiente de produção. Importante Se você definir o status como Deactivate, a regra não poderá ser acionada para uma execução de teste ou por uma tarefa de agendamento associada.

4. Clique em Next para acessar a página Generate Monitoring Rule.

Etapa 3: Adicionar tabelas ou campos

Dependendo do table-level rule template ou field-level rule template selecionado, adicione em lote as tabelas ou campos aos quais deseja aplicar a regra.

Etapa 4: Criar ou associar um monitor de qualidade

Um monitor de qualidade define quais regras verificam um objeto de dados específico. O objeto é um intervalo de dados dentro da tabela a ser verificada, como uma partição específica de uma tabela particionada.

Configure monitores individualmente ou em lote.

Etapa 5: Testar a execução da regra

1. Clique em Generate Monitoring Rule para acessar a página Verify Monitoring Rule. Na página Verify Monitoring Rule, execute as seguintes operações:

   • Test Run: Verifica se a configuração da regra é válida.

     Após criar as regras, selecione uma ou mais regras e execute uma Test Run. Na caixa de diálogo Test Run, selecione um Scheduled Time (horário simulado em que a verificação é acionada) e um Resource Group. O sistema calcula os valores específicos de partição da tabela a ser verificada com base neste carimbo de data/hora e no Data Scope especificado. Após concluir a configuração, clique em Test Run para verificar se os dados na partição da tabela especificada atendem à regra de qualidade de dados configurada.

     Após uma execução de teste, clique em Running Records na coluna Actions para visualizar os detalhes da execução de teste e tomar as medidas apropriadas.

   • Manage Subscriptions: Define os destinatários dos alertas.

     Envie notificações de alerta usando métodos como Email, Email and SMS, DingTalk Chatbot, DingTalk Chatbot @ALL, Lark Group Chatbot, Enterprise WeChat Chatbot, Custom Webhook e Telephone.

     Nota

     • Para adicionar um chatbot do DingTalk, Lark ou WeCom, obtenha sua URL de webhook e cole a URL nas configurações de assinatura de alerta.

     • Apenas o DataWorks Enterprise Edition suporta o método Custom Webhook. Para obter informações sobre o formato de mensagem das notificações de alerta Custom Webhook enviadas pelo DataWorks, consulte Appendix: Webhook message format.

     • Ao selecionar Email, Email and SMS ou Telephone como método de assinatura, especifique o Authorized object como Data Quality Monitoring Owner, Shift Schedule ou Scheduling Task Owner.

       • Data Quality Monitoring Owner: As notificações de alerta são enviadas para o Quality Monitoring Owner especificado na seção Basic Configurations do monitor de qualidade atual.

       • Shift Schedule: Quando uma verificação de regra de qualidade é acionada por um nó associado, o sistema envia uma notificação de alerta para o on-duty personnel for the day specified in the on-duty schedule.

       • Scheduling Task Owner: As notificações de alerta são enviadas para o Head do nó de agendamento associado ao monitor de qualidade.

   • Manage Linked Nodes: Define o método de acionamento da regra.

     Clique em Use Recommended Running Mode ou Manually Specify Running Mode para associar uma ou mais regras de qualidade de dados aos nós de agendamento que geram os dados da tabela. No Operation Center, esses nós incluem instâncias agendadas periodicamente, instâncias de backfill de dados acionadas manualmente e instâncias de teste. Quando uma tarefa de nó é executada, a verificação de regra associada é acionada. Defina a força da regra para controlar se o nó falha e encerra, impedindo a propagação de dados incorretos.

     • Modo de Execução Recomendado: O sistema associa automaticamente as regras selecionadas aos nós de agendamento recomendados com base na linhagem de dados dos nós que produzem a tabela.

     • Modo de Execução Manual: Associe manualmente as regras selecionadas a nós de agendamento específicos.

     Importante

     Uma regra deve estar associada a um nó de agendamento correspondente para ser acionada automaticamente.

     Na caixa de diálogo Associate Scheduling: selecione o Workspace e o Task node de destino, clique em Add e, em seguida, clique em OK para criar a associação.

   • Delete: Selecione e exclua uma ou mais regras.

   • View Rule Details: Na coluna Actions, clique em View Rule Details para visualizar os detalhes de uma regra. Modifique, ative, desative ou exclua a regra, defina sua força e visualize logs.

2. Após a execução de teste ser bem-sucedida e um agendamento ser associado, clique em Complete Check.

{
  "detailUrl": "https://dqc-cn-zhangjiakou.data.aliyun.com/?defaultProjectId=3058#/jobDetail?envType=ODPS&projectName=yongxunQA_zhangbei_standard&tableName=sx_up_001&entityId=10878&taskId=16876941111958fa4ce0e0b5746379cd9bc67999d05f8&bizDate=1687536000000&executeTime=1687694111000",
  "datasourceName": "emr_test_01",
  "engineTypeName": "EMR",
  "projectName": "Online Regression Project",
  "dqcEntityQuality": {
    "entityName": "tb_auto_test",
    "actualExpression": "ds=20230625",
    "strongRuleAlarmNum": 1,
    "weakRuleAlarmNum": 0
  },
  "ruleChecks": [
    {
      "blockType": 0,
      "warningThreshold": 0.1,
      "property": "id",
      "tableName": "tb_auto_test",
      "comment": "Test rule",
      "checkResultStatus": 2,
      "templateName": "Compare the Number of Unique Field Values Against Expectation",
      "checkerName": "fulx",
      "ruleId": 123421,
      "fixedCheck": false,
      "op": "",
      "upperValue": 22200,
      "actualExpression": "ds=20230625",
      "externalId": "123112232",
      "timeCost": "10",
      "trend": "up",
      "externalType": "CWF2",
      "bizDate": 1600704000000,
      "checkResult": 2,
      "matchExpression": "ds=$[yyyymmdd]",
      "checkerType": 0,
      "projectName": "auto_test",
      "beginTime": 1600704000000,
      "dateType": "YMD",
      "criticalThreshold": "0.6",
      "isPrediction": false,
      "ruleName": "Rule Name",
      "checkerId": 7,
      "discreteCheck": true,
      "endTime": 1600704000000,
      "MethodName": "max",
      "lowerValue": 2344,
      "entityId": 12142421,
      "whereCondition": "type!='type2'",
      "expectValue": 90,
      "templateId": 5,
      "taskId": "16008552981681a0d6",
      "id": 234241453,
      "open": true,
      "referenceValue": [
        {
          "discreteProperty": "type1",
          "value": 20,
          "bizDate": "1600704000000",
          "singleCheckResult": 2,
          "threshold": 0.2
        }
      ],
      "sampleValue": [
        {
          "discreteProperty": "type2",
          "bizDate": "1600704000000",
          "value": 23
        }
      ]
    }
  ]
}