DataWorks:Configurar regras: Por tabela

Etapa 1: Acessar a página de detalhes de qualidade da tabela

1. Faça login no DataWorks console. Na região de destino, clique em Data Governance > Data Quality no painel de navegação à esquerda. Selecione um workspace na lista suspensa e clique em Go to Data Quality.

2. Acesse a página de configuração de regras para tabelas.

   No painel de navegação à esquerda, clique em Rule Setting > Configure by Table para acessar a página de configuração de regras.

   1. Na lista Connection à esquerda, selecione o banco de dados que contém a tabela para a qual deseja configurar regras.

   2. Filtre as tabelas por critérios como tipo de banco de dados, banco de dados e nome da tabela. Clique no nome da tabela de destino ou em Rule Management na coluna Actions para abrir a página de detalhes de qualidade da tabela.

      Esta página exibe todos os monitores de qualidade e regras da tabela. Filtre as regras por associação a um monitor de qualidade e defina o modo de execução para regras não associadas.

Etapa 2: Criar um monitor de qualidade

1. Crie um monitor de qualidade.

   Use uma das seguintes formas para criar um monitor de qualidade:

   1. Método 1: Na página Table Quality Details, clique na aba Rule Management. Clique no ícone ao lado de Monitor Perspective para criar um monitor de qualidade.

   2. Método 2: Na página Table Quality Details, alterne para a aba de monitoramento de qualidade. Clique em Create Monitor.

2. Configure os parâmetros do monitor de qualidade.

   Parâmetro	Parâmetro	Descrição
   Basic Configurations	Monitor Name	Insira um nome personalizado para o monitor de qualidade.
   	Quality Monitoring Owner	Especifique um proprietário para o monitor de qualidade. Em uma assinatura de alerta, defina esse proprietário como destinatário das notificações por Email, Email and SMS ou Telephone.
   	Monitored Object	Objeto a ser verificado quanto à qualidade dos dados. Por padrão, esta é a tabela atual.
   	Data Scope	Use uma expressão de filtro de partição para definir as partições da tabela a serem verificadas. Tabela não particionada: Não é necessário configurar este parâmetro. Por padrão, a Full Table é verificada. Tabela particionada: A expressão deve estar no formato partition_name=partition_value. O valor da partição pode ser fixo ou proveniente das Appendix 2: Built-in partition filter expressions. Nota Essa configuração é ignorada ao configurar regras com modelo personalizado ou SQL personalizado, pois o próprio SQL determina quais partições verificar.
   Select Monitoring Rule	Select Monitoring Rule	Selecione as regras de qualidade de dados a serem aplicadas ao intervalo de dados especificado. Nota Crie vários monitores de qualidade para diferentes partições e associe cada um a diferentes regras de qualidade de dados. Se ainda não criou uma regra de qualidade de dados, pule esta etapa. Crie primeiro o monitor de qualidade e adicione regras posteriormente. Para mais informações sobre como criar uma regra de qualidade de dados, consulte Step 3. Configure data quality rules.
   Running Settings	Trigger Method	Método que aciona o monitor de qualidade. Triggered by Node Scheduling in Production Environment: Associa o monitor de qualidade a uma tarefa agendada periodicamente especificada no DataWorks Operation Center. Após a execução bem-sucedida da tarefa, as regras de qualidade de dados neste monitor são acionadas automaticamente. Tarefas de simulação não acionam verificações de regras de qualidade de dados. Triggered Manually: Aciona manualmente as regras de qualidade de dados associadas ao monitor de qualidade atual. Importante Se a tabela monitorada não for uma tabela MaxCompute e você definir o Trigger Method como Triggered by Node Scheduling in Production Environment, a tarefa agendada periodicamente selecionada não poderá usar o grupo de recursos de agendamento público. Caso contrário, ocorrerá um erro durante a execução do monitor de qualidade.
   	Associated Auto Triggered Node	Se definir o Trigger Method como Triggered by Node Scheduling in Production Environment, configure este parâmetro para especificar um nó de agendamento associado. Após a execução bem-sucedida do nó especificado, as regras de qualidade de dados são acionadas automaticamente.
   	Resources	Recursos de computação usados para executar as verificações das regras de qualidade de dados. Por padrão, a fonte de dados da tabela monitorada no workspace é selecionada. Se selecionar outra fonte de dados, certifique-se de que seus recursos possam acessar a tabela.
   Handling Policies	Quality Issue Handling Policies	Política aplicada quando um problema de qualidade de dados for detectado. Alert: Ao detectar um problema de qualidade de dados, o sistema envia uma notificação de alerta aos assinantes do monitor de qualidade. As condições padrão são: Strong rule - Critical anomaly, Strong rule - Warning anomaly, Strong rule - Check failed, Weak rule - Critical anomaly, Weak rule - Warning anomaly e Weak rule - Check failed. Blocks: Ao detectar um problema de qualidade de dados, o sistema marca o nó de agendamento de produção acionador como falho e bloqueia seus nós downstream. Essa ação interrompe o pipeline de produção para evitar a disseminação de dados problemáticos. A condição padrão é Strong rule - Critical anomaly. Importante Se definir a política como Blocks, um alerta também será acionado quando um problema de qualidade de dados for detectado.
   	Alert Method Configuration	Envie notificações de alerta via Email, Email and SMS, DingTalk Chatbot, DingTalk Chatbot @ALL, Lark Group Chatbot, Enterprise WeChat Chatbot, Custom Webhook ou Telephone. Nota Para usar um chatbot do DingTalk, Lark ou Enterprise WeChat, adicione o chatbot para obter sua URL de webhook e cole a URL nas configurações de assinatura de alerta. O método Custom Webhook é suportado apenas no DataWorks Enterprise Edition. Para informações sobre o formato de mensagem de uma notificação de alerta enviada via Custom Webhook, consulte Appendix: Webhook message format. Se selecionar Email, Email and SMS ou Telephone como método de notificação, defina o Authorized object como Data Quality Monitoring Owner, Shift Schedule ou Scheduling Task Owner. Data Quality Monitoring Owner: Envia notificações de alerta para o Quality Monitoring Owner especificado na seção Basic Configurations do monitor de qualidade atual. Shift Schedule: Quando um nó de agendamento associado aciona um alerta de qualidade, o sistema envia uma notificação para o on-duty user for the current day in the shift schedule. Scheduling Task Owner: As notificações de alerta serão enviadas ao Head do nó de agendamento associado ao monitor de qualidade.

3. Clique em Save para criar o monitor de qualidade.

Etapa 3: Configurar regras de qualidade de dados

1. Na página Table Quality Details, clique na aba Rule Management, selecione o monitor de qualidade criado e clique em Create Rule para acessar a página de configuração de regras.

2. Crie uma regra de qualidade de dados.

   O Data Quality oferece os seguintes métodos para configurar regras. Escolha o método que melhor atende aos seus requisitos de negócios.

   Método 1: Modelo do sistema

   O Data Quality fornece dezenas de rule templates integrados. No painel à esquerda, clique em + Use ao lado de um modelo para criar rapidamente uma regra de qualidade. Adicione várias regras simultaneamente.

   Clique em + System template rule na parte superior e modifique o parâmetro Template para alterar o modelo de regra.

   Parâmetros do modelo de regra do sistema

   Parâmetro	Description
   Rule Name	Insira um nome personalizado para a regra.
   Template	Define o tipo de verificação de regra a ser executada na tabela. O Data Quality oferece uma ampla variedade de modelos de regras integrados nos níveis de tabela e de campo. Para mais informações, consulte View built-in rule templates. Nota Valores médios, somatórios, mínimos e máximos aplicam-se apenas a campos numéricos.
   Rule Scope	Escopo ao qual a regra se aplica. Para regras no nível de tabela, o escopo é a tabela atual por padrão. Para regras no nível de campo, selecione um campo específico.
   Comparison Method	Especifica como a regra valida os dados da tabela. Manual Settings: Permite definir manualmente o método de comparação e os limiares. Os métodos de comparação disponíveis variam conforme o modelo de regra. As opções exibidas na interface são definitivas. Suporta comparação de resultados do Numeric Type, geralmente contra um valor fixo (valor esperado). Os métodos incluem Greater Than, Greater Than or Equal To, Equal To, Unequal To, Less Than e Less Than or Equal To. Personalize o intervalo de dados normais (limiar normal) e o intervalo de dados anormais (limiar crítico). Suporta comparação de resultados de Fluctuation, tipicamente uma comparação de intervalo. Os métodos incluem Absolute Value, Raise e Drop. Personalize o intervalo de dados normais (limiar normal). Defina também um intervalo de aviso para anomalias (limiar de aviso) e um intervalo crítico para dados fora das expectativas (limiar crítico) com base no grau de desvio. Intelligent Dynamic Threshold: O sistema usa um algoritmo inteligente para determinar automaticamente um limiar razoável, eliminando a necessidade de configuração manual. Se o sistema detectar dados anormais, ele aciona imediatamente um alerta ou bloqueia a tarefa associada. Limiares dinâmicos também suportam regras fortes e fracas. Nota Apenas regras de qualidade de SQL personalizado, intervalo personalizado e limiar dinâmico suportam o método de comparação de limiar dinâmico inteligente.
   Monitoring Threshold	Se definir o Comparison Method como Manual Settings, especifique um Normal threshold e um Error Threshold. Normal threshold: Condição que o resultado da verificação deve atender para que os dados sejam considerados normais. Error Threshold: Condição que, se atendida pelo resultado da verificação, indica dados criticamente anormais e aciona um alerta crítico. Se a regra realizar uma verificação de Fluctuation, especifique também um Warning Threshold. Warning Threshold: Condição que, se atendida pelo resultado da verificação, indica uma anomalia não crítica que não afeta as operações comerciais.
   Retain problem data	Se este recurso estiver ativado e uma verificação de regra falhar, o sistema criará automaticamente uma tabela para armazenar os dados problemáticos resultantes. Importante Configure o recurso de retenção de dados problemáticos para tabelas MaxCompute e Hologres. Apenas algumas regras de qualidade de dados suportam o recurso de retenção de dados problemáticos. Este recurso depende do status da regra. Se a regra estiver como Deactivate, o sistema não retém dados problemáticos.
   Status	Status da regra, que pode ser Enable ou Deactivate. Controla se a regra é executada no ambiente de produção. Importante Se definir o status como Deactivate, a regra não poderá ser acionada para uma execução de teste ou por uma tarefa de agendamento associada.
   Degree of importance	Severidade da regra. Regra forte: Regra importante. Por padrão, uma anomalia crítica bloqueia a tarefa de agendamento associada. Regra fraca: Regra regular. Por padrão, uma anomalia crítica não bloqueia a tarefa de agendamento associada.
   Configuration Source	Origem da configuração da regra. Neste caso, o valor é Data Quality.
   Description	Descrição opcional da regra.

   Método 2: Modelo personalizado

   Nota

   Antes de criar uma regra usando um modelo personalizado, acesse Quality Assets > Rule Template Library para criar um modelo de regra personalizado. Para mais informações, consulte Create and manage custom rule templates.

   Ao usar um modelo personalizado, suas configurações básicas, como o FLAG parameter e o SQL de validação, são preenchidas automaticamente. Especifique um Rule Name personalizado e configure os limiares de monitoramento com base no tipo de regra. Por exemplo, uma regra numérica exige um limiar normal e um limiar crítico, enquanto uma regra do tipo flutuação também requer um limiar de aviso.

   Parâmetros do modelo de regra personalizado

   Esta seção descreve apenas os parâmetros exclusivos dos modelos de regras personalizados. Para informações sobre outros parâmetros, consulte Parâmetros do modelo de regra do sistema.

   Parâmetro	Descrição
   FLAG parameter	Define o comando SET a ser executado antes da execução do SQL de verificação de qualidade de dados.
   SQL	Lógica de validação SQL. A consulta deve retornar um único valor numérico. No SQL personalizado, use colchetes para corresponder à expressão de filtro de partição da tabela. Exemplo: SELECT count(*) FROM ${tableName} WHERE ds=$[yyyymmdd]; Nota A variável ${tableName} é substituída dinamicamente pelo nome da tabela monitorada. Para mais informações sobre como configurar uma expressão de filtro de partição, consulte Appendix 2: Built-in partition filter expressions. Se criar um quality monitor para a tabela e configurar uma regra usando este método, o Data Scope especificado para o monitor será ignorado. A cláusula WHERE neste SQL determina quais partições são verificadas.

   Método 3: SQL personalizado

   Este método permite personalizar a lógica de validação de qualidade de dados para a tabela.

   Parâmetros de SQL personalizado

   Esta seção descreve apenas os parâmetros exclusivos do SQL personalizado. Para informações sobre outros parâmetros, consulte Parâmetros do modelo de regra do sistema.

   Parâmetro	Descrição
   FLAG parameter	Define o comando SET a ser executado antes da execução do SQL de verificação de qualidade de dados.
   SQL	Lógica de validação SQL. A consulta deve retornar um único valor numérico. No SQL personalizado, use colchetes para corresponder à expressão de filtro de partição da tabela. Exemplo: SELECT count(*) FROM <table_name> WHERE ds=$[yyyymmdd]; Nota Na configuração, substitua <table_name> pelo nome real da tabela. Esta instrução SQL determina qual tabela é monitorada. Para mais informações sobre como configurar uma expressão de filtro de partição, consulte Appendix 2: Built-in partition filter expressions. Se criar um quality monitor para a tabela e configurar uma regra usando este método, o Data Scope especificado para o monitor será ignorado. A cláusula WHERE neste SQL determina quais partições são verificadas.

   Método 4: Script personalizado

   Regras de script personalizado suportam validação de dados nos níveis de hora e minuto. Para informações sobre como escrever uma regra de script, consulte Use a system rule template. Exemplo:

   - assertion: change 30 minutes ago for max(id) = 15
     name: 30-minute difference in max value of id field is 15

3. (Opcional) Adicione a regra configurada a um monitor de qualidade. Para mais informações sobre monitores de qualidade, consulte Step 2. Create a quality monitor.

   Nota

   Uma regra de qualidade só pode ser acionada após ser adicionada a um monitor de qualidade. Selecione um monitor de qualidade existente aqui ou selecione esta regra de qualidade na etapa Select quality rules ao configurar um monitor de qualidade.

4. Clique em Confirm.

Etapa 4: Testar a regra

Teste as regras de um monitor de qualidade das seguintes maneiras.

Etapa 5: Modificar assinaturas de alerta

Você configurou uma assinatura de alerta em Step 2. Create a quality monitor. Quando uma regra é acionada, o sistema envia uma notificação aos destinatários de alerta especificados. Se precisar alterar os destinatários, modifique a assinatura de alerta de uma das seguintes maneiras.

Apêndice 1: Fórmulas de taxa de flutuação e variância

• Fórmula da taxa de flutuação: taxa de flutuação = (valor da amostra - valor de linha de base) / valor de linha de base

  • valor da amostra: Valor da amostra do dia atual. Por exemplo, para uma verificação de taxa de flutuação de 1 dia na contagem de linhas da tabela de uma tarefa SQL, o valor da amostra é a contagem de linhas da partição do dia atual.

  • valor de linha de base: Valor de referência de amostras históricas.

  Nota

  • Se a regra for uma verificação de tarefa SQL table row count, 1-day fluctuation rate, o valor de linha de base é a contagem de linhas da partição do dia anterior.

  • Se a regra for uma verificação de tarefa SQL table row count, 7-day average fluctuation rate, o valor de linha de base é a contagem média de linhas dos últimos 7 dias.

• Fórmula da variância: (valor da amostra atual - média dos últimos N dias) / desvio padrão

  Nota

  Use a variância apenas para tipos numéricos como BIGINT e DOUBLE.

Apêndice 2: Expressões de partição integradas

Considere o seguinte cenário:

• O timestamp de dados (bizdate) é 20240524

• O horário de agendamento é 10:30:00