DataWorks:Configurar regras para uma tabela

Etapa 1: Acessar a página de detalhes de qualidade da tabela

1. Faça login no console do DataWorks. Na região desejada, clique em Data Governance > Data Quality no painel de navegação à esquerda. Selecione um workspace na lista suspensa e clique em Go to Data Quality.

2. Acesse a página Configure by Table.

   No painel de navegação à esquerda, clique em Configure Rules > Configure by Table para acessar a página de configuração de regras.

   1. Na lista Data Source à esquerda, selecione o banco de dados que contém a tabela para a qual você deseja configurar regras.

   2. Filtre as tabelas por tipo de banco de dados, banco de dados, nome da tabela ou outros critérios. Clique no nome da tabela alvo ou em Rule Management na coluna Actions para acessar a página de detalhes de qualidade da tabela.

      Esta página exibe todos os monitores de qualidade e regras configurados para a tabela atual. Filtre as regras com base na associação a um monitor de qualidade. Também é possível definir a configuração de execução para regras ainda não associadas a um monitor de qualidade.

      

Etapa 2: Criar um monitor de qualidade

1. Crie um monitor de qualidade.

   Há duas maneiras de criar um monitor de qualidade:

   Guia Rule management

   Na página Table Quality Details, clique na guia Rule Management. Ao lado de Monitor Perspective, clique no ícone para criar um novo monitor de qualidade.

   

   Guia Quality monitoring

   Na página Table Quality Details, alterne para a guia Quality monitoring. Clique em Create Monitor.

   

2. Configure os parâmetros do monitor de qualidade.

   Seção	Parâmetro	Descrição
   Basic Configurations	Monitor Name	Insira um nome personalizado para o monitor de qualidade.
   	Quality Monitoring Owner	Especifique o proprietário deste monitor de qualidade. Ao configurar uma assinatura de alerta, defina o proprietário como destinatário do alerta utilizando o método de notificação por Email, Email and SMS ou Telephone.
   	Monitored Object	O objeto para verificações de qualidade de dados. Por padrão, trata-se da tabela atual.
   	Data Range	Utilize uma expressão de filtro de partição para definir quais partições da tabela a regra de qualidade verificará. Para tabelas não particionadas, não é necessário configurar este parâmetro. O padrão é Full Table. Para tabelas particionadas, o formato da expressão é partition_name=partition_value. O valor da partição pode ser um valor fixo ou uma expressão de filtro de partição integrada. Nota Esta configuração não tem efeito ao configurar regras com modelo personalizado ou SQL personalizado. Para regras de qualidade configuradas com modelo personalizado ou SQL personalizado, o SQL personalizado determina quais partições verificar.
   Select Quality Rules	Select Quality Rules	Selecione as regras de qualidade para associar ao monitor de qualidade. Essas regras verificarão se os dados no intervalo especificado atendem às expectativas. Nota Crie múltiplos monitores de qualidade para diferentes partições e associe-os a diferentes regras de qualidade para aplicar regras de validação distintas a cada partição. Caso ainda não tenha criado uma regra de qualidade, pule esta etapa. Crie primeiro o monitor de qualidade e adicione regras posteriormente. Para mais informações sobre como criar uma regra de qualidade, consulte Etapa 3: Configurar regras de qualidade de dados.
   Running Settings	Trigger Method	O método de acionamento do monitor de qualidade. Triggered by Node Scheduling in Production Environment: Associa o monitor de qualidade a uma tarefa específica e periodicamente agendada no Operation Center do DataWorks. Após a execução bem-sucedida da tarefa, as regras de qualidade neste monitor são acionadas automaticamente. Tarefas de simulação (dry-run) não acionam verificações de regras de qualidade. Triggered Manually: Permite acionar manualmente as regras de monitoramento de qualidade associadas ao monitor de qualidade atual. Importante Se a tabela monitorada não for uma tabela MaxCompute e você definir o Trigger Method como Triggered by Node Scheduling in Production Environment, a tarefa periodicamente agendada selecionada não poderá utilizar um grupo de recursos de agendamento público. Caso contrário, o monitor de qualidade reportará um erro durante a execução.
   	Associate Scheduling Node	Se você definir o Trigger Method como Triggered by Node Scheduling in Production Environment, configure este parâmetro para especificar um nó de agendamento associado. Após a execução bem-sucedida do nó de agendamento especificado, as regras de monitoramento de qualidade são acionadas automaticamente.
   	Select Run Resource	Especifica os recursos computacionais necessários para executar as verificações das regras de qualidade. Por padrão, o recurso da fonte de dados da tabela monitorada é selecionado. Se selecionar outra fonte de dados, certifique-se de que seus recursos possam acessar a tabela.
   Handling Policies	Quality Issue Handling Policies	Configure a política de bloqueio ou alerta a ser usada quando o sistema detectar um problema de qualidade de dados. Alert: Quando um problema de qualidade de dados é detectado, o sistema envia um alerta para os canais assinados do monitor de qualidade. As condições padrão são Strong Rule · Critical Anomaly, Strong Rule · Warning Anomaly, Strong Rule · Check Failed, Weak Rule · Critical Anomaly, Weak Rule · Warning Anomaly e Weak Rule · Check Failed. Blocks: Quando um problema de qualidade de dados é detectado, o sistema identifica o nó de agendamento de produção que acionou a verificação de qualidade da tabela, define o nó como Falha e impede a execução de nós downstream. Esse processo bloqueia o pipeline de produção para evitar a disseminação de dados problemáticos. A condição padrão é Strong Rule · Critical Anomaly. Importante Se você definir a política como Blocks, o sistema também aciona um alerta quando as condições de uma regra de qualidade de dados forem atendidas.
   	Alert Method Configuration	Envie notificações de alerta utilizando Email, Email and SMS, DingTalk Chatbot, DingTalk Chatbot @ALL, Lark Group Chatbot, Enterprise WeChat Chatbot, Custom Webhook ou Telephone. Nota Para usar um chatbot, adicione um chatbot do DingTalk, Lark ou WeCom, obtenha sua URL de webhook e cole a URL na assinatura de alerta. O método de notificação por Custom Webhook é suportado apenas no DataWorks Enterprise Edition. Para informações sobre o formato de mensagem de uma notificação de alerta enviada via Custom Webhook, consulte Formato de mensagem de Webhook. Se selecionar Email, Email and SMS ou Telephone como método de notificação, defina o Recipient como Data Quality Monitoring Owner, Shift Schedule ou Scheduling Task Owner. Data Quality Monitoring Owner: As notificações de alerta são enviadas ao Quality Monitoring Owner especificado na seção Basic Configurations do monitor de qualidade atual. Shift Schedule: Quando um alerta de verificação de regra de qualidade é acionado por um nó de agendamento associado a um monitor de qualidade, o sistema envia uma notificação de alerta ao usuário de plantão no dia atual na escala de trabalho. Scheduling Task Owner: As notificações de alerta são enviadas ao owner do nó de agendamento associado ao monitor de qualidade.

3. Clique em Save para criar o monitor de qualidade.

Etapa 3: Configurar regras de qualidade de dados

1. Na página Table Quality Details, na guia Rule Management, selecione o monitor de qualidade criado e clique em Create Rule para acessar a página de configuração de regras.

2. Crie uma regra de qualidade de dados.

   O Data Quality oferece vários métodos para configurar regras de monitoramento de qualidade. Selecione aquele que melhor atende aos seus requisitos de negócios.

   Método 1: Modelo do sistema

   O Data Quality fornece dezenas de modelos de regras de qualidade integrados. No painel à esquerda, clique em + Use ao lado de um modelo para criar rapidamente uma regra de monitoramento de qualidade. Adicione várias regras simultaneamente.

   Clique em + System Template Rule na parte superior e modifique o parâmetro Template para alterar o modelo de regra.

   Parâmetros do modelo de regra do sistema

   Parâmetro	Descrição
   Rule Name	Insira um nome personalizado para a regra.
   Template	Define o tipo de verificação de regra a ser executado na tabela. O Data Quality oferece uma ampla variedade de modelos integrados de monitoramento no nível de tabela e de campo. Para mais informações, consulte Visualizar modelos de regras integrados. Nota Os valores de média, soma, mínimo e máximo aplicam-se apenas a campos numéricos.
   Rule Scope	O escopo da regra. Para uma regra no nível de tabela, o escopo é a tabela atual por padrão. Para uma regra no nível de campo, selecione um campo específico.
   Comparison Method	Define como a regra verifica se os dados da tabela atendem às suas expectativas. Manual Settings: Personaliza a comparação entre a saída de dados e a regra. Diferentes modelos de regras suportam diferentes métodos de comparação. As opções disponíveis na interface podem variar. Para resultados numeric, compare o resultado com um valor fixo, conhecido como valor esperado. Os métodos de comparação suportados incluem Greater Than, Greater Than or Equal To, Equal To, Unequal To, Less Than e Less Than or Equal To. Personalize o intervalo de dados normais (limiar normal) e o intervalo de dados críticos (limiar crítico). Para resultados de fluctuation, realize uma comparação de intervalo. Os métodos de comparação suportados incluem Absolute Value, Raise e Drop. Personalize o intervalo de dados normais (limiar normal). Defina também um intervalo de aviso (limiar de aviso) e um intervalo crítico (limiar crítico) com base no grau de desvio. Intelligent Dynamic Threshold: Não é necessário configurar manualmente um limiar de flutuação ou um valor esperado. O sistema utiliza um algoritmo inteligente para determinar automaticamente um limiar razoável. Se o sistema detectar dados anormais, ele aciona imediatamente um alerta ou bloqueia a tarefa associada. Limiares dinâmicos também suportam regras fortes e fracas. Nota Apenas regras de qualidade criadas a partir de modelos de SQL personalizado, intervalo personalizado e limiar dinâmico suportam o método de comparação de limiar dinâmico inteligente.
   Monitoring Threshold	Se definir o Comparison Method como Manual Settings, especifique o Normal threshold e o Critical Threshold. Normal Threshold: Se o resultado da verificação da regra de qualidade atender ao valor especificado aqui, os dados estão conforme o esperado. Error Threshold: Se o resultado da verificação da regra de qualidade atender ao valor especificado aqui, os dados não estão conforme o esperado. Se a regra for uma verificação do tipo fluctuation-type, especifique também o Warning Threshold. Warning Threshold: Se o resultado da verificação da regra de qualidade atender ao valor especificado aqui, os dados apresentam uma anomalia, mas isso não afeta as operações de negócios.
   Retain problem data	Se a regra estiver ativada e a verificação da regra de qualidade falhar, o sistema cria automaticamente uma tabela para armazenar quaisquer dados problemáticos encontrados durante a verificação. Importante Atualmente, esse recurso pode ser ativado para tabelas MaxCompute e Hologres. Atualmente, apenas algumas regras de monitoramento de qualidade suportam esse recurso. O status da regra afeta esse recurso. Se a regra estiver Disabled, o sistema não retém dados problemáticos.
   Status	O status Enable ou Disable da regra, que controla se a regra é executada no ambiente de produção. Importante Se definir o status como Disable, não será possível acionar a regra para uma execução de teste, e as tarefas de agendamento associadas não a acionarão.
   Degree of importance	Define a severidade da regra. Regra forte: Uma regra importante. Se ocorrer uma anomalia crítica, ela bloqueia a tarefa de agendamento associada por padrão. Regra fraca: Uma regra regular. Se ocorrer uma anomalia crítica, ela não bloqueia a tarefa de agendamento associada por padrão.
   Configuration Source	Exibe a origem da configuração da regra. Neste caso, o valor é Data Quality.
   Description	Adicione uma descrição complementar para a regra.

   Método 2: Modelo personalizado

   Nota

   Antes de usar um modelo personalizado para criar uma regra, acesse Quality Assets > Rule Template Library para criar um modelo de regra personalizado. Para mais informações, consulte Criar e gerenciar modelos de regras personalizados.

   Ao usar um modelo personalizado, o sistema exibe automaticamente suas configurações básicas, como o FLAG parameter e o SQL de validação. Especifique um Rule Name personalizado e configure os limiares de monitoramento com base no tipo de regra. Por exemplo, uma regra numérica exige um limiar normal e um limiar crítico, enquanto uma regra do tipo flutuação também requer um limiar de aviso.

   Parâmetros do modelo de regra personalizado

   Esta seção descreve apenas os parâmetros exclusivos dos modelos de regras personalizados. Para informações sobre outros parâmetros, consulte as descrições dos parâmetros do modelo de regra do sistema.

   Parâmetro	Descrição
   FLAG parameter	Define o comando SET a ser executado antes da execução do SQL de verificação de qualidade de dados.
   SQL	Define a lógica completa de validação SQL. A consulta deve retornar um único valor numérico em uma linha e uma coluna. No SQL personalizado, use colchetes para corresponder à expressão de filtro de partição da tabela. Exemplo: SELECT count(*) FROM ${tableName} WHERE ds=$[yyyymmdd]; Nota O sistema substitui dinamicamente a variável ${tableName} pelo nome da tabela monitorada. Para mais informações sobre como configurar expressões de filtro de partição, consulte Apêndice 2: Expressões de filtro de partição integradas. Se você criou um monitor de qualidade para a tabela e configurar uma regra dessa maneira, o Data Range especificado nas configurações do monitor deixará de ter efeito. A cláusula WHERE nesta instrução SQL determina quais partições da tabela a regra verifica.

   Método 3: SQL personalizado

   Este método permite personalizar a lógica de validação de qualidade de dados para a tabela.

   Parâmetros de SQL personalizado

   Esta seção descreve apenas os parâmetros exclusivos do SQL personalizado. Para informações sobre outros parâmetros, consulte as descrições dos parâmetros do modelo de regra do sistema.

   Parâmetro	Descrição
   FLAG parameter	Define o comando SET a ser executado antes da execução do SQL de verificação de qualidade de dados.
   SQL	Define a lógica completa de validação SQL. A consulta deve retornar um único valor numérico em uma linha e uma coluna. No SQL personalizado, use colchetes para corresponder à expressão de filtro de partição da tabela. Exemplo: SELECT count(*) FROM <table_name> WHERE ds=$[yyyymmdd]; Nota Na sua configuração, substitua <table_name> pelo nome real da tabela. Esta instrução SQL determina qual tabela monitorar. Para mais informações sobre como configurar expressões de filtro de partição, consulte Apêndice 2: Expressões de filtro de partição integradas. Se você criou um monitor de qualidade para a tabela e configurar uma regra dessa maneira, o Data Range especificado nas configurações do monitor deixará de ter efeito. A cláusula WHERE nesta instrução SQL determina quais partições da tabela a regra verifica.

   Método 4: Script personalizado

   Regras de script personalizado suportam validação de dados no nível de hora e minuto. Para informações sobre como escrever regras de script, consulte Usando modelos de regras do sistema. Por exemplo:

   - assertion: change 30 minutes ago for max(id) = 15
     name: 30-minute difference in max value of id field is 15

   

3. (Opcional) Adicione a regra configurada a um monitor de qualidade. Para mais informações sobre monitores de qualidade, consulte Etapa 2: Criar um monitor de qualidade.

   Nota

   Uma regra de qualidade só pode ser acionada após ser adicionada a um monitor de qualidade. Selecione um monitor de qualidade existente aqui ou selecione esta regra de qualidade na etapa Select Quality Rules ao configurar um monitor de qualidade.

   

4. Clique em OK.

Etapa 4: Testar a execução da regra

Teste as regras em um monitor de qualidade das seguintes maneiras.

Etapa 5: Modificar assinaturas de alertas

As assinaturas de alertas foram configuradas na Etapa 2. Criar um monitor de qualidade. Quando uma regra é acionada, o sistema envia uma notificação aos destinatários de alerta especificados. Para modificar a assinatura de alerta e notificar outros usuários, configure-a das seguintes maneiras.

Apêndice 1: Fórmulas para taxa de flutuação e variância

• Fórmula da taxa de flutuação: Taxa de flutuação = (Valor da amostra - Valor de linha de base) / Valor de linha de base

  • Valor da amostra: O valor da amostra coletada no dia atual. Por exemplo, para uma verificação de flutuação de 1 dia da contagem de linhas da tabela em uma tarefa SQL, a amostra é a contagem de linhas da partição do dia atual.

  • Valor de linha de base: O valor de comparação proveniente de amostras históricas.

  Nota

  • Se a regra for uma verificação de contagem de linhas da tabela, taxa de flutuação de 1 dia para uma tarefa SQL, o valor de linha de base é a contagem de linhas da partição do dia anterior.

  • Se a regra for uma verificação de contagem de linhas da tabela, taxa de flutuação média de 7 dias para uma tarefa SQL, o valor de linha de base é a contagem média de linhas dos 7 dias anteriores.

• Fórmula da flutuação de variância: (Amostra atual - Média dos últimos N dias) / Desvio padrão

  Nota

  A variância só pode ser usada para tipos numéricos como BIGINT e DOUBLE.

Apêndice 2: Expressões de filtro de partição integradas

O exemplo a seguir considera este cenário:

• O timestamp dos dados (bizdate) é 20240524

• O horário de agendamento é 10:30:00