DataWorks:Monitoramento de qualidade

1. Selecionar a tabela a ser monitorada

Na página do editor do nó de monitoramento de qualidade, clique em Add Table. Na caixa de diálogo Add Table, selecione a tabela a ser monitorada. Utilize o filtro More para localizar a tabela mais rapidamente.

2. Configurar o escopo de dados de monitoramento

• Tabela não particionada: Toda a tabela é monitorada por padrão. Pule esta etapa.

• Tabela particionada: Selecione os dados da partição a serem monitorados. É possível utilizar scheduling parameters. Clique em Preview para verificar se a expressão de filtro de partição foi resolvida corretamente.

3. Configurar regras de monitoramento de qualidade de dados

Crie novas regras ou importe regras existentes. As regras configuradas são ativadas por padrão.

• Criar uma nova regra

  Clique em Create Rule para criar uma regra de monitoramento de qualidade baseada em um modelo ou SQL personalizado. As seções a seguir descrevem esses métodos.

  Modelo integrado

  Siga estas etapas para criar rapidamente uma regra de monitoramento de qualidade a partir de um modelo de regra.

  Nota

  Também é possível encontrar o modelo de regra necessário na lista de modelos integrados à esquerda e clicar em + Use para criá-lo.

  Clique na aba + Built-in Template Rule no lado direito da caixa de diálogo. No painel Built-in Templates à esquerda, expanda uma categoria de modelo, como Table Row Count, localize o modelo desejado e clique em + Use. No formulário à direita, configure os parâmetros da regra e clique em OK.

  Parâmetros do modelo de regra do sistema

  Parâmetro	Description
  Rule Name	Insira um nome personalizado para a regra.
  Template	Define o tipo de verificação de regra a ser executada na tabela. O Data Quality oferece uma ampla variedade de modelos de regras integrados nos níveis de tabela e campo. Para obter mais informações, consulte View built-in rule templates. Nota Valores médios, somas, mínimos e máximos aplicam-se apenas a campos numéricos.
  Rule Scope	Escopo ao qual a regra se aplica. Para uma regra no nível de tabela, o escopo é a tabela atual por padrão. Para uma regra no nível de campo, selecione um campo específico.
  Comparison Method	Especifica como a regra valida os dados da tabela. Manual Settings: Permite definir manualmente o método de comparação e os limiares. Os métodos de comparação disponíveis variam conforme o modelo de regra. As opções exibidas na interface são definitivas. Suporta comparação de resultados do Numeric Type, geralmente contra um valor fixo (valor esperado). Os métodos de comparação incluem Greater Than, Greater Than or Equal To, Equal To, Unequal To, Less Than e Less Than or Equal To. Personalize o intervalo de dados normais (limiar normal) e o intervalo de dados anormais (limiar crítico). Suporta comparação de resultados de Fluctuation, que normalmente é uma comparação de intervalo. Os métodos de comparação incluem Absolute Value, Raise e Drop. Personalize o intervalo de dados normais (limiar normal). Defina também um intervalo de alerta para dados com anomalias (limiar de aviso) e um intervalo crítico para dados que não atendem às expectativas (limiar crítico) com base no grau de desvio. Intelligent Dynamic Threshold: O sistema utiliza um algoritmo inteligente para determinar automaticamente um limiar razoável, eliminando a necessidade de configuração manual. Caso o sistema detecte dados anormais, ele aciona imediatamente um alerta ou bloqueia a tarefa associada. Limiares dinâmicos também suportam regras fortes e fracas. Nota Apenas regras de qualidade com SQL personalizado, intervalo personalizado e limiar dinâmico suportam o método de comparação de limiar dinâmico inteligente.
  Monitoring Threshold	Se você definir o Comparison Method como Manual Settings, especifique um Normal threshold e um Error Threshold. Normal threshold: Condição que o resultado da verificação deve atender para que os dados sejam considerados normais. Error Threshold: Condição que, se atendida pelo resultado da verificação, indica dados criticamente anormais e aciona um alerta crítico. Se a regra realizar uma verificação de Fluctuation, especifique também um Warning Threshold. Warning Threshold: Condição que, se atendida pelo resultado da verificação, indica uma anomalia não crítica que não afeta as operações de negócios.
  Retain problem data	Se este recurso estiver ativado e uma verificação de regra falhar, o sistema cria automaticamente uma tabela para armazenar os dados problemáticos resultantes. Importante Configure o recurso de retenção de dados problemáticos para tabelas MaxCompute e Hologres. Apenas algumas regras de qualidade de dados suportam o recurso de retenção de dados problemáticos. Este recurso é afetado pelo status da regra. Se a regra estiver definida como Deactivate, o sistema não retém dados problemáticos.
  Status	Status da regra, que pode ser Enable ou Deactivate. Isso controla se a regra será executada no ambiente de produção. Importante Se você definir o status como Deactivate, a regra não poderá ser acionada para uma execução de teste ou por uma tarefa de agendamento associada.
  Degree of importance	Gravidade da regra. Regra forte: Uma regra importante. Por padrão, uma anomalia crítica bloqueia a tarefa de agendamento associada. Regra fraca: Uma regra comum. Por padrão, uma anomalia crítica não bloqueia a tarefa de agendamento associada.
  Configuration Source	Origem da configuração da regra. Neste caso, o valor é Data Quality.
  Description	Descrição opcional da regra.

  Modelo personalizado

  Antes de usar este método, crie primeiro um modelo de regra personalizado em Data Quality > Quality Assets > Rule Template Library. Em seguida, crie regras de monitoramento de qualidade a partir desse modelo. Para obter mais informações, consulte Create and manage custom rule templates.

  As etapas a seguir mostram como criar uma regra de qualidade de dados a partir de um modelo personalizado.

  Nota

  Também é possível encontrar o modelo de regra necessário na lista de modelos personalizados à esquerda e clicar em + Use para criá-lo.

  Na caixa de diálogo Create Rule, clique na aba + Custom Template Rule. Configure Rule Name, Rule Template, Quality Dimension, FLAG Parameter, SQL, Comparison Method e Monitoring Threshold (incluindo limiares normal e vermelho) e clique em OK.

  Parâmetros do modelo de regra personalizado

  Esta seção descreve apenas os parâmetros exclusivos dos modelos de regras personalizados. Para obter informações sobre outros parâmetros, consulte Parâmetros do modelo de regra do sistema.

  Parâmetro	Descrição
  FLAG parameter	Define o comando SET a ser executado antes da execução do SQL de verificação de qualidade de dados.
  SQL	Lógica de validação SQL. A consulta deve retornar um único valor numérico. No SQL personalizado, use colchetes para corresponder à expressão de filtro de partição da tabela. Exemplo: SELECT count(*) FROM ${tableName} WHERE ds=$[yyyymmdd]; Nota A variável ${tableName} é substituída dinamicamente pelo nome da tabela monitorada. Para obter mais informações sobre como configurar uma expressão de filtro de partição, consulte Appendix 2: Built-in partition filter expressions. Se você criar um quality monitor para a tabela e configurar uma regra usando este método, o Data Scope especificado para o monitor será ignorado. A cláusula WHERE neste SQL determina quais partições são verificadas.

  SQL personalizado

  Este método permite definir uma lógica personalizada de validação de qualidade de dados para uma tabela.

  Clique na aba + Custom SQL na parte superior. No formulário à direita, configure Rule Name, Rule Template (selecione Custom SQL), Quality Dimension, FLAG Parameter, SQL, Comparison Method (escolha Manual Settings ou Intelligent Dynamic Threshold) e Monitoring Threshold e clique em OK.

  Parâmetros de SQL personalizado

  Esta seção descreve apenas os parâmetros exclusivos do SQL personalizado. Para obter informações sobre outros parâmetros, consulte Parâmetros do modelo de regra do sistema.

  Parâmetro	Descrição
  FLAG parameter	Define o comando SET a ser executado antes da execução do SQL de verificação de qualidade de dados.
  SQL	Lógica de validação SQL. A consulta deve retornar um único valor numérico. No SQL personalizado, use colchetes para corresponder à expressão de filtro de partição da tabela. Exemplo: SELECT count(*) FROM <table_name> WHERE ds=$[yyyymmdd]; Nota Na sua configuração, substitua <table_name> pelo nome real da tabela. Esta instrução SQL determina qual tabela é monitorada. Para obter mais informações sobre como configurar uma expressão de filtro de partição, consulte Appendix 2: Built-in partition filter expressions. Se você criar um quality monitor para a tabela e configurar uma regra usando este método, o Data Scope especificado para o monitor será ignorado. A cláusula WHERE neste SQL determina quais partições são verificadas.

• Importar regras existentes

  Se já existirem regras de monitoramento para a tabela alvo no módulo Data Quality, importe-as para clonar as regras rapidamente. Caso não existam regras, acesse o Data Quality para criá-las primeiro. Para obter mais informações, consulte Configure rules: By table (single table).

  Nota

  Este método suporta a importação em massa de várias regras e permite configurar regras de monitoramento no nível de campo da tabela.

  Clique em Import Rule. Pesquise e selecione as regras a serem importadas por ID ou nome da regra, modelo de regra ou escopo associado (tabela inteira ou campos específicos).

  Após selecionar as regras, clique em OK para concluir a importação.

4. Configurar recursos de execução

Selecione os recursos de execução para as verificações de regras de qualidade. Essa seleção determina a fonte de dados onde a tarefa de monitoramento de qualidade será executada. Por padrão, trata-se da fonte de dados onde a tabela monitorada está localizada.

Categorias de exceção

Políticas de tratamento de exceções

Configure políticas de tratamento para exceções geradas pelas verificações de regras:

• Não ignorar: Se uma categoria específica de exceção for detectada (por exemplo, uma regra forte acionar uma exceção crítica), configure o sistema para parar o nó atual e definir seu status como Falha.

  Nota

  • Após a falha do nó atual, os nós subsequentes não serão executados. Isso bloqueia o pipeline de produção e evita a propagação de dados problemáticos.

  • Adicione várias categorias de exceção para verificação.

  • Essa política é normalmente usada quando uma exceção tem grande impacto e precisa bloquear tarefas subsequentes.

• Ignorar: Ignore a exceção e continue a executar os nós subsequentes.

Métodos de notificação de exceções

Configure como receber notificações sobre exceções (por exemplo, por e-mail). Quando ocorre uma exceção, a plataforma envia uma notificação pelo método especificado para que você possa tratar a exceção prontamente.