Built-in template validation rules in DataWorks Data Quality - DataWorks: Central de Documentação do Alibaba Cloud

O Data Quality oferece diversos modelos de monitoramento integrados. Este tópico descreve a lógica de verificação do Data Quality e os modelos de regras integrados.

Modelos de regras integrados

Use os modelos de regras integrados para criar rapidamente regras do Data Quality para uma única tabela ou para várias tabelas em massa. Para mais informações, consulte Configure rules: By table e Configure rules by template.

Categoria do modelo	Template Name	Description
Linhas da tabela	Linhas da tabela, campo estático	Número de linhas na tabela.
	Linhas da tabela maiores que 0	Verifica se o número de linhas da tabela é maior que 0.
	Linhas da tabela, diferença de 1 dia	Diferença entre o número atual de linhas da tabela e o valor registrado há 1 dia. Nota A linha de base corresponde ao número de linhas na partição do dia anterior. O sistema compara esse valor com a contagem de linhas coletada no dia atual e calcula a diferença.
	Linhas da tabela, diferença do ciclo anterior	A linha de base é o número de linhas na partição gerada no ciclo anterior. O sistema compara esse valor com a contagem de linhas coletada no dia atual e calcula a diferença.
	Linhas da tabela, volatilidade de 1 dia, 7 dias, 30 dias e 1º dia do mês	Compara o número de linhas da tabela com as amostras de 1, 7 e 30 dias atrás e com a amostra coletada no dia 1º do mês atual para calcular a volatilidade. Em seguida, compara a volatilidade com os limiares definidos. Um alerta é acionado caso alguma comparação não atenda à regra.
	Linhas da tabela, volatilidade de 1 dia, 7 dias e 30 dias	Compara o número de linhas da tabela com os valores coletados há 1 dia, 1 semana e 1 mês para calcular a volatilidade. Nota O sistema compara a contagem de linhas da tabela com as amostras do dia anterior, de 7 dias atrás e de 30 dias atrás para calcular a volatilidade. Depois, compara essa volatilidade com os limiares. Se alguma volatilidade exceder o limiar, um alerta é acionado.
	Linhas da tabela, volatilidade de 1 dia	A linha de base é a amostra do dia anterior (número de linhas da tabela). O sistema compara esse valor com a contagem de linhas coletada no dia atual e calcula a volatilidade. A volatilidade resultante é comparada com o limiar. Um alerta é acionado se a comparação não atender à regra.
	Linhas da tabela, volatilidade de 30 dias	A linha de base é a amostra de 30 dias atrás (número de linhas da tabela). O sistema compara esse valor com a contagem de linhas coletada no dia atual e calcula a volatilidade. A volatilidade resultante é comparada com o limiar. Um alerta é acionado se a comparação não atender à regra.
	Linhas da tabela, volatilidade de 7 dias	A linha de base é a amostra de 7 dias atrás (número de linhas da tabela). O sistema compara esse valor com a contagem de linhas coletada no dia atual e calcula a volatilidade. A volatilidade resultante é comparada com o limiar. Um alerta é acionado se a comparação não atender à regra.
	Linhas da tabela, limiar dinâmico	Ao ativar o Limiar Dinâmico Inteligente, não é necessário configurar manualmente limiares de volatilidade ou valores esperados. O sistema determina automaticamente limiares adequados com base em algoritmos inteligentes. Caso detecte uma anomalia nos dados, ele aciona um alerta ou bloqueia a tarefa imediatamente.
	Linhas da tabela, volatilidade média de 30 dias	Este modelo monitora flutuações no número de linhas da tabela. A linha de base é a média de linhas da tabela nos últimos 30 dias, ou seja, (soma das contagens diárias de linhas em 30 dias) / 30.
	Linhas da tabela, volatilidade média de 7 dias	Este modelo monitora flutuações no número de linhas da tabela. A linha de base é a média de linhas da tabela nos últimos 7 dias, ou seja, (soma das contagens diárias de linhas em 7 dias) / 7.
	Linhas da tabela, volatilidade do ciclo anterior	A linha de base é o número de linhas na partição gerada no ciclo anterior. O sistema compara esse valor com a contagem de linhas coletada no dia atual e calcula a volatilidade.
	Linhas da tabela, intervalo personalizado	Permite personalizar o método de comparação e o intervalo de limiar para o número de linhas da tabela.
Taxa de correspondência de condição	Taxa de correspondência de condição, intervalo personalizado	Permite personalizar o método de comparação e o intervalo de limiar para a taxa de correspondência da condição de filtro.
Tamanho da tabela	Tamanho da tabela, campo estático.	Tamanho de armazenamento da tabela, em bytes.
	Tamanho da tabela, diferença de 1 dia (bytes)	Diferença entre o tamanho de armazenamento atual da tabela e o tamanho registrado há 1 dia, em bytes.
	Tamanho da tabela, diferença do ciclo anterior.	Diferença em relação ao tamanho da tabela no ciclo anterior, em bytes.
	Tamanho da tabela, volatilidade de 1 dia	Este modelo monitora flutuações no tamanho da tabela. A amostra atual é comparada com a amostra do dia anterior para calcular a volatilidade. A volatilidade é então comparada com os limiares. Um alerta é acionado se alguma comparação não atender à regra. Por exemplo, suponha que o limiar de aviso esteja definido como 5% e o limiar de erro como 10%. Um alerta de aviso será acionado quando a volatilidade for maior que 5% e menor ou igual a 10%. Já um alerta de erro será acionado quando a volatilidade for maior que 10%.
	Tamanho da tabela, volatilidade de 30 dias	Este modelo monitora flutuações no tamanho da tabela. A amostra atual é comparada com a amostra de 30 dias atrás para calcular a volatilidade. A volatilidade é então comparada com os limiares. Um alerta é acionado se alguma comparação não atender à regra.
	Tamanho da tabela, volatilidade de 7 dias	Este modelo monitora flutuações no tamanho da tabela. A amostra atual é comparada com a amostra de 7 dias atrás para calcular a volatilidade. A volatilidade é então comparada com os limiares. Um alerta é acionado se alguma comparação não atender à regra.
	Tamanho da tabela, limiar dinâmico	Ao ativar o Limiar Dinâmico Inteligente, não é necessário configurar manualmente limiares de volatilidade ou valores esperados. O sistema determina automaticamente limiares adequados com base em algoritmos inteligentes. Caso detecte uma anomalia nos dados, ele aciona um alerta ou bloqueia a tarefa imediatamente.
Schema da tabela	Alteração no schema da tabela - qualquer alteração	Verifica se ocorreu alguma alteração no schema da tabela, incluindo exclusão de coluna, adição de coluna, mudança na ordem das colunas ou alteração no tipo da coluna. Um alerta é acionado ao detectar qualquer uma dessas mudanças. Nota Para modelos de alteração de schema de tabela, o schema de linha de base é o schema válido mais recente coletado pela mesma regra. Durante a primeira verificação, como não existe histórico, o sistema utiliza o schema coletado naquele momento como linha de base e a verificação é aprovada. Para obter informações sobre como usar o Spec para configurar tais regras, consulte Schema Check rules.
	Alteração no schema da tabela - exclusão de coluna	Verifica se alguma coluna foi excluída, ou seja, se uma coluna presente no schema de linha de base não existe no schema coletado desta vez.
	Alteração no schema da tabela - adição de coluna	Verifica se alguma coluna foi adicionada, ou seja, se uma coluna presente no schema coletado desta vez não existe no schema de linha de base.
	Alteração no schema da tabela - mudança na ordem das colunas	Verifica se a ordem relativa das colunas presentes em ambas as coletas foi alterada. Mudanças de posição causadas por adição ou exclusão de colunas não são consideradas.
	Alteração no schema da tabela - mudança no tipo da coluna	Verifica se o tipo de dados da mesma coluna foi alterado.
Linhas com valor nulo	Contagem de nulos, campo estático	Compara o número de valores nulos na coluna com um campo estático. Nota Um valor é considerado nulo mediante conversão para a expressão SQL `IS NULL`.
Linhas com valor nulo	Contagem de registros nulos igual a 0	Verifica se o número de registros nulos é igual a 0.
Linhas com valor nulo / total de linhas	Contagem de nulos / total de linhas, campo estático	Compara a razão entre o número de valores nulos e o total de linhas com um campo estático. Nota O campo estático é um decimal.
Validação de formato	Validação de expressão regular	Verifica se os valores da coluna correspondem à regra de expressão regular.
	Validação de formato de data	Verifica se os valores da coluna correspondem ao formato de data.
	Validação de formato de e-mail	Verifica se os valores da coluna correspondem ao formato de e-mail.
	Validação de formato de documento de identidade	Verifica se os valores da coluna correspondem ao formato de documento de identidade.
	Validação de formato de número de celular	Verifica se os valores da coluna correspondem ao formato de número de celular.
	Validação de formato monetário	Verifica se os valores da coluna correspondem ao formato monetário.
	Validação de formato numérico	Verifica se os valores da coluna correspondem ao formato numérico.
	Validação de formato de telefone fixo	Verifica se os valores da coluna correspondem ao formato de telefone fixo.
Linhas com valores duplicados	Contagem de duplicatas, campo estático	Total de linhas menos o número de linhas após a deduplicação, resultando na quantidade de valores duplicados na coluna. A contagem de duplicatas é comparada com um campo estático.
Linhas com valores duplicados	Contagem de duplicatas na coluna igual a 0	Verifica se o número de valores duplicados na coluna é igual a 0.
Valores únicos em múltiplas colunas	Contagem de duplicatas em múltiplas colunas igual a 0	Verifica se o número de valores duplicados em várias colunas é igual a 0.
Contagem de duplicatas / total de linhas	Contagem de duplicatas / total de linhas, campo estático	Compara a razão entre o número de valores duplicados e o total de linhas com um campo estático.
Contagem de valores únicos	Contagem de valores únicos, campo estático	Compara a contagem após deduplicação com um número esperado, configurando uma verificação de campo estático.
	Contagem de valores únicos, volatilidade de 1 dia, 7 dias e 30 dias	Compara a contagem após deduplicação com as amostras de 1 dia, 1 semana e 1 mês atrás (referentes ao número de valores únicos na coluna), configurando uma verificação de campo estático.
	Contagem de valores únicos, limiar dinâmico	Ao ativar o Limiar Dinâmico Inteligente, não é necessário configurar manualmente limiares de volatilidade ou valores esperados. O sistema determina automaticamente limiares adequados com base em algoritmos inteligentes. Caso detecte uma anomalia nos dados, ele aciona um alerta ou bloqueia a tarefa imediatamente.
Contagem de valores únicos / total de linhas	Contagem de valores únicos / total de linhas, campo estático	Compara a razão entre o número de valores únicos e o total de linhas com um campo estático.
Valor mínimo	Valor mínimo, volatilidade de 1 dia, 7 dias e 30 dias	Obtém o valor mínimo da coluna e o compara com as amostras de 1 dia, 7 dias e 1 mês atrás (média da coluna) para calcular a volatilidade. A volatilidade é então comparada com os limiares. Um alerta é acionado se alguma comparação não atender à regra.
	Valor mínimo, limiar dinâmico.	Ao ativar o Limiar Dinâmico Inteligente, não é necessário configurar manualmente limiares de volatilidade ou valores esperados. O sistema determina automaticamente limiares adequados com base em algoritmos inteligentes. Caso detecte uma anomalia nos dados, ele aciona um alerta ou bloqueia a tarefa imediatamente.
	Valor mínimo, volatilidade de 1 dia	Obtém o valor mínimo da coluna, compara-o com o valor de 1 dia atrás e, em seguida, compara a volatilidade calculada com o limiar.
	Valor mínimo, volatilidade do ciclo anterior	Obtém o valor mínimo da coluna, compara-o com o valor do ciclo anterior e calcula a volatilidade. A volatilidade é então comparada com o limiar. Um alerta é acionado se alguma comparação não atender à regra.
	Valor mínimo da coluna, intervalo personalizado	Permite personalizar o método de comparação e o intervalo de limiar para o valor mínimo da coluna.
Valor máximo	Valor máximo, volatilidade de 1 dia, 7 dias e 30 dias	Obtém o valor máximo da coluna e o compara com as amostras de 1 dia, 7 dias e 1 mês atrás (média da coluna) para calcular a volatilidade. A volatilidade é então comparada com os limiares. Um alerta é acionado se alguma comparação não atender à regra.
	Valor máximo, limiar dinâmico	Ao ativar o Limiar Dinâmico Inteligente, não é necessário configurar manualmente limiares de volatilidade ou valores esperados. O sistema determina automaticamente limiares adequados com base em algoritmos inteligentes. Caso detecte uma anomalia nos dados, ele aciona um alerta ou bloqueia a tarefa imediatamente.
	Valor máximo, volatilidade de 1 dia	Obtém o valor máximo da coluna, compara-o com o valor de 1 dia atrás e, em seguida, compara a volatilidade calculada com o limiar.
	Valor máximo, volatilidade do ciclo anterior	Obtém o valor máximo da coluna, compara-o com o valor do ciclo anterior e calcula a volatilidade. A volatilidade é então comparada com o limiar. Um alerta é acionado se alguma comparação não atender à regra.
	Valor máximo da coluna, intervalo personalizado	Permite personalizar o método de comparação e o intervalo de limiar para o valor máximo da coluna.
Valor médio	Valor médio, volatilidade de 1 dia, 7 dias e 30 dias	Obtém o valor médio da coluna e o compara com as amostras de 1 dia, 7 dias e 1 mês atrás (média da coluna) para calcular a volatilidade. A volatilidade é então comparada com os limiares. Um alerta é acionado se alguma comparação não atender à regra. Nota O valor médio da coluna é comparado respectivamente com a média da coluna do dia anterior, de 7 dias atrás e de 30 dias atrás.
	Valor médio, limiar dinâmico	Ao ativar o Limiar Dinâmico Inteligente, não é necessário configurar manualmente limiares de volatilidade ou valores esperados. O sistema determina automaticamente limiares adequados com base em algoritmos inteligentes. Caso detecte uma anomalia nos dados, ele aciona um alerta ou bloqueia a tarefa imediatamente.
	Valor médio, volatilidade de 1 dia	Obtém o valor médio da coluna, compara-o com o valor de 1 dia atrás e, em seguida, compara a volatilidade calculada com o limiar.
	Valor médio da coluna, intervalo personalizado	Permite personalizar o método de comparação e o intervalo de limiar para o valor médio da coluna.
Soma	Soma, volatilidade de 1 dia, 7 dias e 30 dias	Obtém a soma da coluna e a compara com as amostras de 1 dia, 7 dias e 1 mês atrás (média da coluna) para calcular a volatilidade. A volatilidade é então comparada com os limiares. Um alerta é acionado se alguma comparação não atender à regra.
	Soma, limiar dinâmico	Ao ativar o Limiar Dinâmico Inteligente, não é necessário configurar manualmente limiares de volatilidade ou valores esperados. O sistema determina automaticamente limiares adequados com base em algoritmos inteligentes. Caso detecte uma anomalia nos dados, ele aciona um alerta ou bloqueia a tarefa imediatamente.
	Soma, volatilidade de 1 dia	Obtém a soma da coluna, compara-a com o valor de 1 dia atrás e, em seguida, compara a volatilidade calculada com o limiar.
	Soma, volatilidade do ciclo anterior	Obtém a soma da coluna, compara-a com o valor do ciclo anterior e calcula a volatilidade. A volatilidade é então comparada com o limiar. Um alerta é acionado se alguma comparação não atender à regra.
	Soma da coluna, intervalo personalizado	Permite personalizar o método de comparação e o intervalo de limiar para a soma da coluna.
Valores de enumeração	Contagem de valores únicos de enumeração não correspondente, campo estático	Compara o número de valores únicos dos itens de enumeração que não correspondem.
	Contagem de linhas com enumeração não correspondente, campo estático	Número de linhas na coluna onde os itens de enumeração não correspondem, passível de comparação com um campo estático especificado.
	Contagem de linhas com enumeração não correspondente igual a 0	Estado normal esperado: o campo estático e o método de comparação estão definidos como =0. Um alerta é acionado desde que o número de linhas com itens de enumeração não correspondentes seja > 0.
	Valores de enumeração, personalizado, campo estático	Permite personalizar as métricas estatísticas relacionadas aos itens de enumeração, como contagem, número de linhas, método de comparação e limiar.
Valores discretos	Valor discreto (valor de status), campo estático	Após o GROUP BY, a contagem de cada grupo é comparada com um campo estático.
	Valor discreto (número de grupos), campo estático	Após o GROUP BY, o número de grupos é comparado com um campo estático.
	Valor discreto (número de grupos), limiar dinâmico	Ao ativar o Limiar Dinâmico Inteligente, não é necessário configurar manualmente limiares de volatilidade ou valores esperados. O sistema determina automaticamente limiares adequados com base em algoritmos inteligentes. Caso detecte uma anomalia nos dados, ele aciona um alerta ou bloqueia a tarefa imediatamente.
	Valor discreto (valor de status), limiar dinâmico	Ao ativar o Limiar Dinâmico Inteligente, não é necessário configurar manualmente limiares de volatilidade ou valores esperados. O sistema determina automaticamente limiares adequados com base em algoritmos inteligentes. Caso detecte uma anomalia nos dados, ele aciona um alerta ou bloqueia a tarefa imediatamente.
	Valor discreto (número de grupos), volatilidade de 1 dia	Após o GROUP BY, o número de grupos é comparado com a amostra de 1 dia atrás para calcular a volatilidade.
	Valor discreto (número de grupos e valor de status), volatilidade de 1 dia, 7 dias e 30 dias	Após o GROUP BY, o número de grupos e a contagem de cada grupo são comparados com as amostras de 1 dia, 7 dias e 30 dias atrás (valores discretos) para calcular a volatilidade.

Nota

Não é possível configurar regras de validação de tamanho de tabela para tabelas EMR.

Como a volatilidade é calculada

Cálculo de volatilidade: A fórmula de volatilidade é (Current value - Baseline value) / Baseline value. Nesse contexto, Valor atual representa o valor real da métrica na verificação atual, enquanto o Valor de linha de base é determinado dinamicamente pelo modelo selecionado. Por exemplo:

Nos modelos de volatilidade de N dias, o "Valor de linha de base" corresponde ao valor da métrica da mesma regra obtido há N dias.
Nos modelos de volatilidade média de N dias, o "Valor de linha de base" é a média aritmética dos valores da métrica nos últimos N dias.
Nos modelos de volatilidade do ciclo anterior, o "Valor de linha de base" é o valor da métrica do ciclo de agendamento anterior.

Lógica de verificação

O Data Quality suporta três métodos de verificação: Comparar com campo estático, Thresholds e Auto-Generated Threshold.

Método de verificação	Lógica de verificação
Comparar com campo estático	O sistema avalia a expressão de verificação e retorna um valor booleano. Os seguintes operadores de comparação são suportados: `>`, `<`, `>=`, `<=` e `!=`. Se o resultado for `true`, a verificação é aprovada. Caso contrário, um alerta de erro é retornado.
Thresholds	Este método monitora a magnitude das alterações nas métricas e suporta três tipos de comparação: Absolute Value: foca na magnitude da alteração, independentemente de ser um aumento ou diminuição. Por exemplo, um alerta é acionado sempre que a volatilidade da contagem de linhas exceder 10%. Raise: foca apenas em aumentos anormais da métrica. Por exemplo, ao monitorar custos, o interesse recai somente sobre elevações significativas nos gastos. Drop: foca apenas em diminuições anormais da métrica. Por exemplo, ao monitorar o volume de pedidos, a preocupação principal é identificar quedas repentinas nesse volume. O sistema determina o nível do alerta com base no "limiar de aviso" e no "limiar de erro" definidos por você.
Auto-Generated Threshold	Não é necessário definir limiares manualmente. O sistema detecta automaticamente a correção da métrica em tempo real com base em modelos algorítmicos. Um alerta é acionado caso a métrica exceda um intervalo de flutuação razoável.

Apêndice 1: Definição do ciclo anterior

A tarefa do ciclo anterior é determinada excluindo-se verificações com o mesmo carimbo de data/hora dos dados e classificando as verificações restantes por carimbo de data/hora em ordem decrescente. Se os carimbos de data/hora forem idênticos, as verificações são ordenadas por tempo de execução em ordem decrescente. A primeira tarefa executada nessa ordem serve como linha de base. Para mais detalhes, consulte a tabela a seguir:

Recurrence

Carimbo de data/hora dos dados

Método de comparação de linha de base

Perguntas frequentes

Cenário de agendamento diário normal

Carimbos de data/hora históricos:

2024-06-01
2024-06-02
2024-06-03
2024-06-04
2024-06-05

Quando a tarefa agendada com carimbo de data/hora 2024-06-06 inicia a verificação, a verificação de 2024-06-05 é usada como linha de base para comparação.

Cenário de backfill de dados históricos:

Contexto:

As tarefas de 2024-06-01 a 2024-06-05 foram executadas conforme o esperado. Após a execução da instância agendada em 2024-06-05, houve backfill de dados para a instância com carimbo de data/hora 2024-07-01. Quando a tarefa agendada com carimbo de data/hora 2024-06-06 iniciar a verificação, qual data será usada como linha de base para comparação?

Conclusão:

A tarefa agendada com carimbo de data/hora 2024-06-06 utiliza a verificação do carimbo de data/hora 2024-07-01 como linha de base. Como o carimbo de data/hora 2024-07-01 é posterior, as tarefas agendadas diárias normais usam 2024-07-01 como linha de base até que a instância agendada de 2024-07-02 conclua sua execução.

Cenário de agendamento horário normal

Carimbos de data/hora históricos:

2024-06-01
2024-06-02
2024-06-03

As tarefas são agendadas por hora e executadas 3 vezes ao dia.

Quando a tarefa agendada horária com carimbo de data/hora 2024-06-04 inicia a verificação, a última verificação do carimbo de data/hora 2024-06-03 é usada como linha de base para comparação.

Cenário de agendamento horário:

Contexto:

As três instâncias agendadas horárias de cada dia entre 2024-06-01 e 2024-06-03, bem como a 1ª instância agendada do carimbo de data/hora 2024-06-04, foram executadas conforme o esperado. Quando a 2ª instância agendada do carimbo de data/hora 2024-06-04 iniciar a verificação, qual data será usada como linha de base para comparação?

Conclusão:

Ao iniciar a verificação, a 2ª instância da tarefa agendada com carimbo de data/hora 2024-06-04 exclui a 1ª verificação do mesmo dia (2024-06-04) e utiliza a última verificação do carimbo de data/hora 2024-06-03 como linha de base para comparação.

Apêndice 2: Definição do valor de amostra de N dias atrás para tarefas horárias

Quando uma tarefa horária recupera a amostra de N dias atrás, o sistema primeiro classifica as instâncias do enésimo dia pelo tempo de execução (não pelo horário agendado) em ordem decrescente. Por padrão, os dados de resultado da primeira instância nessa ordem são usados como valor de amostra para comparação com o resultado atual. Para mais detalhes, consulte a tabela a seguir:

Recurrence

Carimbo de data/hora dos dados

Método de comparação de volatilidade

Perguntas frequentes

Cenário de agendamento horário normal

Carimbos de data/hora históricos:

2024-06-01
2024-06-02
…
2024-06-08

As tarefas são agendadas por hora e executadas 3 vezes ao dia.

Se a comparação for de volatilidade de 7 dias, quando a tarefa agendada horária da data de execução 2024-06-08 iniciar a verificação, o último valor de amostra da data de execução 2024-06-01 será utilizado.

Cenário de agendamento horário:

Contexto:

Três instâncias agendadas horárias foram executadas diariamente de 2024-06-01 a 2024-06-08. Quando a 2ª instância agendada da data de execução 2024-06-08 iniciar a verificação, qual resultado agendado de qual dia será usado como valor de amostra para a comparação de volatilidade de 7 dias?

Conclusão:

Ao iniciar a verificação, a 2ª instância da tarefa agendada da data de execução 2024-06-08 utiliza a última verificação da data da tarefa 2024-06-01 como valor de amostra para a comparação de volatilidade de 7 dias.