Monitorar a qualidade dos dados - Data Management: Central de Documentação do Alibaba Cloud

Pré-requisitos

Antes de começar, certifique-se de que:

A instância de banco de dados esteja gerenciada no modo Security Collaboration. Para mais informações, consulte Modos de controle.
Você atenda a um dos seguintes requisitos de permissão:
- Seja administrador do DMS, administrador de banco de dados (DBA) ou usuário com a função de leitura somente de schema. Para mais informações, consulte Funções do sistema.
- Seja o proprietário da instância ou o DBA da instância de banco de dados de destino. Para mais informações, consulte Modificar instâncias de banco de dados.
- Tenha permissões de consulta, alteração ou exportação na instância de banco de dados de destino ou em uma tabela nela contida. Para mais informações, consulte Visualizar permissões próprias.

Conceitos principais

Quality rule: condição definida para uma tabela ou coluna. O DMS avalia os dados com base nessa condição e gera um relatório. Por exemplo, é possível exigir que o valor máximo de uma coluna nunca exceda 100 ou que a contagem de linhas permaneça abaixo de 100.000.
Audit task: tarefa agendada que verifica os dados em relação a uma regra de qualidade específica e gera um relatório. Ao associar uma tarefa de auditoria a uma regra de qualidade e publicar um fluxo de tarefas com um ciclo de agendamento, o DMS executa a verificação automaticamente.

Criar uma regra de qualidade

Faça login no Console do DMS V5.0.
Abra a página de detalhes da tabela de destino usando um dos seguintes métodos: Pelo SQL Console: Pela barra de pesquisa:
1. Na barra de navegação superior, clique em Home e insira o nome da tabela na caixa de pesquisa.
2. Nos resultados da pesquisa, clique em Table, localize a tabela desejada e clique em Details.
Clique na aba Data quality.

Clique em Create Rule e defina os parâmetros a seguir. Por exemplo, as configurações acima significam: *verificar se o valor máximo na coluna columns_test é menor ou igual a 100.*

Parâmetro	Descrição	Exemplo
Rule name	Nome da regra de qualidade	O valor máximo da coluna é 100
Rule type	Escopo da regra. Table Rule verifica métricas no nível da tabela (como contagem de linhas). Column Rule verifica métricas no nível da coluna (como valores nulos ou intervalos de valores).	Column Rule
Rule template	Verificação predefinida a ser aplicada. Consulte Modelos de regras para ver todas as opções disponíveis.	Maximum Value in a Column
Column name	Coluna a ser verificada. Aparece apenas quando Rule type está definido como Column Rule.	columns_test
Comparison method	Método de comparação entre a métrica real e o valor esperado. Opções: Greater, Greater than or equal, Equal, Is less than or equal, Less, Not equal.	Is less than or equal
Expected value	Valor de limiar para a regra	100

Clique em OK.

A regra é criada no estado Enabled.

Para gerenciar uma regra existente, passe o mouse sobre More na coluna Actions e escolha uma das opções a seguir:

Edit — modifique a regra.

Logs — visualize o histórico de versões da regra.

Disable — desative a regra. Não é possível desativar uma regra em uso por uma tarefa de auditoria. Exclua primeiro a tarefa de auditoria e depois desative a regra.

Agendar verificações automatizadas

Após criar uma regra de qualidade, configure um fluxo de tarefas para executar verificações automatizadas conforme uma programação.

Na coluna Actions da regra de qualidade, passe o mouse sobre More e selecione New Task Flow.
Na página Task Orchestration, adicione um nó Audit Task e configure-o para referenciar sua regra de qualidade.
Defina um ciclo de agendamento e publique o fluxo de tarefas.

O DMS passa a verificar os dados automaticamente com base no ciclo de agendamento e gera um relatório após cada execução. Para obter detalhes sobre a configuração do fluxo de tarefas, consulte Visão geral.

Modelos de regras

Use esta tabela para escolher o modelo adequado ao seu objetivo de qualidade de dados.

Tipo de regra	Modelo de regra	O que verifica	Exemplo de uso
Table Rule	Number of Rows in a Table. The Number is a Fixed Value	Se a contagem total de linhas atende ao requisito	A contagem de linhas deve ser menor que 100.000
Column Rule	Maximum Value in a Column	Se o valor máximo da coluna está dentro dos limites	A chave primária não pode exceder 2.147.483.647 (2³¹ − 1)
Column Rule	Minimum Value in a Column	Se o valor mínimo da coluna está dentro dos limites	O valor mínimo não pode ser inferior a 3
Column Rule	Number of Strings That Match the Expression Containing Wildcards. The Number is a Fixed Value	Se a contagem de valores correspondentes a um padrão com curingas atende ao requisito	Valores começando com `a` devem ser menores que 10
Column Rule	Number of Strings that Match the Regular Expression. The Number is a Fixed Value	Se a contagem de valores correspondentes a uma expressão regular atende ao requisito	Valores correspondentes à regex devem ser maiores que 100
Column Rule	Number of Null Values in a Column. The Number is a Fixed Value	Se a contagem de valores nulos atende ao requisito	Valores nulos devem ser menores ou iguais a 0
Column Rule	Number of Unique Values in a Column. The Number is a Fixed Value	Se a contagem de valores distintos atende ao requisito	Devem existir pelo menos 100 valores distintos
Column Rule	Number of Duplicate Values in a Column. The Number is a Fixed Value	Se a contagem de valores duplicados atende ao requisito	Valores duplicados devem ser menores que 100

Como escolher um modelo:

Para evitar que dados incorretos entrem nos pipelines de análise, comece pelas verificações de valores nulos e valores duplicados.
Para impor intervalos de valores (por exemplo, limites de ID ou pontuação), use as verificações de Valor Máximo ou Valor Mínimo.
Para validar formatos de dados (por exemplo, números de telefone ou códigos), use verificações com curingas ou expressões regulares.
Para monitorar o tamanho da tabela ou detectar perda inesperada de dados, use a verificação de contagem de linhas.

Etapa 2: Criar uma tarefa de auditoria

Uma Audit Task verifica a qualidade dos dados. Após a definição das regras de qualidade e de um ciclo de agendamento, a tarefa verifica automaticamente a qualidade dos dados e gera um relatório.

Faça login no DMS 5.0.
Clique na aba Data quality.
Na coluna Actions do modelo de regra de destino, escolha More > New Task Flow.
Você será redirecionado para a página de orquestração de tarefas. Nessa página, configure o nó Audit Task.
1. Clique no nó da tarefa de destino e clique em Content à direita para editar o conteúdo da tarefa.
  
  Por padrão, o sistema seleciona o banco de dados atual, o nome da tabela e as regras de qualidade correspondentes.
2. Clique em Save.
Nota
Também é possível adicionar regras ou outros nós de tarefa neste nó. Para mais informações, consulte Visão geral dos tipos de tarefa.
Configure o ciclo de agendamento do fluxo de tarefas.

É possível configurar o ciclo de agendamento do fluxo de tarefas por mês, semana ou dia. Selecione o ciclo conforme necessário. Para mais informações, consulte Configurar agendamento.
Clique em Properties e ative a opção Enable message notification.

Ao ativar essa opção, o status de execução do fluxo de tarefas é enviado ao Owner e aos Stakeholders. Para mais informações, consulte Gerenciar notificações de mensagens.

Nota
Também é possível configurar propriedades básicas como Task Flow Name, Owner e Stakeholders conforme necessário.
Após concluir a configuração, publique o fluxo de tarefas. Para mais informações, consulte Publicar um fluxo de tarefas.

Após a publicação do fluxo de tarefas, a tarefa verifica a tabela de dados com base no ciclo de agendamento e nas regras de dados especificadas.