Set data quality rules - Data Management: Central de Documentação do Alibaba Cloud

O recurso de qualidade de dados do Data Management (DMS) permite definir regras personalizadas para tabelas e colunas. Ao integrar essas regras a tarefas de auditoria no Task Orchestration, você automatiza verificações de qualidade para garantir consistência, unicidade e integridade dos dados. Isso melhora a confiabilidade das informações para análise e desenvolvimento.

Pré-requisitos

A instância de destino deve estar no modo Security Collaboration. Para mais informações, consulte Control modes.
Você deve ter uma das seguintes permissões:
- Ter a função de sistema Admin, DBA ou Schema Read-Only. Para mais informações, consulte System roles.
- Ser proprietário ou DBA da instância de destino. Para mais informações, consulte Edit instance information.
- Ter permissão de consulta, alteração ou exportação na tabela ou no banco de dados que a contém. Para mais informações, consulte View my permissions.

Informações básicas

Com o crescimento da demanda por análise e desenvolvimento de dados, garantir a qualidade dessas informações tornou-se essencial. Os dados frequentemente provêm de fontes diversas, possuem estruturas complexas, grande volume e interdependências. Manter um alto padrão de qualidade é fundamental para assegurar que os dados estejam corretos, atendam às expectativas e gerem resultados de análise confiáveis. Por exemplo, antes de iniciar uma tarefa de análise, verifique se a qualidade dos dados de source atende aos requisitos necessários para que a execução ocorra sem problemas.

Conceitos principais

Regra de qualidade: regra aplicada a uma tabela ou coluna para garantir que os dados atendam a expectativas específicas. Por exemplo, você pode definir que o número de linhas de uma tabela seja um valor fixo ou que o valor máximo de uma coluna não ultrapasse 100.
Tarefa de auditoria: tarefa que monitora e verifica se os dados estão em conformidade com as regras de qualidade definidas. Após a configuração das regras e de um ciclo de agendamento, o sistema verifica automaticamente a qualidade dos dados e gera um relatório.

Procedimento

Faça login no DMS 5.0.
Na barra de navegação superior, escolha SQL Console > SQL Console.
Na caixa de diálogo Please select the database first, pesquise a instância de banco de dados, selecione-a e clique em Confirm.
No canto superior direito da aba SQL Console, clique em na seção de recursos estendidos.
Localize a tabela, passe o ponteiro do mouse sobre More na coluna Actions e selecione View Table Details.
Clique em Data quality.

Clique em Create Rule. No painel exibido à direita, configure os parâmetros.

Parâmetro	Descrição	Exemplo
Rule Name	Nome da regra.	Valor máximo da coluna é 100
Rule Type	Tipo da regra. Opções válidas: Table Rule: cria uma regra no nível da tabela. Por exemplo, verifica se o número de linhas atende às expectativas. Column Rule: cria uma regra no nível da coluna. Por exemplo, verifica a quantidade de valores nulos em uma coluna.	Column rule
Rule Template	Selecione um modelo de regra integrado. Para mais informações, consulte Quality rule templates.	Maximum Value in a Column
Column name	Selecione a coluna de destino para a regra. Este parâmetro aparece apenas quando Rule Type está definido como Column Rule.	`columns_test`
Comparison Method	Escolha um método para comparar o valor real com o Expected Value. Métodos suportados: Greater, Greater than or equal, Equal, Is less than or equal, Less e Not equal.	Less than or equal
Expected Value	Insira o valor alvo esperado.	100

Clique em OK.
Uma regra de qualidade é criada com o status Enabled por padrão.
Nota
Você também pode executar as seguintes operações na regra pela coluna Actions:
- Clique em Disabled para desativar a regra. Regras desativadas não podem ser usadas na criação de novas tarefas de auditoria.
  
  Se a regra já estiver em uso em uma tarefa de auditoria, a operação falhará. Nesse caso, exclua primeiro a tarefa de auditoria e tente novamente.
- Escolha More > Edit para modificar a regra de qualidade.
- Escolha More > Logs para visualizar o histórico de versões da regra.
Na coluna Actions da regra desejada, escolha More > New Task Flow.
Você será redirecionado para a página do Task Orchestration. Nela, configure o nó Audit Task e publique o fluxo de tarefas.

Nota
Para mais informações, consulte Overview.

Após configurar um ciclo de agendamento e publicar o fluxo de tarefas, o sistema verificará automaticamente os dados conforme o cronograma e as regras de qualidade estabelecidas.

Modelos de regras de qualidade

Rule Type	Rule Template
Table Rule	Number of Rows in a Table (Fixed Value): verifica se a quantidade atual de linhas na tabela corresponde ao valor esperado. Por exemplo, configure uma regra exigindo menos de 100.000 linhas.
Column Rule	Maximum Value in a Column: valida se o valor máximo de uma coluna atende às expectativas. Por exemplo, especifique que o valor máximo de uma coluna de chave primária não pode exceder 2.147.483.647 (2³¹ - 1). Minimum Value in a Column: valida se o valor mínimo de uma coluna atende às expectativas. Por exemplo, especifique que o valor mínimo de um campo de peças de reposição não pode ser inferior a 3. Number of Strings That Match an Expression with Wildcards (Fixed Value): verifica se a quantidade de valores correspondentes a um formato específico na coluna atende às expectativas. Por exemplo, especifique que o número de valores iniciados com "a" deve ser menor que 10. Number of Strings That Match a Regular Expression (Fixed Value): verifica se a quantidade de valores correspondentes a um formato específico na coluna atende às expectativas. Por exemplo, em uma coluna de endereços de e-mail, especifique que o número de valores correspondentes à expressão regular deve ser maior que 100. Number of Null Values in a Column (Fixed Value): verifica se a quantidade de valores nulos em uma coluna atende às expectativas. Por exemplo, configure o número de valores nulos para ser menor ou igual a 0. Number of Unique Values in a Column (Fixed Value): verifica se a quantidade de valores únicos em uma coluna atende às expectativas. Por exemplo, especifique que o número de valores únicos deve ser maior ou igual a 100 para garantir a presença de pelo menos 100 valores distintos. Number of Duplicate Values in a Column (Fixed Value): verifica se a quantidade de valores duplicados em uma coluna atende às expectativas. Por exemplo, especifique que o número de valores duplicados deve ser menor que 100 para limitar as ocorrências de duplicidade.