Configure Data Quality to monitor business data based on data quality rules - DataWorks: Central de Documentação do Alibaba Cloud

A qualidade de dados do DataWorks (DQC) é uma plataforma robusta para monitorar e proteger seus dados. Ela detecta e intercepta proativamente "dados incorretos" inesperados em seus pipelines de produção antes que se propaguem para etapas posteriores. Isso garante decisões de negócios precisas e reduz significativamente os custos com solução de problemas e reexecução de recursos.

Conceitos principais e fluxo de trabalho

Antes de utilizar a qualidade de dados, compreenda seus conceitos fundamentais e seu fluxo de trabalho. O sistema de qualidade de dados baseia-se nas seguintes entidades principais:

Template: Define a lógica de validação de dados. O DataWorks oferece uma vasta biblioteca de modelos integrados (como contagem de linhas de tabela e número de valores distintos em uma coluna). Também é possível criar modelos personalizados para atender a requisitos específicos de negócios.
Monitoring Rules: Representam uma instância específica de um modelo de regra. Aplique um modelo a uma coluna de tabela e configure um limiar específico. Por exemplo, a coluna order_count na tabela daily_sales não pode ser nula.
Monitor: Plano de execução que associa uma ou mais Monitoring Rules a um nó de agendamento. Quando o nó de agendamento é executado com êxito, todas as regras de qualidade associadas são acionadas automaticamente para validação.
Regras fortes/fracas e bloqueio: Defina regras como Strong rules ou Weak rules. Em caso de falha na verificação, escolha entre Blocks tarefas subsequentes ou enviar apenas um Alert.

Fluxo de trabalho típico:

Importante

Nós virtuais e nós de execução simulada não geram dados reais e não podem acionar regras de qualidade de dados.

Recursos

A qualidade de dados do DataWorks suporta verificações de qualidade para serviços comuns de armazenamento de big data, como MaxCompute, E-MapReduce, Hologres e AnalyticDB. Configure regras de monitoramento em várias dimensões, como integridade, precisão e consistência, e associe-as a nós de agendamento para habilitar validação automatizada, alertas e bloqueios.

Os principais módulos de qualidade de dados e suas páginas correspondentes no console são:

Módulo		Descrição
Visão geral da qualidade de dados		A página de visão geral da qualidade de dados exibe métricas essenciais de qualidade para seu workspace, incluindo tendências e distribuição de status de verificações de regras de qualidade acionadas por execuções de instâncias, tabelas com mais problemas de qualidade e respectivos responsáveis, cobertura de regras de qualidade, entre outros. Essas informações ajudam os gestores de qualidade a compreender rapidamente o status geral da qualidade de dados de um workspace e a resolver prontamente problemas para melhorar a qualidade dos dados.
Ativos de qualidade	Lista de regras	Exibe uma lista de todas as regras de qualidade configuradas.
Ativos de qualidade	Biblioteca de modelos de regras	A qualidade de dados suporta bibliotecas personalizadas de modelos de regras. Gerencie centralmente regras de monitoramento personalizadas comuns em uma biblioteca de modelos para aumentar a eficiência da configuração de regras.
Configuração de regras	Configurar regras: Por tabela	Um dos principais métodos para configurar regras de monitoramento, permitindo configuração detalhada para uma única tabela.
Configuração de regras	Configurar regras por modelo	Configuração em lote de regras para múltiplas tabelas que atendem a condições especificadas, com base em modelos de regras existentes.
Operações de qualidade	Monitor de qualidade	A página da lista de monitores de qualidade exibe todas as tarefas de monitoramento de qualidade criadas no workspace atual.
Operações de qualidade	Registros de execução	Mostra os resultados das verificações de regras das execuções de tarefas de monitoramento de qualidade. Após a execução de uma tarefa de monitoramento de qualidade, visualize os detalhes na página de registros de execução.
Análise de qualidade	Relatórios de qualidade	A qualidade de dados permite criar modelos de relatórios e adicionar diversas métricas para configuração e execução de regras. Os relatórios são gerados e enviados automaticamente conforme o período estatístico, horário de entrega e configurações de assinatura definidos.

Faturamento

Os custos de execução de regras de qualidade de dados dividem-se em duas partes:

Cobranças do DataWorks: Faturamento no modelo pagamento conforme o uso, baseado no número de execuções de instâncias de regras de qualidade de dados. Para mais informações, consulte Faturamento da qualidade de dados.
Custos do mecanismo de computação: As verificações de regras de qualidade de dados geram instruções SQL e as enviam ao mecanismo de computação subjacente para execução. Isso gera custos de computação do respectivo mecanismo (por exemplo, custos de computação do MaxCompute). Tais custos são cobrados pelo provedor do mecanismo e não aparecem na fatura do DataWorks.

Observações

Fontes de dados suportadas: Apenas MaxCompute, Hologres, E-MapReduce, DLF, CDH Hive, AnalyticDB PostgreSQL, AnalyticDB MySQL, StarRocks, MySQL, Lindorm e SQL Server são suportados. As regiões suportadas variam conforme o tipo de fonte de dados. Consulte as regiões suportadas pelo mecanismo específico.
Coleta de metadados: Antes de configurar regras para fontes de dados que não sejam MaxCompute, como E-MapReduce, Hologres, AnalyticDB e CDH, conclua primeiro a coleta de metadados. Para mais informações, consulte Configurar coleta de metadados.
Conectividade de rede: Ao verificar fontes de dados que não sejam MaxCompute, o nó de agendamento associado deve ser executado em um grupo de recursos com uma solução de conectividade de rede configurada.

Fluxo de trabalho de configuração e uso

1. Configurar regras

Create Rule: A qualidade de dados permite criar regras de qualidade de dados por tabela. Utilize também modelos de regras integrados ou personalizados para criar regras de qualidade de dados em lote para múltiplas tabelas. Para mais informações, consulte Criar uma regra para uma única tabela e Criar regras em lote.
Assinar alertas: Após criar as regras, configure notificações de alerta por meio de assinaturas. Vários canais são suportados, incluindo e-mail, SMS, bot de grupo do DingTalk, WeCom, Lark, telefone e webhooks personalizados.

Apenas o DataWorks Enterprise Edition e versões superiores suportam o método de Webhook personalizado.

2. Acionar verificações de regras

Em um Monitor, associe regras a um nó de agendamento. Quando o nó de agendamento for executado com êxito no Operation Center, as regras de qualidade de dados associadas serão acionadas automaticamente para validação. O DataWorks determina se deve definir a instância da tarefa como falha e bloquear tarefas subsequentes com base na força da regra e nos resultados da verificação, impedindo a propagação de dados incorretos.

3. Visualizar resultados das verificações

Na página Running Records, pesquise por nome de tabela ou nó e visualize os resultados detalhados das verificações e logs de cada execução do monitor de qualidade. Para mais informações, consulte Visualizar registros de execução.

Perguntas frequentes

Os alertas de qualidade de dados do DataWorks e os alertas de grupo do DingTalk do MaxCompute são duplicados?

O MaxCompute não fornece um recurso independente de monitoramento de qualidade de dados. Os alertas de qualidade de dados recebidos em grupos do DingTalk do MaxCompute são, na verdade, configurados e acionados por meio da qualidade de dados do DataWorks (DQC). A qualidade de dados do DataWorks gera instruções SQL a partir das regras de verificação e as submete a mecanismos de computação como o MaxCompute para execução. Após a conclusão das verificações, as notificações são enviadas com base nas assinaturas de alerta configuradas para as regras.

Portanto, os alertas de qualidade de dados do DataWorks e os alertas em grupos do DingTalk do MaxCompute não são dois sistemas independentes e não há sobreposição de funcionalidades. Basta configurar as regras de monitoramento e as assinaturas de alerta na qualidade de dados do DataWorks.

A decisão de configurar o monitoramento de qualidade de dados para uma tabela depende da criticidade dos dados dessa tabela para o seu negócio. Para tabelas de negócios essenciais, configurar o monitoramento de qualidade permite alertas oportunos ou bloqueio de tarefas subsequentes quando ocorrem anomalias nos dados, evitando que dados vazios ou incorretos causem interrupções nos negócios.