O Painel de Qualidade exibe as principais métricas de qualidade de dados, tendências de verificação de regras, tabelas e proprietários com mais problemas, além da cobertura de regras do seu workspace. Essas informações ajudam a identificar e resolver problemas de qualidade com eficiência.
Acessar o painel de qualidade
-
Faça login no console do DataWorks. Na região desejada, clique em no painel de navegação à esquerda. Selecione um workspace na lista suspensa e clique em Go to Data Quality.
No painel de navegação à esquerda, clique em Quality Dashboard.
Observações de uso
O Painel de Qualidade apresenta estatísticas de qualidade de dados para o workspace atual.
No canto superior direito do painel, selecione o período para visualizar estatísticas: Today, Yesterday, The Day Before Yesterday ou um intervalo de datas personalizado. Por padrão, o painel mostra estatísticas em tempo real do dia atual.
-
Marque a opção View Only Data in Production Environment para exibir estatísticas exclusivas do ambiente de produção.
NotaAo ativar essa opção, os resultados de verificação das tabelas de desenvolvimento ficam fora das estatísticas. Apenas workspaces no modo padrão possuem ambientes separados de desenvolvimento e produção. No modo básico, todas as tabelas de dados são consideradas tabelas de produção. Para mais detalhes, consulte Diferenças entre o modo básico e o modo padrão.
-
Analise a visão geral da qualidade de dados sob as seguintes perspectivas:
All: Apresenta estatísticas de qualidade de dados para todos os tipos de mecanismo no workspace atual.
-
Uma fonte de dados específica ( MaxCompute , E-MapReduce , Hologres , CDH Hive , AnalyticDB for PostgreSQL , AnalyticDB for MySQL , StarRocks , MySQL , entre outras): Exibe estatísticas da fonte de dados selecionada.
NotaNão há suporte para estatísticas de dados em streaming.
Principais métricas de qualidade de dados
Nesta seção, escolha Rule ou Table à direita para consultar as métricas essenciais de qualidade de dados agrupadas por regra ou por tabela.
|
Categoria |
Métrica |
Descrição |
|
Table |
Número de tabelas com regras configuradas |
Quantidade de tabelas no workspace com regras de qualidade de dados configuradas na data selecionada. |
|
Número de tabelas com problemas de qualidade |
Total de tabelas em que pelo menos uma instância de verificação foi concluída com status diferente de Check Passed na data escolhida. Inclui violações de limiar e erros do sistema. Completed Tables: Quantidade de tabelas cuja instância de verificação foi concluída na data selecionada. Uma instância concluída pode apresentar status de aprovação, violação de limiar ou erro do sistema. |
|
|
Número de tabelas com problemas em regras fortes |
Total de tabelas cuja verificação de regra forte foi concluída com status diferente de Check Passed na data selecionada. Abrange violações de limiar e erros do sistema. Tables That Hit Critical Threshold: Número de tabelas que violaram o limiar crítico de uma regra forte na data indicada. Tables That Hit Warning Threshold: Quantidade de tabelas que ultrapassaram o limiar de aviso de uma regra forte na data especificada. |
|
|
Número de tabelas com problemas em regras fracas |
Total de tabelas cuja verificação de regra fraca terminou com status distinto de Check Passed na data selecionada. Isso inclui violações de limiar e erros do sistema. Tables That Hit Critical Threshold: Contagem de tabelas que violaram o limiar crítico de uma regra fraca na data escolhida. Tables That Hit Warning Threshold: Número de tabelas que excederam o limiar de aviso de uma regra fraca na data informada. |
|
|
Rule |
Total de regras de qualidade de dados |
Soma de todas as regras criadas no workspace atual até a data selecionada. |
|
Número de regras com problemas |
Quantidade de regras cuja instância de verificação foi concluída com status diferente de Check Passed na data selecionada. Inclui violações de limiar e erros do sistema. Completed Rules: Total de regras com instância de verificação concluída na data escolhida. O status final pode ser aprovado, violação de limiar ou erro do sistema. |
|
|
Número de regras fortes com problemas |
Contagem de regras fortes cuja instância de verificação terminou com status diferente de Check Passed na data selecionada. Engloba violações de limiar e erros do sistema. Rules Based on Which Tables Hit Critical Threshold: Número de regras cuja instância de verificação violou o limiar crítico de uma regra forte na data indicada. Rules Based on Which Tables Hit Warning Threshold: Quantidade de regras cuja instância de verificação excedeu o limiar de aviso de uma regra forte na data especificada. |
|
|
Número de regras fracas com problemas |
Total de regras fracas cuja instância de verificação foi concluída com status distinto de Check Passed na data selecionada. Inclui violações de limiar e erros do sistema. Rules Based on Which Tables Hit Critical Threshold: Contagem de regras cuja instância de verificação violou o limiar crítico de uma regra fraca na data escolhida. Rules Based on Which Tables Hit Warning Threshold: Número de regras cuja instância de verificação ultrapassou o limiar de aviso de uma regra fraca na data informada. |
Monitoramento de verificações de qualidade
Analise as tendências e a distribuição dos resultados das verificações de regras.
Análise de tendência de instâncias
Apresenta a evolução dos resultados das verificações de regras. Visualize as estatísticas By Day ou By Hour. Filtre também a exibição para acompanhar tendências de All, Strong rules ou Weak rules.
Status de execução da instância
Mostra a distribuição dos resultados das verificações de regras na data selecionada. Filtre a visualização para ver a distribuição de status de All, Strong rules ou Weak rules. Os status de execução incluem:
Check Passed: A verificação foi executada com êxito e o resultado atendeu ao limiar de qualidade.
Strong Rule-based Check Instances for Which Critical Threshold Is Exceeded: O limiar crítico de uma regra forte foi violado.
Strong Rule-based Check Instances for Which Warning Threshold Is Exceeded: O limiar de aviso de uma regra forte foi excedido.
Weak Rule-based Check Instances for Which Critical Threshold Is Exceeded: Houve violação do limiar crítico de uma regra fraca.
Weak Rule-based Check Instances for Which Warning Threshold Is Exceeded: O limiar de aviso de uma regra fraca foi ultrapassado.
Check Failed: A verificação falhou porque o sistema não conseguiu obter o valor a ser verificado.
Principais problemas de qualidade
Classifica as tabelas pela quantidade de problemas de regras e exibe as Top N Tables with Maximum Number of Quality Issues e os owners of tables with quality issues dentro do intervalo de tempo selecionado. Clique em View more no canto superior direito para acessar a página Running Records, onde é possível revisar o histórico de verificações da tabela, visualizar detalhes e corrigir eventuais problemas.
O proprietário de uma regra de qualidade corresponde ao proprietário da partição de tabela associada. Geralmente, trata-se do usuário que criou a expressão de filtro da partição.
Análise de configuração de qualidade
Exibe a cobertura geral das regras de qualidade de dados nas tabelas segundo as seguintes dimensões: Number of tables with configured quality rules-Asset Ratio, No Rules Are Configured-Number of Tables, No Rules Are Enabled-Number of Tables, Configured with Rules with Which No Scheduling Node Is Associated-Number of Tables e Configured with Rules for Which No Alert Recipient Is Configured-Number of Tables. Clique em View Details na coluna Actions para consultar os detalhes de configuração de regras de cada tabela. Cinco cartões de métricas resumidas aparecem na parte superior, incluindo o cartão Asset ratio of tables with configured rules, que indica a porcentagem de tabelas de dados com regras de qualidade configuradas. A tabela de classificação abaixo relaciona detalhes de cada tabela, como Number of configured rules, Number of enabled rules, Number of rules associated with scheduling, Subscribed alert objects e Number of problematic rules in the last 30 days. Use View Details para inspecionar a configuração de uma tabela individual. As dimensões são descritas a seguir:
-
No Rules Are Configured: Conta tabelas sem nenhuma regra de qualidade de dados configurada.
NotaAtualmente, as estatísticas são calculadas apenas para fontes de dados MaxCompute.
No Rules Are Enabled: Considera tabelas que possuem regras configuradas, mas nenhuma delas está ativada.
Configured with Rules with Which No Scheduling Node Is Associated: Enumera tabelas com regras de qualidade configuradas que não estão vinculadas a um nó de agendamento. Regras sem associação de agendamento só executam quando acionadas manualmente.
Configured with Rules for Which No Alert Recipient Is Configured: Relaciona tabelas cujas regras de qualidade não têm destinatário de alerta definido. Sem um destinatário, nenhuma notificação é enviada quando problemas são detectados.