DataWorks:Configurar monitoramento de qualidade de dados

Etapa 1: Acessar a configuração de regras

1. Faça login no console do DataWorks. Na região de destino, clique em Data Governance > Data Quality no painel de navegação à esquerda. Selecione um workspace na lista suspensa e clique em Go to Data Quality.

2. Acesse a página de configuração de regras da tabela.

   No painel de navegação à esquerda da página Data Quality, clique em Configure Rules > Configure by Table. Localize a tabela de destino com base nos seguintes parâmetros:

   • Conexão: E-MapReduce.

   • Tabela: neste tutorial, configure regras de monitoramento para a tabela dwd_log_info_di_emr.

3. Nos resultados da pesquisa, encontre a tabela de destino e clique em Rule Management na coluna Actions para abrir a página de detalhes de qualidade da tabela.

Etapa 2: Configurar um Monitor

Um Monitor verifica se os dados em um intervalo específico (partição) de uma tabela de destino atendem às suas expectativas.

Nesta etapa, defina o Data Range do Monitor como dt=$[yyyymmdd-1]. Durante a execução, o Monitor verifica os dados na partição correspondente para determinar se atendem aos requisitos de qualidade.

Isso significa que, sempre que o nó de agendamento da tabela dwd_log_info_di_emr for executado, ele acionará o Monitor. Em seguida, o Monitor usa as regras de qualidade associadas para validar os dados no intervalo especificado.

Siga estas etapas:

1. Na aba Monitor, clique em Create Monitor.

2. Configure os parâmetros do Monitor. Os principais parâmetros estão descritos abaixo:

   Parâmetro	Exemplo
   Data Range	dt=$[yyyymmdd-1]
   Monitoring Rule	Configure este item em uma etapa posterior.
   Trigger Method	Selecione Triggered by production scheduling e escolha o nó dwd_log_info_di_emr criado no tópico Processar dados.

   Nota

   Para obter mais informações sobre como configurar um Monitor, consulte Configurar regras: Por tabela (tabela única).

Etapa 3: Configurar regras de monitoramento

A tabela dwd_log_info_di_emr processa dados da tabela ods_raw_log_d_emr. Para evitar processamento inválido e problemas de qualidade, configure uma Strong Rule baseada no modelo Table is not empty. Essa regra determina se o nó ancestral gravou dados na partição da tabela.

Se a contagem de linhas monitorada da partição correspondente na tabela dwd_log_info_di_emr for 0, um alerta será acionado. O nó dwd_log_info_di_emr falhará e encerrará a execução, bloqueando os nós descendentes.

Siga estas etapas:

1. Na aba Rule Management, em Monitor Perspective, selecione o Monitor criado (por exemplo, raw_log_number_of_table_rows_not_0) e clique em Create Rule para abrir o painel Create Rule.

2. Na aba System Template, localize a regra The number of rows is greater than 0. e clique em Use. Em seguida, altere o Degree of importance para Strong rules.

   Nota

   Neste tutorial, a regra é definida como uma Strong Rule. Isso significa que, se o Monitor detectar zero linhas na tabela dwd_log_info_di_emr, um alerta será acionado e todos os nós descendentes serão bloqueados.

3. Clique em Determine.

   Nota

   Para obter mais informações sobre outros itens de configuração, consulte Configurar regras: Por tabela (tabela única).

Etapa 4: Testar o Monitor

Execute um teste para verificar se as regras de monitoramento estão configuradas corretamente e funcionam conforme o esperado.

1. Clique em Test Run para abrir a caixa de diálogo Test Run.

2. Na caixa de diálogo Test Run, selecione um Data Timestamp e clique em Test Run.

3. Após a conclusão do teste, siga as instruções na tela e clique em View Details para verificar os resultados.

   A aba Current Run Record exibe informações em três seções: Rule Information (nome da regra, ID, escopo, modelo, importância, método de comparação e limiar); Detection Task Execution Information (método de acionamento, horário de acionamento da regra, data comercial, hora real de início e hora de término da regra); e Quality Collection and Comparison Results (status da verificação, resultado da verificação, valor de linha de base, valor de amostra e valor verificado).

Etapa 5: Assinar o Monitor

O Data Quality oferece um recurso de monitoramento e alertas. Assine um Monitor para receber alertas oportunos sobre falhas na verificação de qualidade. Assim, você resolve problemas rapidamente e garante a produção segura e pontual dos dados.

1. Na aba Rule Management, clique em Subscribe to Alerts. Na caixa de diálogo Subscribe to Alerts, selecione um método de assinatura e um destinatário e clique em Save.

2. Visualize e modifique as assinaturas.

   Após configurar a assinatura, clique em Quality O&M > Monitor no painel de navegação à esquerda. Em seguida, clique na aba My Subscriptions para visualizar e modificar suas assinaturas.