E-MapReduce:Configurar um monitor

Como funciona

O monitoramento de qualidade de dados no DataWorks possui duas camadas:

Quando o nó de agendamento da tabela dwd_log_info_di_emr é concluído, ele aciona o monitor. O monitor localiza a partição do dia anterior (dt=$[yyyymmdd-1]) e executa as regras associadas nela.

O grau de importância da regra determina o que acontece quando a verificação falha:

Pré-requisitos

Antes de começar, certifique-se de ter:

• Synchronized seus dados source no ambiente EMR

• Processed os dados para gerar a tabela dwd_log_info_di_emr

Etapa 1: Acesse a página Configure by Table

1. Faça login no console do DataWorks. Na barra de navegação superior, selecione sua região.

2. No painel de navegação à esquerda, escolha Data Governance > Data Quality. Selecione seu workspace na lista suspensa e clique em Go to Data Quality.

3. No painel de navegação à esquerda da página Data Quality, escolha Configure Rules > Configure by Table.

4. Na página Configure by Table, filtre pela tabela dwd_log_info_di_emr:

   • Na seção Connection, selecione E-MapReduce.

   • Utilize os campos de filtro à direita para pesquisar por dwd_log_info_di_emr.

5. Nos resultados da pesquisa, localize a tabela e clique em Rule Management na coluna Actions. A página Table Quality Details será aberta.

Etapa 2: Crie um monitor

O monitor define qual partição inspecionar e o que aciona a inspeção.

1. Na aba Monitor, clique em Create Monitor.

2. Defina os seguintes parâmetros:

   Parâmetro	Valor	Descrição
   Data Range	dt=$[yyyymmdd-1]	Direciona a verificação para a partição do dia anterior sempre que o monitor for executado.
   Monitoring Rule	Deixe em branco	Associe as regras na Etapa 3.
   Trigger Method	Triggered by Node Scheduling in Production Environment	Selecione o nó dwd_log_info_di_emr criado durante o processamento de dados. O monitor é acionado sempre que este nó for concluído em produção.

Para obter a lista completa de parâmetros do monitor, consulte Configurar uma regra de monitoramento para uma única tabela .

Etapa 3: Adicionar uma regra de monitoramento

Nesta etapa, você associa uma regra ao monitor. A tabela dwd_log_info_di_emr processa dados provenientes da tabela ods_raw_log_d_emr. A regra verifica se a tabela dwd_log_info_di_emr possui linhas na partição alvo. Se a contagem de linhas for 0, a regra conclui que o nó antecessor não gravou dados na partição.

Como esta regra está configurada como uma strong rule, uma contagem de linhas igual a 0 causa:

• O disparo de um alerta

• A falha e encerramento do nó dwd_log_info_di_emr

• O bloqueio da execução dos nós downstream

Para adicionar a regra:

1. Na seção Monitor Perspective da aba Rule Management, selecione o monitor raw_log_number_of_table_rows_not_0 e clique em Create Rule. O painel Create Rule será aberto.

   

2. Na aba System Template, localize Table is not empty e clique em Use. No lado direito do painel, defina Degree of Importance como Strong Rule.

   

3. Clique em Determine.

Para outros parâmetros de regra, consulte Configurar uma regra de monitoramento para uma única tabela .

Etapa 4: Testar o monitor

Execute um teste para verificar se o monitor e suas regras se comportam conforme o esperado antes que a configuração entre em produção.

1. Clique em Test Run. A caixa de diálogo Test Run será aberta.

2. Defina o parâmetro Scheduling Time e clique em Test Run.

3. Após a conclusão do teste, clique em View Details para revisar o resultado.

   

Etapa 5: Inscrever-se em alertas

Sem uma inscrição, você não receberá notificações quando o monitor detectar um problema de qualidade. Inscreva-se para receber alertas diretamente.

1. Na aba Rule Management, clique em Alert Subscription.

2. Na caixa de diálogo Alert Subscription, selecione um método de notificação e um destinatário, depois clique em Save na coluna Actions.

   

3. Para visualizar ou modificar suas inscrições, acesse Quality O&M > Monitor no painel de navegação à esquerda e clique em My Subscriptions na página Monitor.

Próximos passos

Com o monitoramento de qualidade de dados configurado, utilize o DataAnalysis para visualizar os dados processados. Consulte Visualizar dados em um painel.