DataWorks:Monitorar a qualidade dos dados

1. Configurar o monitor

O monitor verifica se os dados no intervalo especificado (partição) da tabela alvo atendem às expectativas.

Nesta etapa, defina Data Range como dt=$[yyyymmdd-1]. Durante a execução, o monitor compara os dados dessa partição para determinar se estão conforme o esperado.

Isso significa que, sempre que a tarefa agendada da tabela ods_raw_log_d for executada, o monitor será acionado. Ele utilizará as regras de qualidade associadas para verificar os dados no intervalo correspondente e validar a conformidade com as normas de qualidade.

Execute os passos a seguir:

1. Na página de detalhes de qualidade da tabela, clique na aba Monitor e, em seguida, clique em Create Monitor.

2. Defina as configurações do monitor.

   Parâmetros principais:

   Parâmetro	Exemplo
   Data Range	dt=$[yyyymmdd-1]
   Trigger Method	Acionado pelo agendamento de produção. Selecione o nó ods_raw_log_d criado em Synchronize data.
   Monitoring Rule	Não configurado por enquanto. Será definido em uma seção posterior.

   Nota

   Para mais informações sobre a configuração de monitoramento de qualidade de dados, consulte Configure monitoring rules.

Este tutorial monitora se os dados da tabela gerados por cada tarefa agendada diariamente atendem às expectativas. Como a tabela gera dados referentes à data comercial anterior a cada dia, o resultado é considerado esperado quando o horário de agendamento é hoje e o cálculo refere-se a ontem.

2. Configurar regras de monitoramento

A tabela ods_raw_log_d recebe registros de acesso ao site sincronizados do OSS e serve como tabela de origem para o cenário de análise de persona de usuário. Para evitar processamentos inválidos e problemas de qualidade nas tarefas downstream, configure uma regra forte que verifique se a contagem de linhas desta tabela é maior que 0. Isso determina se a tarefa de sincronização gravou dados na partição da tabela.

Caso o monitor detecte que a contagem de linhas da partição correspondente na tabela ods_raw_log_d seja igual a 0, um alerta será disparado. O nó ods_raw_log_d falhará e as tarefas downstream desse nó serão bloqueadas.

Siga os procedimentos abaixo:

1. Na aba Rule Management, selecione o monitor criado em Monitor Perspective (neste exemplo, raw_log_number_of_table_rows_not_0) e clique no botão Create Rule no lado direito para acessar a página Create Rule.

2. Em System Template, localize a regra The number of rows is greater than 0. e clique em Use. Em seguida, defina Degree of importance como Strong rules.

   Nota

   Neste tutorial, a regra é definida como forte. Isso significa que, ao detectar que a contagem de linhas da tabela ods_raw_log_d é igual a 0, o sistema dispara um alerta e bloqueia as tarefas downstream.

3. Clique em Determine.

   Nota

   Para mais detalhes sobre os itens de configuração, consulte Configure monitoring rules.

3. Executar teste do monitor

Uma execução de teste valida se as regras de verificação configuradas no monitor são adequadas. Para garantir que as regras de qualidade estejam corretas e atendam às expectativas, realize um teste após criar as regras.

1. Na aba Rule Management, selecione o monitor criado em Monitor Perspective (neste exemplo, raw_log_number_of_table_rows_not_0) e clique em Test Run no ícone à direita para abrir a caixa de diálogo Test Run.

2. Na caixa de diálogo Test Run, selecione um Data Timestamp e clique em Test Run.

3. Após a conclusão do teste, siga as instruções na tela e clique em View Details para verificar se o resultado foi aprovado.

4. Assinar o monitor

O Data Quality oferece capacidades de alerta. Ao assinar um monitor, você recebe notificações tempestivas sobre exceções nas verificações de qualidade, permitindo tomar medidas para assegurar que os dados sejam produzidos de forma segura, estável e pontual.

1. Na aba Rule Management, selecione o monitor criado em Monitor Perspective (neste exemplo, raw_log_number_of_table_rows_not_0) e clique em Subscribe to Alerts no ícone à direita.

2. Siga as instruções na tela para adicionar um Notification Method e um Recipient. Depois, clique em Save na coluna Actions.

3. Com a assinatura configurada, clique em Quality O&M > Monitor no painel de navegação à esquerda. Selecione My Subscriptions para visualizar e modificar as tarefas assinadas.

1. Configurar o monitor

O monitor valida se os dados no intervalo especificado (partição) da tabela alvo correspondem ao esperado.

Nesta etapa, defina Data Range como dt=$[yyyymmdd-1]. Durante a execução, o monitor compara os dados dessa partição para determinar se atendem às expectativas.

Ou seja, sempre que a tarefa agendada da tabela ods_user_info_d for executada, o monitor será acionado. Ele usará as regras de qualidade associadas para inspecionar os dados no intervalo correspondente e verificar a conformidade com as normas estabelecidas.

Realize os passos seguintes:

1. Na aba Monitor, clique em Create Monitor.

2. Defina as configurações do monitor.

   Parâmetros principais:

   Parâmetro	Exemplo
   Data Range	dt=$[yyyymmdd-1]
   Trigger Method	Acionado pelo agendamento de produção. Selecione o nó ods_user_info_d criado em Synchronize data.
   Monitoring Rule	Não configurado por enquanto. Será definido em uma seção posterior.

   Nota

   Para mais informações sobre a configuração de monitoramento de qualidade de dados, consulte Configure monitoring rules.

2. Configurar regras de monitoramento

A tabela ods_user_info_d recebe informações básicas de usuários sincronizadas do rds MySQL e atua como tabela de origem para o cenário de análise de persona de usuário. Para prevenir processamentos inválidos e problemas de qualidade nas tarefas downstream, configure uma regra forte que verifique se a contagem de linhas desta tabela é maior que 0. Isso confirma se a tarefa de sincronização gravou dados na partição da tabela.

Quando a regra entrar em vigor e o monitor detectar que a contagem de linhas da partição correspondente na tabela ods_user_info_d é igual a 0, um alerta será disparado. O nó ods_user_info_d falhará e as tarefas downstream desse nó serão bloqueadas.

Siga os procedimentos abaixo:

1. Na aba Rule Management, selecione o monitor criado em Monitor Perspective (neste exemplo, user_info_quality_control) e clique em Create Rule para acessar a página Create Rule.

2. Em System Template, localize a regra The number of rows is greater than 0. e clique em Use. Em seguida, defina Degree of importance como Strong rules.

   Nota

   Neste tutorial, a regra é definida como forte. Isso significa que, ao detectar que a contagem de linhas da tabela ods_user_info_d é igual a 0, o sistema dispara um alerta e bloqueia as tarefas downstream.

3. Em System Template, localize a regra Unique Value Count, Fixed Value e clique em Use. Modifique Rule Scope, Monitoring Threshold e Degree of importance conforme descrito abaixo.

   • Rule Scope: uid(STRING)

   • Monitoring Threshold: Normal threshold = 0

   • Degree of importance: Weak rule

4. Clique em Determine.

   Nota

   Para mais detalhes sobre os itens de configuração, consulte Configure monitoring rules.

3. Outros

Os procedimentos de execução de teste e assinatura seguem o mesmo padrão descrito em Configure monitoring rules for ods_raw_log_d.

1. Configurar a expressão de partição

O monitor verifica se os dados no intervalo especificado (partição) da tabela alvo atendem às expectativas.

Nesta etapa, defina Data Range como dt=$[yyyymmdd-1]. Durante a execução, o monitor compara os dados dessa partição para determinar se estão conforme o esperado.

Isso implica que, sempre que a tarefa agendada da tabela ads_user_info_1d for executada, o monitor será acionado. Ele utilizará as regras de qualidade associadas para verificar os dados no intervalo correspondente e validar a conformidade com as normas de qualidade.

Execute os passos a seguir:

1. Na aba Monitor, clique em Create Monitor.

2. Defina as configurações do monitor.

   Parâmetros principais:

   Parâmetro	Exemplo
   Data Range	dt=$[yyyymmdd-1]
   Trigger Method	Acionado pelo agendamento de produção. Selecione o nó ads_user_info_1d criado em Process data.
   Monitoring Rule	Não configurado por enquanto. Será definido em uma seção posterior.

   Nota

   Para mais informações sobre a configuração de monitoramento de qualidade de dados, consulte Configure monitoring rules.

2. Criar regras de monitoramento

A tabela ads_user_info_1d é utilizada para análise de persona de usuário. Para detectar flutuações diárias de UV, configure o monitoramento de flutuação da contagem de linhas e verificações de unicidade da chave primária nos dados agregados. Isso permite rastrear mudanças diárias de UV e entender prontamente as oscilações de tráfego online.

Quando a regra entra em vigor e o monitor detecta que a chave primária da tabela ads_user_info_1d não é única, um alerta é disparado. Se a taxa de flutuação da contagem de linhas em 7 dias for superior a 10% e inferior a 50%, um alerta laranja é acionado. Caso a taxa de flutuação em 7 dias ultrapasse 50%, um alerta vermelho é emitido.

O monitor está configurado com a seguinte Disposal Policy:

• Strong rule · Red alert: A política de tratamento é Blocks. Ao detectar um problema de qualidade de dados, o sistema identifica o nó de agendamento de produção que acionou a verificação de qualidade desta tabela e define seu status como falha. Os nós downstream não serão executados, bloqueando o pipeline de produção para impedir a propagação de dados inconsistentes.

• Para outros alertas, a política de tratamento é Alert. Quando um problema de qualidade de dados é detectado, uma notificação de alerta é enviada através do canal de assinatura de alertas do monitor.

Portanto, ao configurar regras de qualidade:

• Se você definir uma regra forte, um alerta vermelho bloqueia os nós de tarefas downstream, enquanto outros alertas não causam bloqueio.

• Se você definir uma regra fraca, nem o alerta vermelho nem os demais alertas bloqueiam os nós de tarefas downstream.

Siga os procedimentos abaixo:

1. Na aba Rule Management, selecione o monitor criado em Monitor Perspective (neste exemplo, ads_user_info_quality_control) e clique em Create Rule para acessar a página Create Rule.

2. Em System Template, localize a regra Table Row Count, 7-Day Fluctuation Rate e clique em Use. Modifique Monitoring Range e Degree of importance conforme descrito abaixo.

   • Monitoring Threshold:

     • Red threshold > 50%

     • Orange threshold > 10%

     • Normal threshold <= 10%

   • Degree of importance: Weak rule

3. Em System Template, localize a regra The number of rows is greater than 0. e clique em Use. Em seguida, defina Degree of importance como Strong rules.

4. Clique em Determine.

   Nota

   Para mais detalhes sobre os itens de configuração, consulte Configure monitoring rules.

3. Outros

Os procedimentos de execução de teste e assinatura seguem o mesmo padrão descrito em Configure monitoring rules for ods_raw_log_d.