Após a publicação de um modelo no ambiente de produção, o DataWorks Intelligent Data Modeling gera automaticamente regras de monitoramento de qualidade de dados para garantir a integridade das tabelas correspondentes.
Pré-requisitos
Publique a tabela no ambiente de produção. Para mais informações sobre como publicar tabelas, consulte Materialize logical models.
Observações
Ao publicar uma tabela no ambiente de produção, o DataWorks gera automaticamente regras de qualidade de dados para os seguintes campos nas configurações de gerenciamento de campos:
Campos marcados como Primary Key ou Not Null.
Campos configurados com Lookup Table to Associate.
Procedimento
Publicar uma tabela dimensional
-
Faça login no console do DataWorks. Na região desejada, clique em no painel de navegação à esquerda. Selecione um workspace na lista suspensa e clique em Go to Data Modeling.
Clique em Dimensional Modeling na barra de navegação superior para acessar a página Dimensional Modeling. Selecione a tabela que deseja configurar para rotulagem de dados e clique duas vezes no nome da tabela para abrir sua página de detalhes.
Na seção Field Management, configure as seguintes propriedades para os campos da tabela: Primary Key, Not Null e Field Association.
Clique em
para salvar a tabela e, em seguida, clique em 
para enviar a tabela como uma nova versão do modelo.-
Clique em
para publicar a tabela. Na caixa de diálogo Publish, defina as seguintes configurações:Effective Environment: Selecione tanto Production quanto Development.
Automatic Rule Generation Based on Field Standard: Selecione Yes.
Mantenha todas as outras configurações com seus valores padrão. Após concluir a configuração, clique em Publish para publicar o modelo da tabela.
Visualizar regras de qualidade
Geração automática de regras de desclassificação de lances
Clique em 
Quality Rules na barra de navegação superior para acessar a página Data Quality Rule e visualizar as regras de qualidade geradas automaticamente pela rotulagem automática. Na página Data Labeling, clique em Generate Data Quality Rule para criar automaticamente as regras de qualidade correspondentes com um único clique. Ao clicar em Generate Quality Rules para a tabela dimensional testtb, o sistema cria automaticamente duas regras flexíveis habilitadas: Field Rule - Unique - (id) (dimensão de qualidade: unicidade; modelo de regra: valor fixo para número de valores duplicados; limiares de monitoramento: alerta vermelho se ≠ 0,0, alerta verde se = 0,0) e Field Rule - Not Null - (id) (dimensão de qualidade: completude; modelo de regra: valor fixo para número de valores nulos; limiares de monitoramento: alerta vermelho se ≠ 0,0, alerta verde se = 0,0). O mecanismo de execução é MAXCOMPUTE, o ambiente de tempo de execução é PRODUCT e o schema é default.
Configurar manualmente a geração de regras
Clique no botão Configure Monitoring para acessar . Clique em Create Rule para criar uma nova regra. Para mais informações, consulte Configure rules: by table (single table).
Um painel Create from Rule Template aparece à direita, oferecendo três métodos de criação: + System Template Rule, + Custom Template Rule e + Custom SQL. O sistema fornece 63 modelos, categorizados por tipo em contagem de linhas da tabela, taxa de correspondência de condição, tamanho da tabela, número de linhas com valor nulo, número de linhas com valor duplicado, número de valores únicos, valor mínimo, valor máximo, valor médio, valor agregado, valores de enumeração, valores discretos e SQL personalizado.
Gerar monitoramento de qualidade
Após configurar as regras de qualidade, acesse a página de lista de regras. Clique no nome da regra na coluna ID/rule name para navegar até a aba . Em seguida, alterne para a aba Monitor e realize a configuração de Create Monitor. A configuração detalhada é a seguinte:
|
Módulo |
Item de Configuração |
Detalhes da Configuração |
|
Basic Configurations |
Monitor Name |
Insira um nome personalizado para o job de monitoramento de qualidade. |
|
Data Range |
O intervalo de timestamp é gerado por padrão com base no tipo de tabela do objeto monitorado. Se o objeto monitorado for uma tabela particionada, o Data Range assume como padrão o escopo baseado em partição. É possível selecionar partições específicas, por exemplo: |
|
|
Running Settings |
Trigger Method |
Selecione uma das seguintes opções:
|
|
Associated Scheduling Node (Production Scheduling Trigger) |
Clique em Add Node e selecione o workspace e o nó para o job de monitoramento de qualidade. Nota
No Operation Center do DataWorks, associe o job de monitoramento de qualidade a uma tarefa recorrente. Após a execução do nó, as regras de qualidade deste job de monitoramento são acionadas automaticamente. |
|
|
Compute Resource Selection |
Selecione os recursos de computação para executar as verificações de regras de qualidade. Por padrão, a source de dados associada à tabela monitorada no workspace atual já vem selecionada. Caso escolha uma source de dados diferente, certifique-se de que ela tenha acesso à tabela. |
|
|
Handling Policies |
Issue Strategy |
Mantenha a configuração padrão. |
|
Monitoring Rule |
Clique em Batch Select e selecione as regras de qualidade a serem incluídas no job de monitoramento, filtrando por ID/rule name, Template e Association Range. |
|
É possível visualizar o most recent run record de um job de monitoramento de qualidade e modificar o método de assinatura e os destinatários em Subscribe to Alerts dentro de .
Se você ativar e executar regras de qualidade após gerá-las, a execução dessas regras incorrerá em cobranças. Para detalhes de faturamento, consulte Billing for Data Quality instances.
Modificar ou excluir regras de rotulagem
Modifique ou exclua regras de rotulagem diretamente na interface de modelagem de dados.
Atualize as regras de rotulagem modificando as propriedades dos campos na interface de modelagem — por exemplo, alterando o nome do campo, mudando um campo de Not Null para não obrigatório, ou atualizando a regra da tabela de consulta associada.
Adicione ou remova campos para modificar ou eliminar regras de rotulagem existentes.
Exclua o modelo de tabela para modificar ou remover a regra de fallback.
Após modificar ou excluir campos no modelo de tabela, clique em 
para republicar a tabela.