Todos os produtos
Search

Este produto

    DataWorks:Exemplo de configuração: MaxCompute

    Central de documentação

    DataWorks:Exemplo de configuração: MaxCompute

    Última atualização: Aug 25, 2026

    As regras de monitoramento são o núcleo do Data Quality (DQC). O Data Quality permite monitorar dados no MaxCompute, E-MapReduce (EMR), Hologres, AnalyticDB for PostgreSQL e AnalyticDB for MySQL. Este tópico explica como configurar um monitor para o MaxCompute.

    Procedimento

    Etapa 1: Adicionar uma source de dados do MaxCompute

      1. Faça login no console do DataWorks. Na região de destino, clique em More > Management Center no painel de navegação à esquerda. Selecione um workspace na lista suspensa e clique em Go to Management Center.

      2. Na página Workspace Management, clique em Data Sources no painel de navegação à esquerda para abrir a página de sources de dados.

    2. Clique em Add Connection para adicionar uma source de dados do MaxCompute. Para mais informações, consulte Associate a MaxCompute compute resource.

    3. Clique no ícone icon no canto superior esquerdo da página atual e selecione All Products > Data Development and O&M > DataStudio.

    4. No painel de navegação à esquerda da página do DataStudio, clique em computing resource para vincular o recurso de computação do MaxCompute adicionado.

      Nota

      Neste exemplo, os dados da tabela de teste vêm de um public dataset do MaxCompute. Ao configurar o monitoramento para dados reais de negócio, crie um monitor e regras de monitoramento conforme as necessidades específicas.

    Etapa 2: Acessar a página de detalhes de qualidade da tabela

    1. Clique no ícone icon no canto superior esquerdo da página atual e selecione All Products > Data Governance > Data Quality.

    2. Na barra de navegação à esquerda, clique em Rule Setting > Configure by Table.

    3. Na lista Connection à esquerda, selecione um banco de dados, localize a tabela para configurar regras de monitoramento e clique no nome da tabela ou em Configure Monitoring Rule na coluna Actions para acessar a página Table Quality Details.

      Nota

      Também é possível buscar uma tabela pelo nome. A busca oferece suporte a correspondência parcial com base nas primeiras letras do nome da tabela.

    Etapa 3: Criar um monitor

    1. Na aba Rule Management da página Table Quality Details, clique no ícone image ao lado de Monitor Perspective. A página Create Monitor será aberta.

    2. Configure os parâmetros do monitor.

      Nota

      Crie um monitor com base nos requisitos de validação de dados da tabela. Para mais informações sobre como criar um monitor, consulte Configure rules: By table.

      Na página Create Monitor, defina o Monitor Name (por exemplo, mc table row count greater than 2000 monitor), selecione a tabela de destino (por exemplo, mc_test_tb) em Monitored Object, escolha Set range by partition em Data Range e insira ds=${yyyymmdd-1} como expressão de partição. Preencha uma descrição do monitor em Description, selecione Manual em Trigger Method, escolha o grupo de recursos desejado em Resource Group, defina Issue Handling Policy como Alert, clique em Batch Select na seção Select Monitoring Rules para adicionar regras, marque Subscribe to Quality Alerts (Email) e clique em Save.

    3. Clique em Save.

    Etapa 4: Configurar uma regra de monitoramento

    1. Na aba Rule Management da página Table Quality Details, clique em Create Rule. A página de configuração de regras será aberta.

    2. Este exemplo utiliza um modelo integrado para criar uma regra de monitoramento.

      Nota

      Crie regras conforme os requisitos reais da tabela. Para mais informações sobre como criar regras, consulte Configure rules: By table.

      Na lista System Templates à esquerda, expanda a categoria Table Row Count e selecione o modelo Table Row Count, Fixed Value. No formulário à direita, defina Rule Template como Table Row Count, Fixed Value, configure Rule Scope para mc_test_tb, selecione Manual em Comparison Method, defina Monitoring Threshold com limiar normal <= 2000 e limiar vermelho > 2000, ative o Status e selecione Weak Rule em Severity.

    3. Adicione a regra de monitoramento ao monitor criado na Etapa 3.

      Selecione Add to Monitor, escolha o monitor criado na Etapa 3 na lista suspensa, opcionalmente marque Add me as an alert subscriber for this monitor e clique em OK.

    4. Clique em Confirm.

    Etapa 5: Testar a execução da regra

    1. Na página Table Quality Details, na aba Monitor, localize o monitor criado e clique em Test na coluna Actions.

    2. Na caixa de diálogo Tests, confirme os parâmetros Data Scope e Scheduled Time e clique em Tests.

      A caixa de diálogo também exibe o nome do Monitor e o número de regras ativadas.

    3. Quando Started for exibido, clique em View Details para visualizar os resultados detalhados da execução de teste.

      Neste exemplo, a tabela de teste do MaxCompute contém mais de 2.000 linhas. Consequentemente, a verificação de qualidade identifica uma anomalia, indicada em vermelho.

      Na seção Quality Collection and Comparison Status Results, o status da verificação é Anomaly, o método de tratamento de problema é Alert e o resultado mostra que o valor amostrado é 65000000 e o valor verificado é 65000000, ultrapassando amplamente o limiar configurado de 2000.

    4. Após confirmar o acionamento bem-sucedido da regra de teste, modifique o monitor e altere o Trigger Method para Triggered by Node Scheduling in Production Environment. Em seguida, associe o monitor a um nó de agendamento específico no Operation Center do DataWorks. Após a conclusão da execução do nó, as regras de qualidade deste monitor serão acionadas automaticamente.

    Etapa 6: Configurar uma assinatura de alerta

    1. Na página Table Quality Details, na aba Monitor, localize o monitor criado e clique em More > Alert Subscription na coluna Actions.

    2. Após configurar o Notification Method e o Authorized object, clique em Save.

    Referências