Todos os produtos
Search

Este produto

    DataWorks:Nó de comparação de dados

    Central de documentação

    DataWorks:Nó de comparação de dados

    Última atualização: Jun 27, 2026

    O nó de comparação de dados do DataWorks permite comparar dados entre tabelas e pode ser utilizado em um workflow. Este tópico descreve como desenvolver tarefas usando esse recurso.

    Introdução

    O nó de comparação de dados suporta comparações entre tabelas e permite personalizar o escopo e as métricas para diversos cenários. Seu uso não se limita à integração de dados.

    Limitações

    Este recurso suporta apenas grupos de recursos serverless. Para saber mais sobre como utilizá-los, consulte Gerenciamento de grupos de recursos.

    Procedimento

    Etapa 1: Crie um nó de comparação de dados

    1. Faça login no console do DataWorks. Na região de destino, clique em Data Development and O&M > Data Development no painel de navegação à esquerda. Selecione um workspace na lista suspensa e clique em Go to Data Development.

    2. Clique no ícone image e escolha Create Node > Data Quality > Data Comparison.

      Siga as instruções na tela para inserir o caminho, o nome e outras informações do nó.

    Etapa 2: Configure o nó de comparação de dados

    Configure informações da tabela

    Configure as informações da tabela no nó de comparação de dados para comparar dados de diferentes fontes. A tabela a seguir descreve os parâmetros.

    Parâmetro

    Descrição

    Resource Group

    Selecione um grupo de recursos existente na lista suspensa.

    Task Resource Usage

    Ajuste a quantidade de recursos consumidos pelo nó durante a execução.

    Data Source Type

    Selecione os tipos de fonte de dados das tabelas de origem e de destino a serem comparadas.

    Data Source Name

    Selecione as fontes de dados das tabelas de origem e de destino a serem comparadas.

    Connection Status

    Após concluir a configuração, clique em Test para verificar a conectividade entre a fonte de dados e o grupo de recursos.

    Table Name

    Selecione as tabelas de origem e de destino na lista suspensa.

    WHERE Condition

    Filtra os dados das tabelas de origem e de destino para comparação.

    Sharding Key

    Configure uma chave de shard na tabela de origem para particionar os dados por uma coluna específica. Use uma chave primária ou uma coluna indexada como chave de shard.

    Configure regras de comparação

    Realize uma Metric-based Comparison ou uma Full-text Comparison para comparar dados entre as tabelas de origem e de destino com base em diferentes regras.

    Comparação baseada em métricas

    • Table Row Comparison:

      A comparação baseada em métricas suporta comparações no nível da tabela verificando o número de linhas. A comparação é aprovada se a diferença estiver dentro do limiar de erro especificado.

      Nota

      O limiar de erro pode ser uma Percentage, um Absolute Value ou Consistent or Not.

    • Field-level Comparison:

      A comparação no nível de campo corresponde, por padrão, a campos com o mesmo nome. Se os nomes dos campos nas tabelas de origem e de destino forem diferentes, clique em Add Field for Comparison para selecionar manualmente os campos e criar um par de comparação.

      • Source field: Selecione o campo da tabela de origem para comparação.

      • Destination field: Selecione o campo da tabela de destino para comparação.

      • Comparison Metric: Inclui métricas comuns como MAX, AVG, MIN e SUM.

        • Configure várias métricas de comparação para um único par de campos de origem e de destino.

        • Defina limiares de erro e opções de exclusão individualmente para cada métrica de comparação.

      • Error Threshold: A diferença calculada entre as tabelas de origem e de destino é comparada a este limiar. A comparação é aprovada se a diferença for menor que o limiar. Defina-o como Percentage, Absolute Value ou Consistent or Not.

        Nota

        • Absolute value of error threshold = |Source table metric value - Destination table metric value|

        • Percentage of error threshold = (|Source table metric value - Destination table metric value|) / Source table metric value × 100%

      • Ignore: As opções de exclusão suportadas variam conforme os tipos de dados dos campos comparados.

        Tipo de campo para comparação

        Opções de exclusão suportadas

        Campos do tipo inteiro (como INT, BIGINT, etc.)

        Ignore a Difference Between Null Value and Value 0.

        Campos do tipo string (como STRING, VARCHAR, TEXT, etc.)

        Ignore a Difference Between Null Value and Empty String.

        Campos do tipo numérico (incluindo tipos inteiros e de ponto flutuante)

        • Defina a Floating Precision para a comparação.

        • Ignore a Difference Between Null Value and Value 0.

        • Ignore trailing zeros in the decimal part..

        Comparação entre tipos inteiro e string

        Ignore trailing zeros in the decimal part..

        Comparação entre tipos inteiro e ponto flutuante

        • Ignore trailing zeros in the decimal part..

        • Ignore a Difference Between Null Value and Value 0.

        Comparação entre tipos ponto flutuante e string

        Ignore trailing zeros in the decimal part..

      • Operation: Remova campos redundantes ou desnecessários da comparação de campos.

    • Configure Custom Comparison Rules:

      Adicione métricas de comparação SQL personalizadas para comparar as tabelas de origem e de destino. Siga as etapas abaixo:

      1. Clique em Add Custom SQL Comparison Metric para adicionar uma métrica. Renomeie-a manualmente, se desejar.

        Após adicionar a métrica, defina o limiar de erro (suporta porcentagens e valores absolutos), clique em Configure para editar o conteúdo SQL personalizado ou clique em Delete para remover a métrica.

      2. Ajuste o Error Threshold conforme necessário. As opções suportadas são Percentage, Absolute Value e Consistent or Not.

      3. Após configurar o limiar de erro, clique em Configure na coluna Custom SQL para escrever o SQL das tabelas de origem e de destino e calcular uma métrica personalizada.

      4. Ao concluir a configuração, clique em OK.

    Comparação de texto completo

    1. A comparação de texto completo oferece os seguintes métodos:

      • Source Data Contained in Destination: A comparação é aprovada se a tabela de destino contiver todas as linhas da tabela de origem. A tabela de destino também pode conter dados adicionais.

      • Comparison by Row: Compara a contagem de linhas e o conteúdo entre as tabelas de origem e de destino, linha por linha.

        Ao configurar uma comparação linha a linha, defina um limiar de erro. As opções suportadas são Percentage, Absolute Value e Consistent or Not.

        Nota

        • Absolute value of error threshold = |Source table metric value - Destination table metric value|

        • Percentage of error threshold = (|Source table metric value - Destination table metric value|) / Source table metric value × 100%

    2. Após configurar o método de comparação de texto completo, selecione os campos a serem comparados. Por padrão, campos com o mesmo nome são comparados. Para comparar campos com nomes diferentes, clique em Add Field for Comparison e selecione os campos de origem e de destino.

      • Source field: Selecione o campo da tabela de origem para comparação.

      • Destination field: Selecione o campo da tabela de destino para comparação.

      • Full-text Comparison Based on Primary Keys: Uma comparação de texto completo requer uma chave primária para corresponder às linhas antes de comparar seu conteúdo.

      • Ignore: As opções de exclusão suportadas variam conforme os tipos de dados dos campos comparados.

        Tipo de campo para comparação

        Opções de exclusão suportadas

        Campos do tipo inteiro (como INT, BIGINT, etc.)

        Ignore a Difference Between Null Value and Value 0.

        Campos do tipo string (como STRING, VARCHAR, TEXT, etc.)

        Ignore a Difference Between Null Value and Empty String.

        Campos do tipo numérico (incluindo tipos inteiros e de ponto flutuante)

        • Defina a Floating Precision para a comparação.

        • Ignore a Difference Between Null Value and Value 0.

        • Ignore trailing zeros in the decimal part..

        Comparação entre tipos inteiro e string

        Ignore trailing zeros in the decimal part..

        Comparação entre tipos inteiro e ponto flutuante

        • Ignore trailing zeros in the decimal part..

        • Ignore a Difference Between Null Value and Value 0.

        Comparação entre tipos ponto flutuante e string

        Ignore trailing zeros in the decimal part..

      • Operation: Delete campos redundantes ou desnecessários da comparação de campos.

    3. Armazene os resultados de uma comparação de texto completo em uma fonte de dados configurada para consulta posterior.

      • Data Source Type: Apenas fontes de dados MaxCompute são suportadas.

      • Data Source Name: Selecione uma fonte de dados MaxCompute vinculada ao workspace na lista suspensa.

      • Connection Status: Garanta que a fonte de dados MaxCompute selecionada possa se conectar ao grupo de recursos configurado para a comparação de tabelas.

      • Table for Storage: Clique em Generate Storage Table para criar uma tabela chamada data_comparison_xxxxxx.

      • Tunnel quota: Selecione um recurso de transmissão de dados do MaxCompute. Para mais informações, consulte Comprar e usar grupos de recursos exclusivos para o Data Transmission Service.

    Configuração de agendamento

    Após configurar as regras, defina as propriedades de agendamento para o nó de comparação de dados. Para mais informações, consulte Configurar propriedades de agendamento para um nó.

    Etapa 3: Implantar e gerencie

    Implantar o nó

    Após configurar o nó, envie-o e implante-o. O nó implantado será executado periodicamente com base em sua configuração de agendamento.

    1. Na barra de ferramentas, clique no ícone image para salve o nó.

    2. Na barra de ferramentas, clique no ícone image para envie o nó.

      Na caixa de diálogo Submission, insira uma Change Description. Se necessário, selecione se deseja realizar uma revisão de código e teste de fumaça após o envio do nó.

      Nota

      • Configure o Rerun attribute e as dependências de Parent Nodes antes de enviar o nó.

      • A revisão de código ajuda a garantir a qualidade do código e impede que tarefas com código defeituoso sejam implantadas no ambiente de produção. Se a revisão de código estiver ativada, o código do nó enviado deve ser aprovado por um revisor antes da implantação. Para mais informações, consulte Revisão de código.

      • Para garantir que o nó agendado seja executado conforme esperado, recomenda-se realizar testes de fumaça antes da implantação. Para mais informações, consulte Teste de fumaça.

    Se você estiver usando um workspace no modo padrão, também deverá clicar em Deploy no canto superior direito da página de edição do nó após enviar a tarefa. Essa ação publica a tarefa no ambiente de produção. Para mais informações, consulte Implantar tarefas.

    Gerencie o nó

    Após a implantação do nó de comparação de dados, gerencie suas operações no Operation Center. Para mais informações, consulte Operation Center.

    Relatório de validação de dados

    Visualize o relatório de validação de dados no log de execução da tarefa. Acesse o relatório das seguintes maneiras:

    • Visualizar no Operation Center:

      1. Clique no ícone image e escolha All Products > Data Development and O&M > Operation and Maintenance Center (Workflow) para acessar o Operation Center.

      2. No painel de navegação à esquerda do Operation Center, acesse Auto Triggered Task O&M > Auto Triggered Instances para visualizar as instâncias do nó. Na coluna Operation, clique em More e selecione View Runtime Log.

      3. Na página de log, clique na aba Data Comparison para visualizar o relatório.

    • Visualizar a partir do log de execução:

      Ao executar o nó de comparação de dados na página Data Development, um link para o relatório de validação de dados aparecerá. Clique neste link para visualizar o relatório.

      Click url below to view more details: xxx