Todos os produtos
Search

Este produto

    DataWorks:Comparação de dados

    Central de documentação

    DataWorks:Comparação de dados

    Última atualização: Jun 27, 2026

    O DataWorks oferece nós de comparação de dados que permitem comparar informações entre tabelas diferentes de várias maneiras. Use esses nós em workflows. Este tópico descreve como usar um nó de comparação de dados para desenvolver tarefas.

    Introdução ao nó

    Os nós de comparação de dados não servem apenas para integração de dados, mas também permitem comparar tabelas. Eles aceitam escopos e métricas personalizados, possibilitando análises mais abrangentes.

    Limitações

    Somente grupos de recursos Serverless são suportados. Para obter mais informações sobre como adicionar e usar grupos de recursos Serverless, consulte Adicionar e usar um grupo de recursos Serverless.

    I. Crie um nó de comparação de dados

      1. Acesse a página Workspaces no console do DataWorks. Na barra de navegação superior, selecione a região desejada. Localize o workspace apropriado e escolha Shortcuts > Data Studio na coluna Actions.

    2. No painel de navegação à esquerda, clique em image para acessar o Desenvolvimento de Dados. À direita de Project Directory, clique em image e escolha New Node > Data Quality > Data Comparison. Siga as instruções para especificar o caminho e o nome do nó.

    II. Configure o nó de comparação de dados

    1. Configure informações da tabela de comparação

    O nó de comparação de dados exige apenas uma configuração simples das informações da tabela para comparar dados de fontes distintas. Os detalhes da configuração são os seguintes:

    Parâmetro

    Descrição

    Resource Group

    Selecione um grupo de recursos existente na lista suspensa.

    Task Resource Usage

    Quantidade de unidades de computação (CUs) alocadas para executar o nó de comparação de dados. Configure este parâmetro conforme necessário.

    Data Source Type

    Selecione os tipos de fontes de dados aos quais as tabelas de origem e destino pertencem separadamente.

    Data Source Name

    Escolha as fontes de dados às quais as tabelas de origem e destino pertencem individualmente.

    Connectivity

    Após concluir a configuração, clique em Test para verificar a conectividade entre a fonte de dados e o grupo de recursos.

    Table Name

    Selecione as tabelas de origem e destino a serem comparadas na lista suspensa.

    Nota

    Para uma fonte de dados MaxCompute, é possível selecionar um schema.

    WHERE Condition

    Insira uma condição WHERE para filtrar dados nas tabelas de origem e destino.

    Nota

    • Não é necessário inserir a palavra-chave WHERE durante a configuração.

    • Ao comparar tabelas particionadas, recomenda-se especificar a partição antes da execução. Caso contrário, ocorrerá o seguinte erro: Semantic analysis exception - physical plan generation failed: Table(<MaxCompute project name>,<table name>) is full scan with all partitions, please specify partition predicates.

    Shard Key

    Especifica uma coluna na tabela de origem como chave de fragmentação. Recomenda-se usar a chave primária ou uma coluna indexada como shard key.

    2. Configure regras de comparação

    Configure regras para uma Metric-based Comparison ou uma Full-text Comparison a fim de comparar dados de origem e destino.

    Comparação baseada em métricas

    • Table-level Comparison:

      Table Row Comparison: A comparação baseada em métricas suporta verificações no nível da tabela, como comparar a contagem de linhas de duas tabelas. A comparação será bem-sucedida se a diferença estiver dentro do limiar de erro especificado.

      Nota

      Defina o limiar de erro como Percentage, Absolute Value ou Consistent or Not.

    • Field-level Comparison:

      Por padrão, campos com o mesmo nome são comparados. Se os nomes dos campos nas tabelas de origem e destino forem diferentes, clique em Add Field for Comparison para mapear manualmente um campo de origem a um campo de destino para comparação.

      • Source Field: Selecione o campo da tabela de origem a ser comparado.

      • Target Field: Selecione o campo da tabela de destino a ser comparado.

      • Comparison Metric: Compare campos usando funções agregadas comuns, incluindo MAX, AVG, MIN e SUM.

        • Configure várias métricas de comparação para um par de campos das tabelas de origem e destino.

        • Defina valores distintos para os parâmetros Error Threshold e Ignored Object em diferentes métricas de comparação.

      • Error Threshold: A comparação terá sucesso se a diferença real for menor que o limiar de erro configurado. Defina o limiar como Percentage, Absolute Value ou Consistent or Not.

        Nota

        • Error Threshold Absolute Value = |Source Table Metric Value - Destination Table Metric Value|

        • Error Threshold of Error Threshold = (|Source metric value - Destination metric value|) / Source metric value × 100%

      • Ignore: As opções de ignorar suportadas variam conforme os tipos de dados dos campos comparados.

        Tipo de campo para comparação

        Opções de ignorar suportadas

        Campos do tipo inteiro (como INT, BIGINT, etc.)

        Ignore a Difference Between Null Value and Value 0.

        Campos do tipo string (como STRING, VARCHAR, TEXT, etc.)

        Ignore a Difference Between Null Value and Empty String.

        Campos do tipo numérico (incluindo inteiros e ponto flutuante)

        • Defina a Floating Precision para a comparação.

        • Ignore a Difference Between Null Value and Value 0.

        • Ative a opção Ignore trailing zeros in the decimal part..

        Comparação entre tipos inteiro e string

        Ative a opção Ignore trailing zeros in the decimal part..

        Comparação entre tipos inteiro e ponto flutuante

        • Ative a opção Ignore trailing zeros in the decimal part..

        • Ignore a Difference Between Null Value and Value 0.

        Comparação entre tipos ponto flutuante e string

        Ative a opção Ignore trailing zeros in the decimal part..

      • Operation: Remova campos de comparação desnecessários.

    • Configure Custom Comparison Rules:

      Execute as operações abaixo para adicionar métricas de comparação SQL personalizadas e comparar dados nas tabelas de origem e destino:

      1. Clique em Add Custom SQL Comparison Metric para incluir as métricas que deseja comparar. Renomeie as métricas manualmente, se necessário.

        Após adicionar uma métrica, a tabela exibirá opções para configurar o Error Threshold, escrever o Custom SQL (clicando em Configure) e exclua a métrica usando a opção Delete.

      2. Ajuste o Error Threshold conforme necessário. Defina o limiar como Percentage, Absolute Value ou Consistent or Not.

      3. Depois de configurar o limiar de erro, clique em Custom SQL na coluna Custom SQL para escrever consultas SQL para as tabelas de origem e destino, definindo como a métrica será calculada.

      4. Ao concluir a configuração, clique em OK.

    Comparação de texto completo

    1. Ao definir o método de comparação como texto completo, ajuste o Full-text Comparison Type para obter diferentes efeitos de comparação.

      • Source Data Contained in Destination: A comparação será bem-sucedida se cada linha da tabela de origem também estiver presente na tabela de destino. Nesse caso, a tabela de destino pode conter mais linhas que a tabela de origem.

      • Comparison by Row: Compara as tabelas de origem e destino linha por linha para identificar diferenças no conteúdo e na contagem de linhas.

        Ao configurar uma comparação linha por linha, defina um Error Threshold. Estabeleça o limiar como Percentage, Absolute Value ou Consistent or Not.

        Nota

        • Error Threshold Absolute Value = |Source Table Metric Value - Destination Table Metric Value|

        • Error Threshold of Error Threshold = (|Source metric value - Destination metric value|) / Source metric value × 100%

    2. Após configurar o Full-text Comparison Type, selecione os campos a serem comparados. Por padrão, campos com o mesmo nome são comparados. Para comparar campos com nomes diferentes, clique em Add Comparison Field e selecione os campos de origem e destino.

      • Source Field: Selecione o campo da tabela de origem para comparação.

      • Target Field: Selecione o campo da tabela de destino para comparação.

      • Compare Primary Keys: Para uma comparação de texto completo, especifique uma chave primária para corresponder às linhas antes de comparar seu conteúdo.

      • Ignore: As opções de ignorar suportadas variam conforme os tipos de dados dos campos comparados.

        Tipo de campo para comparação

        Opções de ignorar suportadas

        Campos do tipo inteiro (como INT, BIGINT, etc.)

        Ignore a Difference Between Null Value and Value 0.

        Campos do tipo string (como STRING, VARCHAR, TEXT, etc.)

        Ignore a Difference Between Null Value and Empty String.

        Campos do tipo numérico (incluindo inteiros e ponto flutuante)

        • Defina a Floating Precision para a comparação.

        • Ignore a Difference Between Null Value and Value 0.

        • Ative a opção Ignore trailing zeros in the decimal part..

        Comparação entre tipos inteiro e string

        Ative a opção Ignore trailing zeros in the decimal part..

        Comparação entre tipos inteiro e ponto flutuante

        • Ative a opção Ignore trailing zeros in the decimal part..

        • Ignore a Difference Between Null Value and Value 0.

        Comparação entre tipos ponto flutuante e string

        Ative a opção Ignore trailing zeros in the decimal part..

      • Operation: Clique em Delete para remover campos de comparação desnecessários.

    3. Armazene os resultados da comparação de texto completo para visualizar os detalhes após a conclusão da comparação. Configure uma fonte de dados para armazenar esses resultados.

      • Data Source Type: Somente fontes de dados MaxCompute são suportadas.

      • Data Source Name: Selecione uma fonte de dados MaxCompute vinculada ao workspace na lista suspensa.

      • Connectivity: Garanta que a fonte de dados MaxCompute selecionada possa se conectar ao grupo de recursos configurado para as tabelas de comparação.

      • Table for Storage: Clique em Generate Storage Table para criar uma tabela de armazenamento com nome no formato data_comparison_xxxxxx.

      • Tunnel Quota: Selecione um recurso de transmissão de dados do MaxCompute na lista suspensa. Para mais informações, consulte Comprar e usar um grupo de recursos exclusivo para Integração de Dados.

    3. Configuração de agendamento

    Após configurar as regras, clique em Scheduling Settings no painel à direita para definir as propriedades de agendamento do nó de comparação de dados. Para mais detalhes, consulte Configurar agendamento para um nó.

    III. Implantação e operações

    1. Implantar o nó de comparação de dados

    Depois de configurar uma tarefa no nó de comparação de dados, envie e implante o nó. Após o envio e a implantação, o sistema executará o nó regularmente com base nas configurações de agendamento.

    1. Clique em image na barra de ferramentas superior para salve o nó.

    2. Clique em image na barra de ferramentas superior para implantar o nó.

    Para obter operações detalhadas sobre a implantação de nós, consulte Implantar um nó ou workflow.

    2. Operar o nó de comparação de dados

    Após a implantação bem-sucedida do nó de comparação de dados, realize operações no nó pelo Operation Center. Para mais informações, consulte Operation Center.

    3. Visualize o relatório de validação de dados

    Visualize o relatório de validação de dados no log de execução da tarefa pelos métodos a seguir:

    • Visualização no Operation Center:

      1. No canto superior esquerdo da página, clique em image e escolha All Products > Data Development and O&M > Operation and Maintenance Center (Workflow) para acessar o Operation Center.

      2. No painel de navegação à esquerda do Operation Center, escolha Auto Triggered Task O&M > Cycle Examples para visualizar as instâncias geradas para o nó de comparação de dados. Na coluna Operation, clique em More e selecione View Run Logs.

      3. Na página de log, clique em Data Comparison para visualizar o relatório.

    • Visualização na aba Log:

      Se você executar o nó de comparação de dados na página de Desenvolvimento de Dados, clique em link no log para abrir o relatório de validação de dados.

      Run successfully
Click url below to view more details: https://dqc-cn-shanghai.data.aliyun.com/?defaultProjectId=814397&instanceId=1748247966625d1dfc93063c04f38a6549986
2196c455#/job/consistency-result-check/detail
2025-05-26 16:27:14 INFO ========================================================================
2025-05-26 16:27:14 INFO Exit code of the Shell command 0
2025-05-26 16:27:14 INFO --- Invocation of Shell command completed ---
2025-05-26 16:27:14 INFO Shell run successfully!
2025-05-26 16:27:14 INFO Current task status: FINISH
2025-05-26 16:27:14 INFO Cost time is: 70.195s
/home/admin/alisatasknode/taskinfo//20250526/executor/16/25/45/scn55otppszv9757kmhjsjbw/T3_6915242209.log-END-EOF