Todos os produtos
Search

Este produto

    DataWorks:Configure a single-table batch synchronization task in wizard mode

    Central de documentação

    DataWorks:Configure a single-table batch synchronization task in wizard mode

    Última atualização: Sep 12, 2026

    O Data Integration oferece uma interface visual sem código que orienta você na configuração de uma origem e um destino para sincronizar periodicamente dados completos ou incrementais de uma única tabela ou de tabelas fragmentadas para uma tabela de destino. A configuração específica varia conforme a fonte de dados. Para mais informações, consulte Supported data sources and synchronization solutions.

    Pré-requisitos

    • Configure os bancos de dados de origem e de destino necessários no Data Source Management. Para mais informações, consulte Data source list.

      Nota

    • Adquira um grupo de recursos com especificações adequadas e associe-o ao workspace. Para mais informações, consulte Use serverless resource groups.

    • Estabeleça conectividade de rede entre o grupo de recursos e as fontes de dados. Para mais informações, consulte Configure network connectivity.

    • Caso precise sincronizar uma tabela do MaxCompute não vinculada ao workspace atual (por exemplo, em uma sincronização entre projetos), adicione primeiro o projeto MaxCompute de destino como uma fonte de dados do DataWorks. Isso permite selecionar a tabela como origem ou destino na tarefa de sincronização. Para mais informações sobre como configurar fontes de dados, consulte Data Source Management.

    • Em cenários entre contas, a forma recomendada de adicionar uma fonte de dados na outra conta é por meio da autorização entre contas. Isso elimina a necessidade de manter manualmente as informações de conexão e as credenciais da instância na outra conta. Se a autorização entre contas não for compatível e a fonte de dados oferecer suporte ao Connection String Mode, como o StarRocks, insira manualmente as informações de conexão da instância na outra conta, incluindo Host Address, Port, Load URL, Database Name, Username e Password. Após a fonte de dados passar no teste de conectividade, extraia seus metadados e selecione-a como fonte de dados de origem ou destino em um nó de integração de dados do DataWorks. Isso se aplica tanto à sincronização em lote configurada na interface visual sem código do DataStudio quanto ao modo de editor de código, abrangendo também cenários de fragmentação e O&M gerenciados pelo Operation Center.

    Etapa 1: Criar um nó do Data Integration

    Data Studio (new version)

    1. Faça logon no console do DataWorks. No painel de navegação à esquerda, escolha Data Development and O&M > DataStudio. Selecione o workspace desejado na lista suspensa e clique em <p><a href={url} target="_blank">Learn more.</a></p>Data Studio.

    2. Crie um fluxo de trabalho. Para mais informações, consulte Workflows.

    3. Crie um nó do Data Integration de uma das seguintes maneiras:

      • Método 1: No canto superior direito da lista de fluxos de trabalho, clique em image e escolha Create Node > Data Integration.

      • Método 2: Clique duas vezes no nome do fluxo de trabalho e arraste o nó Data Integration do diretório Data Integration para o painel de edição do fluxo de trabalho à direita.

    4. Configure os tipos de origem e destino para o nó, selecione Single Table Batch Sync como o tipo específico e clique em OK para concluir a criação.

    Legacy Data Studio

    1. Faça logon no console do DataWorks. No painel de navegação à esquerda, escolha Data Development and O&M > DataStudio. Selecione o workspace desejado na lista suspensa e clique em Data Analytics.

    2. Crie um fluxo de trabalho. Para mais informações, consulte Create a workflow.

    3. Crie um nó de sincronização em lote de uma das seguintes maneiras:

      • Método 1: Expanda o fluxo de trabalho, clique com o botão direito em Data Integration > Create Node > Batch Synchronization.

      • Método 2: Clique duas vezes no nome do fluxo de trabalho e arraste o nó Batch Synchronization do diretório Data Integration para o painel de edição do fluxo de trabalho à direita.

    4. Siga as instruções na tela para criar um nó de sincronização em lote.

    Etapa 2: Configurar fontes de dados e recursos de execução

    Neste exemplo, o tipo de fonte de dados da Source está definido como MySQL e a fonte de dados como mysql. O tipo de fonte de dados do Destination está definido como MaxCompute (ODPS) e a fonte de dados como own_mc. O Resource Group está definido como dwGroup e o CU como 0,5 CU.

    1. Nas seções Source Information e Destination, selecione os objetos de fonte de dados dos quais deseja ler dados e nos quais deseja gravar dados.

    2. Na seção Runtime Resource, selecione o Resource Group para a tarefa de sincronização e aloque Resource Group CU para a tarefa. Se sua tarefa de sincronização encontrar um erro de falta de memória (OOM) devido a recursos insuficientes, aumente o valor de CU do grupo de recursos. Para configurações recomendadas de cota de recursos, consulte Resource group performance metrics - Data Integration.

    3. Certifique-se de que as fontes de dados de origem e de destino passem na Connectivity Check. Se a rede entre a fonte de dados e o grupo de recursos não estiver conectada, siga as instruções na tela ou a documentação para configurar a conectividade de rede. Para mais informações, consulte Configure network connectivity.

    Nota

    • Se um grupo de recursos não for exibido, verifique se ele foi associado ao workspace. Para mais informações, consulte Use serverless resource groups.

    Etapa 3: Configurar a solução de sincronização

    Nas seções de origem e destino, configure as tabelas para leitura e gravação de dados e especifique o escopo dos dados para sincronização.

    Importante

    As configurações variam dependendo do plug-in. O conteúdo a seguir usa configurações comuns como exemplos. Para saber se um plug-in específico é compatível com determinada configuração e como ela funciona, consulte a documentação desse plug-in. Para mais informações, consulte Data source list.

    1. Source

    Na seção de origem, configure a tabela de dados e preencha os parâmetros necessários.

    Operação

    Descrição

    Configurar filtragem de dados

    • Alguns tipos de origem são compatíveis com filtragem de dados. Especifique uma condição de cláusula WHERE (sem a palavra-chave WHERE) para filtrar os dados de origem. Apenas os dados que atendem à condição são sincronizados. Para mais informações, consulte Configure data filtering.

    • A filtragem de dados aceita apenas expressões condicionais de cláusula WHERE. Não há suporte para SELECT, JOIN ou outras instruções SQL. Se precisar de consultas SQL complexas durante a sincronização (como funções UDF, JOINs de várias tabelas ou transformações SQL em memória), use uma abordagem passo a passo: execute a lógica complexa por meio de um nó SQL do MaxCompute ou um nó PyODPS, grave os resultados em uma tabela temporária e, em seguida, configure um nó do Data Integration para ler da tabela temporária e sincronizar com o destino final.

    • Para implementar sincronização incremental, combine essa condição de filtro com parâmetros de agendamento para que a condição mude dinamicamente. Por exemplo, se usar gmt_create >= '${bizdate}', a tarefa sincronizará apenas os dados adicionados no dia atual a cada execução. Também é necessário atribuir um valor à variável ao definir as configurações de agendamento. Para mais informações, consulte Configure scheduling parameters.

    O método de configuração de sincronização incremental varia dependendo da fonte de dados (plug-in).

    Se nenhuma condição de filtragem de dados for configurada, todos os dados da tabela serão sincronizados por padrão.

    Configurar uma chave de divisão para bancos de dados relacionais

    Especifique a coluna usada para dividir os dados para leituras simultâneas durante a sincronização.

    Recomendamos usar a chave primária como chave de divisão, pois as chaves primárias geralmente são distribuídas uniformemente, o que evita pontos de acesso aos dados.

    Atualmente, a chave de divisão aceita apenas tipos inteiros. Tipos string, ponto flutuante, data e outros não são suportados. Se especificar um tipo não suportado, o DataWorks ignorará a chave de divisão e usará um único canal para sincronização.

    Se não especificar uma chave de divisão, a sincronização de dados usará um único canal.

    Nem todos os plug-ins são compatíveis com chave de divisão. As informações anteriores servem apenas como referência. Para detalhes, consulte a documentação do plug-in. Para mais informações, consulte Data source list.

    2. Processamento de dados

    Importante

    O processamento de dados é um recurso da nova versão do Data Studio. No Legacy Data Studio, selecione Use New UI (With Data Processing Feature) ao criar uma tarefa. Recomendamos atualizar workspaces legados para a nova versão para utilizar toda a gama de recursos: Upgrade to the new version.

    O processamento de dados permite transformar dados da tabela de origem usando métodos como substituição de strings, processamento assistido por IA e vetorização de dados antes de gravá-los na tabela de destino.

    Tome a substituição de strings como exemplo. Os itens de configuração incluem Name e Description. Nas regras de substituição, selecione o Field Name, insira o Content to Replace (que aceita Regular Expression Matching e Case-Sensitive Matching) e especifique o Replacement Content. Clique em Add Rule para adicionar várias regras de substituição e use o Data Output Preview no canto superior direito para visualizar os resultados do processamento.

    1. Clique no botão alternar para ativar o processamento de dados.

    2. Na Data Processing List, clique em Add Node e selecione um tipo de processamento de dados: Replace String, AI-Assisted Processing ou Data Vectorization. É possível adicionar vários nós de processamento de dados. O DataWorks os processa em ordem.

    3. Configure as regras de processamento de dados conforme solicitado. Para obter informações sobre processamento assistido por IA e vetorização de dados, consulte Data processing.

      Nota

      O processamento de dados requer recursos computacionais adicionais, o que aumenta o consumo de recursos e a duração da tarefa. Minimize a complexidade do processamento para evitar afetar a eficiência da sincronização.

    3. Destination

    Na seção de destino, configure a tabela de dados e preencha os parâmetros necessários.

    Operação

    Descrição

    Configurar instruções pré e pós-sincronização

    Algumas fontes de dados permitem executar instruções SQL no destino antes da sincronização (antes de gravar dados) e após a sincronização (após gravar dados).

    Exemplo: O MySQL Writer aceita configuração de preSql e postSql, permitindo executar comandos MySQL antes ou depois que os dados forem gravados no MySQL. Por exemplo, configure o comando de truncamento de tabela do MySQL truncate table tablename no campo Statement Run Before Writing (preSql) para limpar dados antigos da tabela antes da sincronização.

    Definir o modo de resolução de conflitos de gravação

    Defina como os dados são gravados no destino quando ocorrem conflitos, como conflitos de caminho ou chave primária. Consulte a documentação do plug-in writer específico para detalhes de configuração.

    Notas de configuração de tabela particionada do MaxCompute

    Quando o destino for uma tabela particionada do MaxCompute, observe o seguinte:

    • Identificação de coluna de partição: O DataWorks identifica automaticamente a estrutura de partição da tabela de destino do MaxCompute. Se apenas algumas colunas de partição forem exibidas na interface, verifique se todas as colunas de partição estão definidas corretamente tanto no ambiente de desenvolvimento quanto no ambiente de produção. Se a tarefa falhar e solicitar a configuração das informações de partição da tabela, preencha os parâmetros de partição na configuração de destino.

    • Atualização do mapeamento de colunas: Se novas colunas forem adicionadas à origem ou ao destino, mas não aparecerem na seção de mapeamento de colunas, tente os seguintes métodos para atualizar o cache:

      1. Certifique-se de que os esquemas de tabela nos ambientes de desenvolvimento e produção estejam atualizados.

      2. Na página de configuração, alterne para uma tabela diferente e retorne à tabela original para atualizar o cache.

      3. Se o cache ainda não for atualizado, reinicie o navegador ou use o modo anônimo para reabrir a página de configuração.

    4. Configurar mapeamentos de colunas

    Após selecionar a origem e o destino, especifique o mapeamento de colunas entre o reader e o writer. A tarefa grava as colunas de origem nas colunas de destino correspondentes com base nos mapeamentos.

    • Se uma coluna de origem não estiver mapeada para uma coluna de destino, seus dados não serão sincronizados.

    • Caso o mapeamento automático não corresponda às suas expectativas, ajuste os mapeamentos manualmente.

    • Para remover um mapeamento de coluna, exclua a linha de mapeamento entre as colunas de origem e destino. Os dados dessa coluna de origem não serão sincronizados.

    Incompatibilidades de tipo de coluna entre a origem e o destino podem gerar dados incorretos, impedindo que os dados sejam gravados no destino. Para definir o número de registros de dados incorretos toleráveis, configure as Advanced Configurations na próxima etapa.

    Há suporte para mapeamento por mesmo nome, mesma linha, mapeamento inteligente e mapeamento baseado em regras. Durante a configuração, você também pode:

    • Mapeamento inteligente: O Data Integration usa análise semântica de IA para identificar automaticamente nomes de colunas, tipos de dados e comentários das tabelas de origem e destino, recomendando mapeamentos ideais. Basta confirmar as recomendações ou fazer pequenos ajustes.

      Na seção de mapeamento de colunas, clique em Intelligent Mapping para abrir a caixa de diálogo de mapeamento inteligente. Descreva seus requisitos de mapeamento em linguagem natural.

      • Cenário aplicável

        Exemplo típico

        Prompt recomendado

        Correspondência semântica global

        Nomes de colunas completamente diferentes, mas com o mesmo significado (Exemplo: user_id ↔ device_id)

        Perform semantic matching on all columns of the source and destination tables, and automatically identify columns with the same meaning.

        Correspondência de domínio de negócio específico

        Apenas colunas de negócio específicas precisam ser mapeadas (Exemplo: apenas colunas relacionadas a "usuário" ou "pedido")

        Map only the columns in the source table that contain "user information" (such as name, phone number, and ID) to the corresponding columns in the destination table.(Nota: Substitua a palavra-chave por "pedido", "logística", "pagamento", etc.)

        Diferenças de convenção de prefixo/sufixo

        Nomes principais iguais, mas prefixos/sufixos diferentes (Exemplo: src_user_name ↔ tgt_user_name)

        Ignore prefix and suffix differences in column names, and perform semantic matching based on core names only.

        Correspondência de abreviação e nome completo

        Um lado usa abreviações enquanto o outro usa nomes completos (Exemplo: amt ↔ amount)

        Identify common English abbreviation-to-full-name mappings (such as amt=amount, addr=address) and create mappings accordingly.

        Excluir colunas específicas

        Algumas colunas são semelhantes, mas não precisam ser sincronizadas (Exemplo: create_time não é necessária)

        Perform semantic matching, but exclude all columns that contain "time" or "log" in their names.

        Correção de lógica complexa

        O resultado da correspondência automática está incorreto e é necessária orientação manual

        Do not map the id column of the source table to the order_id column of the destination table. Regenerate the mapping suggestions.

      • Após inserir a descrição, clique em Generate Preview. O sistema exibe os mapeamentos sugeridos na seção Matching Result Preview. Revise e selecione os mapeamentos necessários e clique em Apply para adicionar os mapeamentos selecionados ao mapeamento de colunas. Se não estiver satisfeito com os resultados, ajuste a descrição e regenere a visualização.

    • Mapeamento baseado em regras: Quando os nomes das colunas entre a origem e o destino seguem um padrão, use o recurso Rule-Based Mapping para criar mapeamentos de colunas em massa. Configure regras como correspondência de prefixo/sufixo ou substituição de caracteres, visualize os resultados do mapeamento e clique em Apply.

    • Atribuir valores às colunas de destino: Adicione constantes, parâmetros de agendamento e variáveis internas à tabela de destino clicando em Add Fields na coluna Source Table Field. Por exemplo, '123', '${scheduling parameter}', '#{built-in variable}#'.

      Nota

      Para mais informações sobre parâmetros de agendamento, consulte Configure scheduling parameters.

    • Adicionar variáveis internas: Adicione variáveis internas manualmente, mapeie-as para colunas de destino e envie as variáveis internas para tarefas downstream.

      As variáveis internas disponíveis para cada plug-in são as seguintes:

      Variável interna

      Descrição

      Plug-in compatível

      '#{DATASOURCE_NAME_SRC}#'

      Nome da fonte de dados de origem

      • MySQL Reader

      • MySQL (sharded) Reader

      • PolarDB Reader

      • PolarDB (sharded) Reader

      • PostgreSQL Reader

      • PolarDB-O Reader

      • PolarDB-O (sharded) Reader

      '#{DB_NAME_SRC}#'

      Nome do banco de dados onde a tabela de origem reside

      • MySQL Reader

      • MySQL (sharded) Reader

      • PolarDB Reader

      • PolarDB (sharded) Reader

      • PostgreSQL Reader

      • PolarDB-O Reader

      • PolarDB-O (sharded) Reader

      '#{SCHEMA_NAME_SRC}#'

      Nome do esquema onde a tabela de origem reside

      • PolarDB Reader

      • PolarDB (sharded) Reader

      • PostgreSQL Reader

      • PolarDB-O Reader

      • PolarDB-O (sharded) Reader

      '#{TABLE_NAME_SRC}#'

      Nome da tabela de origem

      • MySQL Reader

      • MySQL (sharded) Reader

      • PolarDB Reader

      • PolarDB (sharded) Reader

      • PostgreSQL Reader

      • PolarDB-O Reader

      • PolarDB-O (sharded) Reader

      '#{FILE_NAME_SRC}#'

      Nome do arquivo

      • OSS Reader

      • HDFS Reader

      • FTP Reader

      • TOS Reader

      • COS Reader

      • S3 Reader

      • Azure Blob Reader

      '#{FILE_PATH_SRC}#'

      Caminho absoluto do arquivo

      • OSS Reader

      • HDFS Reader

      • FTP Reader

      • TOS Reader

      • COS Reader

      • S3 Reader

      • Azure Blob Reader

    • Editar colunas de origem: Clique em Manually Edit Mapping para realizar as seguintes operações:

      • Use funções compatíveis com o banco de dados de origem para processar colunas. Por exemplo, use Max(id) para sincronizar apenas o valor máximo.

      • Edite manualmente as colunas de origem se o mapeamento de colunas não recuperar todas as colunas.

      Nota

      O MaxCompute Reader não aceita o uso de funções.

    Etapa 4: Configuração avançada

    Importante

    A configuração avançada equivale ao recurso Channel Control da versão anterior da sincronização de dados.

    Utilize a configuração avançada para controlar propriedades do processo de sincronização de dados. Para mais informações, consulte Channel Control.

    Parâmetro

    Descrição

    Expected Maximum Concurrency

    Define o número máximo de threads simultâneas para leitura da origem ou gravação no destino.

    Nota

    • Devido às especificações de recursos e outros fatores, a simultaneidade real durante a execução pode ser menor ou igual ao valor configurado. O grupo de recursos é cobrado com base na simultaneidade real. Para mais informações, consulte Billing details.

    • As taxas de agendamento de tarefas estão relacionadas ao número de tarefas de sincronização em lote de tabela única, não à simultaneidade configurada.

    Sync Rate

    Controla a velocidade de sincronização.

    • Limitação: Limita a velocidade de sincronização para proteger o banco de dados de origem contra carga excessiva de leitura. O valor mínimo de limitação é 1 MB/s.

    • Sem limitação: A tarefa fornece o desempenho máximo de transferência disponível, sujeito à simultaneidade configurada.

    Nota

    A métrica de tráfego é medida pelo Data Integration e não representa o tráfego real da NIC. O tráfego da NIC é tipicamente 1 a 2 vezes maior que o tráfego do canal, dependendo da serialização de transporte do sistema de armazenamento de dados.

    Policy for Dirty Data Records

    Dados incorretos referem-se a registros de dados que falham ao serem gravados no destino devido a exceções, como conflitos de tipo ou violações de restrição. A sincronização em lote de tabela única aceita a definição de uma política de dados incorretos. Defina o número de registros de dados incorretos a tolerar e como eles afetam a tarefa.

    • Se nenhuma configuração for especificada, dados incorretos são permitidos por padrão e não afetam a execução da tarefa.

    • Se o valor for definido como 0, nenhum dado incorreto será permitido. Se dados incorretos forem gerados durante a sincronização, a tarefa falhará.

    • Se dados incorretos forem permitidos e um limiar for definido:

      • Se os dados incorretos gerados estiverem dentro do limiar, a tarefa de sincronização ignora os dados incorretos (eles não são gravados no destino) e continua a execução normalmente.

      • Se os dados incorretos gerados excederem o limiar, a tarefa de sincronização falhará.

    Importante

    Dados incorretos em excesso afetam a velocidade geral de sincronização da tarefa.

    Distributed Execution

    Controla se o modo distribuído deve ser ativado para a tarefa.

    • Ativado: Divide a tarefa em vários processos para execução simultânea, superando o gargalo de processo único e melhorando a eficiência da sincronização.

    • Desativado: A tarefa é executada em um único processo.

    O modo distribuído é recomendado para requisitos de alto desempenho. Ele também pode utilizar recursos fragmentados nas máquinas, melhorando a utilização de recursos.

    Importante

    • A simultaneidade deve ser 8 ou maior para ativar o processamento distribuído.

    • Ativar o processamento distribuído consome mais recursos. Se ocorrer um erro de falta de memória (OOM) durante a execução, tente desativar esse recurso.

    Time Zone

    Para sincronização entre fusos horários, configure o fuso horário de origem para conversão de fuso horário.
    Nota

    Além das configurações anteriores, a velocidade geral de sincronização também é afetada pelo desempenho da fonte de dados de origem, pelo ambiente de rede e por outros fatores. Para mais informações sobre velocidade de sincronização e ajustes, consulte Synchronization speed and tuning.

    Etapa 5: Configurar definições de agendamento

    Para uma tarefa de sincronização em lote de tabela única com agendamento periódico, configure as propriedades para agendamento automático. Acesse a página de edição do nó, clique em Scheduling Settings no lado direito e defina as configurações de agendamento para o nó.

    Configure parâmetros de agendamento, políticas de agendamento, horário de agendamento e dependências para a tarefa de sincronização. O método de configuração é o mesmo utilizado para outros nós de desenvolvimento de dados.

    Para mais informações sobre o uso de parâmetros de agendamento, consulte Typical scenarios of scheduling parameters in Data Integration .

    Etapa 6: Testar e implantar a tarefa

    • Configure os parâmetros de execução.

      No lado direito da página de configuração da tarefa de sincronização em lote de tabela única, clique em Run Configuration e configure os seguintes parâmetros para execuções de teste.

      Item de configuração

      Descrição

      Resource Group

      Selecione um grupo de recursos que tenha conectividade de rede com as fontes de dados.

      Script Parameters

      Atribua valores aos parâmetros de espaço reservado na tarefa de sincronização de dados. Por exemplo, se a tarefa do Data Integration usar o parâmetro ${bizdate}, configure um parâmetro de data no formato yyyymmdd.

    • Execute a tarefa.

      Clique no botão Executar image na barra de ferramentas para executar e depurar a tarefa no Data Studio. Em seguida, crie um nó do tipo de tabela de destino correspondente para consultar os dados da tabela de destino e verificar se os dados sincronizados atendem às expectativas.

    • Implante a tarefa.

      Após a tarefa passar na execução de teste, se precisar ser executada periodicamente, clique no botão image na parte superior da página de edição do nó para implantar a tarefa no ambiente de produção. Para mais informações sobre implantação de tarefas, consulte Deploy tasks.

    Limitações

    • Tarefas de sincronização em lote de tabela única só podem ser configuradas no Data Studio.

    • Algumas fontes de dados não aceitam o modo assistente para configurar tarefas de sincronização em lote de tabela única.

      Após selecionar uma fonte de dados, se o sistema indicar que a fonte de dados atual não aceita o modo assistente, clique no ícone image.png na barra de ferramentas para alternar para o modo de script e continuar configurando a tarefa. Para mais informações, consulte Script mode configuration.

    • O modo assistente possui baixa curva de aprendizado, mas não aceita alguns recursos avançados. Para um gerenciamento de configuração mais granular, clique no ícone de conversão para script na barra de ferramentas para alternar para o modo de script.

    • Uma tarefa de sincronização em lote de tabela única no modo assistente aceita a configuração de sincronização para uma única tabela e sharded database and table synchronization parcial (a sincronização de banco de dados e tabelas fragmentadas é compatível apenas com certos tipos de fontes de dados e requer esquemas de tabela consistentes). Não há suporte para sincronização de banco de dados completo (sincronização em massa de esquemas de tabela e dados). Para sincronização completa de banco de dados, consulte Full-database batch synchronization tasks.

    • Uma tarefa de sincronização em lote não pode ser convertida diretamente em uma tarefa de sincronização em tempo real. Se precisar de sincronização de dados em tempo real, crie um nó single-table real-time synchronization task.

    • Se uma mensagem indicar que o nome do nó é muito longo ao implantar a tarefa, modifique o nome do nó na configuração avançada na página de implantação. Certifique-se de que o nome não exceda 128 caracteres.

    Próxima etapa

    Após a implantação da tarefa, acesse o Operation Center no ambiente de produção para visualizar a tarefa agendada. Para mais informações sobre execução, gerenciamento e monitoramento de tarefas do Data Integration, consulte Data Integration task O&M.

    Referências