DataWorks:Configure real-time full-database synchronization tasks

Operation

Description

Refresh

O sistema lista automaticamente as tabelas de origem selecionadas, mas as propriedades específicas das tabelas de destino só entram em vigor após você atualizar e confirmá-las.

• Selecione as tabelas a serem sincronizadas em lote e clique em batch refresh mapping.

• Nome da tabela de destino: o nome é gerado automaticamente com base nas regras de Customize Mapping Rules for Destination Table Names. O formato padrão é ${source_database_name}_${table_name}. Se não existir uma tabela com o mesmo nome no destino, o sistema a cria automaticamente.

Customize Mapping Rules for Destination Table Names (opcional)

O sistema possui uma regra padrão de geração de nomes de tabela: ${source_database_name}_${table_name}. Clique no botão Edit na coluna Customize Mapping Rules for Destination Table Names para adicionar uma regra personalizada de nome de tabela de destino.

• Nome da regra: defina o nome da regra. Recomenda-se especificar um nome com significado de negócio claro.

• Nome da tabela de destino: clique no botão e selecione Manually enter e Built-in Variable para concatenar e gerar o nome da tabela de destino. As variáveis suportadas incluem nome da fonte de dados de origem, nome do banco de dados de origem e nome da tabela de origem.

• Editar variáveis integradas: aplique transformações de string nas variáveis integradas.

Os seguintes cenários são suportados:

1. Adicionar prefixos ou sufixos aos nomes de tabelas: adicione um prefixo ou sufixo ao nome da tabela de origem definindo constantes.

   Rule configuration	Result

2. Substituição unificada de strings: substitua a string dev_ no nome da tabela de origem por prd_.

   Rule configuration	Result

3. Gravar múltiplas tabelas em uma única tabela: defina o nome da tabela de destino como uma constante.

   Rule configuration	Result

Tanto MaxCompute quanto Hologres suportam personalização do mapeamento de nome do schema de destino. Ao sincronizar um banco de dados MySQL completo para o MaxCompute em tempo real, configure regras de personalização do mapeamento de nome do schema de destino para rotear os dados sincronizados para um schema não padrão especificado no projeto MaxCompute de destino, em vez de gravar todos os dados no schema padrão.

Edit column type mapping (opcional)

O sistema possui mapeamentos padrão entre os tipos de coluna de origem e destino. Clique em Edit Mapping of Field Data Types no canto superior direito da tabela para personalizar os mapeamentos de tipo de coluna entre as tabelas de origem e destino e, em seguida, clique em Apply and Refresh Mapping.

Ao editar os mapeamentos de tipo de coluna, certifique-se de que as regras de conversão de tipo estejam corretas. Regras incorretas podem causar falhas na conversão de tipos, resultando em dados inválidos e afetando a execução da tarefa.

Edit destination table schema (opcional)

O sistema cria automaticamente as tabelas de destino que não existem com base nas regras de mapeamento de nome de tabela personalizado, ou reutiliza tabelas existentes com o mesmo nome.

O DataWorks gera automaticamente o schema da tabela de destino com base no schema da tabela de origem. Na maioria dos casos, nenhuma intervenção manual é necessária. O schema da tabela também pode ser modificado das seguintes formas:

• Adicionar colunas a uma única tabela: clique no botão na coluna Target Table para adicionar colunas.

• Adicionar colunas em lote: selecione todas as tabelas a serem sincronizadas e escolha Batch Edit > Destination Table Schema - Batch Modify and Add Field na parte inferior da tabela.

• Não há suporte para renomear nomes de colunas.

Para tabelas existentes, é possível apenas adicionar colunas. Para novas tabelas, é possível adicionar colunas, colunas de partição e configurar o tipo de tabela ou as propriedades da tabela. Consulte as áreas editáveis na página para obter detalhes.

Value assignment

As colunas nativas são mapeadas automaticamente com base em colunas de mesmo nome nas tabelas de origem e destino. As colunas adicionadas e colunas de partição das etapas anteriores requerem atribuição de valor manual. Execute as seguintes operações:

• Atribuir valores a uma única tabela: clique no botão Configuration na coluna Value assignment para atribuir valores às colunas da tabela de destino.

• Atribuir valores em lote: selecione Batch Edit > Value assignment na parte inferior da lista para atribuir valores em lote às colunas de mesmo nome nas tabelas de destino.

Na atribuição de valores, use constantes ou variáveis. Alterne o tipo em Value Type. Os seguintes métodos são suportados:

• Table columns

  • Atribuição manual: insira diretamente um valor constante, como abc.

  • Selecionar uma variável: selecione uma variável suportada pelo sistema na lista suspensa. O significado de cada variável pode ser consultado no tooltip na página.

  • Função: aplique uma transformação simples à coluna de destino usando uma função. Para mais informações, consulte Use functions for column value transformation.

• Partition columns: As partições podem ser criadas dinamicamente com base nos valores de enumeração das colunas de origem ou no tempo do evento como valores de partição.

  • Manual assignment: Insira diretamente um valor constante, como abc.

  • Source column: Use o valor de uma coluna da tabela de origem como valor da coluna de partição. O tipo de valor pode ser um valor de coluna ou um valor de tempo.

    • Column value: Os valores de enumeração da coluna de origem. Recomenda-se usar colunas com um número limitado de valores de enumeração para evitar partições excessivas e dados excessivamente dispersos.

    • Time value: Se o valor na coluna de origem for um timestamp, processe-o com base em diferentes formatos e especifique Target format para formatar o valor da partição.

      • Time string: Uma string que representa um valor de tempo, como "2018-10-23 02:13:56" ou "2021/05/18". Serialize a string em um valor de tempo especificando o formato de tempo nos lados de origem e destino. Para as strings de exemplo acima, use os formatos yyyy-MM-dd HH:mm:ss e yyyy/MM/dd para serialização e reconhecimento.

      • Time object: Se o valor de origem já for um tipo de tempo como Date ou Datetime, selecione este tipo diretamente.

      • Unix timestamp (seconds): Um timestamp em nível de segundo. Também suporta números ou strings no formato de timestamp de 10 dígitos, como 1610529203 e "1610529203".

      • Unix timestamp (milliseconds): Um timestamp em nível de milissegundo. Também suporta números ou strings no formato de timestamp de 13 dígitos, como 1610529203002 e "1610529203002".

  • Select a variable: Use o tempo de alteração do evento de origem EVENT_TIME como fonte do valor de partição. O uso é similar ao das colunas de origem.

  • Function: Aplique uma função de transformação simples a uma coluna de origem e use o resultado como valor de partição. Para mais informações, consulte Use functions for column value transformation.

Source Split Key

Selecione uma coluna da tabela de origem ou escolha Not Split na lista suspensa da chave de divisão de origem. Durante a execução da tarefa, os dados são divididos em múltiplas tarefas com base nessa coluna para permitir leituras de dados simultâneas e em lote.

Recomenda-se usar a chave primária da tabela como chave de divisão de origem. Tipos string, ponto flutuante, data e outros tipos não são suportados.

Atualmente, a chave de divisão de origem é suportada apenas quando a origem é MySQL.

Skip Full Synchronization

Se a sincronização completa tiver sido configurada na Etapa 3, cancele individualmente a sincronização completa de dados para uma tabela específica. Esse recurso é adequado para cenários em que os dados completos já foram sincronizados para o destino por outros meios.

Full condition

Aplique filtragem condicional à origem durante a fase de sincronização completa. Insira apenas a cláusula WHERE sem a palavra-chave WHERE.

Configure DML Rule

O processamento de mensagens DML filtra e controla com granularidade fina os dados de alteração capturados da origem (Insert, Update, Delete) antes de gravá-los no destino. Esta regra entra em vigor apenas durante a fase de sincronização incremental.

Outros

Table Type: MaxCompute suporta tabelas regulares, PK Delta Table e Append Delta Table. Se o status da tabela de destino for To Be Created, selecione o tipo de tabela ao editar a estrutura da tabela de destino. O tipo de uma tabela existente não pode ser alterado.

• O modo completo + incremental da sincronização completa de banco de dados em tempo real suporta apenas PK Delta Table como tipo de tabela de destino.

• No modo somente incremental, o modo replay suporta PK Delta Table, e o modo incremental stream suporta tipos de tabela regular e Append Delta Table.

Para mais informações sobre Delta Table, consulte Delta Table overview.