DataWorks:Synchronize MySQL to MaxCompute using a full and incremental task

Ação

Descrição

Refresh

O sistema lista automaticamente as tabelas de origem selecionadas, mas os atributos da tabela de destino só entram em vigor após você atualizar e confirmá-los.

• Selecione as tabelas a sincronizar em lote e clique em Batch Refresh Mapping.

• Nome da tabela de destino: gerado automaticamente com base nas regras de Customize Mapping Rules for Destination Table Names. O formato padrão é ${source_database_name}_${table_name}. Se não existir uma tabela com o mesmo nome no destino, o sistema cria uma automaticamente.

Customize Mapping Rules for Destination Table Names (opcional)

O sistema possui uma regra padrão de geração de nomes de tabela: ${source_database_name}_${table_name}. Clique em Modify na coluna Customize Mapping Rules for Destination Table Names para adicionar regras personalizadas de nomenclatura da tabela de destino.

• Nome da regra: defina um nome para a regra. Recomenda-se usar um nome com significado claro para o negócio.

• Nome da tabela de destino: clique no botão para selecionar Manual Input e Built-in Variable para concatenar o nome da tabela de destino. As variáveis suportadas incluem o nome do data source de origem, o nome do banco de dados de origem e o nome da tabela de origem.

• Editar variáveis integradas: aplique transformações de string às variáveis integradas.

Os seguintes cenários são suportados:

1. Adicionar prefixos ou sufixos aos nomes de tabela: acrescente um prefixo ou sufixo ao nome da tabela de origem configurando constantes.

2. Substituição uniforme de strings: substitua a string dev_ nos nomes de tabela de origem por prd_.

3. Gravar múltiplas tabelas em uma única tabela.

Editar mapeamento de tipos de coluna (opcional)

O sistema fornece um mapeamento padrão entre os tipos de coluna de origem e destino. Clique em Edit Mapping of Field Data Types no canto superior direito da tabela para personalizar o mapeamento de tipos de coluna entre as tabelas de origem e destino. Após a configuração, clique em Apply and Refresh Mapping.

Ao editar o mapeamento de tipos de coluna, certifique-se de que as regras de conversão de tipos estão corretas. Regras incorretas causam falhas na conversão de tipos, gerando dados inválidos e afetando a execução da tarefa.

Editar o schema da tabela de destino (opcional)

O sistema cria automaticamente as tabelas de destino que não existem com base nas regras de mapeamento de nomes personalizados, ou reutiliza tabelas existentes com o mesmo nome.

O DataWorks gera automaticamente o schema da tabela de destino com base no schema da tabela de origem. Em cenários comuns, não é necessária intervenção manual. Também é possível modificar o schema da tabela das seguintes formas:

• Adicionar colunas a uma única tabela: clique no botão na coluna Destination Table Name para adicionar colunas.

• Adicionar colunas em lote: selecione todas as tabelas a sincronizar e escolha Batch Modify > Destination Table Schema - Batch Modify and Add Field na parte inferior da tabela.

• Não há suporte para renomear colunas.

Para tabelas existentes, só é possível adicionar colunas. Para novas tabelas, você pode adicionar colunas, colunas de partição e definir o tipo ou as propriedades da tabela. Consulte as áreas editáveis na página para obter detalhes.

Value assignment

As colunas nativas são mapeadas automaticamente com base em colunas de mesmo nome nas tabelas de origem e destino. As colunas recém-adicionadas nas etapas anteriores exigem atribuição manual de valores. Execute as seguintes operações:

• Atribuição para uma única tabela: clique no botão Configuration na coluna Value assignment para atribuir valores às colunas da tabela de destino.

• Atribuição em lote: na parte inferior da lista, escolha Batch Modify > Value assignment para atribuir valores em lote a colunas com o mesmo nome nas tabelas de destino.

É possível atribuir constantes ou variáveis às colunas. Alterne o tipo em Value Type. Os seguintes métodos são suportados:

• Table columns

  • Manual input: insira diretamente um valor constante ou parâmetro de agendamento, como abc ou ${bizdate}.

  • Select variable: selecione uma variável fornecida pelo sistema como valor da coluna. Consulte as descrições na página para conhecer os tipos de variável.

  • Source column: use o valor de uma coluna da tabela de origem como valor da coluna. O tipo de valor pode ser um valor de coluna ou um valor de tempo.

    • Valor de coluna: se a coluna de origem não for do tipo tempo, grave diretamente o valor da coluna de origem na coluna de destino.

    • Valor de tempo: se o valor da coluna de origem for um valor de tempo, processe-o de acordo com diferentes formatos e especifique o Destination Format para formatar o valor da partição.

      • String de tempo: uma string que representa um tempo, como 2018-10-23 02:13:56 ou 2021/05/18. Serialize-a como um tempo especificando os formatos de tempo de origem e destino. Para os exemplos acima, use os formatos yyyy-MM-dd HH:mm:ss e yyyy/MM/dd, respectivamente, para a serialização.

      • Objeto de tempo: se o valor de origem for do tipo tempo, como Date ou Datetime, selecione diretamente o tipo correspondente.

      • Timestamp Unix (segundos): timestamp em nível de segundo. Números ou strings em formato de timestamp de 10 dígitos também são suportados, como 1610529203 ou "1610529203".

      • Timestamp Unix (milissegundos): timestamp em nível de milissegundo. Números ou strings em formato de timestamp de 13 dígitos também são suportados, como 1610529203002 ou "1610529203002".

  • Function: aplique transformações simples às colunas de origem usando funções para gerar valores de partição. Para mais informações, consulte Function reference.

• Partition columns: crie partições dinamicamente com base nos valores enumerados ou no tempo de evento das colunas de origem.

  • Manual input: insira um valor constante ou um parâmetro de agendamento configurado em Configure Scheduling Parameters for Periodical Scheduling, como abc ou ${bizdate}.

Source Split Key

Na coluna source split key, selecione uma coluna da tabela de origem na lista suspensa ou escolha Not Split. Durante a execução da tarefa, os dados são divididos em múltiplas tarefas com base nessa coluna para leitura de dados em lote e de forma concorrente.

Recomenda-se usar uma coluna com dados distribuídos uniformemente, como a chave primária da tabela, como source split key. Tipos string, ponto flutuante e data não são suportados.

O source split key atualmente é suportado apenas quando a origem é MySQL.

Skip Full Synchronization

Se a sincronização completa estiver configurada na etapa 3, cancele a sincronização de dados completos para tabelas individuais. Essa opção é indicada quando você já sincronizou os dados completos para o destino por outros métodos.

Full condition

Aplique filtragem condicional à origem durante a fase de carga completa. Especifique apenas a cláusula WHERE, sem incluir a palavra-chave WHERE.

Configure DML Rule

O processamento de mensagens DML filtra e controla os dados de alteração (Insert, Update, Delete) capturados da origem antes de serem gravados no destino durante a sincronização em tempo real. Esta regra só entra em vigor durante a fase incremental.

Full Merge Cycle

Atualmente, apenas consolidações diárias são suportadas. Configure o horário de agendamento específico da tarefa de consolidação em Custom Merge Time.

Merge Primary Key

Defina uma chave primária selecionando uma ou mais colunas na tabela.

• Chave primária de coluna única: selecione uma única coluna com valores únicos (como id) como chave primária.

• Chave primária composta: quando nenhuma coluna individual for única, selecione uma combinação de múltiplas colunas. Os valores combinados dessas colunas devem identificar exclusivamente cada linha para garantir a unicidade dos dados durante as gravações e evitar sobreposições.