DataWorks:Sincronizar MySQL para MaxCompute usando uma tarefa completa e incremental

Ação

Descrição

Refresh

O sistema lista automaticamente as tabelas de origem selecionadas, mas os atributos da tabela de destino só entram em vigor após você atualizá-los e confirmá-los.

• Selecione as tabelas a serem sincronizadas em lote e clique em Batch Refresh Mapping.

• Nome da tabela de destino: O nome é gerado automaticamente com base nas regras de Customize Mapping Rules for Destination Table Names. O formato padrão é ${source_database_name}_${table_name}. Se não existir uma tabela com o mesmo nome no destino, o sistema criará uma automaticamente.

Customize Mapping Rules for Destination Table Names (opcional)

O sistema possui uma regra padrão de geração de nomes de tabela: ${source_database_name}_${table_name}. Clique em Edit na coluna Customize Mapping Rules for Destination Table Names para adicionar regras personalizadas de nomes de tabelas de destino.

• Nome da regra: Defina um nome para a regra. Recomendamos especificar um nome com significado claro para o negócio.

• Nome da tabela de destino: Clique no botão para selecionar Manual Input e Built-in Variable para concatenar o nome da tabela de destino. As variáveis suportadas incluem o nome da fonte de dados de origem, o nome do banco de dados de origem e o nome da tabela de origem.

• Editar variáveis integradas: É possível realizar transformações de string nas variáveis integradas.

Os seguintes cenários são suportados:

1. Adicionar prefixos ou sufixos aos nomes das tabelas: Adicione um prefixo ou sufixo ao nome da tabela de origem configurando constantes.

2. Substituição uniforme de strings: Substitua a string dev_ nos nomes das tabelas de origem por prd_.

3. Gravar várias tabelas em uma única tabela.

Editar mapeamento de tipos de colunas (opcional)

O sistema fornece um mapeamento padrão entre os tipos de colunas de origem e destino. Clique em Edit Mapping of Field Data Types no canto superior direito da tabela para personalizar o mapeamento de tipos de colunas entre as tabelas de origem e destino. Após a configuração, clique em Apply and Refresh Mapping.

Ao editar o mapeamento de tipos de colunas, garanta que as regras de conversão de tipos estejam corretas. Regras incorretas causam falhas na conversão de tipos, gerando dados inconsistentes e afetando a execução da tarefa.

Editar o esquema da tabela de destino (opcional)

O sistema cria automaticamente tabelas de destino inexistentes com base nas regras personalizadas de mapeamento de nomes de tabelas ou reutiliza tabelas existentes com o mesmo nome.

O DataWorks gera automaticamente o esquema da tabela de destino com base no esquema da tabela de origem. Intervenção manual não é necessária em cenários comuns. Modifique o esquema da tabela das seguintes formas:

• Adicionar colunas a uma única tabela: Clique no botão na coluna Destination Table Name para adicionar colunas.

• Adicionar colunas em lote: Selecione todas as tabelas a serem sincronizadas e escolha Batch Modify > Destination Table Schema - Batch Modify and Add Field na parte inferior da tabela.

• Não há suporte para renomear colunas.

Para tabelas existentes, apenas é possível adicionar colunas. Para novas tabelas, adicione colunas, colunas de partição e defina o tipo ou propriedades da tabela. Consulte as áreas editáveis na página para obter detalhes.

Value assignment

Colunas nativas são mapeadas automaticamente com base em colunas com o mesmo nome nas tabelas de origem e destino. As colunas recém-adicionadas nas etapas anteriores exigem atribuição manual de valores. Execute as seguintes operações:

• Atribuição para tabela única: Clique no botão Configuration na coluna Value assignment para atribuir valores às colunas da tabela de destino.

• Atribuição em lote: Na parte inferior da lista, escolha Batch Modify > Value assignment para atribuir valores em lote para colunas com o mesmo nome nas tabelas de destino.

É possível atribuir constantes ou variáveis às colunas. Alterne o tipo em Value Type. Os seguintes métodos são suportados:

• Colunas da tabela

  • Entrada manual: Insira um valor constante ou parâmetro de agendamento diretamente, como abc ou ${bizdate}.

  • Selecionar variável: Selecione uma variável fornecida pelo sistema como valor da coluna. Para tipos de variáveis, consulte as descrições na página.

  • Coluna de origem: Utilize o valor de uma coluna da tabela de origem como valor da coluna. O tipo de valor pode ser um valor de coluna ou um valor de tempo.

    • Valor de coluna: Se a coluna de origem não for do tipo tempo, grave diretamente o valor da coluna de origem na coluna de destino.

    • Valor de tempo: Se o valor da coluna de origem for um valor de tempo, processe-o de acordo com diferentes formatos e especifique o Destination Format para formatar o valor da partição.

      • String de tempo: Uma string que representa um tempo, como 2018-10-23 02:13:56 ou 2021/05/18. Serialize-a como tempo especificando os formatos de tempo de origem e destino. Para os exemplos acima, utilize os formatos yyyy-MM-dd HH:mm:ss e yyyy/MM/dd, respectivamente, para serialização.

      • Objeto de tempo: Se o valor de origem for um tipo de tempo como Date ou Datetime, selecione o tipo correspondente diretamente.

      • Timestamp Unix (segundos): Um timestamp no nível de segundos. Números ou strings em formato de timestamp de 10 dígitos também são suportados, como 1610529203 ou "1610529203".

      • Timestamp Unix (milissegundos): Um timestamp no nível de milissegundos. Números ou strings em formato de timestamp de 13 dígitos também são suportados, como 1610529203002 ou "1610529203002".

  • Função: Aplique transformações simples às colunas de origem usando funções para gerar valores de partição. Para mais informações, consulte Referência de funções.

• Colunas de partição: Crie partições dinamicamente com base nos valores enumerados ou no tempo de evento das colunas de origem.

  • Entrada manual: Insira um valor constante ou um parâmetro de agendamento configurado em Configure Scheduling Parameters for Periodical Scheduling, como abc ou ${bizdate}.

Source Split Key

Na coluna de chave de divisão de origem, selecione uma coluna da tabela de origem na lista suspensa ou escolha Not Split. Durante a execução da tarefa, os dados são divididos em múltiplas tarefas com base nesta coluna para leitura de dados em lote e concorrente.

Recomendamos utilizar uma coluna com dados distribuídos uniformemente, como a chave primária da tabela, como chave de divisão de origem. Tipos string, ponto flutuante e data não são suportados.

A chave de divisão de origem é suportada atualmente apenas quando a origem é MySQL.

Skip Full Synchronization

Se a sincronização completa estiver configurada na etapa 3, cancele a sincronização completa de dados para tabelas individuais. Isso se aplica quando você já sincronizou dados completos para o destino por outros métodos.

Full condition

Aplique filtragem baseada em condições à origem durante a fase de carga completa. Especifique apenas a cláusula WHERE aqui, sem a palavra-chave WHERE.

Configure DML Rule

O processamento de mensagens DML filtra e controla os dados de alteração (Insert, Update, Delete) capturados da origem antes que os dados sejam gravados no destino durante a sincronização em tempo real. Esta regra entra em vigor apenas durante a fase incremental.

Full Merge Cycle

Atualmente, apenas consolidações diárias são suportadas. Configure o horário específico de agendamento da tarefa de consolidação em Custom Merge Time.

Merge Primary Key

Defina uma chave primária selecionando uma ou mais colunas na tabela.

• Chave primária de coluna única: Selecione uma única coluna com valores exclusivos (como id) como chave primária.

• Chave primária composta: Se nenhuma coluna individual for exclusiva, selecione uma combinação de várias colunas. Os valores combinados dessas colunas devem identificar exclusivamente cada linha para garantir a unicidade dos dados durante as gravações e evitar sobrescritas.

Sintoma

Causa

Solução

Falha na verificação de produção de dados para a partição T-1 da tabela de log incremental.

A tarefa de sincronização em tempo real falhou, impedindo a produção normal dos dados da partição T-1 na tabela de log incremental.

• Verifique a causa da falha da tarefa de sincronização em tempo real e reinicie a tarefa a partir do offset com falha.

  Nota

  A retenção de binlog do RDS é limitada. Se o binlog no ponto correspondente no tempo for purgado, a tarefa de sincronização em tempo real reportará um erro indicando que o offset não foi encontrado.

• Configure alertas de monitoramento para a subtarefa de sincronização em tempo real.

Falha na verificação de produção de dados para a partição T-2 da tabela base de destino.

1. A tarefa de consolidação do dia anterior falhou.

2. A partição do dia anterior da tabela base foi excluída.

• Configure o monitoramento de status de execução para o nó de consolidação. Para mais informações, consulte Configurar regras de monitoramento.

• Se você excluiu acidentalmente a partição T-2 da tabela base, utilize o recurso de preenchimento de dados para restaurá-la. Após a restauração da partição, execute novamente o nó de consolidação. Para mais informações, consulte Preencher dados.