DataWorks:Configurar sincronização completa de banco de dados em tempo real

Operação

Descrição

Refresh

O sistema lista automaticamente as tabelas de origem selecionadas, mas as propriedades específicas das tabelas de destino só entram em vigor após você atualizá-las e confirmá-las.

• Selecione as tabelas para sincronizar em lotes e clique em Batch Refresh Mapping.

• Nome da tabela de destino: O nome da tabela de destino é gerado automaticamente com base nas regras de Customize Mapping Rules for Destination Table Names. O formato padrão é ${source_database_name}_${table_name}. Se não existir uma tabela com o mesmo nome no destino, o sistema cria uma automaticamente.

Customize Mapping Rules for Destination Table Names (opcional)

O sistema possui uma regra padrão de geração de nomes de tabela: ${source_database_name}_${table_name}. Clique também no botão Edit na coluna Customize Mapping Rules for Destination Table Names para adicionar regras personalizadas de nomes de tabela de destino.

• Nome da regra: Defina um nome para a regra. Recomendamos usar um nome com significado comercial claro.

• Nome da tabela de destino: Clique no botão para selecionar Manually enter e Built-in Variable para concatenar e gerar o nome da tabela de destino. As variáveis suportadas incluem nome da fonte de dados de origem, nome do banco de dados de origem e nome da tabela de origem.

• Editar variáveis integradas: Variáveis integradas suportam transformações de string além dos valores originais.

Os seguintes cenários são suportados:

1. Adicionar prefixo ou sufixo a um nome: Adicione um prefixo ou sufixo ao nome da tabela de origem definindo uma constante.

   Configuração da regra	Resultado

2. Substituição unificada de string: Substitua a string dev_ no nome da tabela de origem por prd_.

   Configuração da regra	Resultado

3. Gravar várias tabelas em uma única tabela: Defina o nome da tabela de destino como uma constante.

   Configuração da regra	Resultado

Edit column type mapping (opcional)

O sistema possui mapeamentos padrão de tipos de coluna entre origem e destino. Clique em Edit Mapping of Field Data Types no canto superior direito da tabela para personalizar o mapeamento de tipos de coluna entre as tabelas de origem e destino e, em seguida, clique em Apply and Refresh Mapping.

Ao editar mapeamentos de tipos de coluna, certifique-se de que as regras de conversão de tipo estejam corretas. Regras incorretas podem causar falhas na conversão de tipo, gerando dados incorretos e afetando a execução da tarefa.

Edit destination table schema (opcional)

O sistema cria automaticamente tabelas de destino inexistentes com base nas regras personalizadas de mapeamento de nomes de tabela ou reutiliza tabelas existentes com o mesmo nome.

O DataWorks gera automaticamente o esquema da tabela de destino com base no esquema da tabela de origem. A intervenção manual não é necessária na maioria dos casos. Modifique também o esquema da tabela das seguintes maneiras:

• Adicionar colunas a uma única tabela: Clique no botão na coluna Target Table para adicionar colunas.

• Adicionar colunas em lotes: Selecione todas as tabelas para sincronizar e escolha Batch Edit > Destination Table Schema - Batch Modify and Add Field na parte inferior da tabela.

• A renomeação de nomes de coluna não é suportada.

Para tabelas existentes, apenas adicione colunas. Para novas tabelas, adicione colunas e colunas de partição e defina o tipo de tabela ou propriedades da tabela. Para detalhes, consulte as áreas editáveis na interface.

Value assignment

Colunas nativas são mapeadas automaticamente com base em colunas com o mesmo nome nas tabelas de origem e destino. As colunas recém-adicionadas e colunas de partição das etapas anteriores devem receber valores manualmente. Execute as seguintes operações:

• Atribuir valores a uma única tabela: Clique no botão Configuration na coluna Value assignment para atribuir valores às colunas da tabela de destino.

• Atribuir valores em lotes: Escolha Batch Edit > Value assignment na parte inferior da lista para atribuir valores em lotes às mesmas colunas na tabela de destino.

Ao atribuir valores, utilize constantes e variáveis. Alterne o tipo em Value Type. Os seguintes métodos são suportados:

• Colunas de tabela

  • Entrada manual: Insira diretamente um valor constante, como abc.

  • Selecionar uma variável: Selecione uma variável suportada pelo sistema na lista suspensa. Visualize o significado específico da variável na dica de ferramenta na interface.

  • Função: Use funções para realizar transformações simples nas colunas de destino. Para mais informações, consulte Referência de funções.

• Colunas de partição: Crie partições dinamicamente usando os valores de enumeração de uma coluna de origem ou o tempo do evento como valor de partição.

  • Entrada manual: Insira diretamente um valor constante, como abc.

  • Coluna de origem: Use os valores de uma coluna da tabela de origem como valores da coluna de partição. O tipo de valor pode ser um valor de coluna ou um valor de tempo.

    • Valor de coluna: Os valores de enumeração da coluna de origem. Recomendamos usar uma coluna com um número limitado de valores de enumeração para evitar excesso de partições e dados muito dispersos.

    • Valor de tempo: Se os valores na coluna de origem forem carimbos de data/hora, processe-os com base em diferentes formatos e especifique um Target format para formatar os valores de partição.

      • String de tempo: Uma string que representa um tempo, como "2018-10-23 02:13:56" ou "2021/05/18". Serialize-a em um valor de tempo especificando os formatos de tempo de origem e destino. Para os exemplos anteriores, use os formatos yyyy-MM-dd HH:mm:ss e yyyy/MM/dd para serialização.

      • Objeto de tempo: Se o valor de origem já for um tipo de tempo, como Date ou Datetime, selecione este tipo diretamente.

      • Carimbo de data/hora Unix (segundos): Um carimbo de data/hora no nível de segundo. Também suporta números ou strings no formato de carimbo de data/hora de 10 dígitos, como 1610529203 ou "1610529203".

      • Carimbo de data/hora Unix (milissegundos): Um carimbo de data/hora no nível de milissegundo. Também suporta números ou strings no formato de carimbo de data/hora de 13 dígitos, como 1610529203002 ou "1610529203002".

  • Selecionar uma variável: Use o tempo de alteração do evento de origem EVENT_TIME como fonte de valor de partição. O uso é semelhante ao das colunas de origem.

  • Função: Use funções para realizar transformações simples na coluna de origem antes de usar o resultado como valor de partição. Para mais informações, consulte Referência de funções.

Source Split Key

Selecione uma coluna da tabela de origem ou selecione Not Split na lista suspensa de chave de divisão de origem. Durante a execução da tarefa, os dados são divididos em várias tarefas com base nesta coluna para permitir leituras de dados simultâneas e em lotes.

Recomendamos usar a chave primária da tabela como chave de divisão de origem. Tipos string, ponto flutuante, data e outros não são suportados.

Atualmente, a chave de divisão de origem é suportada apenas quando a origem é MySQL.

Skip Full Synchronization

Se você configurou a sincronização completa na Etapa 3, ignore individualmente a sincronização completa de dados para tabelas específicas. Isso se aplica a cenários onde os dados completos já foram sincronizados com o destino por outros métodos.

Full condition

Aplique filtragem condicional à origem durante a fase de sincronização completa. Escreva apenas a cláusula WHERE aqui, sem a palavra-chave WHERE.

Configure DML Rule

O processamento de mensagens DML é usado para realizar filtragem e controle refinados nos dados de alteração capturados da origem (Insert, Update, Delete) antes de gravar os dados no destino. Esta regra entra em vigor apenas durante a fase incremental.

Outros

Table Type: O MaxCompute suporta tabelas regulares, PK Delta Table e Append Delta Table. Se o status da tabela de destino for "a ser criada", selecione o tipo de tabela ao editar o esquema da tabela de destino. O tipo não pode ser alterado para tabelas existentes.

• O modo completo + incremental da sincronização completa de banco de dados em tempo real suporta apenas o tipo de tabela PK Delta Table como destino.

• No modo apenas incremental, o modo replay suporta PK Delta Table, e o modo append suporta tipos de tabela regular e Append Delta Table.

Para mais informações sobre Delta Table, consulte Visão geral da Delta Table.