Data Transmission Service:Adicionar colunas adicionais

Cenários suportados

O recurso de colunas adicionais está disponível nas seguintes combinações de origem e destino:

Observações de uso

• Em instâncias de sincronização, defina Synchronization Types como Schema Synchronization. Em instâncias de migração, configure Migration Types como Schema Migration.

• Antes de modificar regras de colunas adicionais em uma tarefa de sincronização em execução, verifique se os nomes das colunas não entram em conflito com colunas existentes na tabela de destino.

• Se o banco de dados de origem for MongoDB, as coleções de destino não podem conter campos chamados _id ou _value. Caso contrário, a sincronização falhará.

• Clique com o botão direito do mouse em um banco de dados em Selected Objects para aplicar as colunas adicionais configuradas a todas as tabelas desse banco de dados de destino.

• Se a tarefa de sincronização tiver ETL (extração, transformação e carga) configurado, as regras de colunas adicionais executam primeiro para gerar um valor. Depois, o script ETL calcula o valor final sincronizado com o destino.

Adicionar colunas adicionais a uma tarefa de sincronização

Os passos abaixo usam uma instância de sincronização como exemplo. O mesmo procedimento se aplica a instâncias de migração.

Referência de expressões

O valor de uma coluna adicional é composto por constantes, variáveis, operadores e funções de expressão. A sintaxe é compatível com a DSL (Domain-Specific Language) de processamento de dados usada para ETL.

Nas expressões, coloque os nomes das colunas entre crases ( col ), e não entre aspas simples ( 'col' ).

Funções globais

• Funções de controle de fluxo

  Função	Sintaxe	Parâmetros	Exemplo
  Instrução if	e_if(bool_expr, func_invoke)	bool_expr: constante booleana ou chamada de função. Constantes: true ou false. Exemplo de chamada de função: op_gt(id, 10). func_invoke: chamada de função. Suportadas: e_drop, e_keep, e_set, e_if, e_compose	e_if(op_gt(id, 10), e_drop()); descarta o registro se ID > 10.
  Instrução if-else	e_if_else(bool_expr, func_invoke1, func_invoke2)	bool_expr: constante booleana ou chamada de função. Constantes: true ou false. Exemplo de chamada de função: op_gt(id, 10). func_invoke1: chamada de função executada se a condição for verdadeira. func_invoke2: chamada de função executada se a condição for falsa.	e_if_else(op_gt(id, 10), e_set(tag, 'large'), e_set(tag, 'small')); define tag como "large" se ID > 10, caso contrário como "small".
  Instrução semelhante a switch que avalia múltiplas condições e executa a primeira operação correspondente. Executa uma operação padrão se nenhuma condição for atendida.	s_switch(condition1, func1, condition2, func2, ..., default=default_func)	condition1: constante booleana ou chamada de função. Constantes: true ou false. Exemplo de chamada de função: op_gt(id, 10). func_invoke: chamada de função. Verifica condition1; se verdadeira, executa esta função e sai do switch. Se falsa, verifica a próxima condição. default_func: chamada de função executada se todas as condições forem falsas.	e_switch(op_gt(id, 100), e_set(str_col, '>100'), op_gt(id, 90), e_set(str_col, '>90'), default=e_set(str_col, '<=90')).
  Combinar múltiplas operações	e_compose(func1, func2, func3, ...)	func1: chamada de função. Pode ser e_set, e_drop, e_if. func2: chamada de função. Pode ser e_set, e_drop, e_if.	e_compose(e_set(str_col, 'test'), e_set(dt_col, dt_now())); define str_col como "test" e dt_col como a hora atual.

• Funções de manipulação de dados

  Função	Sintaxe	Parâmetros	Exemplo
  Descartar este registro (não sincronizar)	e_drop()	Nenhum	e_if(op_gt(id, 10), e_drop()); descarta registros onde ID > 10.
  Manter este registro (sincronizar com o destino)	e_keep(condition)	condition: expressão booleana	e_keep(op_gt(id, 1)); sincroniza apenas registros onde ID > 1.
  Definir valor da coluna	e_set(col, val, NEW)	col: nome da coluna val: constante ou chamada de função. Deve corresponder ao tipo de dado de col. NEW: converte col para o tipo de dado de val (opcional) Importante Se você omitir NEW, não inclua a vírgula anterior. Garanta a compatibilidade dos tipos de dados para evitar erros na tarefa.	e_set(dt_col, dt_now()); define dt_col como a hora atual. e_set(col1, col2 + 1); define col1 como col2 + 1. e_set(col1, 1, NEW); converte col1 para tipo numérico e define como 1.
  Retenção de campos, descarte de campos e mapeamento de nomes de campos no MongoDB	e_expand_bson_value('*', 'fieldA',{"fieldB":"fieldC"})	: nomes de campos a manter; significa todos os campos. fieldA: nomes de campos a descartar. {"fieldB":"fieldC"}: mapeamento de nomes de campos; fieldB é o nome do campo de origem, fieldC é o nome do campo de destino. Nota O mapeamento de nomes de campos é opcional.	e_expand_bson_value("*", "_id,name"); grava todos os campos exceto _id e name no destino.

Perguntas frequentes

Como configurar chaves e valores personalizados para uma tarefa do DTS de MySQL para Redis?

Por padrão, o DTS mapeia toda a linha de origem usando uma das três opções de Cache Mapping Mode. Para extrair colunas específicas e criar pares chave-valor personalizados, adicione duas colunas adicionais especiais: __DTS_TP_TO_REDIS_KEY__ e __DTS_TP_TO_REDIS_VALUE__.

Os três modos de mapeamento de dados de cache são:

• KV Model (Database-Table-Primary Key)

• HASH Model (Database-Table-Primary Key)

• HASH Model (Database-Table)

Configure também o Value Data Splitting Method (opções: JSON format, Key-Value comma-separated ou Value comma-separated) e selecione os tipos de operação DML a sincronizar (INSERT, UPDATE, DELETE).

Passos de configuração:

1. Ao configurar objetos, mova os bancos de dados e tabelas para o painel direito e clique no botão de edição do Redis DB de destino.

2. Adicione as colunas __DTS_TP_TO_REDIS_KEY__ e __DTS_TP_TO_REDIS_VALUE__.

3. Defina as expressões de Assign Value usando a sintaxe DSL. Por exemplo, considere a seguinte tabela MySQL aes:

   CREATE TABLE `aes` (
       `id`            BIGINT(20) UNSIGNED NOT NULL AUTO_INCREMENT COMMENT 'Auto-increment primary key',
       `login_time`    INT(10)             NOT NULL DEFAULT '0'    COMMENT 'Logon identifier time',
       `pay_time`      INT(10)             NOT NULL DEFAULT '0'    COMMENT 'Payment identifier time',
       `gid`           INT(10)             NOT NULL DEFAULT '0'    COMMENT 'Game ID',
       `cid`           INT(10)             NOT NULL DEFAULT '0'    COMMENT 'Channel ID',
       `gcp_code`      VARCHAR(40)         NOT NULL DEFAULT ''     COMMENT 'Channel package number. An empty value indicates a new entry for the gid.',
       `uname`         VARCHAR(120)        CHARACTER SET utf8 COLLATE utf8_bin NOT NULL DEFAULT '' COMMENT 'Account',
       PRIMARY KEY (`id`),
       UNIQUE KEY `idx_uq` (`gid`, `gcp_code`, `uname`),
       KEY `idx_uname` (`uname`)
   )ENGINE=InnoDB AUTO_INCREMENT=48022 DEFAULT CHARSET=utf8 COMMENT='Game account activation time information table';

   Requisitos de negócio:

   • Chave: stat_create_day:{gcp_code}:{uname} — construída a partir de duas colunas de origem

   • Valor: {login_time} — um timestamp Unix convertido para formato datetime

   Expressões Assign Value:

   • __DTS_TP_TO_REDIS_KEY__: 'stat_create_day'+':'+ gcp_code +':'+ uname

   • __DTS_TP_TO_REDIS_VALUE__: dt_fromtimestamp(cast_string_to_long( login_time ))

4. Após a conclusão da sincronização ou migração, o par chave-valor no Redis terá a seguinte aparência:

   Depois que a sincronização de dados for concluída, conecte-se à instância Redis de destino pelo DMS. No DB0, execute o comando get em chaves do tipo stat_create_day:{gcp_code}:{uname}. O valor retornado estará no formato datetime (por exemplo, 2025-11-18 23:49:29), o que confirma que a função dt_fromtimestamp converteu corretamente o timestamp Unix para um valor datetime.