DataWorks:Sincronização em tempo real do MySQL para o Elasticsearch

Ações

Descrição

Refresh

O sistema lista automaticamente as tabelas de origem selecionadas. No entanto, as propriedades do índice de destino só são aplicadas após você atualizá-las e confirmá-las.

• Selecione várias tabelas para sincronizar e clique em Batch Refresh Mapping Results.

• Nome do índice de destino: O nome é gerado automaticamente com base na regra Customize Mapping Rules for Destination Table Names. O nome padrão é ${source_database_name}_${table_name}. Se um índice com esse nome não existir no destino, o sistema o criará automaticamente.

Custom Mapping Rule for Destination Index Name (Opcional)

O sistema usa uma regra padrão para gerar nomes de índice: ${source_database_name}_${table_name}. Clique também no botão Edit na coluna Customize Mapping Rules for Destination Table Names para adicionar uma regra personalizada.

• Nome da regra: Defina um nome para a regra. Recomendamos especificar um nome descritivo que reflita sua finalidade comercial.

• Nome do índice de destino: Construa o nome clicando no botão e combinando valores de Manual Input e Built-in Variable. As variáveis suportadas incluem o nome da fonte de dados de origem, o nome do banco de dados de origem e o nome da tabela de origem.

• Editar variáveis integradas: Aplique transformações de string às variáveis integradas.

Este recurso suporta os seguintes cenários:

1. Adicionar prefixos ou sufixos aos nomes: Adicione um prefixo ou sufixo ao nome da tabela de origem definindo uma constante.

   Configuração da regra	Resultado
   No campo Rule name, insira pre_table_post. O Destination index name é composto por três partes: o texto pre_, a variável integrada nome da tabela de origem e o texto _post.	Após aplicar a regra pre_table_post, a tabela de origem userinfo é mapeada para o índice de destino pre_userinfo_post (a ser criado), e a tabela de origem userinfo1 é mapeada para o índice de destino pre_userinfo1_post (a ser criado).

2. Executar substituição global de string: Substitua a string dev_ em todos os nomes de tabela de origem por prd_.

   Configuração da regra	Resultado
   Na lista suspensa Destination index name, selecione a variável integrada Source table name e vá para a página Edit built-in variables. Na aba Source table name, configure uma regra de substituição de string para trocar a string de origem dev_ pela string de destino prd_. As regras são executadas de cima para baixo. Use Move Up, Move Down e Delete para ajustar a ordem das regras ou removê-las.	O resultado mostra que as tabelas de origem dev_table1 e dev_table2 são mapeadas para os índices de destino prd_table1 e prd_table2 (a serem criados) usando a regra replace. O prefixo dev_ é substituído por prd_.

3. Gravar dados de várias tabelas em uma única tabela: Defina o nome do índice de destino como um valor constante.

   Configuração da regra	Resultado
   No campo Destination index name, insira um valor fixo como my_table para mapear todas as tabelas de origem para a mesma tabela de destino.	Resultado: As tabelas de origem table_01 e table_02 do banco de dados de origem mysql_test2 são ambas mapeadas para o mesmo índice de destino my_table (a ser criado). Isso permite mesclar dados de várias tabelas em um único índice.

Edit Field Type Mapping (Opcional)

O sistema fornece um mapeamento padrão entre Source Type e Destination Type. Clique em Edit Mapping of Field Data Types no canto superior direito da tabela para personalizar o mapeamento de tipos de dados de campo entre as tabelas de origem e os índices de destino. Após concluir a configuração, clique em Apply and Refresh Mapping.

Ao editar mapeamentos de tipo de campo, certifique-se de que as regras de conversão de tipo sejam válidas. Caso contrário, podem ocorrer falhas na conversão, gerando dados incorretos e interrompendo a tarefa.

Edit Destination Index (Opcional)

Com base nas regras personalizadas de mapeamento de nome de índice, o sistema cria automaticamente novos índices de destino ou reutiliza existentes com nomes correspondentes.

O DataWorks gera automaticamente a estrutura do índice de destino com base na estrutura da tabela de origem. Na maioria dos casos, a intervenção manual não é necessária.

Quando o status do índice de destino for To be created, adicione novos campos ao índice de destino com base em sua estrutura de tabela original. Execute as seguintes operações:

1. Adicione campos ao índice de destino.

   • Adicionar campos a um único índice: Clique no ícone na coluna Destination Index Name e adicione campos editando a Statement Used to Create Index.

     • Dynamic Mapping Status: Especifica se novos campos da tabela de origem devem ser adicionados ao índice de destino durante a sincronização de dados. Valores válidos:

       • true: Se o sistema detectar novos campos na tabela de origem, ele os adicionará ao índice de destino. Esses campos poderão então ser pesquisados. Este é o valor padrão.

       • false: Se o sistema detectar novos campos na tabela de origem, ele os adicionará ao índice de destino, mas esses campos não serão pesquisáveis.

       • strict: Se o sistema detectar novos campos na tabela de origem, ele recusará a adição desses campos ao índice de destino e lançará uma exceção. Consulte os detalhes do erro nos logs.

       • runtime: Se o sistema detectar novos campos na tabela de origem, eles não serão adicionados ao mapeamento do índice. Em vez disso, serão tratados como campos de runtime no momento da consulta. Isso permite que os campos sejam usados em cálculos de script e pesquisas.

       Para mais informações sobre mapeamento dinâmico, consulte Dynamic mapping.

     • Shards e Replica Shards: O número de shards primários e de réplica para um índice. Um índice completo é dividido em vários shards e distribuído por diferentes nós do Elasticsearch para permitir pesquisa distribuída e melhorar o desempenho da consulta. Para mais informações, consulte Basic concepts.

       Nota

       Os valores dos parâmetros Shards e Replica Shards não podem ser alterados após a execução da tarefa. O valor padrão para ambos os parâmetros é 1.

   • Adicionar campos em lote: Selecione todas as tabelas a serem sincronizadas e, na parte inferior da tabela, selecione Batch Modify > Destination Index Structure - Batch Add Fields.

Value assignment

Campos nativos são mapeados automaticamente com base na correspondência de nomes de campo entre origem e destino. Atribua valores manualmente para os novos campos e propriedades do índice de destino que você adicionou. Execute as seguintes operações:

• Atribuir valores para uma única tabela: Clique no botão Configuration na coluna Value assignment para atribuir valores aos campos do índice de destino.

• Atribuir valores em lote: Na parte inferior da lista, selecione Batch Modify > Value assignment para atribuir valores a campos idênticos em vários índices de destino simultaneamente.

Atribua constantes e variáveis alterando o Value Type. As seguintes opções são suportadas:

• Campo do índice de destino:

  • Atribuição manual: Insira um valor constante, como abc.

  • Campo de origem: Atribui um valor de um campo da tabela de origem. Selecione o valor do campo ou um valor de tempo.

    • Valor do campo: Grava o valor do campo de origem diretamente no destino.

    • Valor de tempo: Se o campo de origem contiver um valor de tempo, processe-o usando formatos diferentes e especifique um Destination Format para formatar o valor extraído.

      • String de tempo: Uma string que representa uma hora ou data, como "2018-10-23 02:13:56" ou "2021/05/18". A string é analisada em um valor de data ou hora especificando um formato de tempo. Por exemplo, as strings nos exemplos anteriores podem ser reconhecidas usando os formatos yyyy-MM-dd HH:mm:ss e yyyy/MM/dd.

      • Objeto de tempo: Se o valor de origem for de um tipo de dados de tempo, como Date ou Datetime, selecione diretamente este tipo.

      • Timestamp Unix (segundos): Um timestamp de 10 dígitos em segundos, fornecido como número ou string. Exemplos: 1610529203 e "1610529203".

      • Timestamp Unix (milissegundos): Um timestamp de 13 dígitos em milissegundos, fornecido como número ou string. Exemplos: 1610529203002 e "1610529203002".

  • Selecionar variável: Selecione uma variável fornecida pelo sistema como fonte de valor.

  • Função: Use funções para aplicar transformações simples ao campo de origem antes de atribuí-lo como valor. Para mais informações, consulte Usar expressões de função para atribuir valores a campos da tabela de destino.

• Atribuição de propriedade do índice de destino: Atribua um valor à chave primária do índice de destino. Concatene vários campos de origem para criar uma chave primária composta. Certifique-se de que o valor resultante seja único.

Source split column

Selecione um campo da tabela de origem na lista suspensa Source split column ou escolha Not Split. Quando a tarefa de sincronização é executada, ela é dividida em várias subtarefas com base nesta coluna para ler dados em lotes e em paralelo.

Recomendamos usar a chave primária da tabela como coluna de divisão de origem. Tipos string, float e date não são suportados.

A coluna de divisão de origem é suportada apenas quando a origem é MySQL.

Skip full synchronization

Se você configurou a sincronização completa na Etapa 3, opte por pular a sincronização completa para tabelas individuais. Isso é útil se você já sincronizou os dados completos com o destino usando outros métodos.

Full condition

Aplica um filtro aos dados de origem durante a fase de sincronização completa. Insira apenas as condições de filtro de uma cláusula WHERE. Não inclua a palavra-chave WHERE.

Configure DML Rule

O processamento de mensagens DML aplica filtragem e controle refinados aos dados de alteração (Insert, Update e Delete) capturados da origem antes que os dados sejam gravados no destino. Esta regra aplica-se apenas durante a fase de sincronização incremental.