DataWorks:Sincronização em tempo real do MySQL para o Elasticsearch

Ações

Descrição

Refresh

O sistema lista automaticamente as tabelas de origem selecionadas. No entanto, as propriedades do índice de destino são aplicadas somente após a atualização e a confirmação.

• Selecione várias tabelas para sincronização e clique em Batch Refresh Mapping Results.

• Nome do índice de destino: O nome do índice de destino é gerado automaticamente com base na regra Customize Mapping Rules for Destination Table Names. O nome padrão é ${source_database_name}_${table_name}. Se um índice com esse nome não existir no destino, o sistema o cria automaticamente.

Custom Mapping Rule for Destination Index Name (Opcional)

O sistema usa uma regra padrão para gerar nomes de índice: ${source_database_name}_${table_name}. Clique no botão Edit na coluna Customize Mapping Rules for Destination Table Names para adicionar uma regra personalizada.

• Nome da regra: Defina um nome para a regra. Recomendamos especificar um nome descritivo que reflita o propósito de negócios.

• Nome do índice de destino: Construa o nome do índice de destino clicando no botão e combinando valores de Manual Input e Built-in Variable. As variáveis compatíveis incluem o nome da origem de dados, o nome do banco de dados de origem e o nome da tabela de origem.

• Editar variáveis integradas: Aplique transformações de string às variáveis integradas.

Este recurso é compatível com os seguintes cenários:

1. Adicionar prefixos ou sufixos aos nomes: Adicione um prefixo ou sufixo ao nome da tabela de origem definindo uma constante.

   Configuração da regra	Resultado
   No campo Rule name, insira pre_table_post. O Destination index name é composto por três partes: o texto pre_, a variável integrada source table name e o texto _post.	Após aplicar a regra pre_table_post, a tabela de origem userinfo é mapeada para o índice de destino pre_userinfo_post (a ser criado) e a tabela de origem userinfo1 é mapeada para o índice de destino pre_userinfo1_post (a ser criado).

2. Executar substituição global de strings: Substitua a string dev_ em todos os nomes de tabelas de origem por prd_.

   Configuração da regra	Resultado
   Na lista suspensa Destination index name, selecione a variável integrada Source table name e acesse a página Edit built-in variables. Na aba Source table name, configure uma regra de substituição de strings para substituir a string de origem dev_ pela string de destino prd_. As regras são executadas de cima para baixo. Use Move Up, Move Down e Delete para ajustar a ordem das regras ou removê-las.	O resultado mostra que as tabelas de origem dev_table1 e dev_table2 são mapeadas para os índices de destino prd_table1 e prd_table2 (a serem criados) por meio da regra replace. O prefixo dev_ é substituído por prd_.

3. Gravar dados de várias tabelas em uma única tabela: Defina o nome do índice de destino como um valor constante.

   Configuração da regra	Resultado
   No campo Destination index name, insira um valor fixo como my_table para mapear todas as tabelas de origem para a mesma tabela de destino.	Resultado: As tabelas de origem table_01 e table_02 do banco de dados de origem mysql_test2 são mapeadas para o mesmo índice de destino my_table (a ser criado). Isso permite a mesclagem de dados de várias tabelas em um único índice.

Edit Field Type Mapping (Opcional)

O sistema fornece um mapeamento padrão entre Source Type e Destination Type. Clique em Edit Mapping of Field Data Types no canto superior direito da tabela para personalizar o mapeamento de tipos de dados de campo entre as tabelas de origem e os índices de destino. Após concluir a configuração, clique em Apply and Refresh Mapping.

Ao editar mapeamentos de tipos de campos, certifique-se de que as regras de conversão de tipos sejam válidas. Caso contrário, podem ocorrer falhas na conversão, gerando dados incorretos e interrompendo a tarefa.

Edit Destination Index (Opcional)

Com base nas regras personalizadas de mapeamento de nome de índice, o sistema cria automaticamente novos índices de destino ou reutiliza os existentes com nomes correspondentes.

O DataWorks gera automaticamente a estrutura do índice de destino com base na estrutura da tabela de origem. Na maioria dos casos, não é necessária intervenção manual.

Quando o status do índice de destino for To be created, adicione novos campos ao índice de destino com base em sua estrutura de tabela original. Execute as seguintes operações:

1. Adicione campos ao índice de destino.

   • Adicionar campos a um único índice: Clique no ícone na coluna Destination Index Name e adicione campos editando o Statement Used to Create Index.

     • Dynamic Mapping Status: Especifica se novos campos da tabela de origem devem ser adicionados ao índice de destino durante a sincronização de dados. Valores válidos:

       • true: Se o sistema detectar novos campos na tabela de origem, ele os adiciona ao índice de destino. Esses campos poderão ser pesquisados. Este é o valor padrão.

       • false: Se o sistema detectar novos campos na tabela de origem, ele os adiciona ao índice de destino, mas esses campos não poderão ser pesquisados.

       • strict: Se o sistema detectar novos campos na tabela de origem, ele recusa a adição dos campos ao índice de destino e lança uma exceção. Visualize os detalhes do erro nos logs.

       • runtime: Se o sistema detectar novos campos na tabela de origem, os novos campos não são adicionados ao mapeamento do índice. Em vez disso, são tratados como campos de tempo de execução no momento da consulta. Isso permite o uso dos campos em cálculos de script e pesquisas.

       Para mais informações sobre mapeamento dinâmico, consulte Mapeamento dinâmico.

     • Shards e Replica Shards: O número de shards primários e de réplica para um índice. Um índice completo é dividido em vários shards e distribuído por diferentes nós do Elasticsearch para permitir pesquisas distribuídas e melhorar o desempenho das consultas. Para mais informações, consulte Basic concepts.

       Nota

       Os valores dos parâmetros Shards e Replica Shards não podem ser alterados após o início da execução da tarefa. O valor padrão para ambos os parâmetros é 1.

   • Adicionar campos em lote: Selecione todas as tabelas a serem sincronizadas e, na parte inferior da tabela, selecione Batch Modify > Destination Index Structure - Batch Add Fields.

Value assignment

Os campos nativos são mapeados automaticamente com base na correspondência de nomes de campos entre a origem e o destino. Atribua valores manualmente aos novos campos e propriedades do índice de destino adicionados. Execute as seguintes operações:

• Atribuir valores a uma única tabela: Clique no botão Configuration na coluna Value assignment para atribuir valores aos campos do índice de destino.

• Atribuir valores em lote: Na parte inferior da lista, selecione Batch Modify > Value assignment para atribuir valores a campos idênticos em vários índices de destino simultaneamente.

Atribua constantes e variáveis alterando o Value Type. Há suporte para as seguintes opções:

• Destination index field:

  • Manual assignment: Insira um valor constante, como abc.

  • Source field: Atribui um valor de um campo da tabela de origem. Selecione o valor do campo ou um valor de tempo.

    • Field value: Grava o valor do campo de origem diretamente no destino.

    • Time value: Se o campo de origem contiver um valor de tempo, processe-o usando diferentes formatos e especifique um Destination Format para formatar o valor extraído.

      • Time string: Uma string que representa uma hora ou data, como "2018-10-23 02:13:56" ou "2021/05/18". A string é analisada em um valor de data ou hora por meio da especificação de um formato de tempo. Por exemplo, as strings nos exemplos anteriores podem ser reconhecidas com os formatos yyyy-MM-dd HH:mm:ss e yyyy/MM/dd.

      • Time object: Se o valor de origem for de um tipo de dados de tempo, como Date ou Datetime, selecione diretamente esse tipo.

      • Unix timestamp (seconds): Um timestamp de 10 dígitos em segundos, que pode ser fornecido como um número ou string. Exemplos: 1610529203 e "1610529203".

      • Unix timestamp (milliseconds): Um timestamp de 13 dígitos em milissegundos, que pode ser fornecido como um número ou string. Exemplos: 1610529203002 e "1610529203002".

  • Select variable: Selecione uma variável fornecida pelo sistema como origem do valor.

  • Function: Use funções para aplicar transformações simples ao campo de origem antes de atribuí-lo como valor. Para mais informações, consulte Use function expressions to assign values to destination table fields.

• Atribuição de propriedade do índice de destino: Atribua um valor à chave primária do índice de destino. Concatene vários campos de origem para criar uma chave primária composta. Certifique-se de que o valor resultante seja único.

Source split column

Selecione um campo da tabela de origem na lista suspensa Source split column ou selecione Not Split. Durante a execução da tarefa de sincronização, ela é dividida em várias subtarefas com base nessa coluna para ler dados em lotes e em paralelo.

Recomendamos usar a chave primária da tabela como coluna de divisão de origem. Não há suporte para tipos string, float e date.

A coluna de divisão de origem é compatível apenas quando a origem é o MySQL.

Skip full synchronization

Se você configurou a sincronização completa na Etapa 3, pule a sincronização completa para tabelas individuais. Isso é útil caso você já tenha sincronizado os dados completos para o destino por meio de outros métodos.

Full condition

Aplica um filtro aos dados de origem durante a fase de sincronização completa. Insira apenas as condições de filtro de uma cláusula WHERE. Não inclua a palavra-chave WHERE.

Configure DML Rule

O processamento de mensagens DML aplica filtragem e controle refinados aos dados de alteração (Insert, Update e Delete) capturados da origem antes da gravação dos dados no destino. Esta regra se aplica apenas durante a fase de sincronização incremental.