Data Transmission Service:Sincronizar dados do PolarDB for MySQL para o Elasticsearch

Pré-requisitos

Para começar, crie uma instância Elasticsearch na região de destino. O espaço de armazenamento dessa instância deve ser maior que o do cluster PolarDB for MySQL de origem. Para mais informações, consulte Create an Alibaba Cloud Elasticsearch instance.

Observações importantes

Faturamento

Operações SQL suportadas

Permissões da conta do banco de dados

Procedimento

1. Acesse a página da lista de tarefas de sincronização da região de destino. Use um dos seguintes métodos:

   Pelo console do DTS

   1. Faça login no console do Data Transmission Service (DTS).

   2. No painel de navegação à esquerda, clique em Data Synchronization.

   3. No canto superior esquerdo da página, selecione a região da instância de sincronização.

   Pelo console do DMS

   Nota

   As operações reais podem variar com base no modo e no layout do console do DMS. Para mais informações, consulte Simple mode e Customize the layout and style of the DMS interface.

   1. Faça login no Data Management (DMS).

   2. Na barra de menu superior, escolha Data + AI > Data Transmission (DTS) > Data Synchronization.

   3. À direita de Data Synchronization Tasks, selecione a região da instância de sincronização.

2. Clique em Create Task para abrir a página de configuração da tarefa.

3. Configure os bancos de dados de origem e de destino.

   Categoria	Configuração	Descrição
   Nenhuma	Task Name	O DTS gera automaticamente um nome para a tarefa. Recomendamos especificar um nome descritivo para facilitar a identificação. O nome não precisa ser único.
   Source Database	Select Existing Connection	Para usar uma instância de banco de dados adicionada ao sistema (recém-criada ou salva), selecione-a na lista suspensa. As informações do banco de dados serão configuradas automaticamente. Nota No console do DMS, este item de configuração chama-se Select a DMS database instance.. Caso não tenha adicionado a instância de banco de dados ao sistema ou não precise usar uma instância já adicionada, configure manualmente as seguintes informações do banco de dados.
   	Database Type	Selecione PolarDB for MySQL.
   	Access Method	Selecione Alibaba Cloud Instance.
   	Instance Region	Selecione a região do cluster PolarDB for MySQL de origem.
   	Replicate Data Across Alibaba Cloud Accounts	Este exemplo usa uma instância de banco de dados que pertence à conta atual do Alibaba Cloud. Selecione No.
   	PolarDB Cluster ID	Selecione o ID do cluster PolarDB for MySQL de origem.
   	Database Account	Agora, insira a conta do banco de dados do cluster PolarDB for MySQL de origem. Para os requisitos de permissão, consulte Database account permissions.
   	Database Password	Em seguida, insira a senha correspondente à conta do banco de dados.
   	Encryption	Selecione conforme necessário. Para mais informações sobre criptografia SSL, consulte Configure SSL encryption.
   Destination Database	Select Existing Connection	Para usar uma instância de banco de dados adicionada ao sistema (recém-criada ou salva), selecione-a na lista suspensa. As informações do banco de dados serão configuradas automaticamente. Nota No console do DMS, este item de configuração chama-se Select a DMS database instance.. Caso não tenha adicionado a instância de banco de dados ao sistema ou não precise usar uma instância já adicionada, configure manualmente as seguintes informações do banco de dados.
   	Database Type	Selecione Elasticsearch.
   	Access Method	Selecione Alibaba Cloud Instance.
   	Instance Region	Selecione a região da instância Elasticsearch de destino.
   	Type	Selecione Cluster ou Serverless conforme necessário.
   	Instance ID	Selecione o ID da instância Elasticsearch de destino.
   	Database Account	Por favor, insira o nome de login padrão elastic para a instância Elasticsearch.
   	Database Password	Em seguida, insira a senha correspondente à conta do banco de dados.
   	Encryption	Selecione HTTP ou HTTPS conforme necessário.

4. Após concluir a configuração, clique em Test Connectivity and Proceed na parte inferior da página.

   Nota

   • Certifique-se de que os blocos CIDR de endereços IP dos servidores do DTS estejam adicionados às configurações de segurança dos bancos de dados de origem e de destino para permitir o acesso, e confirme as alterações. Isso pode ser feito automática ou manualmente. Para mais informações, consulte Add the IP address CIDR blocks of DTS servers to a whitelist.

   • Se o banco de dados de origem ou de destino for um banco de dados autogerenciado (onde o Access Method não é Alibaba Cloud Instance), você também deve clicar em Test Connectivity na caixa de diálogo CIDR Blocks of DTS Servers.

5. Configure os objetos da tarefa.

   1. Na página Configure Objects, configure os objetos a serem sincronizados.

      Configuração	Descrição
      Synchronization Types	Incremental Data Synchronization está selecionado. Por padrão, você também deve selecionar Schema Synchronization e Full Data Synchronization. Após a pré-verificação, o DTS executa uma sincronização completa dos objetos selecionados da instância de origem para o cluster de destino. Isso serve como linha de base para a sincronização incremental subsequente.
      Index Name	Ao selecionar Table Name, o índice criado na instância Elasticsearch de destino terá o mesmo nome da tabela. Ao selecionar Database Name_Table Name, o nome do índice na instância Elasticsearch de destino será a concatenação do nome do banco de dados, um sublinhado (_) e o nome da tabela. Nota A configuração de mapeamento de nome de índice se aplica a todas as tabelas.
      Processing Mode of Conflicting Tables	Precheck and Report Errors: Verifica se existe uma tabela com o mesmo nome no banco de dados de destino. Se não existir, a pré-verificação será aprovada. Se existir, a pré-verificação falhará e a tarefa de sincronização não será iniciada. Nota Caso não possa excluir ou renomear a tabela com o mesmo nome no banco de dados de destino, você poderá mapeá-la para um nome diferente. Para mais informações, consulte Map table and column names. Ignore Errors and Proceed: Ignora a verificação de nomes de tabela duplicados no banco de dados de destino. Aviso Selecionar Ignore Errors and Proceed pode causar inconsistência de dados e colocar seus negócios em risco. Por exemplo: Se os schemas das tabelas forem iguais e um registro no banco de dados de destino tiver a mesma chave primária ou valor de chave única que um registro no banco de dados de origem: Durante a sincronização completa, o DTS retém o registro no cluster de destino. O registro correspondente do banco de dados de origem não é sincronizado. Durante a sincronização incremental, o registro do banco de dados de origem substitui o registro no banco de dados de destino. Se os schemas das tabelas forem diferentes, a sincronização inicial de dados poderá falhar. Isso pode resultar na sincronização parcial dos dados das colunas ou em uma falha completa. Prossiga com cautela.
      Capitalization of Object Names in Destination Instance	Você pode configurar a política de diferenciação de maiúsculas e minúsculas para nomes de objetos de banco de dados, tabelas e colunas sincronizados com a instância de destino. Por padrão, a DTS default policy está selecionada. Você também pode optar por usar as políticas padrão dos bancos de dados de origem e de destino. Para mais informações, consulte Case sensitivity policy for destination object names.
      Source Objects	Na caixa Source Objects, clique em um objeto a ser sincronizado e, em seguida, clique em para movê-lo para a caixa Selected Objects. Nota Você pode selecionar objetos no nível do banco de dados ou da tabela.
      Selected Objects	Para modificar o nome do índice, o nome do tipo, o nome do campo ou a condição de filtro para uma tabela na instância do Elasticsearch de destino, clique com o botão direito do mouse no nome da tabela na área Selected Objects. Para mais informações, consulte Map database and table column names e Set filter conditions. Nota Apenas sublinhados (_) são permitidos como caracteres especiais em nomes de índices e tipos.

   2. Clique em Next: Advanced Settings para configurar parâmetros avançados.

      Configuração	Descrição
      Dedicated Cluster for Task Scheduling	Por padrão, o DTS agenda tarefas em um cluster compartilhado, sem necessidade de seleção. Para um desempenho mais estável, você pode comprar um cluster dedicado para executar tarefas de sincronização do DTS. Para mais informações, consulte What is a DTS dedicated cluster?.
      Retry Time for Failed Connections	Após o início da tarefa de sincronização, se a conexão com o banco de dados de origem ou de destino falhar, o DTS reportará um erro e tentará reconectar imediatamente. A duração padrão de nova tentativa é de 720 minutos. Você também pode especificar uma duração personalizada de 10 a 1.440 minutos. Recomendamos definir a duração como 30 minutos ou mais. Se o DTS se reconectar ao banco de dados dentro da duração especificada, a tarefa de sincronização será retomada automaticamente. Caso contrário, a tarefa falhará. Nota Caso tenha várias instâncias do DTS (por exemplo, Instância A e Instância B) compartilhando a mesma origem ou destino, e definir o tempo de nova tentativa de rede como 30 minutos para a Instância A e 60 minutos para a Instância B, a duração menor (30 minutos) será usada para ambas. Como o DTS cobra pelo tempo de execução da tarefa durante o período de nova tentativa de conexão, recomendamos personalizar a duração da nova tentativa com base nas necessidades do seu negócio ou liberar a instância do DTS o mais rápido possível após a liberação das instâncias de banco de dados de origem e de destino.
      Retry Time for Other Issues	Após o início da tarefa de sincronização, se ocorrerem outros problemas não relacionados à conectividade com o banco de dados de origem ou de destino (como exceções de execução DDL ou DML), o DTS reportará um erro e iniciará operações contínuas de nova tentativa. A duração padrão é de 10 minutos. Você também pode personalizar a duração no intervalo de 1 a 1.440 minutos. Recomendamos definir como 10 minutos ou mais. Se as operações relevantes forem bem-sucedidas dentro da duração definida, a tarefa de sincronização será retomada automaticamente. Caso contrário, a tarefa falhará. Importante O valor para Retry Time for Other Issues deve ser menor que o valor para Retry Time for Failed Connections.
      Enable Throttling for Full Data Synchronization	Durante a etapa de sincronização completa, o DTS consome recursos de leitura e gravação dos bancos de dados de origem e de destino, o que pode aumentar a carga. Para reduzir a carga, você pode definir um limite de taxa para a tarefa de sincronização completa configurando os parâmetros Queries per second (QPS) to the source database, RPS of Full Data Migration e Data migration speed for full migration (MB/s). Nota Este item de configuração está disponível apenas quando Synchronization Types está definido como Full Data Synchronization. Você também pode ajustar a taxa de sincronização completa após a instância de sincronização estar em execução.
      Enable Throttling for Incremental Data Synchronization	Você também pode definir um limite de taxa para a tarefa de sincronização incremental. Para aliviar a pressão no banco de dados de destino, defina RPS of Incremental Data Synchronization e Data synchronization speed for incremental synchronization (MB/s).
      Environment Tag	Selecione um rótulo de ambiente para identificar a instância, se necessário. Este exemplo não requer um.
      Shard Configuration	Defina o número de shards primários e réplicas para o índice, com base na configuração máxima de shards na instância Elasticsearch de destino.
      String Index	Como as strings são indexadas na instância Elasticsearch de destino. analyzed: Analisa a string primeiro e, em seguida, a indexa. Você também deve selecionar um analisador. Para tipos e funções de analisadores, consulte Analyzers. not analyzed: Indexa o valor bruto diretamente, sem análise. no: Não indexa a string.
      Time Zone	Ao sincronizar tipos de dados DATETIME ou TIMESTAMP para a instância Elasticsearch de destino, selecione o fuso horário a ser usado. Nota Se as informações de fuso horário não forem necessárias para esses tipos de dados na instância de destino, pré-configure o tipo de documento (type) para esses dados na instância de destino.
      DOCID	Nenhuma configuração é necessária. O DOCID usa a chave primária da tabela como padrão. Se não houver chave primária, o DOCID será a coluna ID gerada automaticamente pelo Elasticsearch.
      Whether to delete SQL operations on heartbeat tables of forward and reverse tasks	Defina se deseja gravar informações SQL de heartbeat no banco de dados de origem quando a instância do DTS estiver em execução. Yes: As informações SQL de heartbeat não são gravadas no banco de dados de origem. Isso pode fazer com que a instância do DTS reporte um atraso. No: Grava informações SQL de heartbeat no banco de dados de origem. Isso pode interferir em recursos como backup físico e clonagem do banco de dados de origem.
      Configure ETL	Defina se deseja ativar o recurso de extração, transformação e carga (ETL). Para mais informações, consulte What is ETL? Valores válidos: Yes: Ativa o recurso ETL. Aqui, insira instruções de processamento de dados no editor de código. Para mais informações, consulte Configure ETL in a data migration or data synchronization task. No: Desativa o recurso ETL.
      Monitoring and Alerting	Por favor, especifique se deseja configurar alertas. Se a sincronização falhar ou a latência exceder o limiar especificado, uma notificação será enviada para um contato de alerta. No: Nenhum alerta é configurado. Yes: Configure alertas definindo um limiar de alerta e especificando um notificação de alerta. Para mais informações, consulte Configure monitoring and alerting during task configuration.

   3. Após concluir as configurações acima, clique em Next: Configure Database and Table Fields para definir a estratégia de _routing e o valor de _id para as tabelas na instância Elasticsearch de destino.

      Nota

      Você pode selecionar Definition Status como All para fazer alterações.

      Tipo	Descrição
      Set _routing	Configurar o _routing direciona documentos para shards específicos na instância do Elasticsearch de destino. Para mais informações, consulte _routing. Selecione Yes para definir uma coluna personalizada para roteamento. Selecione No para rotear usando o _id. Nota Se a instância do Elasticsearch de destino for a versão 7.x, selecione No.
      _routing Column	Selecione a coluna a ser usada para roteamento. Nota Este parâmetro é necessário apenas quando Set _routing está definido como Yes.
      Value of _id	Selecione a coluna a ser usada como ID do documento.

6. Agora, salve a tarefa e execute uma pré-verificação.

   • Para que você visualize os parâmetros da API para configurar esta instância, passe o mouse sobre o botão Next: Save Task Settings and Precheck e clique em Preview OpenAPI parameters no tooltip.

   • Após você visualizar os parâmetros da API, clique em Next: Save Task Settings and Precheck na parte inferior da página.

   Nota

   • Antes do início da tarefa de sincronização, o DTS executa uma pré-verificação. A tarefa só poderá ser iniciada após a aprovação de todos os itens.

   • Se a pré-verificação falhar, clique em View Details no item com falha. Corrija o problema conforme instruído e execute a pré-verificação novamente.

   • Caso a pré-verificação retorne um aviso:

     • Se um item de verificação falhar e não puder ser ignorado, clique em View Details ao lado do item. Siga as instruções para corrigir o problema e execute a pré-verificação novamente.

     • Para itens de verificação que podem ser ignorados, clique em Confirm Alert Details, Ignore, OK e Precheck Again em sequência para ignorar o aviso e executar a pré-verificação novamente. Optar por ocultar o item de aviso pode causar problemas como inconsistência de dados e representar riscos para o seu negócio.

7. Adquira a instância.

   1. Quando a Success Rate for 100%, clique em Next: Purchase Instance.

   2. Na página Purchase, selecione o método de faturamento e a especificação do link para a instância de sincronização de dados. A tabela a seguir descreve esses parâmetros em detalhes.

      Categoria	Parâmetro	Descrição
      New Instance Class	Método de faturamento	Assinatura: Você paga ao criar a instância. Ideal para necessidades de longo prazo e mais econômico que o pagamento conforme o uso. Quanto maior a duração da assinatura, maior o desconto. Pagamento conforme o uso: A cobrança é por hora. Ideal para necessidades de curto prazo. Você pode liberar a instância imediatamente após o uso para economizar custos.
      	Configuração do grupo de recursos	O grupo de recursos ao qual a instância pertence. O padrão é o grupo de recursos padrão (default resource group). Para mais informações, consulte What is Resource Management?.
      	Especificação do link	O DTS fornece especificações de sincronização com diferentes níveis de desempenho. A especificação do link de sincronização afeta a taxa de sincronização. Portanto, escolha uma especificação com base no seu cenário de negócios. Para mais informações, consulte Data synchronization link specifications.
      	Duração da assinatura	No modo de assinatura, selecione a duração e a quantidade da instância. Para isso, escolha uma assinatura mensal de 1 a 9 meses, ou uma assinatura anual de 1, 2, 3 ou 5 anos. Nota Esta opção está disponível apenas quando o método de faturamento é Subscription.

   3. Após concluir a configuração, leia e selecione Data Transmission Service (Pay-as-you-go) Service Terms.

   4. Clique em Buy and Start. Na caixa de diálogo OK, clique em OK.

      Você pode acompanhar o progresso da tarefa na página Data Synchronization. Se necessário, atualize a página.