Elasticsearch:Usar o DataWorks para sincronizar dados do RDS SQL Server para o Alibaba Cloud ES

Etapa 1: Preparar os dados de origem

Crie a tabela de teste e insira um registro na sua instância do ApsaraDB RDS for SQL Server.

Crie a tabela:

CREATE TABLE students(
    id INT,
    name VARCHAR(20),
    age INT
)

Insira um registro:

INSERT INTO [students]( [id] , [name] , [age] ) values('1', 'Xiaoming','21');

Etapa 2: Adquirir e configurar um grupo de recursos exclusivo

Um grupo de recursos exclusivo para Data Integration fornece um ambiente de execução dedicado e isolado para tarefas de sincronização. Ele se conecta à sua vpc para que o Data Integration possa acessar tanto a instância do RDS SQL Server quanto a do Elasticsearch pela rede interna.

Visão geral da conectividade de rede

Para sincronizar dados pela rede interna da vpc, siga estas etapas:

1. Adquira um grupo de recursos exclusivo.

2. Vincule ao grupo de recursos a vpc, a zona e o vSwitch compartilhados por ambas as instâncias.

3. Adicione o bloco CIDR do vSwitch às listas de permissões de acesso interno de ambas as instâncias.

4. Vincule o workspace ao grupo de recursos.

Procedimento

1. Faça login no DataWorks consoleDataWorks consoleDataWorks console.

2. Na barra de menus superior, selecione uma região. No painel de navegação à esquerda, clique em Resource Group.

3. Na aba Exclusive Resource Groups, clique em Create Legacy Resource Group > Data Integration Resource Group.

4. Na página de compra DataWorks Exclusive Resource (Subscription), defina o Exclusive Resource Type como Exclusive Resource for Data Integration, insira um nome para o grupo de recursos e clique em Buy Now. Para mais opções de configuração, consulte Etapa 1: Adquirir um grupo de recursos.

5. Vincule uma vpc ao grupo de recursos exclusivo. Na coluna Operation do grupo de recursos, clique em Network Settings. Vincule a VPC, a Zone e o vSwitch onde residem as instâncias do RDS SQL Server e do Elasticsearch. Para consultar as informações de vpc de cada instância, veja Alternar o vSwitch de uma instância do ApsaraDB RDS for SQL Server e Visualizar as informações básicas de uma instância do Elasticsearch. Para instruções detalhadas, consulte Vincular uma vpc.

   Importante

   Após vincular a vpc, adicione o vSwitch CIDR block às listas de permissões de acesso interno das instâncias do RDS SQL Server e do Elasticsearch. Consulte Configurar uma lista de permissões para uma instância do ApsaraDB RDS for SQL Server e Configurar uma lista de permissões pública ou interna para uma instância do Elasticsearch.

6. Clique no ícone de voltar no canto superior esquerdo para retornar à página Resource Group List.

7. Na coluna Operation do grupo de recursos, clique em Attach Workspace e selecione seu workspace. Para mais detalhes, consulte Etapa 2: Vincular um workspace.

Etapa 3: Adicionar fontes de dados

Adicione as fontes de dados do ApsaraDB RDS for SQL Server e do Elasticsearch ao Data Integration.

1. Acesse a página Data Integration.

   1. Faça login no DataWorks consoleDataWorks consoleDataWorks console.

   2. No painel de navegação à esquerda, clique em Workspaces.

   3. Na coluna Operation do seu workspace, escolha Quick Access > Data Integration.

2. No painel de navegação, clique em Data Source.

3. Adicione a fonte de dados SQL Server.

   1. Na página Data Source List, clique em Add Data Source.

   2. Pesquise e selecione SQL Server.

   3. Na caixa de diálogo Add SQL Server Data Source, preencha os parâmetros na área Basic Information. Para detalhes dos parâmetros, consulte Configurar uma fonte de dados SQL Server.

   4. Na área Connection Configuration, clique em Test Connectivity. O status Connected confirma que a conexão foi estabelecida com sucesso.

   5. Clique em Finish.

4. Adicione a fonte de dados Elasticsearch seguindo o mesmo processo. Para mais detalhes, consulte Configurar uma fonte de dados Elasticsearch.

Etapa 4: Configurar e executar uma tarefa de sincronização offline

A tarefa de sincronização offline é executada no grupo de recursos exclusivo, que extrai dados da fonte SQL Server e os grava no Elasticsearch.

1. Acesse a página Data Development.

   1. Faça login no DataWorks consoleDataWorks consoleDataWorks console.

   2. No painel de navegação à esquerda, clique em Workspaces.

   3. Na coluna Operation do seu workspace, escolha Quick Access > Data Development.

2. Crie uma tarefa de sincronização offline.

   1. No painel de navegação, clique no ícone e escolha New > New Business Flow.

   2. Clique com o botão direito no novo fluxo de negócios e escolha New Node > Offline Synchronization.

   3. Na caixa de diálogo New Node, insira um nome para o nó e clique em Confirm.

3. Configure a rede e os recursos.

   1. Na área Data Source, defina Data Source como SQL Server e selecione sua fonte de dados em Data Source Name.

   2. Na área My Resource Groups, selecione o grupo de recursos exclusivo.

   3. Na área Data Destination, defina Data Destination como Elasticsearch e selecione sua fonte de dados em Data Source Name.

4. Clique em Next.

5. Configure os detalhes da tarefa. Para a lista completa de opções de configuração, consulte Configurar uma tarefa de sincronização offline usando a interface visual.

   1. Na área Data Source, selecione a tabela a ser sincronizada.

   2. Defina os parâmetros na área Data Destination.

   3. Na área Field Mapping, mapeie o Source Field para o Destination Field. Para mais detalhes, consulte Configurar uma tarefa de sincronização offline usando a interface visual.

   4. Na área Channel Control, configure os parâmetros do canal conforme necessário.

6. Execute a tarefa. Se você configurou um agendamento, a tarefa será executada automaticamente nos intervalos especificados. Para executá-la imediatamente, clique no ícone de execução no canto superior direito. Uma mensagem de log Shell run successfully! confirma que a tarefa foi concluída com êxito.

   1. (Opcional) No painel direito, clique em Scheduling Configuration para definir os parâmetros de agendamento da tarefa. Para detalhes dos parâmetros, consulte Configuração de agendamento.

   2. No canto superior direito da aba de configuração do nó, clique no ícone de salvar.

   3. Clique no ícone de envio para submeter a tarefa.

Etapa 5: Verificar o resultado da sincronização de dados

1. Faça login no console do Kibana da sua instância do Elasticsearch. Consulte Fazer login no console do Kibana.

2. No canto superior esquerdo da página do Kibana, clique no ícone de menu e selecione Dev Tools.

3. No Console, execute a seguinte consulta para visualizar os dados sincronizados:

   POST /dbo.students/_search?pretty
   {
      "query": { "match_all": {}}
   }

   Nota

   Substitua dbo.students pelo nome do índice especificado ao configurar a tarefa de sincronização no DataWorks.

   O resultado esperado é mostrado na figura a seguir.