Elasticsearch:Sincronizar dados do HBase para o Alibaba Cloud Elasticsearch usando o DataWorks

Contexto

O DataWorks é uma plataforma completa de desenvolvimento e governança de big data, construída sobre mecanismos de big data. Ele integra recursos como desenvolvimento de dados, agendamento de tarefas e gerenciamento de dados. Com as tarefas de sincronização do DataWorks, você transfere rapidamente dados de diversas fontes para o Alibaba Cloud Elasticsearch.

• Fontes de dados compatíveis:

  • Bancos de dados da Alibaba Cloud (MySQL, PostgreSQL, SQL Server, MongoDB e HBase)

  • Alibaba Cloud PolarDB-X (atualizado do DRDS)

  • Alibaba Cloud MaxCompute

  • Alibaba Cloud OSS

  • Alibaba Cloud Tablestore

  • Versões autogerenciadas de HDFS, Oracle, FTP, DB2 e outros tipos de banco de dados compatíveis

• Cenários de uso:

  • Sincronização offline de big data para o Alibaba Cloud Elasticsearch. É possível sincronizar um banco de dados inteiro ou todos os dados de uma tabela específica. Para mais informações, consulte Offline synchronization of an entire MySQL database to Elasticsearch.

  • Sincronização em tempo real de big data para o Alibaba Cloud Elasticsearch. Este método oferece suporte à sincronização completa e incremental. Para mais informações, consulte Real-time synchronization of an entire MySQL database to Elasticsearch.

Pré-requisitos

• Uma instância do HBase criada. Para mais informações, consulte Create an instance.

• Uma instância do Alibaba Cloud Elasticsearch criada, com o recurso Auto Indexing ativado. Para mais informações, consulte Create an Alibaba Cloud Elasticsearch instance e Configure YML parameters.

• Um workspace do DataWorks criado. Para mais informações, consulte Create a workspace.

Faturamento

• Para detalhes sobre as taxas de uma instância do Alibaba Cloud Elasticsearch, consulte Elasticsearch billable items.

• Para informações sobre os custos de um grupo de recursos do Data Integration, consulte Resource group fees.

Etapa 1: Preparar os dados de origem

Este exemplo utiliza a seguinte instrução de criação de tabela e dados de teste. Para saber como importar dados para uma instância do HBase, consulte Use HBase Shell to access.

• Instrução de criação de tabela

  create 'student', {NAME => 'name'}, {NAME => 'ID'}, {NAME => 'gender'}

• Dados de teste

  Execute o comando put para inserir dados na tabela. Exemplo: put 'student', 'row1', 'name:a', 'xiaoming'.

  Use o comando scan para visualizar os dados da tabela. Exemplo: scan 'student'.

Etapa 2: Adquirir e configurar um grupo de recursos exclusivo

Adquira um grupo de recursos exclusivo para o Data Integration e associe uma VPC e um workspace a ele. Um grupo de recursos exclusivo garante transmissão de dados rápida e estável.

1. Faça login no console do DataWorks.

2. Na barra de navegação superior, selecione uma região. No painel de navegação à esquerda, clique em Resource Groups.

3. Na aba Exclusive Resource Group, clique em Create Legacy Resource Group > Resource Group for Data Integration.

4. Na página DataWorks Exclusive Resources (Subscription), defina o Resource Type como Exclusive Resource Group for Data Integration, insira um nome para o grupo de recursos e clique em Buy Now para adquirir o grupo de recursos exclusivo.

   Para mais informações, consulte Step 1: Purchase a resource group.

5. Na coluna Actions do grupo de recursos exclusivo criado, clique em Network Settings para attach a VPC.

   Nota

   Este procedimento sincroniza dados por meio de uma VPC utilizando um grupo de recursos exclusivo para Data Integration. Para mais informações, consulte Configure an IP address whitelist.

   Para sincronizar dados, o grupo de recursos exclusivo precisa se conectar às VPCs das instâncias do HBase e do Alibaba Cloud Elasticsearch. Associe o grupo de recursos à Virtual Private Cloud (VPC), Zone e VSwitch de ambas as instâncias. Para visualizar as informações de VPC da instância do Alibaba Cloud Elasticsearch, consulte View the basic information of an Elasticsearch instance.

   Importante

   Após associar uma VPC, adicione o vSwitch CIDR Block da VPC às listas de permissões de endereços IP privados das instâncias do HBase e do Alibaba Cloud Elasticsearch. Para mais informações, consulte Configure a public or private IP address whitelist for an Elasticsearch instance.

6. No canto superior esquerdo, clique no ícone de voltar para retornar à página Resource List.

7. Na coluna Actions do grupo de recursos exclusivo, clique em Attach Workspace para associar o workspace de destino.

   Para mais informações, consulte Step 2: Associate a workspace.

Etapa 3: Adicionar fontes de dados

Adicione as fontes de dados do HBase e do Elasticsearch ao Data Integration no DataWorks.

1. Acesse a página do Data Integration.

   1. Faça login no console do DataWorks.

   2. No painel de navegação à esquerda, clique em Workspace.

   3. Na coluna Actions do workspace desejado, escolha Shortcuts > Data Integration.

2. No painel de navegação à esquerda, clique em Data Source.

3. Adicione uma fonte de dados do HBase.

   1. Na página Data Sources, clique em Add Data Source.

   2. Na caixa de diálogo Add Data Source, pesquise e selecione HBase.

   3. Na caixa de diálogo Add HBase Data Source, configure os parâmetros na seção Basic Information.

      Para mais informações, consulte Configure an HBase data source.

   4. Na seção Connection Configuration, clique em Test Connectivity. O status Connected indica que a conexão foi bem-sucedida.

   5. Clique em OK.

4. Adicione uma fonte de dados do Elasticsearch seguindo o mesmo processo. Para mais informações, consulte Configure an Elasticsearch data source.

Etapa 4: Configurar e executar uma tarefa de sincronização offline

Configure e execute uma tarefa de sincronização offline em um grupo de recursos exclusivo.

1. Acesse a página de Desenvolvimento de Dados.

   1. Faça login no console do DataWorks.

   2. No painel de navegação à esquerda, clique em Workspace.

   3. Na coluna Actions do workspace de destino, escolha Shortcuts > Data development.

2. Crie um nó de sincronização offline.

   1. Na aba Data Development (), escolha Create > New business process.

   2. Clique com o botão direito no workflow criado e escolha Create Node > Data Integration > Batch Synchronization.

   3. Na caixa de diálogo Create Node, insira um nome para o nó e clique em OK.

3. Configure a rede e os recursos.

   1. Na seção Source, selecione HBase na lista suspensa Source e escolha o nome da fonte de dados de origem na lista suspensa Data Source Name.

   2. Na seção Resource Group, selecione o grupo de recursos exclusivo.

   3. Na seção Destination, selecione Elasticsearch na lista suspensa Destination e escolha o nome da fonte de dados de destino na lista suspensa Data Source Name.

4. Clique em Next.

5. Configure a tarefa.

   1. Na seção Source, selecione a tabela que deseja sincronizar.

   2. Na seção Destination, configure os parâmetros necessários.

   3. Na seção Field Mapping, mapeie a Source Column para a Target Column. Para mais informações, consulte Configure an offline synchronization task by using the codeless UI.

   4. Na seção Channel Control, configure os parâmetros do canal.

   Para mais informações, consulte Configure an offline synchronization task by using the codeless UI.

6. Execute a tarefa.

   1. (Opcional) No lado direito da página, clique em Properties para configurar os parâmetros de agendamento. Para mais informações, consulte Scheduling configuration.

   2. Na barra de ferramentas superior, clique no ícone Salvar para salvar a tarefa.

   3. Na barra de ferramentas superior, clique no ícone Enviar para submeter a tarefa.

      Se você configurar propriedades de agendamento, a tarefa será executada periodicamente. Também é possível clicar no ícone Executar no canto superior direito do editor de nós para rodar a tarefa imediatamente.

      A mensagem Shell run successfully! no log de execução indica que a tarefa foi concluída com sucesso.

Etapa 5: Verificar os dados sincronizados

1. Log on to the Kibana console do seu cluster Elasticsearch e acesse a página inicial do Kibana.

2. No menu de navegação à esquerda, clique em Dev tools.

3. Na aba Console, execute o seguinte comando para visualizar os dados sincronizados.

   POST /student_info/_search?pretty
   {
      "query": { "match_all": {}}
   }

   Nota

   student_info é o nome do índice de destino configurado na tarefa de sincronização offline.