Elasticsearch:Migrar dados usando a Reindex API

Preparar dados de teste

• Em ES_2, crie um índice e insira dados de teste:

  PUT /product_info
  {
    "settings": {
      "number_of_shards": 5,
      "number_of_replicas": 1
    },
    "mappings": {
        "properties": {
          "productName": {
            "type": "text",
            "analyzer": "ik_smart"
          },
          "annual_rate":{
            "type":"keyword"
          },
          "describe": {
            "type": "text",
            "analyzer": "ik_smart"
          }
      }
    }
  }

  Esse comando cria um índice chamado product_info que contém os campos productName, annual_rate e describe. Se bem-sucedido, a solicitação retorna o resultado a seguir.

  {
    "acknowledged" : true,
    "shards_acknowledged" : true,
    "index" : "product_info"
  }

  Insira seis documentos de teste:

  POST /product_info/_bulk
  {"index":{}}
  {"productName":"Financial Product A","annual_rate":"3.2200%","describe":"A 180-day fixed-term product with a minimum investment of 20,000. Stable returns with optional message notifications."}
  {"index":{}}
  {"productName":"Financial Product B","annual_rate":"3.1100%","describe":"A 90-day regular investment product with a minimum investment of 10,000. Daily profit notifications are sent."}
  {"index":{}}
  {"productName":"Financial Product C","annual_rate":"3.3500%","describe":"A 270-day regular investment product with a minimum investment of 40,000. Daily profit notifications are sent."}
  {"index":{}}
  {"productName":"Financial Product D","annual_rate":"3.1200%","describe":"A 90-day regular investment product with a minimum investment of 12,000. Daily profit notifications are sent."}
  {"index":{}}
  {"productName":"Financial Product E","annual_rate":"3.0100%","describe":"A recommended 30-day regular investment product with a minimum investment of 8,000. Daily profit notifications are sent."}
  {"index":{}}
  {"productName":"Financial Product F","annual_rate":"2.7500%","describe":"A popular 3-day short-term product with no fees and a minimum investment of 500. Profit notifications are sent via SMS."}

• Em ES_1, crie um índice para armazenar os dados migrados de ES_2:

  PUT dest
  {
    "settings": {
      "number_of_shards": 5,
      "number_of_replicas": 1
    }
  }

Conexão privada via NLB e PrivateLink

Para reforçar a segurança do cluster, clusters na mesma VPC ou em VPCs diferentes são isolados por rede. Você deve usar NLB e PrivateLink para estabelecer uma conexão privada (conexão VPC) entre os clusters.

Conforme mostrado na figura a seguir, os dois clusters ES estão implantados na mesma VPC. Um serviço de endpoint é criado na VPC do usuário. Em seguida, uma conexão privada é configurada no ES_1 para obter um endpoint. Por fim, o endpoint é associado ao serviço de endpoint para estabelecer uma conexão privada entre os dois clusters.

Um serviço de endpoint é um serviço ao qual outras VPCs podem se conectar de forma privada criando um endpoint. Você deve criar manualmente os recursos de serviço relacionados.

Um endpoint está associado a um serviço de endpoint e fornece uma conexão de rede privada para acessar serviços externos. Ao configurar uma conexão privada para uma instância ES da Alibaba Cloud, um endpoint é criado automaticamente no ambiente de rede onde o cluster ES reside.

Para ver as etapas detalhadas de configuração, consulte Estabelecer uma conexão privada entre clusters ES da Alibaba Cloud usando NLB e PrivateLink. Você deve concluir as Etapas 1, 2 e 3.

Na página Security configuration da instância ES_1, na seção Cluster network settings, clique em Modify à direita de Configure instance private connection. No painel Configure instance private connection, você pode visualizar o ID do endpoint, o ID do serviço de endpoint e o status da conexão. Quando o status de conexão do endpoint for Connected, os clusters ES_1 e ES_2 podem se comunicar por meio de seus endereços IP privados.

Configurar a lista de permissões da Reindex API

Para garantir a migração segura de dados entre clusters, você deve adicionar o endereço de conexão privada e a porta do cluster ES_2 à lista de permissões da Reindex API do ES_1.

1. Acesse a página Security do ES_1 e clique em Edit ao lado de Configure Private Connection. No painel lateral Configure Private Connection, clique no Endpoint ID desejado.

   Para adicionar uma nova conexão, clique em + Add Private Connection na parte inferior do painel lateral Configure instance private connection.

2. No console VPC, na guia Endpoint Connections, clique no ícone ao lado do ID do endpoint para ver o nome de domínio correspondente.

   Importante

   Você deve remover o identificador de zona de disponibilidade do nome de domínio antes de adicioná-lo à lista de permissões da Reindex API.

   Por exemplo, se o nome de domínio completo for "ep-bp1****************-cn-hangzhou-i.epsrv-bp1****************.cn-hangzhou.privatelink.aliyuncs.com", remova o identificador de zona de disponibilidade "-cn-hangzhou-i" para obter o nome de domínio final: "ep-bp1bp1****************.epsrv-bp1****************.cn-hangzhou.privatelink.aliyuncs.com".

3. No arquivo YML do ES_1, configure a lista de permissões da Reindex API. A entrada da lista de permissões deve ser o nome de domínio e a porta do endpoint.

   reindex:
     remote:
       whitelist: >-
         ep-bp1bp1****************.epsrv-bp1****************.cn-hangzhou.privatelink.aliyuncs.com:9200

   Na página ES cluster configuration, clique em Modify configuration à direita de YML configuration. No editor YAML Other configure no painel, adicione a configuração de lista de permissões anterior.