Elasticsearch:Início rápido: Criar um cluster e recuperar dados

Este tutorial orienta desenvolvedores iniciantes no Alibaba Cloud Elasticsearch (ES) durante todo o fluxo, desde a criação do cluster até a recuperação de dados. O processo leva cerca de 45 minutos, incluindo aproximadamente 20 minutos de espera pela criação do cluster.

O que você aprenderá

• Criar e configurar um cluster ES.

• Modelar dados com as Dev Tools no Kibana.

  O Kibana é um dos componentes principais do ES. Ele permite explorar, analisar e apresentar os dados armazenados no ES de forma gráfica e intuitiva. Como o Kibana já vem integrado ao console do ES, não é necessária instalação manual.

• Inserir dados de exemplo e executar diversas operações de busca.

Ao concluir este tutorial, você poderá criar índices, ler e gravar dados, além de realizar buscas no ES.

Versão do ES e custos

Antes de começar, revise as informações essenciais sobre este teste:

• Tipo e versão do ES: Vector Enhanced Edition 8.17.0.

  Esta edição modulariza os serviços de algoritmo central no pipeline de busca por IA, incluindo análise de documentos, fragmentação, incorporação de texto, análise de consultas, recuperação, classificação e integração com modelos de linguagem grandes (LLM). Ela oferece suporte à busca semântica e ajuda empresas a criar rapidamente recursos de Geração Aumentada por Recuperação (RAG) e busca multimodal.

• Custo estimado: Este tutorial utiliza o modelo de faturamento pagamento conforme o uso e aplica uma configuração mínima para manter o custo do teste baixo: zona única, menores especificações de nó e espaço de armazenamento disponíveis, sem nó mestre dedicado e sem recursos avançados de aprimoramento que gerem taxas adicionais. Se você seguir o procedimento deste tópico, que dura cerca de 45 minutos, e liberar o cluster imediatamente após terminar, o custo total estimado será inferior a USD 5.

Com a configuração recomendada neste tópico, apenas três itens de pagamento conforme o uso são cobrados: especificações do nó de dados, espaço de armazenamento do nó de dados e especificações do nó do Kibana. É possível visualizar os itens de faturamento e o preço unitário de cada item na parte inferior da página de compra.

Os clusters ES têm liquidação horária, e as taxas continuam a acumular enquanto o cluster estiver em execução. Após o teste, libere o cluster imediatamente seguindo a seção "Limpar recursos e próximos passos" deste tópico para evitar cobranças desnecessárias.

Pré-requisitos

• Registre-se e faça login em uma conta Alibaba Cloud. Certifique-se de que a conta tenha permissões para criar e gerenciar recursos como Elasticsearch e Virtual Private Cloud (VPC).

• Create a Virtual Private Cloud (VPC) and a vSwitch e anote a região e a zona onde residem a VPC e o vSwitch. Ao criar o cluster ES posteriormente, selecione a mesma região e zona. Caso contrário, não será possível associar o cluster a eles.

Procedimento

Etapa 1: Criar um cluster (cerca de 20 minutos)

1. Faça login no console do Alibaba Cloud Elasticsearch. Na página Elasticsearch Clusters, clique em Create para acessar a página de compra do cluster. Defina os seguintes parâmetros principais e mantenha os demais com seus valores padrão.

   Parâmetro	Descrição
   Billing Method	Pagamento conforme o uso. Você pode liberar o cluster a qualquer momento.
   Region and zone	Região: Selecione a região onde residem a VPC e o vSwitch criados anteriormente. Zona: Três zonas são selecionadas por padrão. Para testes, alterne manualmente para zona única e reduza o tempo de espera na criação do cluster. Em ambientes de produção, recomenda-se atualizar para múltiplas zonas. Este exemplo utiliza China (Hangzhou) / Zone I. Se você mantiver três ou duas zonas, o número de nós de dados deve ser pelo menos 3 e múltiplo de 3. Portanto, não será possível definir os 2 nós de dados utilizados neste tutorial.
   Network Type	Para o tipo de rede, selecione a VPC e o vSwitch que você criou.
   Cluster Type e Elasticsearch Version	Vector Enhanced Edition 8.17.0. Este tutorial baseia-se nesta versão.
   Cenário e recursos avançados	Mantenha o cenário de recuperação padrão. Dois recursos avançados de aprimoramento vêm ativados por padrão neste cenário. Configure-os da seguinte forma: Motor de busca de alto desempenho FalconSeek: Mantenha ativado. A ativação é gratuita e não adiciona itens de cobrança; portanto, mantenha-o para testar a capacidade de recuperação acelerada. Motor de armazenamento OpenStore (recuperação de alto desempenho): Desative. Este recurso é cobrado pelo espaço de armazenamento OpenStore (DFS) e espaço em disco de cache. Quando ativado, 160 GiB de armazenamento compartilhado são adquiridos por padrão, gerando taxas adicionais. Este tutorial não exige esse recurso.
   Data Node Specifications	Especificações do nó: 2 vCPU e 4 GiB de memória, a menor opção disponível. Tipo de armazenamento: mantenha o padrão. Espaço de armazenamento por nó: 20 GiB, a menor opção disponível. Número de nós de dados: 2, o menor valor configurável em uma única zona. Esses nós de dados armazenam dados de índice e executam principalmente operações de criação, recuperação, atualização, exclusão e agregação de documentos.
   Dedicated Master Node	Selecionado por padrão, com três nós de 2 vCPU e 4 GiB de memória cada. Como este tutorial é um cenário de teste, desmarque a caixa de seleção do nó mestre dedicado para reduzir custos. Um nó mestre dedicado gerencia os metadados do cluster. Após desmarcar a caixa, a página exibirá um aviso de que os dois nós de dados apresentam risco de split-brain. Ignore esse alerta durante um breve teste funcional, mas certifique-se de ativar o nó mestre dedicado antes de iniciar cargas de trabalho em produção.
   Kibana Node	ES_test
   Cluster Name	Defina uma senha personalizada. Essa senha será usada posteriormente para fazer login no Kibana, criar índices e explorar dados.

2. Clique em Password e aguarde cerca de 20 minutos até que o status do cluster mude para Active. Em seguida, prossiga para a próxima etapa.

Etapa 2: Configurar e fazer login no Kibana

O acesso via rede pública ao Kibana vem habilitado por padrão. Por motivos de segurança, o acesso público nega todos os endereços IP inicialmente. Portanto, adicione o endereço IP do dispositivo que você pretende usar à lista de permissões antes de acessar o Kibana.

A autenticação de acesso utiliza verificação em dois fatores. Primeiro, faça login na sua conta Alibaba Cloud. Depois, conclua um segundo login com as credenciais de acesso do cluster ES, onde o nome de usuário é fixo como elastic com sua respectiva senha de login.

1. No painel de navegação à esquerda, clique em Buy Now. Na seção Data Visualization, clique em Kibana.

2. Na seção Modify Configuration, modifique a configuração de acesso à rede pública do Kibana e sua lista de permissões.

   Obter o endereço IP do seu dispositivo

   Obtenha o endereço IP do dispositivo que você deseja utilizar conforme os cenários abaixo.

   Cenário	Endereço IP a obter	Como obter
   Acessar o Kibana a partir de um dispositivo local pela internet.	O endereço IP público do dispositivo local. Nota Se o dispositivo estiver em uma rede doméstica ou em uma rede local corporativa (LAN), adicione o endereço IP de saída público da LAN.	Execute o comando curl ipinfo.io/ip para consultar o endereço IP público do dispositivo.
   Acessar o Kibana a partir de uma instância ECS pela internet.	Quando a instância ECS e o cluster ES estiverem em VPCs diferentes, acesse o Kibana pelo endereço IP público da instância ECS. Obtenha o endereço IP público da instância ECS e adicione-o à lista de permissões de acesso público do cluster ES.	Faça login no console do ECS e visualize o endereço IP público da instância na lista de instâncias.

   Adicionar à lista de permissões de acesso público

   Obtain the IP address of your device e adicione-o à lista de permissões de acesso público.

   1. Clique em Network Access Configuration à direita do grupo default. Na caixa de diálogo exibida, adicione endereços IP à lista de permissões.

      Tipo de configuração	Formato e exemplo	Observações importantes
      Formato de endereço IPv4	Endereço IP único: 192.168.0.1 Bloco CIDR: 192.168.0.0/24. Recomendamos consolidar endereços IP dispersos em blocos CIDR. Um único cluster suporta no máximo 300 endereços IP ou blocos CIDR. Separe múltiplos endereços IP ou blocos CIDR com vírgulas (,) e não adicione espaços antes ou depois das vírgulas.	Endereço público padrão: 127.0.0.1, que nega acesso de todos os endereços IPv4. 0.0.0.0/0: Permite acesso de todos os endereços IPv4. Importante Não configure 0.0.0.0/0, pois isso representa um alto risco de segurança. Alguns clusters e regiões não suportam 0.0.0.0/0. Consulte o console ou a mensagem de erro para obter informações precisas.

   2. Após concluir a configuração, clique em Configure.

3. Clique em OK. Na página de login do Kibana, insira o nome de usuário e a senha. Após o login bem-sucedido, você acessará o console do Kibana e poderá explorar os dados do ES.

   • Access over Internet: fixo como elastic.

   • Username: a senha definida durante a criação do cluster ES. Se você a esqueceu, reset the password.

4. Acesse o console Password e execute o comando GET / para consultar as informações do cluster.

   Verificação: Se o painel direito retornar um objeto JSON contendo informações como número da versão e nome do cluster, a conexão está normal.

Etapa 3: Criar um índice

Nas Dev Tools do Kibana, execute uma operação de API RESTful para criar um índice (mapeamento) chamado product_info para dados de produtos de gestão de patrimônio.

PUT /product_info
{
  "settings": {
    "number_of_shards": 5,
    "number_of_replicas": 1
  },
  "mappings": {
      "properties": {
        "productName": {
          "type": "text",
          "analyzer": "ik_smart"
        },
        "annual_rate":{
          "type":"keyword"
        },
        "describe": {
          "type": "text",
          "analyzer": "ik_smart"
        }
    }
  }
}

Descrição dos parâmetros principais:

settings: define a configuração de shards do índice. Por exemplo, esta configuração estabelece cinco shards primários e uma réplica para cada shard primário.

mappings: define os campos do índice. Neste caso, a configuração estabelece três campos no arquivo de índice: productName , annual_rate e describe . Campos do tipo text suportam tokenização e busca difusa, enquanto campos do tipo keyword servem para correspondência exata de valores. Para mais detalhes sobre tipos de campo, consulte Tipos de dados de campo .

Verificação: Se a resposta contiver "acknowledged": true e "shards_acknowledged": true, o índice foi criado com sucesso.

Etapa 4: Inserir dados

Execute o código abaixo para inserir dados de teste em massa:

POST /product_info/_bulk
{"index":{}}
{"productName":"Wealth Management Product A","annual_rate":"3.2200%","describe":"180-day fixed-term product. Minimum investment: 20,000. Stable returns. Optional push notifications."}
{"index":{}}
{"productName":"Wealth Management Product B","annual_rate":"3.1100%","describe":"90-day scheduled investment product. Minimum investment: 10,000. Daily push notifications for credited returns."}
{"index":{}}
{"productName":"Wealth Management Product C","annual_rate":"3.3500%","describe":"270-day scheduled investment product. Minimum investment: 40,000. Daily push notifications for immediately credited returns."}
{"index":{}}
{"productName":"Wealth Management Product D","annual_rate":"3.1200%","describe":"90-day scheduled investment product. Minimum investment: 12,000. Daily push notifications for credited returns."}
{"index":{}}
{"productName":"Wealth Management Product E","annual_rate":"3.0100%","describe":"Recommended 30-day scheduled investment product. Minimum investment: 8,000. Daily return message notifications."}
{"index":{}}
{"productName":"Wealth Management Product F","annual_rate":"2.7500%","describe":"Popular short-term product. 3-day term, no fees. Minimum investment: 500. Return notifications by SMS."}

Verificação: Se a resposta contiver "errors": false, os dados foram inseridos com sucesso.

Etapa 5: Buscar dados

GET /product_info/_search
{
  "query": {
    "match": {
      "describe": "Daily push notifications for credited returns"
    }
  }
}

GET /product_info/_search
{
  "query": {
    "range": {
      "annual_rate": {
        "gte": "3.0000%",
        "lte": "3.1300%"
      }
    }
  }
}

Limpar recursos e próximos passos

Excluir dados e liberar o cluster ES

1. Execute o código a seguir para excluir o índice de teste criado neste tópico.

   DELETE /product_info

   A seguinte resposta é retornada:

   {
   "acknowledged" : true
   }

2. Retorne à lista de clusters no console do Alibaba Cloud Elasticsearch.

3. Na lista de clusters, localize o cluster que deseja liberar. Na coluna Developer Tools do cluster, clique em > Actions, selecione Release Cluster e clique em Immediately Delete para liberar o cluster.

   Importante

   Liberar um cluster exclui permanentemente o cluster e todos os dados nele contidos. Esta ação é irreversível; portanto, proceda com cautela.

Próximos passos

Para saber mais sobre o ES, explore os seguintes tópicos:

• Ingestão ou migração de dados: collect or migrate your business data to ES.

  Antes da migração, faça uma avaliação preliminar baseada no volume de dados para determinar se é necessário upgrade the cluster configuração.

• Ajuste de desempenho: Explore técnicas de design de índice e otimização de consulta para melhorar o desempenho do cluster.

• Visualização no Kibana: Aprenda a usar recursos do Kibana como Discover e Dashboard para criar painéis de visualização de dados.