Todos os produtos
Search

Este produto

    Elasticsearch:Guia de início rápido

    Central de documentação

    Elasticsearch:Guia de início rápido

    Última atualização: Aug 19, 2026

    Este tópico descreve como criar um cluster do Alibaba Cloud Logstash e configurar um pipeline do Logstash para sincronizar dados entre clusters do Alibaba Cloud Elasticsearch.

    Contexto

    Antes de começar, certifique-se de compreender os seguintes conceitos:

    Pré-requisitos

    Limitações

    • O cluster de origem do Alibaba Cloud Elasticsearch, o cluster do Alibaba Cloud Logstash e o cluster de destino do Alibaba Cloud Elasticsearch devem estar na mesma VPC. Se estiverem em VPCs diferentes, configure um NAT Gateway para habilitar o acesso à internet. Para mais informações, consulte Configure a NAT Gateway for public data transfer.

    • As versões do cluster de origem do Alibaba Cloud Elasticsearch, do cluster do Alibaba Cloud Logstash e do cluster de destino do Alibaba Cloud Elasticsearch devem ser compatíveis. Para mais detalhes, consulte Compatibility.

    Procedimento

    1. Step 1: Prepare the environment

      Crie um cluster de origem e um de destino no Alibaba Cloud Elasticsearch, ative a indexação automática no cluster de destino e prepare os dados de teste.

    2. Step 2: Create an Alibaba Cloud Logstash cluster

      Crie um cluster do Alibaba Cloud Logstash. Só é possível criar e executar um pipeline após o status do cluster mudar para Active.

    3. Step 3: Create and run a pipeline

      Crie e configure um pipeline do Alibaba Cloud Logstash e execute-o para sincronizar dados.

    4. Step 4: Verify the data synchronization results

      Verifique os resultados da sincronização no console Kibana do cluster de destino do Alibaba Cloud Elasticsearch.

    Etapa 1: Preparar o ambiente

    1. Crie clusters do Alibaba Cloud Elasticsearch.

      1. Faça login no console do Alibaba Cloud Elasticsearch.

      2. No painel de navegação à esquerda, clique em Elasticsearch Clusters.

      3. Na página Elasticsearch Clusters, crie dois clusters do Alibaba Cloud Elasticsearch.

        Esses dois clusters funcionarão como entrada e saída para o Logstash. Para mais informações, consulte Create an Alibaba Cloud Elasticsearch cluster. Este tutorial utiliza o seguinte caminho de migração de dados: Alibaba Cloud Elasticsearch 6.7.0 (Commercial Edition) > Alibaba Cloud Logstash 6.7.0 > Alibaba Cloud Elasticsearch 6.7.0 (Commercial Edition). Os scripts fornecidos são compatíveis apenas com este caminho. As configurações abaixo são utilizadas para os clusters do Alibaba Cloud Elasticsearch neste tutorial.

        Nota

        • Se utilizar um caminho de migração diferente, consulte Compatibility para verificar problemas de compatibilidade. Se houver incompatibilidades, atualize seus clusters ou adquira novos.

        • O nome de usuário padrão para acessar um cluster do Alibaba Cloud Elasticsearch é elastic, utilizado neste tutorial. Para usar um usuário personalizado, conceda as funções e permissões necessárias. Para mais detalhes, consulte Control user permissions by using Elasticsearch X-Pack roles.

    2. Ative a indexação automática no cluster de destino do Alibaba Cloud Elasticsearch.

      Para mais informações, consulte Configure YML parameters.

      Nota

      Para garantir a segurança dos dados, o Alibaba Cloud Elasticsearch define o recurso Auto Indexing como Not allowed por padrão. Quando o Alibaba Cloud Logstash envia dados, ele cria um índice ao submeter os dados, e não por meio da API de criação de índice. Portanto, antes de usar o Alibaba Cloud Logstash para carregar dados, defina o recurso Auto Indexing do seu cluster como Permitted ou crie previamente um índice e seus mapeamentos.

    3. Prepare os dados de teste.

      Acesse o console Kibana do cluster de origem do Alibaba Cloud Elasticsearch. Na página Dev Tools, abra a aba Console e execute os comandos a seguir para criar o índice e os documentos que deseja sincronizar.

      Importante

      1. Crie um índice my_index com o tipo my_type.

        PUT /my_index
{
    "settings" : {
      "index" : {
        "number_of_shards" : "5",
        "number_of_replicas" : "1"
      }
    },
    "mappings" : {
        "my_type" : {
            "properties" : {
              "post_date": {          
                   "type": "date"       
               },
              "tags": {
                   "type": "keyword"
               },
                "title" : {
                    "type" : "text"
                }
            }
        }
    }
}

      2. Insira um documento com ID 1 no índice my_index.

        PUT /my_index/my_type/1?pretty
{
  "title": "One", 
  "tags": ["ruby"],
  "post_date":"2009-11-15T13:00:00"
}

      3. Insira um documento com ID 2 no índice my_index.

        PUT /my_index/my_type/2?pretty
{
  "title": "Two", 
  "tags": ["ruby"],
  "post_date":"2009-11-15T14:00:00"
}

    Etapa 2: Criar um cluster do Logstash

    1. Acesse a página Logstash Clusters.

      1. Acesse a página Logstash Clusters.

      2. Na barra de navegação superior, selecione a mesma região do seu cluster de destino do Alibaba Cloud Elasticsearch.

      3. No painel de navegação à esquerda, clique em Logstash Clusters.

    2. Na página Logstash Clusters, clique em Create.

    3. Na página de compra configure as definições de inicialização do cluster.

      Este tutorial seleciona Pay-As-You-Go como método de faturamento e 6,7 como versão. Mantenha todas as outras configurações com seus valores padrão. Para mais detalhes sobre as configurações, consulte Create an Alibaba Cloud Logstash cluster.

      Nota

      • Para desenvolvimento e testes funcionais, recomendamos a aquisição de um cluster Pay-as-you-go.

      • Descontos estão disponíveis na compra de um cluster Subscription.

    4. Leia e aceite os termos de service e clique em DataWorks Exclusive Resources (Subscription).

    5. Após a mensagem de sucesso aparecer, clique em DataWorks Exclusive Resources (Subscription).

    6. Na barra de navegação superior, selecione a região onde o cluster está localizado. No painel de navegação à esquerda, clique em Logstash Clusters. Na página Logstash Clusters, visualize o cluster recém-criado.

    Etapa 3: Criar e executar um pipeline

    Depois que o status do cluster do Logstash mudar para Normal, crie e execute um pipeline para sincronizar os dados.

    1. Na página Logstash Clusters, clique em Pipelines na coluna Actions do cluster.

    2. Na seção Pipelines, clique em Create Pipeline.

    3. Insira um Pipeline ID e defina as Config Settings.

      Este tutorial utiliza a seguinte configuração.

      input {
    elasticsearch {
        hosts => ["http://es-cn-0pp1f1y5g000h****.elasticsearch.aliyuncs.com:9200"]
        user => "elastic"
        password => "your_password"
        index => "*,-.monitoring*,-.security*,-.kibana*"
        docinfo => true
    }
}
filter {}
output {
    elasticsearch {
        hosts => ["http://es-cn-mp91cbxsm000c****.elasticsearch.aliyuncs.com:9200"]
        user => "elastic"
        password => "your_password"
        index => "%{[@metadata][_index]}"
        document_type => "%{[@metadata][_type]}"
        document_id => "%{[@metadata][_id]}"
    }
    file_extend {
        path => "/ssd/1/ls-cn-v0h1kzca****/logstash/logs/debug/test"
    }
}

      Parâmetro

      Descrição

      hosts

      Endereço de acesso ao service do Alibaba Cloud Elasticsearch. Para input, o endereço é http://<Source cluster ID>.elasticsearch.aliyuncs.com:9200. Para output, o endereço é http://<Destination cluster ID>.elasticsearch.aliyuncs.com:9200.

      user

      Nome de usuário para acessar o service do Alibaba Cloud Elasticsearch. O padrão é elastic.

      password

      Senha do usuário. A senha do usuário elastic é definida durante a criação do cluster. Caso a esqueça, redefina-a. Para mais informações, consulte Reset the access password of a cluster.

      index

      Índice a ser sincronizado. Definir este parâmetro como ,-.monitoring,-.security,-.kibana sincroniza todos os índices, exceto os índices de sistema iniciados com ponto (.). %{[@metadata][_index]} corresponde ao índice nos metadados, o que significa que o índice de destino terá o mesmo nome do índice de origem.

      Nota

      Índices de sistema, que geralmente armazenam logs de monitoramento do cluster Elasticsearch, não precisam ser sincronizados.

      docinfo

      Quando definido como true, este parâmetro extrai metadados do documento do Elasticsearch, como índice, tipo e ID.

      document_type

      Especifica o tipo do índice de destino. Defina este parâmetro como %{[@metadata][_type]} para corresponder ao type dos metadados. Isso garante que o índice de destino tenha o mesmo tipo que o índice de origem.

      document_id

      Especifique o ID do documento sincronizado. Defina como %{[@metadata][_id]} para corresponder ao ID dos metadados. Assim, o ID do documento sincronizado será idêntico ao ID do documento de origem.

      file_extend

      Opcional. Ativa o recurso de log de depuração e usa o parâmetro path para configurar o caminho de saída dos logs de depuração. Recomendamos configurar este parâmetro, pois permite visualizar a saída diretamente no console. Sem essa configuração, é necessário verificar a saída no destino final e retornar ao console para fazer modificações, o que consome tempo. Para mais informações, consulte Use a Logstash Pipeline to Configure the Debugging Feature.

      Importante

      O parâmetro file_extend requer o plugin logstash-output-file_extend. Install or uninstall plugins. O parâmetro path aponta por padrão para um caminho especificado pelo sistema. Não o modifique. Também é possível obter o path clicando em Start Configuration Debug.

      A estrutura do arquivo de configuração e os tipos de dados suportados variam conforme a versão. Para detalhes, consulte Structure of a Config File.

    4. Clique em Next step para configurar os parâmetros do pipeline.

      Defina Pipeline Workers como o número de núcleos de CPU do seu cluster. Mantenha os demais parâmetros com seus valores padrão. Para descrições detalhadas dos parâmetros, consulte Manage pipelines by using configuration files.

    5. Clique em Save ou Save and Deploy.

      • Save: Salva a configuração do pipeline, mas não a aplica. Após salvar, você retorna à página Pipelines. Na seção Pipelines, clique em Deploy Now na coluna Actions para reiniciar a instância e aplicar a configuração.

      • Save and Deploy: Salva e implanta a configuração, reiniciando a instância para aplicar as alterações.

    6. Na caixa de diálogo de sucesso, clique em OK.

      Em seguida, visualize o pipeline criado na lista Pipelines. Após a conclusão da atualização do cluster e quando o Status do pipeline for exibido como Running, o Alibaba Cloud Logstash iniciará a sincronização dos dados.

    Etapa 4: Verificar os resultados da sincronização de dados

    Após configurar e iniciar o pipeline, verifique os resultados no console Kibana do cluster de destino do Alibaba Cloud Elasticsearch.

    1. Faça login no console Kibana do seu cluster Elasticsearch.

      Para instruções, consulte Log on to the Kibana console.

      Nota

      Os exemplos aqui utilizam Elasticsearch V6.7.0. As operações podem variar ligeiramente em outras versões.

    2. No menu de navegação à esquerda, escolha Management > Dev Tools.

    3. No Console, execute o comando a seguir para visualizar os resultados da sincronização de dados.

      GET /my_index/_search
{
  "query": {
    "match_all": {}
  }
}

      A saída esperada é a seguinte.

      {
  "took" : 2,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : 4,
    "max_score" : 1.0,
    "hits" : [
      {
        "_index" : "my_index",
        "_type" : "doc",
        "_id" : "aKG3bHABnsveUjNW2iXy",
        "_score" : 1.0,
        "_source" : {
          "post_date" : "2009-11-15T14:00:00",
          "@version" : "1",
          "@timestamp" : "2020-02-22T11:45:52.992Z",
          "tags" : [
            "ruby"
          ],
          "title" : "Two"
        }
      },
      ...
    ]
  }
}

      Se os dados na origem e no destino estiverem consistentes, a sincronização foi bem-sucedida. Execute também o comando GET _cat/indices?v para verificar se os tamanhos dos mesmos índices na origem e no destino coincidem, confirmando assim o êxito da sincronização.

    Documentos relacionados

    Perguntas frequentes