Simple Log Service:Importar dados do Elasticsearch/OpenSearch

Pré-requisitos

• Um cluster Elasticsearch/OpenSearch disponível.

• Crie um Project e um Logstore. Para mais informações, consulte Gerenciar Project e Criar um Logstore básico.

Versões suportadas

Somente as versões Elasticsearch 6.3 ou posterior e OpenSearch 1.0.0 ou posterior são suportadas.

Criar uma configuração de importação de dados

1. Faça login no console do Simple Log Service.

2. Na seção Import Data, clique em Data Import e selecione ES/OpenSearch - Data Import.

3. Selecione o Project e o Logstore de destino e clique em Next.

4. Configure as definições de importação.

   1. Na etapa Import Configuration, configure os parâmetros a seguir.

      Parâmetro	Descrição
      Task Name	Nome exclusivo para o job de importação.
      Display Name	Nome de exibição do job.
      Job Description	Descrição do job de importação.
      Service Instance URL	URL do servidor Elasticsearch/OpenSearch. Use o formato http://host:port/. Especifique várias URLs separadas por vírgulas (,), por exemplo: http://host1:port1/,http://host2:port2/. A porta de serviço padrão para Elasticsearch/OpenSearch é 9200. Importante Se definir o VPC ID, defina o host como o endereço IPv4 da instância ECS correspondente.
      Index List	Índices a importar. Separe vários nomes de índice com vírgulas (,), por exemplo: index1,index2,index3.
      User Name	Nome de usuário para acessar o cluster Elasticsearch/OpenSearch. Necessário apenas se o cluster usar autenticação.
      User Password	Senha para acessar o cluster Elasticsearch/OpenSearch.
      Time Field	Campo no índice de origem que representa o tempo, usado como horário do log. Se nenhum campo de tempo for especificado, o SLS usará o horário do sistema no momento da importação dos dados como horário do log. Importante Para importar dados incrementalmente, defina o Time Field.
      Time Field Format	Formato de tempo usado para analisar o valor do campo de tempo. Suporta formatos de tempo que seguem a sintaxe SimpleDateFormat do Java, como yyyy-MM-dd HH:mm:ss. Para mais detalhes sobre a sintaxe, consulte Class SimpleDateFormat. Para formatos de tempo comuns, veja Formatos de tempo. Suporta formatos epoch. Valores válidos: epoch, epochMillis, epochMacro e epochNano. Importante O SimpleDateFormat do Java não suporta timestamps UNIX. Para usar timestamps UNIX, defina o Time Field Format como um formato epoch.
      Time Zone	Fuso horário do campo de tempo. Não é necessário definir um fuso horário se o Time Field Format estiver configurado como um formato epoch.
      Query	Consulta usada para filtrar dados. A consulta deve seguir o formato query_string do Elasticsearch/OpenSearch. Exemplo: gender:male and city:Shanghai. Para mais informações, consulte Query string query.
      Import Method	Método de importação de dados. Import Only Historical Data: O job para automaticamente após importar os dados. Automatically Import Incremental Data: O job de importação executa continuamente. Importante Ao selecionar Automatically Import Incremental Data, defina o Time Field.
      Start At	Horário inicial da importação. O SLS importa apenas dados cujo timestamp seja igual ou posterior a este horário. Importante Este parâmetro só tem efeito se o Time Field estiver definido.
      End Time	Horário final da importação. O SLS importa apenas dados cujo timestamp seja igual ou anterior a este horário. Importante Este parâmetro só tem efeito se o Time Field estiver definido e o Import Method estiver configurado como Import Only Historical Data.
      Maximum Latency in Seconds	Atraso máximo permitido, em segundos, entre a geração dos dados e sua ingestão no cluster de origem. Importante Definir este valor abaixo da latência real pode causar perda de dados. Este parâmetro só tem efeito se o Time Field estiver definido e o Import Method estiver configurado como Automatically Import Incremental Data.
      Incremental Data Check Interval (Seconds)	Intervalo em segundos para verificar novos dados no Elasticsearch/OpenSearch. Valor padrão: 300. Valor mínimo: 60.
      VPC ID	Se a origem residir em uma VPC (cluster Elasticsearch/OpenSearch da Alibaba Cloud ou cluster auto-hospedado em instância ECS), defina este parâmetro para que o SLS leia os dados pela rede interna, garantindo maior segurança e estabilidade. Importante O cluster Elasticsearch/OpenSearch deve permitir acesso do bloco CIDR 100.104.0.0/16.

   2. Clique em Preview para visualizar os resultados da importação.

   3. Após confirmar as configurações, clique em Next.

5. Configure as opções de Preview Data e Create Index e clique em Next. O Simple Log Service ativa o índice de texto completo por padrão. Crie manualmente índices de campo com base nos logs coletados ou clique em Automatic Index Generation para gerar os índices de campo automaticamente. Para mais informações, consulte Criar um índice.

   Importante

   Use um índice de texto completo para consultar todos os campos de log. Para consultar campos específicos, reduzir o tráfego de indexação ou executar análises com instruções SELECT, use um índice de campo.

6. Clique em Query Log. Você será redirecionado para a página de consulta e análise do seu Logstore.

   Aguarde aproximadamente 1 minuto para que os índices entrem em vigor. Em seguida, visualize os logs coletados na aba Raw Logs. Para mais detalhes sobre como consultar e analisar logs, consulte Guia de início rápido para consulta e análise.

Visualizar a configuração de importação de dados

Após criar uma configuração de importação de dados, visualize seus detalhes e o relatório gerado no console.

1. Clique em Project de destino.

2. No painel de navegação do Logstore de destino, escolha Data Collection > Data Import e clique em nome da configuração.

3. Na página Import Configuration Overview, visualize as informações básicas e o relatório da configuração.

Mais operações

• Excluir uma configuração de importação

  Na página Import Configuration Overview, clique em Delete Configuration para excluir a configuração de importação de dados.

  Aviso

  Esta ação não pode ser desfeita. Proceda com cautela.

• Parar e reiniciar um job de importação

  Ao criar uma configuração de importação de dados, o SLS cria um job de importação correspondente. Na página Import Configuration Overview, clique em Stop para parar o job. Reinicie-o posteriormente, se necessário.

  Importante

  O status de um job parado é mantido por 24 horas. Se não for reiniciado dentro desse período, o job ficará indisponível e falhará caso tente reiniciá-lo depois.

Perguntas frequentes

Tratamento de erros