Elasticsearch:Perguntas frequentes sobre transferência de dados com o Logstash

Item de verificação

Cenário de exemplo do problema

Solução recomendada

Verifique se o cluster do Logstash está no mesmo ambiente de rede do cluster do Elasticsearch de destino e da origem.

A origem reside na Internet, enquanto o cluster do Logstash reside em uma VPC.

Utilize uma das seguintes soluções:

• Use uma ferramenta de conexão de rede para conectar o cluster do Logstash à origem e ao cluster do Elasticsearch.

• Configure um NAT gateway para transmitir dados pela Internet. Para obter mais informações, consulte Configurar um NAT gateway para transmissão de dados pela Internet.

• Crie um cluster do Logstash e um cluster do Elasticsearch na mesma VPC e configure um pipeline do Logstash.

Verifique se o NAT gateway está configurado corretamente.

• O endereço IP ou o número da porta especificado para uma entrada NAT está incorreto.

• O tipo de NAT gateway não é adequado para o cenário.

Adote uma das soluções abaixo conforme seus requisitos de negócio:

• Confira o endereço IP e o número da porta especificados na entrada NAT para garantir a conexão de rede.

• Selecione um tipo de tradução de endereços IP com base nas necessidades do seu negócio:

  • Source Network Address Translation (SNAT): permite que o Logstash acesse a Internet.

  • Destination Network Address Translation (DNAT): permite que serviços na Internet transfiram dados para nós em um cluster do Logstash.

Verifique se o driver JDBC (Java Database Connectivity) carregado é válido.

Ao usar um driver JDBC para sincronizar dados do PolarDB, nenhum erro é relatado no log, mas os dados não são gravados no cluster do Elasticsearch de destino. Após utilizar um driver JDBC de uma versão anterior, a gravação de dados funciona.

Utilize um driver JDBC de versão apropriada. Para obter mais informações, consulte Configurar bibliotecas de terceiros.

Verifique se o mecanismo de lista de permissões ou as regras do grupo de segurança da origem restringem o acesso ao cluster do Logstash.

O Filebeat coleta dados da origem para o cluster do Logstash e está implantado em instâncias ECS do lado do cliente. No entanto, as portas das instâncias ECS não estão habilitadas no grupo de segurança.

Escolha uma das alternativas a seguir conforme a necessidade do seu negócio:

• Adicione os endereços IP dos nós do cluster do Logstash à lista de permissões da origem.

  Nota

  Para saber como obter os endereços IP dos nós de um cluster do Logstash, consulte Visualizar as informações básicas de um cluster.

• Habilite uma porta de uma instância ECS para permitir o acesso ao cluster do Logstash. Para obter mais informações, consulte Adicionar uma regra de grupo de segurança.

Verifique se os usuários RAM especificados nas configurações de input e output do pipeline do Logstash possuem as permissões necessárias.

• Você especificou um usuário RAM nas configurações de output de um pipeline do Logstash para acessar o cluster do Elasticsearch, mas esse usuário não tem as permissões necessárias no índice de destino do cluster.

• O código de erro 401 aparece nos logs do cluster do Logstash.

Aplique uma das soluções abaixo de acordo com seus requisitos de negócio:

• Conceda as permissões necessárias aos usuários RAM. Para obter mais informações, consulte Conceder permissões a um usuário RAM.

• Especifique nomes de usuário e senhas válidos para o cluster do Elasticsearch e para a origem. As senhas não podem conter caracteres especiais. Caso uma senha contenha tais caracteres, altere-a. Para obter mais informações, consulte Redefinir a senha de acesso de um cluster do Elasticsearch.

Item de verificação

Cenário de exemplo do problema

Solução recomendada

Consulte os logs do cluster do Logstash e verifique se há erros relatados. Para saber como consultar esses logs, veja Consultar logs.

Um plug-in necessário não está instalado no cluster do Logstash. Por exemplo, se os logs do cluster contiverem a mensagem de erro Couldn't find any output plugin named 'file_extend', significa que o plug-in logstash-output-file_extend não está instalado.

Adote uma das seguintes medidas:

• Instale o plug-in no cluster do Logstash.

• Remova as informações de configuração do plug-in das configurações do pipeline.

As informações de configuração contêm caracteres especiais ocultos.

Insira manualmente as informações de configuração.

Falha ao filtrar código com base nas configurações da seção filter. Por exemplo, um código Ruby inválido não é filtrado pelas configurações dessa seção.

Utilize uma das abordagens abaixo:

• Simplifique as configurações da seção filter para as configurações originais e adicione configurações gradualmente. Em seguida, identifique a causa raiz e solucione o problema conforme a situação real.

• Use uma ferramenta de depuração de terceiros para depurar as configurações da seção filter.

Os nomes ou valores de parâmetros definidos nas configurações do pipeline são inválidos. Por exemplo, você inseriu o nome do parâmetro hosts como host ao configurar o plug-in logstash-output-elasticsearch, ou inseriu um nome de instância RDS inválido.

Para obter informações sobre como configurar as definições do pipeline, consulte a documentação do Logstash open source ou Melhores práticas para o Alibaba Cloud Logstash.

A conexão expira quando o cluster do Logstash tenta se conectar à origem ou ao cluster do Elasticsearch. Por exemplo, se o cluster do Logstash não conseguir se conectar ao cluster do Elasticsearch por um longo período, a mensagem de erro Elasticsearch Unreachable: [http://xxxx:9200/][Manticore::ConnectTimeout] connect timed out será exibida.

Certifique-se de que o cluster do Logstash consegue se conectar ao cluster do Elasticsearch e de que os endpoints da origem e do cluster do Elasticsearch estão corretos.

O HTTPS está ativado no cluster do Elasticsearch, mas você especificou http ao configurar o pipeline do Logstash.

Modifique as configurações do pipeline para garantir que o pipeline do Logstash, a origem e o cluster do Elasticsearch utilizem o mesmo protocolo.

Item de verificação

Cenário de exemplo do problema

Solução recomendada

Verifique se o uso de disco dos nós está excessivamente alto. Para obter mais informações, consulte Visão geral do monitoramento de cluster.

• Nas configurações do pipeline, o parâmetro Queue Type está definido como PERSISTED. Nesse caso, os dados são armazenados permanentemente no disco, o que esgota o espaço disponível à medida que os dados aumentam.

• A configuração stdout{} está presente na seção de output.

Adote uma das soluções a seguir conforme seus requisitos de negócio:

• Defina o parâmetro Queue Type como MEMORY, que é o tipo de fila padrão. Para saber como alterar o tipo de fila, consulte Gerenciar pipelines com arquivos de configuração.

  Importante

  O Alibaba Cloud Logstash não fornece um ponto de entrada para limpar o disco. Se o espaço em disco estiver esgotado, entre em contato com a equipe técnica da Alibaba Cloud para realizar a limpeza no backend.

• Remova stdout{} da seção de configuração de output do pipeline.

  Importante

  Não configure stdout{} na seção de configuração de output de um pipeline. Caso contrário, o uso do disco pode ficar excessivamente alto.

Verifique se há erro de falta de memória (OOM) relatado no uso de memória dos nós. Para obter mais informações, consulte Visão geral do monitoramento de cluster.

Um erro OOM foi relatado no uso de memória dos nós, impedindo que eles sejam iniciados.

Reinicie os nós do cluster do Elasticsearch.

Verifique se a carga da origem ou do cluster do Elasticsearch está normal.

O cluster do Elasticsearch está em um estado não íntegro, o que impede a gravação de dados no cluster.

Pause a operação de gravação e restaure o cluster do Elasticsearch ao estado normal. Recomendamos fazer o scale out do cluster.

Item de verificação

Cenário de exemplo do problema

Solução recomendada

Ative o recurso de depuração de configuração de pipeline no cluster do Logstash e visualize os logs de depuração do cluster para verificar se os dados foram transferidos para o Logstash. Para ativar esse recurso, instale o plug-in logstash-output-file_extend no cluster do Logstash. Para saber como usar o recurso de depuração de configuração de pipeline, consulte Usar o recurso de depuração de configuração de pipeline.

• Se nenhum dado for transferido para o cluster do Logstash, verifique se as informações de configuração da origem são válidas.

• Se os dados forem transferidos para o cluster do Logstash, verifique se as informações de configuração do cluster do Elasticsearch são válidas.

Se nenhum dado for transferido para o cluster do Logstash, as seguintes situações podem ocorrer:

• As informações de configuração da origem contêm o par de AccessKey de uma conta da Alibaba Cloud, mas o par é inválido.

• Nenhum dado é gravado na origem em tempo real. Por exemplo, o Filebeat coleta dados de um arquivo da origem em tempo real, mas nenhum dado é armazenado nesse arquivo simultaneamente. Nesse caso, o Filebeat não consegue coletar dados em tempo real da origem nem transferi-los para o cluster do Logstash.

Adote uma das soluções abaixo conforme seus requisitos de negócio:

• Revise as informações de configuração da origem e corrija quaisquer dados inválidos.

• Se um plug-in de dados de streaming em tempo real estiver instalado no cluster do Logstash, certifique-se de que os dados estejam sendo gravados na origem em tempo real.

Se os dados forem transferidos para o cluster do Logstash, as seguintes situações podem ocorrer:

• O recurso Auto Indexing está desativado no cluster do Elasticsearch.

• A operação de gravação não é permitida no cluster do Elasticsearch. Por exemplo, não é permitido gravar dados no índice de destino do cluster.

Escolha uma das alternativas a seguir conforme a necessidade do seu negócio:

• Ative o recurso Auto Indexing no cluster do Elasticsearch.

• Garanta que a operação de gravação esteja permitida no cluster do Elasticsearch.

Item de verificação

Cenário de exemplo do problema

Solução recomendada

Execute as operações a seguir com base no cenário de configuração do pipeline e nos atributos dos plug-ins do pipeline:

• Verifique se a instrução de consulta JDBC utilizada está correta.

• Se o plug-in logstash-input-elasticsearch estiver em uso, verifique se ele grava dados na origem em tempo real.

Ao utilizar JDBC, as seguintes situações podem ocorrer:

• O resultado retornado não contém dados.

• Os dados dos campos identificadores, como o campo de hora e o ID, não são incrementais.

• O fuso horário do driver JDBC difere do fuso horário do cluster do Elasticsearch.

Aplique uma das soluções abaixo de acordo com seus requisitos de negócio:

• Depure a instrução de consulta na origem.

• Verifique se os tipos de dados dos campos identificadores correspondem aos tipos recomendados pelo Elasticsearch open source. Recomendamos utilizar o tipo numeric ou timestamp.

• Confira se o fuso horário do driver JDBC é igual ao do cluster do Elasticsearch. Se houver diferença, modifique as configurações relacionadas com base no resultado da verificação.

Ao utilizar o plug-in logstash-input-elasticsearch, as seguintes situações podem ocorrer:

• Dados são gravados na origem em tempo real.

• Você especificou um intervalo de consulta curto nas configurações do pipeline. Isso faz com que os dados sejam gravados no cluster do Elasticsearch em intervalos curtos, gerando um grande volume de gravações e acúmulo de dados no cluster.

O Logstash não é adequado para sincronização de dados em tempo real. Se os dados forem gravados na origem em tempo real, recomendamos especificar um intervalo de consulta maior. Isso evita consultas frequentes na origem e operações de gravação excessivas no cluster do Elasticsearch.

Visualize os logs lentos do cluster do Logstash para verificar se os dados estão sendo gravados no cluster do Elasticsearch com baixa velocidade. Para saber como visualizar logs lentos, consulte Consultar logs.

As cargas na origem e no cluster do Elasticsearch não atingiram gargalos. No entanto, o valor padrão foi mantido para o parâmetro Pipeline Workers, resultando em gravação lenta dos dados no cluster do Elasticsearch de destino.

Defina valores maiores para os parâmetros Pipeline Batch Size e Pipeline Workers. Para obter mais informações, consulte Gerenciar pipelines com arquivos de configuração.