Respostas para perguntas comuns sobre o Alibaba Cloud Logstash.
O recurso JDBC do Alibaba Cloud Logstash oferece suporte a bancos de dados MySQL?
Como usar o Logstash para sincronizar dados do Simple Log Service para o Elasticsearch?
Após criar um pipeline, o processo trava e a atualização do cluster não avança. O que fazer?
É possível executar ping no endereço IP privado de um cluster Logstash?
Transferência de dados pela Internet
Os clusters Logstash executam em uma VPC e exigem um gateway NAT para acesso à Internet. Configure um gateway NAT para transmissão de dados pela Internet.
Erros com um cluster Kafka autogerenciado
Erros comuns:
-
No entry found for connection
Causa: O nó do Logstash não consegue resolver o nome do host do Kafka.
Solução: Adicione o seguinte conteúdo ao arquivo
server.properties. Exemplo para um serviço Kafka em 10.10.10.10:9092:listeners=PLAINTEXT://10.10.10.10:9092 advertised.listeners=PLAINTEXT://10.10.10.10:9092ImportanteSubstitua
10.10.10.10:9092pelo endereço e porta do seu cluster Kafka.Utilize o serviço Kafka da Alibaba Cloud e adicione os endereços IP dos seus nós Logstash à lista de permissões do cluster Kafka.
-
could not be established. Broker may not be available
Causa: O serviço Kafka está inacessível ou não existe.
Solução: Verifique se o serviço Kafka está em execução e se o valor de
bootstrap_serversna configuração do pipeline está correto.
Suporte JDBC para MySQL
Sim. Envie primeiro a biblioteca mysql-connector-java. Configure bibliotecas de terceiros.
Divisão de dados para múltiplos destinos
Utilize a configuração de pipeline do Logstash (que suporta processamento paralelo) com um filtro:
Crie vários pipelines.
Defina o mesmo source de dados na seção de input de cada pipeline.
Defina a lógica de divisão de dados na seção de filtro.
Configure um destino diferente na seção de output de cada pipeline.
Monitoramento de nós
Sim. Associe seu cluster Logstash a um cluster Elasticsearch via X-Pack e monitore os nós no Kibana. Configure monitoramento X-Pack.
Envio de arquivos de script
Não. O Logstash transfere dados apenas por meio de configurações de pipeline. Gerencie pipelines usando arquivos de configuração.
Configuração de input HTTP
Sim. O Logstash aceita eventos de linha única e multilinha via HTTP ou HTTPS. Plugin de input Http.
Por padrão, os clusters Logstash não têm acesso direto à Internet. Para coletar requisições HTTP da Internet, configure um gateway NAT. Configure um gateway NAT para transmissão de dados pela Internet.
Sincronizar dados do Simple Log Service para o Elasticsearch
Utilize o plugin logstash-input-sls. Usar o plugin logstash-input-sls.
Sincronização de dados em tempo real
O Logstash sincroniza dados quase em tempo real. Ele grava continuamente no destino enquanto o pipeline estiver ativo e o source contiver dados.
Como lidar com o erro "routing is missing"
Documentos filho exigem um valor de routing porque documentos pai e filho devem residir no mesmo shard. Defina a contagem de shards primários do índice de destino como 1 e adicione routing =>"0" à configuração do seu pipeline.
Solução de problemas de atualizações de pipeline travadas
Verifique os logs principais do cluster para identificar a causa (Consultar logs). Causas comuns e soluções:
|
Causa |
Solução |
|
Configuração de pipeline incorreta. |
Pause a atualização. Após pausar o cluster, modifique a configuração do pipeline e reinicie o cluster. Visualizar detalhes de progresso de uma tarefa do cluster. |
|
Alto uso de disco. |
Atualize o cluster. Atualizar um cluster. Após a atualização, atualize o cluster e verifique o progresso da mudança. |
|
O Auto Indexing não está ativado no cluster Elasticsearch de destino (output: elasticsearch). |
Ative o Auto Indexing no cluster Elasticsearch. Configure parâmetros YML.Após concluir a operação, atualize o cluster e monitore o progresso da alteração. |
|
A porta de input do Beats está fora do intervalo 8000-9000. |
Pause a atualização. Após pausar o cluster, modifique a porta na configuração do pipeline para um valor dentro do intervalo de 8000 a 9000 e reinicie o cluster. |
|
O source ou destino usa um endereço IP público. |
Use uma das seguintes soluções:
|
|
A configuração do pipeline inclui |
Use uma das seguintes soluções:
|
Execute ping no endereço IP privado
Por padrão, não é possível executar ping no endereço IP privado de um cluster Logstash. Use telnet para testar a conectividade de rede.
Consistência de mapping para sincronização de dados do Elasticsearch
O Alibaba Cloud Elasticsearch desativa o Auto Indexing por padrão para segurança. O Logstash cria índices enviando dados diretamente, e não através da API Create index. Antes de transferir dados, ative o Auto Indexing no cluster de destino ou pré-crie o índice com mappings.
Suporte ao modo rubydebug
Não. Utilize o plugin logstash-output-file_extend para imprimir logs de depuração. Modos como rubydebug exigem output via stdout, que o Alibaba Cloud Logstash não suporta.