Dúvidas comuns sobre configuração, monitoramento e solução de problemas no Alibaba Cloud Logstash.
How can I import data from or export data to Logstash over the Internet?
Does the JDBC feature of Alibaba Cloud Logstash support MySQL databases?
How do I use Logstash to synchronize data from Simple Log Service to Elasticsearch?
Transferência de dados pela Internet
Os clusters do Logstash operam em uma VPC e exigem um gateway NAT para acessar a Internet. Configure a NAT gateway for data transmission over the Internet.
Erros com cluster Kafka autogerenciado
Erros frequentes:
-
No entry found for connection
Causa: O nó do Logstash não consegue resolver o nome do host do Kafka.
Solução: Adicione o conteúdo abaixo ao arquivo
server.properties. Exemplo para um service Kafka em 10.10.10.10:9092:listeners=PLAINTEXT://10.10.10.10:9092 advertised.listeners=PLAINTEXT://10.10.10.10:9092ImportanteSubstitua
10.10.10.10:9092pelo endereço e porta do seu cluster Kafka.Use o Alibaba Cloud Kafka service e adicione os endereços IP dos nós do Logstash à lista de permissões do cluster Kafka.
-
could not be established. Broker may not be available
Causa: O service Kafka está inacessível ou não existe.
Solução: Verifique se o service Kafka está em execução e se o valor de
bootstrap_serversna configuração do pipeline está correto.
Suporte a JDBC para MySQL
Sim. Faça upload da biblioteca mysql-connector-java antes de começar. Configure third-party libraries.
Monitoramento de nós
Sim. Associe seu cluster Logstash a um cluster Elasticsearch por meio do X-Pack e monitore os nós no Kibana. Configure X-Pack monitoring.
Upload de arquivos de script
Não. O Logstash transfere dados exclusivamente por meio de configurações de pipeline. Manage pipelines by using configuration files.
Configuração de entrada HTTP
Sim. O Logstash aceita eventos de linha única e multilinha via HTTP ou HTTPS. Consulte o plugin de entrada Http.
Por padrão, os clusters do Logstash não têm acesso direto à Internet. Para coletar requisições HTTP externas, configure um gateway NAT. Configure a NAT gateway for data transmission over the Internet.
Sincronização de dados do Simple Log Service para o Elasticsearch
Instale e configure o plugin logstash-input-sls para transmitir dados de log. Use the logstash-input-sls plugin.
Sincronização de dados em tempo real
O Logstash sincroniza dados quase em tempo real. Ele grava continuamente no destino enquanto o pipeline estiver ativo e houver dados disponíveis na source.
Resolução do erro "routing is missing"
Documentos filho exigem um valor de roteamento, pois documentos pai e filho devem residir no mesmo shard. Defina a contagem de shards primários do índice de destino como 1 e adicione routing =>"0" à configuração do seu pipeline.
Solução de problemas em atualizações de pipeline travadas
Verifique os logs principais do cluster para identificar a causa (Query logs). Causas comuns e respectivas soluções:
|
Causa |
Solução |
|
Configuração de pipeline incorreta. |
Pause a atualização. Após pausar o cluster, modifique a configuração do pipeline e reinicie o cluster. View the progress details of a cluster task. |
|
Alto uso de disco. |
Atualize o cluster. Upgrade a cluster. Após a atualização, atualize a visualização do cluster e verifique o progresso. |
|
A indexação automática não está ativada no cluster Elasticsearch de destino (output: elasticsearch). |
Ative a indexação automática no cluster Elasticsearch. Configure YML parameters.Após concluir a operação, atualize a visualização do cluster e monitore o progresso da alteração. |
|
A porta de entrada do Beats está fora do intervalo 8000-9000. |
Pause a atualização. Após pausar o cluster, altere a porta na configuração do pipeline para um valor entre 8000 e 9000 e reinicie o cluster. |
|
A source ou o destino usa um endereço IP público. |
Adote uma das seguintes soluções:
|
|
A configuração do pipeline inclui |
Escolha uma das opções abaixo:
|
Ping para endereço IP privado
Por padrão, não é possível fazer ping no endereço IP privado de um cluster Logstash. Use telnet para testar a conectividade de rede.
Consistência de mapeamento na sincronização de dados do Elasticsearch
O Alibaba Cloud Elasticsearch desativa a Auto Indexing por padrão por motivos de segurança. Como o Logstash cria índices enviando dados diretamente, em vez de usar a API Create index, ative a Auto Indexing no cluster de destino ou pré-crie o índice com os mapeamentos antes de transferir os dados.
Suporte ao modo rubydebug
Não. Use o logstash-output-file_extend plugin para imprimir logs de depuração. O modo Rubydebug e similares exigem saída via stdout, que o Alibaba Cloud Logstash não suporta.