E-MapReduce:Perguntas frequentes

Como limpar os logs de saída do componente Kafka?

Caso os logs de saída do componente Kafka estejam consumindo muito espaço em disco, exclua os arquivos de log diretamente do diretório de logs.

Os componentes relacionados ao Kafka armazenam logs em $LOG_DIR_ROOT (padrão: /mnt/disk1/log). Cada componente possui seu próprio subdiretório:

Acesse o diretório correspondente e exclua os arquivos de log que não forem mais necessários.

Como limpar os logs de saída do componente Kafka Manager?

Acesse $LOG_DIR_ROOT/kafka-manager (padrão: /mnt/disk1/log/kafka-manager) e exclua os arquivos de log.

É possível parar o componente Kafka Manager?

Sim. O Kafka não depende do Kafka Manager para operações de leitura e escrita, portanto, pará-lo não afeta seu service Kafka.

Se você não integrou outra plataforma de gerenciamento do Kafka, mantenha o Kafka Manager em execução, pois ele é sua única interface de gerenciamento. Caso já possua uma alternativa e não precise mais do Kafka Manager, pare-o pela aba Services do seu cluster no console EMR.

Como corrigir o erro "Replication factor: 1 larger than available brokers: 0"?

Esse erro pode ter duas causas possíveis:

• O processo do broker foi encerrado. Verifique os logs do broker para identificar a falha e reinicie o processo do broker.

• A configuração de hosts do ZooKeeper está incorreta. No console EMR, atualize o parâmetro Cluster Zookeeper Hosts para corresponder ao valor de kafka.manager.zookeeper.hosts.

Como resolver o erro "java.net.BindException: Address already in use (Bind failed)"?

A porta do Java Management Extensions (JMX) já está em uso. Especifique uma porta JMX diferente antes de executar o comando:

JMX_PORT=10101 kafka-topics.sh --bootstrap-server core-1-1:9092 --list

Como corrigir o erro "current leader's lastest offset xxxx is less than replica's lastest offset xxxxxx"?

Esse erro indica que o líder atual está atrasado em relação a uma réplica, o que impede uma eleição de líder limpa.

Antes de prosseguir, confirme se todos os dados foram consumidos ou se a perda de dados é aceitável. Em seguida:

1. Defina unclean.leader.election.enable como true no componente broker do Kafka.

2. Reinicie o componente broker do Kafka.

3. Após a reinicialização, reverta unclean.leader.election.enable para false.

O que fazer se o disco que armazena dados do Kafka no diretório de logs estiver cheio?

Quando o disco do diretório de logs atinge a capacidade máxima, o diretório fica offline. Siga as etapas em Perform O\&M operations when the disk space of an EMR Kafka cluster is full para realizar a recuperação.

Como solucionar o erro "Too many open files"?

Esse erro ocorre quando o número de descritores de arquivo abertos excede o limite do sistema, geralmente devido a uma grande quantidade de partições ou conexões de rede.

Aumente o limite de descritores de arquivo em /etc/security/limits.conf. Adicione ou atualize as seguintes linhas ao final do arquivo:

* soft nofile <new-limit>
* hard nofile <new-limit>

Substitua <new-limit> por um valor adequado à sua carga de trabalho. Após salvar o arquivo, reinicie os componentes afetados.

Como estimar o número de partições necessárias para um tópico do Kafka?

Utilize a seguinte abordagem:

1. Meça o throughput do produtor por partição. Execute um teste de estresse para obter o throughput (em MB/s) que uma única partição consegue sustentar dentro da latência alvo.

2. Estime o tráfego esperado. Determine a taxa pico de ingestão que seu tópico precisa suportar.

3. Calcule a quantidade de partições necessária. Com base no throughput medido por partição e no tráfego de negócios esperado, calcule o número de partições necessárias para o tópico.

4. Ajuste conforme o paralelismo dos consumidores. Mais partições permitem que mais consumidores leiam em paralelo. Se os consumidores estiverem ficando atrasados, aumente o número de partições para atender à meta de latência de consumo.