Volume de logs gravados no Hive inferior ao gerado
Por padrão, o Hadoop Distributed File System (HDFS) Sink transfere um arquivo para o HDFS a cada 100 eventos. Em cenários com grande volume de logs, o Hive exibe dados incompletos até a próxima transferência.
Defina hdfs.batchSize no console do EMR para aumentar a quantidade de eventos gravados antes de cada transferência de arquivo. Para obter instruções, consulte Adicionar parâmetros.
Erro de DeadLock ao encerrar o processo do Flume
O método exit pode causar deadlock ao aguardar threads bloqueadas mutuamente. Execute kill -9 para forçar o encerramento do processo.
Exceções no File Channel após forçar o encerramento do processo do Flume
As duas exceções abaixo ocorrem quando o comando kill -9 interrompe o File Channel sem um desligamento adequado.
Utilize kill -9 apenas quando não houver outra opção. Forçar o encerramento do processo do Flume pode deixar arquivos de bloqueio ou corromper arquivos de dados.
Cannot lock data/checkpoints/xxx. The directory is already locked.
O comando kill -9 deixa um arquivo in_use.lock que impede o Flume de obter o bloqueio do diretório na reinicialização. Exclua in_use.lock antes de reiniciar o Flume.
CorruptEventException: Could not parse event from data file.
O comando kill -9 pode corromper arquivos de dados do File Channel durante a gravação. Exclua os diretórios de checkpoints e de dados antes de reiniciar o Flume.