Le nombre de journaux écrits dans Hive est inférieur au nombre généré
Exceptions File Channel après l'arrêt forcé du processus Flume
Le nombre de journaux écrits dans Hive est inférieur au nombre généré
Par défaut, le récepteur Hadoop Distributed File System (HDFS) bascule un fichier vers HDFS toutes les 100 événements. En cas de volume élevé de journaux, Hive ne voit que des données incomplètes jusqu'au prochain basculement.
Définissez hdfs.batchSize dans la console EMR pour augmenter le nombre d'événements écrits avant chaque basculement de fichier. Pour plus d'instructions, consultez la rubrique Ajouter des paramètres.
Erreur DeadLock lors de l'arrêt du processus Flume
La méthode exit peut provoquer un interblocage (deadlock) lorsqu'elle attend des threads bloqués mutuellement. Exécutez plutôt kill -9 pour forcer l'arrêt du processus.
Exceptions File Channel après l'arrêt forcé du processus Flume
Les deux exceptions ci-dessous se produisent lorsque kill -9 interrompt File Channel sans arrêt propre.
Utilisez kill -9 uniquement en dernier recours. L'arrêt forcé du processus Flume peut laisser des fichiers de verrou ou corrompre des fichiers de données.
Cannot lock data/checkpoints/xxx. The directory is already locked.
kill -9 laisse un fichier in_use.lock qui empêche Flume d'acquérir le verrou du répertoire au redémarrage. Supprimez in_use.lock avant de redémarrer Flume.
CorruptEventException: Could not parse event from data file.
kill -9 peut corrompre les fichiers de données File Channel en cours d'écriture. Supprimez les répertoires de points de contrôle et de données avant de redémarrer Flume.