Cette rubrique récapitule les problèmes courants rencontrés avec Hive.
Vérification de la lecture de petits fichiers lors de l’étape map
Identification d’un déséquilibre des données dans les tâches reduce longues
Job bloqué en attente
Procédez comme suit pour identifier le problème :
Dans la console E-MapReduce, accédez à la page Access Links and Ports et cliquez sur le lien YARN UI.
Cliquez sur l’ID de l’application.
-
Cliquez sur Tracking URL.
Cette page affiche plusieurs jobs en attente.
-
Dans le volet de navigation de gauche, cliquez sur Scheduler.
Dans la section Application Queues, vérifiez les pourcentages Capacity et Used pour chaque file d’attente afin d’identifier les contraintes de ressources. Si une file d’attente est saturée, déplacez le job vers une file inactive. Dans le cas contraire, optimisez votre code.
Petits fichiers dans l’étape map
Procédez comme suit pour identifier le problème :
Dans la console E-MapReduce, accédez à la page Access Links and Ports et cliquez sur le lien YARN UI.
-
Cliquez sur l’ID de l’application.
La page de détails des tâches map s’affiche et indique la quantité de données lues par chaque tâche. Par exemple, une tâche peut lire un enregistrement de seulement 2 octets. Si la plupart des tâches map traitent des volumes de données très faibles, fusionnez les petits fichiers.
Consultez également les journaux de chaque tâche map pour obtenir plus d’informations.
Déséquilibre des données dans les tâches reduce
Procédez comme suit pour identifier le problème :
Dans la console E-MapReduce, accédez à la page Access Links and Ports et cliquez sur le lien YARN UI.
Cliquez sur l’ID de l’application.
Sur la page Reduce tasks, triez les tâches par temps d’achèvement décroissant pour repérer les plus longues. Vérifiez la colonne State pour confirmer le statut de la tâche. Examinez ensuite les colonnes Successful Attempt, Shuffle Finish Time, Merge Finish Time et Finish Time afin d’analyser le temps passé dans chaque phase et de détecter un éventuel déséquilibre des données.
Cliquez sur le nom d’une tâche longue.
-
Sur la page de détails de la tâche, cliquez sur Counters dans le volet de navigation de gauche.
Repérez la section Map-Reduce Framework. Vérifiez les valeurs de Reduce input records et Reduce shuffle bytes. Si ces valeurs sont significativement plus élevées pour une tâche que pour les autres, cela indique un déséquilibre des données.