Cette rubrique répond aux questions fréquemment posées concernant Impala.
Les nouvelles tables Hive n’apparaissent pas dans Impala. Que faire ?
Puis-je modifier le propriétaire des données lors de l’écriture dans des tables Hive avec Impala ?
Comment ajuster la quantité de mémoire utilisable par Impalad ?
Comment définir la taille maximale de mémoire consommée par une seule requête ?
Comment améliorer l’efficacité d’une requête sans clause JOIN ?
Un message d’expiration de session s’affiche dix secondes après une requête JDBC sur Impala 3.4. Que faire ?
Exécutez une commande sur Impala pour définir le paramètre FETCH_ROWS_TIMEOUT_MS sur 0. La valeur 0 indique que la session reste valide indéfiniment. Exemple de commande :
jdbc:impala://impala-hive.ymt.io:21050/ymtcube;FETCH_ROWS_TIMEOUT_MS=0Les nouvelles tables Hive n’apparaissent pas dans Impala. Que faire ?
Après avoir modifié les métadonnées d’une table dans un composant autre qu’Impala, exécutez la commande INVALIDATE METADATA sur Impala pour actualiser les métadonnées d’une table ou de toutes les tables de la base de données.
Puis-je modifier le propriétaire des données lors de l’écriture dans des tables Hive avec Impala ?
Non. Le propriétaire des données écrites dans les tables Hive via Impala est Impala lui-même et ne peut pas être modifié.
Comment ajuster la quantité de mémoire utilisable par Impalad ?
Le paramètre mem_limit spécifie la quantité de mémoire pouvant être consommée. Pour configurer ce paramètre, procédez comme suit : connectez-vous à la console EMR, accédez à la page du service Impala, cliquez sur l’onglet Configure et recherchez le paramètre mem_limit dans la zone de recherche. La valeur par défaut du paramètre mem_limit est de 80 %. Vous pouvez également définir ce paramètre sur une taille de mémoire spécifique, telle que 10G.
Comment définir la taille maximale de mémoire consommée par une seule requête ?
Exécutez l’instruction set MEM_LIMIT=Xg pour définir la taille maximale de mémoire consommée par une seule requête. Ce paramètre prend effet au sein de la session.
Comment améliorer l’efficacité d’une requête sans clause JOIN ?
Exécutez une commande sur Impala pour définir le paramètre mt_dop sur une valeur plus élevée afin d’améliorer le parallélisme des instances dans un fragment.
Les nouveaux nœuds Impalad ne fonctionnent pas correctement après l’activation d’Impala pour Ranger. Que faire ?
Description du problème : Dans EMR V5.6.0 ou une version mineure antérieure, après l’activation d’Impala pour Ranger et l’ajout de nœuds dans la console EMR, les nouveaux nœuds Impalad ne fonctionnent pas correctement.
Cause : Lorsque vous activez Impala pour Ranger, les fichiers de configuration liés à Ranger sont copiés dans la configuration de chaque nœud Impalad pour permettre la prise en charge de Ranger. Toutefois, cette opération n’est pas déclenchée lors de l’ajout de nœuds. Par conséquent, les nouveaux nœuds ne fonctionnent pas correctement en raison de l’absence des configurations liées à Ranger.
-
Solution : Utilisez l’une des méthodes suivantes pour résoudre le problème :
Méthode 1 : Accédez à l’onglet Status de la page du service Ranger dans la console EMR. Recherchez le composant RangerAdmin dans la section Components, placez le pointeur de la souris sur l’icône
dans la colonne Actions, puis sélectionnez enableImpala pour réactiver Impala pour Ranger.Méthode 2 : Connectez-vous au nœud emr-header-1 de votre cluster. Copiez ensuite les fichiers
ranger-hive-audit.xml,ranger-hive-security.xml,ranger-policymgr-ssl.xmletranger-security.xmlstockés dans le répertoire/etc/ecm/impala-confvers le répertoire/etc/ecm/impala-confde chaque nouveau nœud.