E-MapReduce:Manage SQL sessions

Créer une session SQL

Une fois la session SQL créée, sélectionnez-la lors de la création d'une tâche SQL.

1. Accédez à la page Sessions.

   1. Connectez-vous à la console EMR.

   2. Dans le volet de navigation de gauche, choisissez EMR Serverless > Spark.

   3. Sur la page Spark, cliquez sur le nom de l'espace de travail cible.

   4. Sur la page EMR Serverless Spark, cliquez sur Sessions dans le volet de navigation de gauche.

2. Sur la page SQL Session, cliquez sur Connect to SQL Session.

3. Sur la page Create SQL Session, configurez les paramètres suivants et cliquez sur create.

   Important

   Nous vous recommandons de définir la concurrence maximale de la file d'attente de ressources sélectionnée sur une valeur au moins égale aux ressources requises par la session notebook. Cette valeur s'affiche dans la console.

   Paramètre	Description
   Name	Nom de la session SQL. Le nom doit comporter entre 1 et 64 caractères et peut contenir des lettres, des chiffres, des traits d'union (-), des traits de soulignement (_) et des espaces.
   Resource Queue	File d'attente de ressources pour la session SQL. Sélectionnez une file dédiée au développement ou une file partagée entre le développement et la production. Pour plus d'informations sur les files d'attente, consultez Gérer les files d'attente de ressources.
   Engine Version	Version du moteur pour la session SQL. Pour plus d'informations, consultez Versions du moteur.
   Use Fusion Acceleration	Fusion permet d'accélérer les charges de travail Spark et de réduire le coût total des tâches. Pour les informations de facturation, consultez Facturation du produit. Pour plus d'informations sur le moteur Fusion, consultez Moteur Fusion.
   Automatic Stop	Activé par défaut. Spécifiez un délai d'inactivité personnalisé. Le système arrête automatiquement la session SQL après qu'elle est restée inactive pendant la période spécifiée.
   Normal Network Connection	Connexion réseau existante permettant d'accéder aux sources de données dans un VPC ou à des services externes. Pour plus d'informations, consultez Connectivité réseau entre EMR Serverless Spark et d'autres VPC.
   spark.driver.cores	Nombre de cœurs CPU pour le processus driver. Valeur par défaut : 1.
   spark.driver.memory	Quantité de mémoire allouée au processus driver. Valeur par défaut : 3,5 Go.
   spark.executor.cores	Nombre de cœurs CPU pour chaque processus executor. Valeur par défaut : 1.
   spark.executor.memory	Quantité de mémoire allouée à chaque processus executor. Valeur par défaut : 3,5 Go.
   spark.executor.instances	Nombre d'executors. Valeur par défaut : 2.
   Dynamic Resource Allocation	Désactivé par défaut. Lorsqu'il est activé, configurez les paramètres suivants : Minimum Number of Executors : la valeur par défaut est 2. Maximum Number of Executors : si spark.executor.instances n'est pas défini, la valeur par défaut est 10.
   More Memory Configurations	spark.driver.memoryOverhead : mémoire non heap disponible pour le driver. Si ce paramètre n'est pas défini, Spark attribue automatiquement une valeur selon la règle par défaut, soit max(384 MB, 10 % * spark.driver.memory). spark.executor.memoryOverhead : mémoire non heap disponible pour chaque executor. Si ce paramètre n'est pas défini, Spark attribue automatiquement une valeur selon la règle par défaut, soit max(384 MB, 10 % * spark.executor.memory). spark.memory.offHeap.size : quantité de mémoire off-heap disponible pour Spark. La valeur par défaut est 1 Go. Ce paramètre prend effet uniquement lorsque spark.memory.offHeap.enabled est défini sur true. Lorsque le moteur Fusion est utilisé, cette fonctionnalité est activée par défaut avec 1 Go de mémoire off-heap.
   Spark Configuration	Propriétés de configuration Spark personnalisées. Utilisez des espaces pour séparer les paires clé-valeur. Exemple : spark.sql.catalog.paimon.metastore dlf.

   Après la création d'une session SQL, son statut est initialement Starting. La session est prête lorsque son statut passe à Running. Sur la page SQL Session, vous pouvez arrêter, modifier ou supprimer des sessions.

Consulter les historiques d'exécution

Une fois la tâche terminée, consultez son historique d'exécution.

1. Sur la page SQL Sessions, cliquez sur le nom de la session souhaitée.

2. Cliquez sur l'onglet Execution Records.

   Dans cet onglet, affichez les détails de chaque exécution, tels que l'ID d'exécution, l'heure de début et un lien vers l'interface utilisateur Spark (Spark UI).

   

Rubriques connexes

• Pour les opérations liées aux files d'attente, consultez Gérer les files d'attente de ressources.

• Pour obtenir des informations sur les rôles et les autorisations relatifs aux sessions, consultez Gérer les utilisateurs et les rôles.

• Pour un exemple complet du flux de développement des tâches SQL, consultez Démarrage rapide de Spark SQL.