E-MapReduce:Manage notebook sessions

Créer une session de notebook

Après avoir créé une session de notebook, sélectionnez-la pour développer vos notebooks.

1. Accédez à la page Notebook Sessions.

   1. Connectez-vous à la console EMR.

   2. Dans le volet de navigation de gauche, choisissez EMR Serverless > Spark.

   3. Sur la page Spark, cliquez sur le nom de l'espace de travail cible.

   4. Sur la page EMR Serverless Spark, choisissez Sessions dans le volet de navigation de gauche.

   5. Cliquez sur l'onglet Notebook Session.

2. Sur la page Notebook Session, cliquez sur Create Notebook Session.

3. Sur la page Create Notebook Session, configurez les paramètres suivants et cliquez sur Create.

   Remarque

   Nous vous recommandons de définir la concurrence maximale de la file d'attente de ressources sélectionnée à une valeur au moins égale aux ressources requises par la session de notebook. Cette valeur s'affiche dans la console.

   Paramètre	Description
   Name	Nom de la session de notebook. Le nom doit comporter entre 1 et 64 caractères et peut contenir des lettres, des chiffres, des traits d'union (-), des underscores (_) et des espaces.
   Engine Version	Version du moteur pour la session. Pour plus d'informations, consultez la rubrique Présentation des versions de moteur.
   Use Fusion Acceleration	Fusion permet d'accélérer les charges de travail Spark et de réduire le coût total des tâches. Pour plus d'informations sur la facturation, consultez la rubrique Facturation des produits. Pour en savoir plus sur le moteur Fusion, consultez la rubrique Moteur Fusion.
   Resource Queue	Sélectionnez une file d'attente de ressources pour la session. Seules les files d'attente désignées pour le développement ou l'utilisation partagée sont disponibles. Pour plus d'informations, consultez la rubrique Gérer les files d'attente de ressources.
   Automatic Stop	Activé par défaut. Définissez la durée d'inactivité autorisée avant l'arrêt automatique de la session.
   spark.driver.cores	Nombre de cœurs pour le processus driver. La valeur par défaut est 1.
   spark.driver.memory	Quantité de mémoire allouée au processus driver. La valeur par défaut est 3,5 Go.
   spark.executor.cores	Nombre de cœurs pour chaque processus executor. La valeur par défaut est 1.
   spark.executor.memory	Quantité de mémoire allouée à chaque processus executor. La valeur par défaut est 3,5 Go.
   spark.executor.instances	Nombre d'executors alloués par Spark. La valeur par défaut est 2.
   Dynamic Resource Allocation	Désactivé par défaut. Si vous activez cette option, configurez les paramètres suivants : Minimum Number of Executors : la valeur par défaut est 2. Maximum Number of Executors : si spark.executor.instances n'est pas défini, la valeur par défaut est 10.
   More Memory Configurations	spark.driver.memoryOverhead : mémoire non heap disponible pour le driver. Si ce paramètre n'est pas défini, Spark alloue automatiquement une valeur basée sur la valeur par défaut, qui est max(384 MB, 10 % * spark.driver.memory). spark.executor.memoryOverhead : mémoire non heap disponible pour chaque executor. Si ce paramètre n'est pas défini, Spark alloue automatiquement une valeur basée sur la valeur par défaut, qui est max(384 MB, 10 % * spark.executor.memory). spark.memory.offHeap.size : quantité de mémoire off-heap disponible pour Spark. La valeur par défaut est 1 Go. Ce paramètre prend effet uniquement lorsque spark.memory.offHeap.enabled est défini sur true. Lorsque le moteur Fusion est utilisé, cette fonctionnalité est activée par défaut avec 1 Go de mémoire off-heap.
   Environment	Sélectionnez un environnement personnalisé créé sur la page Environment. Au démarrage de la session de notebook, le système préinstalle les bibliothèques issues de l'environnement sélectionné. Remarque Vous ne pouvez sélectionner que les environnements d'exécution dont l'état est Ready.
   Network Connection	Connexion réseau existante permettant d'accéder aux sources de données dans un VPC ou à des services externes. Pour plus d'informations, consultez la rubrique Connectivité réseau entre EMR Serverless Spark et d'autres VPC.
   Mount Integrated File Directory	Désactivé par défaut. Pour utiliser cette fonctionnalité, ajoutez un répertoire de fichiers sur la page Artifacts, dans l'onglet Integrated File Directory. Pour plus d'informations, consultez la rubrique Gérer le répertoire de fichiers intégré. Lorsque cette option est activée, le système monte le répertoire de fichiers intégré sur la session, ce qui vous permet d'accéder directement à ses fichiers. L'opération de montage consomme des ressources de calcul du driver. La quantité consommée correspond à la valeur la plus élevée parmi les deux suivantes : Ressources fixes : 0,3 vCPU + 1 Go de mémoire. Ressources dynamiques : 10 % des ressources spark.driver (soit 10 % des cœurs et de la mémoire de spark.driver). Par exemple, si spark.driver est configuré avec 4 cœurs et 8 Go de mémoire, les ressources dynamiques correspondent à 0,4 vCPU + 0,8 Go de mémoire. Dans ce cas, les ressources réellement consommées sont max(0.3 vCPUs + 1 GB, 0.4 vCPUs + 0.8 GB), soit 0,4 vCPU + 1 Go de mémoire. Remarque Étendue du montage : par défaut, le répertoire de fichiers est monté uniquement sur le driver. Pour le monter également sur les executors, activez l'option Mount to Executor. Plusieurs répertoires : vous pouvez monter plusieurs répertoires de fichiers intégrés. Toutefois, les répertoires CPFS ne peuvent pas être utilisés conjointement avec d'autres types. Par exemple, vous pouvez monter ensemble plusieurs répertoires OSS et NAS, mais vous ne pouvez pas monter CPFS avec des répertoires OSS ou NAS. Exigences réseau : lors du montage d'un répertoire de fichiers NAS ou CPFS, vous devez configurer une connexion réseau. Le VPC de la connexion réseau doit être identique au VPC de la cible de montage NAS ou CPFS.
   Mount to Executor	Lorsque cette option est activée, le système monte le répertoire de fichiers intégré sur les executors de la session, afin qu'ils puissent accéder directement aux fichiers. Le montage consomme des ressources des executors. La quantité consommée dépend de l'utilisation des fichiers.
   Spark Configuration	Saisissez les paramètres de configuration Spark, séparés par des espaces. Exemple : spark.sql.catalog.paimon.metastore dlf.

Consulter les historiques d'exécution

Une fois une tâche terminée, consultez son historique d'exécution.

1. Sur la page SQL Sessions, cliquez sur le nom de la session souhaitée.

2. Cliquez sur l'onglet Execution Records.

   Dans cet onglet, consultez les détails de chaque exécution, tels que l'ID d'exécution, l'heure de début et un lien vers l'interface utilisateur Spark.

   

Documentation connexe

• Pour plus d'informations sur les opérations liées aux files d'attente de ressources, consultez la rubrique Gérer les files d'attente de ressources.

• Pour plus d'informations sur les rôles et les autorisations liés aux sessions, consultez la rubrique Gérer les utilisateurs et les rôles.

• Pour un exemple de bout en bout de développement de notebooks, consultez la rubrique Premiers pas avec le développement de notebooks.