E-MapReduce:Gérer Livy Gateway

Créer une passerelle Livy

1. Accédez à la page Gateway.

   1. Connectez-vous à la console EMR.

   2. Dans le volet de navigation de gauche, sélectionnez Spark.

   3. Sur la page Spark, cliquez sur le nom de l'espace de travail cible.

   4. Sur la page EMR Serverless Spark, dans le volet de navigation de gauche, cliquez sur O&M Center > Gateway.

2. Sur la page Livy Gateway, cliquez sur Create Livy Gateway.

3. Sur la page Create Livy Gateway, configurez les paramètres suivants et cliquez sur Create.

   Parameter	Description
   Name	Le nom de la passerelle. Le nom ne peut contenir que des lettres minuscules, des chiffres et des traits d'union (-), et doit commencer et se terminer par une lettre ou un chiffre.
   Livy Gateway Resources	Par défaut : 1 CPU, 4 GB.
   Livy Version	Par défaut : 0.8.0, la dernière version.
   Engine Version	La version du moteur utilisée par la passerelle. Pour plus d'informations, consultez les versions du moteur.
   Use Fusion Acceleration	Fusion peut accélérer les charges de travail Spark et réduire le coût total des tâches. Pour les informations de facturation, consultez la facturation des produits. Pour plus d'informations sur le moteur Fusion, consultez le moteur Fusion.
   Associated Queue	Les tâches soumises via la passerelle utilisent l'identité du créateur.
   Authentication Method	Seule l'authentification par jeton est prise en charge. Après avoir créé une passerelle, générez un jeton d'authentification unique pour celle-ci. Ce jeton sert à l'authentification et au contrôle d'accès dans les requêtes ultérieures. Consultez la gestion des jetons pour savoir comment créer un jeton.
   Mount Integrated File Directory	Désactivé par défaut. Pour utiliser cette fonctionnalité, ajoutez un répertoire de fichiers sur la page Artifacts, dans l'onglet Integrated File Directory. Pour plus d'informations, consultez la rubrique Gérer le répertoire de fichiers intégré. L'activation de cette fonctionnalité monte le répertoire de fichiers géré sur l'application, lui permettant de lire et d'écrire directement dans les fichiers du répertoire. L'opération de montage consomme des ressources de calcul du pilote (driver). La quantité consommée correspond à la valeur la plus élevée parmi les deux suivantes : Ressources fixes : 0,3 vCPU + 1 Go de mémoire. Ressources dynamiques : 10 % des ressources spark.driver (c'est-à-dire 10 % des cœurs et de la mémoire de spark.driver). Par exemple, si spark.driver est configuré avec 4 cœurs et 8 Go de mémoire, les ressources dynamiques sont de 0,4 vCPU + 0,8 Go de mémoire. Dans ce cas, les ressources réellement consommées sont max(0,3 vCPUs + 1 GB, 0,4 vCPUs + 0,8 GB), soit 0,4 vCPU + 1 Go de mémoire. Remarque Portée du montage : Par défaut, le répertoire de fichiers est monté uniquement sur le pilote (driver). Pour le monter également sur les exécuteurs (executors), activez l'option Mount to Executor. Répertoires multiples : Vous pouvez monter plusieurs répertoires de fichiers intégrés. Cependant, les répertoires CPFS ne peuvent pas être utilisés conjointement avec d'autres types. Par exemple, vous pouvez monter plusieurs répertoires OSS et NAS ensemble, mais vous ne pouvez pas monter CPFS avec des répertoires OSS ou NAS. Exigences réseau : Lorsque vous montez un répertoire de fichiers NAS ou CPFS, vous devez configurer une connexion réseau. Le VPC de la connexion réseau doit être identique au VPC de la cible de montage NAS ou CPFS.
   Network Connection	Une connexion réseau existante pour accéder aux sources de données dans un VPC ou à des services externes. Pour plus d'informations, consultez la rubrique Connectivité réseau entre EMR Serverless Spark et d'autres VPC.
   Environment	Lorsque vous soumettez des tâches via Livy Gateway, la tâche utilise les ressources préconfigurées dans l'environnement d'exécution sélectionné.
   Endpoint(Public)	Désactivé par défaut. Si vous activez cette fonctionnalité, le système accède à Livy via un endpoint public. Sinon, il utilise un endpoint interne.
   Automatic Stop	Désactivé par défaut. Si vous activez cette fonctionnalité, le système arrête automatiquement la passerelle si celle-ci reste inactive pendant 45 minutes.
   spark-defaults.conf	Ce fichier définit les paramètres par défaut globaux pour les tâches Spark.
   livy.conf	Le fichier de configuration principal du serveur Livy. Il définit le comportement global de Livy Gateway, y compris la méthode d'authentification (telle que LDAP), la gestion des sessions et les paramètres de délai d'expiration. Ce fichier contrôle les paramètres d'exécution du serveur Livy et affecte toutes les tâches soumises via cette passerelle.
   livy-client.conf	Ce fichier définit le comportement d'interaction entre le client et Livy Gateway.
   spark-blacklist.conf	Le système ignore les paramètres figurant dans cette liste noire, et les utilisateurs ne peuvent pas les remplacer.

   Pour plus d'informations sur les fichiers de configuration Livy et leurs paramètres, consultez les exemples de configuration Livy Gateway.

4. Sur la page Livy Gateway, dans la colonne Start de votre passerelle, cliquez sur Start.

Gestion des jetons

1. Sur la page Livy Gateway, dans la colonne Token Management de la passerelle cible, cliquez sur Tokens.

2. Cliquez sur Create Token.

3. Dans la boîte de dialogue Create Token, configurez les paramètres suivants et cliquez sur OK.

   Parameter	Description
   Name	Le nom du nouveau jeton.
   Expired At	Définissez la date d'expiration du jeton. La valeur doit être d'au moins 1 jour. Par défaut, le jeton expire dans 365 jours.

4. Copiez les informations du jeton.

   Important

   Copiez le jeton immédiatement après sa création. Vous ne pourrez plus le consulter ultérieurement. Si un jeton est perdu ou expire, vous devez en créer un nouveau ou réinitialiser celui existant.

Informations sur les sessions

Lorsque vous créez une session Spark à l'aide de Livy, le système affiche les détails de la session, tels que son ID et son statut.

1. Sur la page Livy Gateway, cliquez sur le nom de la passerelle cible.

2. Cliquez sur l'onglet Sessions.

   Cette page affiche les sessions Spark créées via cette passerelle Livy Gateway.

   La liste des sessions inclut les informations suivantes : Session ID, Session Status, Creation time, Resource configuration (au format JSON, incluant des paramètres tels que kind, driverMemory, driverCores, executorMemory, executorCores et numExecutors), un lien Spark UI et les Actions (pour fermer la session).

Documentation connexe

Pour des cas d'utilisation de Livy Gateway, consultez les documents suivants :

• Soumettre des tâches à l'aide de l'opérateur Livy d'Apache Airflow

• Interagir avec Serverless Spark à l'aide d'un notebook Jupyter