E-MapReduce:Manage Livy Gateway

Créer une passerelle Livy Gateway

1. Accédez à la page Gateway.

   1. Connectez-vous à la console EMR.

   2. Dans le volet de navigation de gauche, choisissez Spark.

   3. Sur la page Spark, cliquez sur le nom de l'espace de travail cible.

   4. Sur la page EMR Serverless Spark, dans le volet de navigation de gauche, cliquez sur O&M Center > Gateway.

2. Sur la page Livy Gateway, cliquez sur Create Livy Gateway.

3. Sur la page Create Livy Gateway, configurez les paramètres suivants et cliquez sur Create.

   Parameter	Description
   Name	Nom de la passerelle. Le nom ne peut contenir que des lettres minuscules, des chiffres et des traits d'union (-), et doit commencer et se terminer par une lettre ou un chiffre.
   Livy Gateway Resources	Valeur par défaut : 1 CPU, 4 GB.
   Livy Version	Valeur par défaut : 0.8.0 (dernière version).
   Engine Version	Version du moteur utilisée par la passerelle. Pour plus d'informations, consultez les versions du moteur.
   Use Fusion Acceleration	Fusion permet d'accélérer les charges de travail Spark et de réduire le coût total des tâches. Pour obtenir des informations sur la facturation, consultez la rubrique Product Billing. Pour en savoir plus sur le moteur Fusion, reportez-vous à la section Fusion engine.
   Associated Queue	Les tâches soumises via la passerelle utilisent l'identité du créateur.
   Authentication Method	Seule l'authentification par jeton est prise en charge. Après la création d'une passerelle, générez un jeton d'authentification unique pour celle-ci. Ce jeton sert à l'authentification et au contrôle d'accès lors des requêtes ultérieures. Consultez la section Token management pour savoir comment créer un jeton.
   Mount Integrated File Directory	Désactivé par défaut. Pour utiliser cette fonctionnalité, ajoutez un répertoire de fichiers sur la page Artifacts, dans l'onglet Integrated File Directory. Pour plus d'informations, consultez la rubrique Manage the integrated file directory. L'activation de cette fonctionnalité monte le répertoire de fichiers géré sur l'application, ce qui lui permet de lire et d'écrire directement dans les fichiers du répertoire. L'opération de montage consomme des ressources de calcul du pilote (driver). La quantité consommée correspond à la valeur la plus élevée entre les deux éléments suivants : Ressources fixes : 0,3 vCPU + 1 Go de mémoire. Ressources dynamiques : 10 % des ressources spark.driver (c'est-à-dire 10 % des cœurs et de la mémoire de spark.driver). Par exemple, si spark.driver est configuré avec 4 cœurs et 8 Go de mémoire, les ressources dynamiques s'élèvent à 0,4 vCPU + 0,8 Go de mémoire. Dans ce cas, les ressources réellement consommées sont max(0,3 vCPUs + 1 GB, 0,4 vCPUs + 0,8 GB), soit 0,4 vCPU + 1 Go de mémoire. Remarque Portée du montage : Par défaut, le répertoire de fichiers n'est monté que sur le pilote (driver). Pour le monter également sur les exécuteurs (executors), activez l'option Mount to Executor. Répertoires multiples : Vous pouvez monter plusieurs répertoires de fichiers intégrés. Toutefois, les répertoires CPFS ne peuvent pas être utilisés conjointement avec d'autres types. Par exemple, vous pouvez monter plusieurs répertoires OSS et NAS ensemble, mais vous ne pouvez pas monter CPFS avec des répertoires OSS ou NAS. Exigences réseau : Lorsque vous montez un répertoire de fichiers NAS ou CPFS, configurez une connexion réseau. Le VPC de la connexion réseau doit être identique au VPC de la cible de montage NAS ou CPFS.
   Network Connection	Connexion réseau existante permettant d'accéder aux sources de données dans un VPC ou à des services externes. Pour plus d'informations, consultez la rubrique Network connectivity between EMR Serverless Spark and other VPCs.
   Environment	Lorsque vous soumettez des tâches via Livy Gateway, la tâche utilise les ressources préconfigurées dans l'environnement d'exécution sélectionné.
   Endpoint(Public)	Désactivé par défaut. Si vous activez cette fonctionnalité, le système accède à Livy via un endpoint public. Sinon, il utilise un endpoint interne.
   Automatic Stop	Désactivé par défaut. Si vous activez cette fonctionnalité, le système arrête automatiquement la passerelle si celle-ci reste inactive pendant 45 minutes.
   spark-defaults.conf	Ce fichier définit les paramètres globaux par défaut pour les tâches Spark.
   livy.conf	Fichier de configuration principal du serveur Livy. Il définit le comportement global de Livy Gateway, y compris la méthode d'authentification (comme LDAP), la gestion des sessions et les paramètres de délai d'expiration. Ce fichier contrôle les paramètres d'exécution du serveur Livy et affecte toutes les tâches soumises via cette passerelle.
   livy-client.conf	Ce fichier définit le comportement d'interaction entre le client et Livy Gateway.
   spark-blacklist.conf	Le système ignore les paramètres figurant dans cette liste noire ; les utilisateurs ne peuvent pas les remplacer.

   Pour en savoir plus sur les fichiers de configuration de Livy et leurs paramètres, consultez les exemples de configuration de Livy Gateway.

4. Sur la page Livy Gateway, dans la colonne Start correspondant à votre passerelle, cliquez sur Start.

Gestion des jetons

1. Sur la page Livy Gateway, dans la colonne Token Management de la passerelle cible, cliquez sur Tokens.

2. Cliquez sur Create Token.

3. Dans la boîte de dialogue Create Token, configurez les paramètres suivants et cliquez sur OK.

   Parameter	Description
   Name	Nom du nouveau jeton.
   Expired At	Définit la date d'expiration du jeton. La valeur doit être d'au moins 1 jour. Par défaut, le jeton expire après 365 jours.

4. Copiez les informations du jeton.

   Important

   Copiez le jeton immédiatement après sa création. Vous ne pourrez plus le consulter ultérieurement. Si un jeton est perdu ou expire, créez-en un nouveau ou réinitialisez celui existant.

Informations sur les sessions

Lorsque vous créez une session Spark à l'aide de Livy, le système affiche les détails de la session, tels que son ID et son statut.

1. Sur la page Livy Gateway, cliquez sur le nom de la passerelle cible.

2. Cliquez sur l'onglet Sessions.

   Cette page affiche les sessions Spark créées via cette passerelle Livy Gateway.

   La liste des sessions inclut les informations suivantes : Session ID, Session Status, Creation time, Resource configuration (au format JSON, comprenant des paramètres tels que kind, driverMemory, driverCores, executorMemory, executorCores et numExecutors), un lien vers l'interface utilisateur Spark UI, ainsi que les Actions (pour fermer la session).

Documentation connexe

Pour découvrir des cas d'utilisation de Livy Gateway, consultez les documents suivants :

• Soumettre des tâches à l'aide de l'opérateur Livy d'Apache Airflow

• Interagir avec Serverless Spark à l'aide d'un notebook Jupyter